一种基于Spring框架的大数据日志分析的方法和系统

专利名称：一种基于Spring框架的大数据日志分析的方法和系统

专利类型：发明专利

专利申请号：CN202110458196.9

专利申请（专利权）人：联通(江苏)产业互联网有限公司
权利人地址：江苏省南京市鼓楼区古平岗4号C座二层

专利发明（设计）人：徐敏

专利摘要：本发明公开了一种基于Spring框架的大数据日志分析的方法和系统，属于信息安全技术领域，该方法包括如下步骤：日志统一采集，在不同的Spring框架中，在POM文件中新增logback依赖，同时在各个服务的resources目录下新建logback.xml文件。本发明针对不同的Spring框架的内部WEB服务提供了统一的管理平台；从离线和实时的维度对数据进行分析和挖掘，保证了数据的准确性和一致性；提供了从时间、服务名称、日志层次，关键字搜索功能，使开发、运维人员快速定位生产环境的问题。

主权利要求：
1.一种基于Spring框架的大数据日志分析的方法，其特征在于，该方法包括如下步骤：步骤1：日志统一采集，在不同的Spring框架中，在POM文件中新增logback依赖，同时在各个服务的resources目录下新建logback.xml文件；
步骤2：Logstash数据入ES，在logstashconfig目录下面新建trace‑logging.conf文件，将实时的日志存入ES，后续通过Flink进行流处理；
步骤3：Flume数据存HDFS，在Flumeconf目录下新建properties文件，将离线文件存储在HDFS后，后续可以通过HIVE、SPARK进行数据分析和挖掘；
步骤4：Kibana接入ES，修改kibana.xml，将离线实时数据已全接入大数据平台中；
在步骤1中，所述新增logback依赖如下：
net.logstash.logbacklogstash‑logback‑encoder4.11
在步骤1中，在各个服务的resources目录下新建logback.xml文件如在步骤2中，新建trace‑logging.conf文件如下：所述9601是logstash接收数据的端口，在logback必须配置此端口，codec＝>json_lines是一个json解析器，接收json的数据，需要安装logstash‑codec‑json_lines插件；
ouputelasticsearch指向我们安装的集群的ip地址和端口；stdout会打印收到的消息；
所述Flume数据采集架构为WebServer.依次经过到Source、Channel、Sink和HDFS；
在步骤3中，Flumeconf目录下新建.properties文件如下：#agent1name
agent1.sourcessource1agent1.sinks＝sink1
agent1.channels
＝
channel1#Spooli
ngDirectory
#setsource1
agent1.sources.source1.type＝spooldiragent1.sources.source1.spoolDir＝/usr/app/flumelog/dir/logdfsagent1.sources.source1.channels:channel1agent1.sources.source1.fileHeader＝
falseagent1.sources.source1.interceptors＝i1.
agent1.sources.source1.interceptors.i1.type＝timestamp#setsink1agent1.sinks.sink1.type＝hdfsagent1.sinks.sink1.hdfs.path＝/user/yuhui/flumeagent1.sinks.sink1.hdfs.fileTypeDataStreamagent1.sinks.sink1.hdfs.
writeFormat＝TEXT
agent1.sinks.sink1.hdfs.rollInterval＝
1agent1.sinks.sink1.channel‑channel1
agent1.sinks.sink1.hdfs.filePrefix％Y‑％m‑％d#setchannel1agent1.channels.channel1.typefileagent1.channels.channel1.checkpointDir‑/usr/app/flumelog/dir/logdfstmp/pointagent1.channels.channe11.dataDirs‑/usr/app/flumelog/dir/logdfstmp在步骤4中，修改kibana.yml如下：server.port:5601#
#服务端口
server.host:"0.0.
0.0"
elasticsearch.hosts:["http://11.1.5.69:9200"，"http://11.1.5.70:9200"，"http://11.1.5.71:9200"]。
2.根据权利要求1所述的一种基于Spring框架的大数据日志分析的方法的系统，其特征在于，所述系统包括日志监控、告警管理和行为分析日志监控包括搜索功能和报表监控搜索功能：通过设置时间、服务名称和日志层次维度筛选；
报表监控：通过对错误日志的监控能够及时通知项目运维人员，通过对服务、接口调用次数，接口响应时间维度进行监控；
告警管理，
当WEB服务产生错误日志或者某个服务在某段时间发生不正常的激增时，告警管理系统能够通过邮件、短信、钉钉或微信的方式推送维人员；
行为分析
通过接口的调用频率可以统计出PV/UV，DAU/MAU，新增用户数，访问时长，GMV重用指标；
通过用户的点击行为作为行为特征，同时提取用户的年龄、性别、住址、爱好属性特征建立用户画像，再结合机器学习对用户进行精准营销和智能推荐。
3.根据权利要求2所述的一种基于Spring框架的大数据日志分析的方法的系统，其特征在于，所述报表统计的数据包括：PV/UV、GMV、DAU/MAU、点击数/访问时长和新增用户数。 说明书 : 一种基于Spring框架的大数据日志分析的方法和系统技术领域[0001] 本发明涉及一种基于Spring框架的大数据日志分析的方法和系统，属于信息安全技术领域。背景技术[0002] 在如今复杂多样的企业WEB服务中，不仅集成了SpringMVC、SpringBoot、SpringCloud各种服务框架，同时记录日志方式也是多种多样、千差万别。不仅缺失了日志的归档、管理的功能，而且对各个WEB服务无法做出统一的告警管理、风险预警；无论是开发人员还是运维人员都无法准确的定位服务、服务器上面出现的种种问题，也没有高效搜索日志内容从而快速定位问题的方式；同时无法提前预知和及时处理问题，极大的影响的客户的感知体验，因此需要一个集中式、独立的、搜集管理各个服务和服务器上的日志信息，集中管理、及时预警，并提供良好的UI界面进行数据展示，处理分析，同时对客户行为进行数据挖掘，提炼出更大的商业价值。发明内容[0003] 本发明的主要目的是为了解决现有技术的不足，而提供一种基于Spring框架的大数据日志分析的方法和系统。[0004] 本发明的目的可以通过采用如下技术方案达到：[0005] 一种基于Spring框架的大数据日志分析的方法，该方法包括如下步骤：[0006] 步骤1：日志统一采集，在不同的Spring框架中，在POM文件中新增logback依赖，同时在各个服务的resources目录下新建logback.xml文件；[0007] 步骤2：Logstash数据入ES，在logstashconfig目录下面新建trace‑logging.conf文件，将实时的日志存入ES，后续通过Flink进行流处理；[0008] 步骤3：Flume数据存HDFS，在Flumeconf目录下新建properties文件，将离线文件存储在HDFS后，后续可以通过HIVE、SPARK进行数据分析和挖掘；[0009] 步骤4：Kibana接入ES，修改kibana.yml，将离线实时数据已全接入大数据平台中。[0010] 优选的，在步骤1中，所述新增logback依赖如下：[0011][0012] 优选的，在步骤1中，在各个服务的resources目录下新建logback.xml文件如下：[0013][0014][0015][0016] 优选的，在步骤2中，新建trace‑logging.conf文件如下：[0017] 优选的，所述9601是logstash接收数据的端口，在logback必须配置此端口，codec＝>json_lines是一个json解析器，接收json的数据，需要安装logstash‑codec‑json_lines插件；ouputelasticsearch指向我们安装的集群的ip地址和端口；stdout会打印收到的消息。[0018] 优选的，和系统，所述Flume数据采集架构为WebServer.依次经过到Source、Channel、Sink和HDFS。[0019] 优选的，在步骤3中，Flumeconf目录下新建.properties文件如下：[0020] #agent1name[0021] agent1.sourcessource1[0022] agent1.sinks＝sink1[0023] agent1.channels＝channel1[0024] #SpoolingDirectory[0025] #setsource1[0026] agent1.sources.source1.type＝spooldir[0027] agent1.sources.source1.spoolDir＝/usr/app/flumelog/dir/logdfs[0028] agent1.sources.source1.channels:channel1[0029] agent1.sources.source1.fileHeader＝false[0030] agent1.sources.source1.interceptors＝i1.[0031] agent1.sources.source1.interceptors.i1.type＝timestamp[0032] #setsink1[0033] agent1.sinks.sink1.type＝hdfs[0034] agent1.sinks.sink1.hdfs.path＝/user/yuhui/flume[0035] agent1.sinks.sink1.hdfs.fileTypeDataStream[0036] agent1.sinks.sink1.hdfs.writeFormat＝TEXT[0037] agent1.sinks.sink1.hdfs.rollInterval＝1[0038] agent1.sinks.sink1.channel‑channel1[0039] agent1.sinks.sink1.hdfs.filePrefix％Y‑％m‑％d[0040] #setchannel1[0041] agent1.channels.channel1.typefile[0042] agent1.channels.channel1.checkpointDir‑/usr/app/flumelog/dir/logdfstmp/point[0043] agent1.channels.channe11.dataDirs‑/usr/app/flumelog/dir/logdfstmp[0044] 优选的，在步骤4中，修改kibana.yml如下：[0045] server.port:5601##服务端口[0046] server.host:"0.0.0.0"[0047] elasticsearch.hosts:["http://11.1.5.69:9200"，"http://11.1.5.70:9200"，"http://11.1.5.71:9200"][0048] 一种基于Spring框架的大数据日志分析的方法的系统，所述系统包括日志监控、告警管理和行为分析[0049] 日志监控包括搜索功能和报表监控[0050] 搜索功能：通过设置时间、服务名称和日志层次维度筛选；[0051] 报表监控：通过对错误日志的监控能够及时通知项目运维人员，通过对服务、接口调用次数，接口响应时间维度进行监控；[0052] 告警管理，[0053] 当WEB服务产生错误日志或者某个服务在某段时间发生不正常的激增时，告警管理系统能够通过邮件、短信、钉钉或微信的方式推送维人员；[0054] 行为分析[0055] 通过接口的调用频率可以统计出PV/UV，DAU/MAU，新增用户数，访问时长，GMV重用指标；[0056] 通过用户的点击行为作为行为特征，同时提取用户的年龄、性别、住址、爱好属性特征建立用户画像，再结合机器学习对用户进行精准营销和智能推荐。[0057] 优选的，所述报表统计的数据包括：PV/UV、GMV、DAU/MAU、点击数/访问时长和新增用户数。[0058] 本发明的有益技术效果：按照本发明的基于Spring框架的大数据日志分析的方法和系统，针对不同的Spring框架的内部WEB服务提供了统一的管理平台；从离线和实时的维度对数据进行分析和挖掘，保证了数据的准确性和一致性；提供了从时间、服务名称、日志层次，关键字搜索功能，使开发、运维人员快速定位生产环境的问题；提供了风险预警和告警监控的功能，通过邮件、短信、钉钉、微信灵活多样的方式推送维人员；对用户的行为数据做进一步分析和挖掘，为运营人员和数据分析师做运营决策分析。附图说明[0059] 图1为按照本发明的基于Spring框架的大数据日志分析的方法和系统的一优选实施例的Spring整体框架示意图。[0060] 图2为按照本发明的基于Spring框架的大数据日志分析的方法和系统的一优选实施例的Flume数据采集架构示意图；[0061] 图3为按照本发明的基于Spring框架的大数据日志分析的方法和系统的一优选实施例的日志监控框架图；[0062] 图4为按照本发明的基于Spring框架的大数据日志分析的方法和系统的一优选实施例的告警管理框架图；[0063] 图5为按照本发明的基于Spring框架的大数据日志分析的方法和系统的行为分析框架图；[0064] 图6为按照本发明的基于Spring框架的大数据日志分析的方法和系统的系统框架图。具体实施方式[0065] 为使本领域技术人员更加清楚和明确本发明的技术方案，下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。[0066] 如图1‑图5所示，本实施例提供的基于Spring框架的大数据日志分析的方法和系统，一种基于Spring框架的大数据日志分析的方法，该方法包括如下步骤：[0067] 步骤1：日志统一采集，在不同的Spring框架中，在POM文件中新增logback依赖，同时在各个服务的resources目录下新建logback.xml文件；[0068] 步骤2：Logstash数据入ES，在logstashconfig目录下面新建trace‑logging.conf文件，将实时的日志存入ES，后续通过Flink进行流处理；[0069] 步骤3：Flume数据存HDFS，在Flumeconf目录下新建properties文件，将离线文件存储在HDFS后，后续可以通过HIVE、SPARK进行数据分析和挖掘；[0070] 步骤4：Kibana接入ES，修改kibana.yml，将离线实时数据已全接入大数据平台中。[0071] 在步骤1中，新增logback依赖如下：[0072] [0073] net.logstash.logback[0074] logstash‑logback‑encoder[0075] 4.11[0076] [0077] 在步骤1中，在各个服务的resources目录下新建logback.xml文件如下：[0078] <？xmlversion＝""1.0"encoding＝"UTF‑8"？>[0079] [0080] [0081] car‑trace‑logging[0082] <！‑‑设置变量，下面有用到，含义是日志保存路径‑‑>[0083]
[0084] <！‑‑输出到控制台‑‑>[0085] [0086] <！‑‑级别过滤‑‑>[0087] [0088] INFO[0089] ACCEPT[0090] DENY[0091] [0092] <！‑‑日志输出格式‑‑>[0093] [0094]
％d{HH:mm:ss.ssS}％contextName[％thread]％‑5level％logger{36}‑kmsgKn[0095] [0096] [0097] <！‑‑输出到文件‑‑>[0098] [0099] [0100] ${log.path}/car‑trace.log[0101] [0102] [0103] ${log.path}/car‑trace.％d{yyyy‑M‑dd}.log.zip[0104] [0105]
％d{H:mm:ss.SSS]％contextName[％thread]％‑5level％logger{36}‑‰msg％n[0106] [0107] [0108] [0109] 192.168.253.6:9601〈‑‑指定logstaship:监听端口tcpAppender可自己实现如kafka传输‑‑>[0110] [0111] [0112] <！‑‑设置日志隔离级别‑‑>[0113] [0114] [0115] [0116] [0117] [0118] <！‑‑设置具体包的隔离级别‑‑>[0119] [0120] [0121] 在步骤2中，新建trace‑logging.conf文件如下：[0122] input{[0123] tcp{[0124] port＝>9601[0125] codec＝>json_lines[0126] }[0127] output{[0128] [0129] action＝>"index"[0130] hosts＝>["11.1.5.69:8088","11.1.5.70:8088"，"11.1.5.71:8088"]#ES集群的ip地址和端口[0131] index＝>"％{[appName]}‑％{+YYYY.MM.dd}"#用一个项目名称来做索引[0132] document_type＝>"applog”[0133] }[0134] stdout{codec＝>rubydebug}[0135] }[0136] 9601是logstash接收数据的端口，在logback必须配置此端口，codec＝>json_lines是一个json解析器，接收json的数据，需要安装logstash‑codec‑json_lines插件；ouputelasticsearch指向我们安装的集群的ip地址和端口；stdout会打印收到的消息。[0137] 和系统，Flume数据采集架构为WebServer.依次经过到Source、Channel、Sink和HDFS。[0138] 在步骤3中，Flumeconf目录下新建.properties文件如下：[0139] #agent1name[0140] agent1.sourcessource1[0141] agent1.sinks＝sink1[0142] agent1.channels＝channel1[0143] #SpoolingDirectory[0144] #setsource1[0145] agent1.sources.source1.type＝spooldir[0146] agent1.sources.source1.spoolDir＝/usr/app/flumelog/dir/logdfs[0147] agent1.sources.source1.channels:channel1[0148] agent1.sources.source1.fileHeader＝false[0149] agent1.sources.source1.interceptors＝i1.[0150] agent1.sources.source1.interceptors.i1.type＝timestamp[0151] #setsink1[0152] agent1.sinks.sink1.type＝hdfs[0153] agent1.sinks.sink1.hdfs.path＝/user/yuhui/flume[0154] agent1.sinks.sink1.hdfs.fileTypeDataStream[0155] agent1.sinks.sink1.hdfs.writeFormat＝TEXT[0156] agent1.sinks.sink1.hdfs.rollInterval＝1[0157] agent1.sinks.sink1.channel‑channel1[0158] agent1.sinks.sink1.hdfs.filePrefix％Y‑％m‑％d[0159] #setchannel1[0160] agent1.channels.channel1.typefile[0161] agent1.channels.channel1.checkpointDir‑/usr/app/flumelog/dir/logdfstmp/point[0162] agent1.channels.channe11.dataDirs‑/usr/app/flumelog/dir/logdfstmp[0163] 在步骤4中，修改kibana.yml如下：[0164] server.port:5601##服务端口[0165] server.host:"0.0.0.0"[0166] elasticsearch.hosts:["http://11.1.5.69:9200"，"http://11.1.5.70:9200"，"http://11.1.5.71:9200"][0167] 一种基于Spring框架的大数据日志分析的方法的系统，系统包括日志监控、告警管理和行为分析[0168] 日志监控包括搜索功能和报表监控[0169] 搜索功能：通过设置时间、服务名称、日志层次维度筛选，关键字搜索使运维和开发人员能够快速分析、定位生产环境的问题；[0170] 报表监控：通过对错误日志的监控能够及时通知项目运维人员，通过对服务、接口调用次数，接口响应时间维度进行监控，能够提升用户体验，也为后续的扩容、性能优化提供参考；[0171] 告警管理，[0172] 当WEB服务产生错误日志或者某个服务在某段时间发生不正常的激增时，告警管理系统能够通过邮件、短信、钉钉、微信灵活多样的方式推送维人员，运维人员不仅能及时的发现问题，更能够提前预知问题的发生，及时的扩容；[0173] 行为分析[0174] 通过接口的调用频率可以统计出PV/UV，DAU/MAU，新增用户数，访问时长，GMV重用指标，为运营人员和数据分析师做运营决策；[0175] 通过用户的点击行为作为行为特征，同时提取用户的年龄、性别、住址、爱好属性特征建立用户画像，再结合机器学习对用户进行精准营销和智能推荐。报表统计的数据包括：PV/UV、GMV、DAU/MAU、点击数/访问时长和新增用户数。[0176] 综上所述，在本实施例中，按照本实施例的基于Spring框架的大数据日志分析的方法和系统，本实施例提供的基于Spring框架的大数据日志分析的方法和系统，针对不同的Spring框架的内部WEB服务提供了统一的管理平台；从离线和实时的维度对数据进行分析和挖掘，保证了数据的准确性和一致性；提供了从时间、服务名称、日志层次，关键字搜索功能，使开发、运维人员快速定位生产环境的问题；提供了风险预警和告警监控的功能，通过邮件、短信、钉钉、微信灵活多样的方式推送维人员；对用户的行为数据做进一步分析和挖掘，为运营人员和数据分析师做运营决策分析。[0177] 以上所述，仅为本发明进一步的实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明所公开的范围内，根据本发明的技术方案及其构思加以同替换或改变，都属于本发明的保护范围。

专利地区：江苏

专利申请日期：2021-04-27

专利公开日期：2024-07-26

专利公告号：CN113282557B