日志处理方法、装置及电子设备实用新型专利

专利名称：日志处理方法、装置及电子设备

专利类型：实用新型专利

专利申请号：CN202211482416.2

专利申请（专利权）人：吉林亿联银行股份有限公司
权利人地址：吉林省长春市南关区人民大街10606号东北亚国际金融中心一期北楼

专利发明（设计）人：丁涛,张树刚

专利摘要：本申请公开了一种日志处理方法、装置及电子设备。其中，该方法包括：通过日志服务器获取目标系统在预设时间段内生成的多个日志；检测多个日志的数量是否大于目标阈值，其中，目标阈值表征日志服务器在当前负载情况下所能处理的最大日志数量；在多个日志的数量大于目标阈值的情况下，从服务器集群中调用至少一个备用服务器，并控制至少一个备用服务器与日志服务器处理多个日志。本申请解决了现有技术中日志处理效率低的技术问题。

主权利要求：
1.一种日志处理方法，其特征在于，包括：
通过日志服务器获取目标系统在预设时间段内生成的多个日志；
检测多个所述日志的数量是否大于目标阈值，其中，所述目标阈值表征所述日志服务器在当前负载情况下所能处理的最大日志数量；
在多个所述日志的数量大于所述目标阈值的情况下，从服务器集群中调用至少一个备用服务器，并控制至少一个所述备用服务器与所述日志服务器处理多个所述日志，其中，所述日志服务器计算所述日志的数量与所述目标阈值之间的差值，然后根据所述差值确定需要调用的所述备用服务器的数量；
其中，控制至少一个所述备用服务器与所述日志服务器处理多个所述日志，包括：对每个所述日志进行格式统一化处理，得到多个第一日志，其中，每个所述第一日志的报文头的格式为目标报文头格式，每个所述第一日志的报文体的格式为目标报文体格式，所述报文头至少包含所述第一日志对应的功能描述信息，所述报文体至少包含所述第一日志对应的业务逻辑信息；识别每个所述第一日志中的敏感信息，并对所述敏感信息进行加密，得到多个第二日志，其中，所述敏感信息至少包括用户隐私信息；识别多个所述第二日志中的冗余日志，并从多个所述第二日志中去除所述冗余日志，得到至少一个目标日志，其中，所述冗余日志为多个所述第二日志中的异常日志或重复日志；
其中，识别多个所述第二日志中的冗余日志，包括：检测每个所述第二日志是否为待配对日志，其中，所述待配对日志为需要与关联日志进行配对的日志，所述关联日志与所述待配对日志之间存在预设关联关系；在所述第二日志为所述待配对日志的情况下，检测所述第二日志是否配对成功；在所述第二日志配对失败的情况下，确定所述第二日志为所述冗余日志；
在检测多个所述日志的数量是否大于目标阈值之前，所述方法还包括：获取所述日志服务器在目标历史时间段内处理的多个历史日志，其中，所述目标历史时间段由多个历史子时间段组成，每个所述历史子时间段与多个所述历史日志中的至少一个所述历史日志相对应，每个所述历史子时间段的时长与所述预设时间段的时长相同；统计每个所述历史子时间段对应的历史日志数量；根据每个所述历史子时间段对应的历史日志数量确定每个所述历史子时间段对应的阈值。
2.根据权利要求1所述的方法，其特征在于，识别多个所述第二日志中的冗余日志，包括：
检测多个所述第二日志中是否存在缺失目标标识字段的异常日志，其中，所述目标标识字段用于表征每个所述第二日志的唯一标识；
在多个所述第二日志中存在所述异常日志的情况下，确定所述异常日志为所述冗余日志。
3.根据权利要求1所述的方法，其特征在于，识别多个所述第二日志中的冗余日志，包括：
检测多个所述第二日志中是否存在至少两个第三日志，其中，至少两个所述第三日志之间具有相同的目标日志信息，所述目标日志信息为所述第三日志的日志信息中除日志生成时间之外的信息；
在多个所述第二日志中存在至少两个所述第三日志的情况下，根据每个所述第三日志的日志生成时间对至少两个所述第三日志进行排序，得到排序结果；
根据所述排序结果从至少两个所述第三日志中确定至少一个第四日志，并确定所述第四日志为所述冗余日志。
4.根据权利要求1所述的方法，其特征在于，检测多个所述日志的数量是否大于目标阈值，包括：
从多个所述历史子时间段中确定与所述预设时间段相对应的目标历史子时间段，其中，所述目标历史子时间段与所述预设时间段为不同时间周期下起始时刻和终止时刻相同的两个时间段；
确定所述目标历史子时间段对应的阈值为所述目标阈值，并检测多个所述日志的数量是否大于目标阈值。
5.根据权利要求1所述的方法，其特征在于，在通过日志服务器获取目标系统在预设时间段内生成的多个日志之后，所述方法还包括：获取所述日志服务器的内存使用率；
检测所述内存使用率是否大于预设阈值；
在所述内存使用率大于所述预设阈值的情况下，从所述服务器集群中调用至少一个所述备用服务器与所述日志服务器处理多个所述日志。
6.一种日志处理装置，其特征在于，包括：
获取模块，用于通过日志服务器获取目标系统在预设时间段内生成的多个日志；
检测模块，用于检测多个所述日志的数量是否大于目标阈值，其中，所述目标阈值表征所述日志服务器在当前负载情况下所能处理的最大日志数量；
调用模块，用于在多个所述日志的数量大于所述目标阈值的情况下，从服务器集群中调用至少一个备用服务器，并控制至少一个所述备用服务器与所述日志服务器处理多个所述日志，其中，所述日志服务器计算所述日志的数量与所述目标阈值之间的差值，然后根据所述差值确定需要调用的所述备用服务器的数量；
所述调用模块还包括：第一处理单元，对每个所述日志进行格式统一化处理，得到多个第一日志，其中，每个所述第一日志的报文头的格式为目标报文头格式，每个所述第一日志的报文体的格式为目标报文体格式，所述报文头至少包含所述第一日志对应的功能描述信息，所述报文体至少包含所述第一日志对应的业务逻辑信息；第一识别单元，识别每个所述第一日志中的敏感信息，并对所述敏感信息进行加密，得到多个第二日志，其中，所述敏感信息至少包括用户隐私信息；第二识别单元，识别多个所述第二日志中的冗余日志，并从多个所述第二日志中去除所述冗余日志，得到至少一个目标日志，其中，所述冗余日志为多个所述第二日志中的异常日志或重复日志；
其中，所述第二识别单元，包括：第二检测子单元，用于检测每个所述第二日志是否为待配对日志，其中，所述待配对日志为需要与关联日志进行配对的日志，所述关联日志与所述待配对日志之间存在预设关联关系；第三检测子单元，用于在所述第二日志为所述待配对日志的情况下，检测所述第二日志是否配对成功；第二确定子单元，用于在所述第二日志配对失败的情况下，确定所述第二日志为所述冗余日志；
日志处理装置还包括：第一获取模块，用于获取所述日志服务器在目标历史时间段内处理的多个历史日志，其中，所述目标历史时间段由多个历史子时间段组成，每个所述历史子时间段与多个所述历史日志中的至少一个所述历史日志相对应，每个所述历史子时间段的时长与所述预设时间段的时长相同；统计模块，用于统计每个所述历史子时间段对应的历史日志数量；确定模块，用于根据每个所述历史子时间段对应的历史日志数量确定每个所述历史子时间段对应的阈值。
7.一种电子设备，其特征在于，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至5中任意一项所述的日志处理方法。 说明书 : 日志处理方法、装置及电子设备技术领域[0001] 本申请涉及日志处理领域，具体而言，涉及一种日志处理方法、装置及电子设备。背景技术[0002] 现有技术中日志服务器在处理系统日志时，如果待处理日志的数量较多，则日志服务器可能无法及时对所有的待处理日志进行处理。在此基础上，通常只能在运维人员主动发现日志服务器的负载较高时，才会手动调用其他服务器协助日志服务器处理待处理日志。[0003] 但是，由于运维人员不可能随时检测到日志服务器的负载状况，因此，备用服务器的介入及时性往往无法得到有效的保证，从而导致了系统日志处理效率较低的问题。[0004] 针对上述的问题，目前尚未提出有效的解决方案。发明内容[0005] 本申请实施例提供了一种日志处理方法、装置及电子设备，以至少解决现有技术中日志处理效率低的技术问题。[0006] 根据本申请实施例的一个方面，提供了一种日志处理方法，包括：通过日志服务器获取目标系统在预设时间段内生成的多个日志；检测多个日志的数量是否大于目标阈值，其中，目标阈值表征日志服务器在当前负载情况下所能处理的最大日志数量；在多个日志的数量大于目标阈值的情况下，从服务器集群中调用至少一个备用服务器，并控制至少一个备用服务器与日志服务器处理多个日志。[0007] 进一步地，日志处理方法还包括：对每个日志进行格式统一化处理，得到多个第一日志，其中，每个第一日志的报文头的格式为目标报文头格式，每个第一日志的报文体的格式为目标报文体格式，报文头至少包含第一日志对应的功能描述信息，报文体至少包含第一日志对应的业务逻辑信息；识别每个第一日志中的敏感信息，并对敏感信息进行加密，得到多个第二日志，其中，敏感信息至少包括用户隐私信息；识别多个第二日志中的冗余日志，并从多个第二日志中去除冗余日志，得到至少一个目标日志，其中，冗余日志为多个第二日志中的异常日志或重复日志。[0008] 进一步地，日志处理方法还包括：检测多个第二日志中是否存在缺失目标标识字段的异常日志，其中，目标标识字段用于表征每个第二日志的唯一标识；在多个第二日志中存在异常日志的情况下，确定异常日志为冗余日志。[0009] 进一步地，日志处理方法还包括：检测每个第二日志是否为待配对日志，其中，待配对日志为需要与关联日志进行配对的日志，关联日志与待配对日志之间存在预设关联关系；在第二日志为待配对日志的情况下，检测第二日志是否配对成功；在第二日志配对失败的情况下，确定第二日志为冗余日志。[0010] 进一步地，日志处理方法还包括：检测多个第二日志中是否存在至少两个第三日志，其中，至少两个第三日志之间具有相同的目标日志信息，目标日志信息为第三日志的日志信息中除日志生成时间之外的信息；在多个第二日志中存在至少两个第三日志的情况下，根据每个第三日志的日志生成时间对至少两个第三日志进行排序，得到排序结果；根据排序结果从至少两个第三日志中确定至少一个第四日志，并确定第四日志为冗余日志。[0011] 进一步地，日志处理方法还包括：在检测多个日志的数量是否大于目标阈值之前，获取日志服务器在目标历史时间段内处理的多个历史日志，其中，目标历史时间段由多个历史子时间段组成，每个历史子时间段与多个历史日志中的至少一个历史日志相对应，每个历史子时间段的时长与预设时间段的时长相同；统计每个历史子时间段对应的历史日志数量；根据每个历史子时间段对应的历史日志数量确定每个历史子时间段对应的阈值。[0012] 进一步地，日志处理方法还包括：从多个历史子时间段中确定与预设时间段相对应的目标历史子时间段，其中，目标历史子时间段与预设时间段为不同时间周期下起始时刻和终止时刻相同的两个时间段；确定目标历史子时间段对应的阈值为目标阈值，并检测多个日志的数量是否大于目标阈值。[0013] 进一步地，日志处理方法还包括：在通过日志服务器获取目标系统在预设时间段内生成的多个日志之后，获取日志服务器的内存使用率；检测内存使用率是否大于预设阈值；在内存使用率大于预设阈值的情况下，从服务器集群中调用至少一个备用服务器与日志服务器处理多个日志。[0014] 根据本申请实施例的另一方面，还提供了一种日志处理装置，包括：获取模块，用于通过日志服务器获取目标系统在预设时间段内生成的多个日志；检测模块，用于检测多个日志的数量是否大于目标阈值，其中，目标阈值表征日志服务器在当前负载情况下所能处理的最大日志数量；调用模块，用于在多个日志的数量大于目标阈值的情况下，从服务器集群中调用至少一个备用服务器，并控制至少一个备用服务器与日志服务器处理多个日志。[0015] 根据本申请实施例的另一方面，还提供了一种电子设备，包括一个或多个处理器和存储器，存储器用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的日志处理方法。[0016] 在本申请中，采用在检测到日志的数量大于目标阈值时，自动调用备用服务器协助日志服务器处理日志的方式，通过日志服务器获取目标系统在预设时间段内生成的多个日志，然后检测多个日志的数量是否大于目标阈值，在多个日志的数量大于目标阈值的情况下，从服务器集群中调用至少一个备用服务器，并控制至少一个备用服务器与日志服务器处理多个日志。其中，目标阈值表征日志服务器在当前负载情况下所能处理的最大日志数量。[0017] 由上述内容可知，本申请通过检测日志服务器接收到的日志的数量，并在日志数量大于目标阈值时，自动调用备用服务器协助日志服务器处理日志，由于整个过程无需人工参与，因此不仅降低了人工人本，还能提高备用服务器的调用及时性，从而实现了提高日志处理效率的技术效果。[0018] 由此可见，本申请的技术方案达到了在日志服务器接收到的日志数量过多时，自动调用备用服务器协助日志服务器处理日志的目的，从而实现了提高备用服务器参与处理日志的及时率的技术效果，进而解决了现有技术中日志处理效率低的技术问题。附图说明[0019] 此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：[0020] 图1是根据本申请实施例的一种可选的日志处理方法的流程图；[0021] 图2是根据历史日志确定每个历史子时间段对应的阈值的方法流程图；[0022] 图3是根据本申请实施例的一种可选的确定目标阈值的方法流程图；[0023] 图4是根据本申请实施例的一种可选的日志处理过程的流程图；[0024] 图5是根据本申请实施例的一种可选的日志处理装置的示意图；[0025] 图6是根据本申请实施例的一种可选的电子设备的示意图。具体实施方式[0026] 为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。[0027] 需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。[0028] 另外，还需要说明的是，本公开所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。例如，本系统和相关用户或机构间设置有接口，在获取相关信息之前，需要通过接口向前述的用户或机构发送获取请求，并在接收到前述的用户或机构反馈的同意信息后，获取相关信息。[0029] 实施例1[0030] 根据本申请实施例，提供了一种日志处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。[0031] 图1是根据本申请实施例的一种可选的日志处理方法的流程图，如图1所示，该方法包括如下步骤：[0032] 步骤S101，通过日志服务器获取目标系统在预设时间段内生成的多个日志。[0033] 在步骤S101中，日志服务器为服务器集群中用于处理日志的服务器。另外，目标系统包括但不限于业务系统、渠道系统以及平台系统，其中，业务系统包括但不限于用于开展记账业务的系统、用于开展贷款授信业务的系统、用于开展账户开户业务的系统、用于开展转账业务的系统。渠道系统包括但不限于用于提交监管信息的渠道系统。平台系统包括但不限于短信平台系统、用户管理平台系统。[0034] 此外，上述的预设时间段可以自定义设置，例如，一小时、一天或者一周等。[0035] 在一种可选的实施例中，一种日志管理系统可以作为执行本申请实施例中的日志处理方法的执行主体，其中，日志管理系统至少包括上述的目标系统、日志服务器以及备用服务器，备用服务器与日志服务器都归属于上述的服务器集群。[0036] 步骤S102，检测多个日志的数量是否大于目标阈值。[0037] 在步骤S102中，日志管理系统可以通过kafka等系统对目标系统在预设时间段内生成的多个日志进行集中收集，并将收集到的所有日志存储至日志服务器中，然后日志服务器会统计接收到的所有的日志的个数，得到日志的数量。[0038] 进一步地，日志服务器在得到日志的数量之后，会判断日志的数量是否大于目标阈值，其中，目标阈值表征日志服务器在当前负载情况下所能处理的最大日志数量。例如，日志服务器会根据当前的处理器使用率、内存使用率，确定所能处理的最大日志数量，并将该最大日志数量确定为目标阈值。[0039] 步骤S103，在多个日志的数量大于目标阈值的情况下，从服务器集群中调用至少一个备用服务器，并控制至少一个备用服务器与日志服务器处理多个日志。[0040] 在步骤S103中，在日志服务器检测到日志的数量大于目标阈值的情况下，说明日志服务器在当前负载情况下已经无法高效地处理所有的日志，因此，日志管理系统会从服务器集群中调用至少一个备用服务器，并控制至少一个备用服务器与日志服务日一同处理日志。[0041] 需要说明的是，日志服务器可以计算日志的数量与目标阈值之间的差值，然后根据差值确定需要调用的备用服务器的数量，例如，如果差值位于第一区间，则需要调用一个备用服务器，如果差值位于第二区间，则需要调用两个备用服务器，其中，第二区间的最小值大于第一区间的最大值。[0042] 基于上述步骤S101至步骤S103的内容可知，在本申请中，采用在检测到日志的数量大于目标阈值时，自动调用备用服务器协助日志服务器处理日志的方式，通过日志服务器获取目标系统在预设时间段内生成的多个日志，然后检测多个日志的数量是否大于目标阈值，在多个日志的数量大于目标阈值的情况下，从服务器集群中调用至少一个备用服务器，并控制至少一个备用服务器与日志服务器处理多个日志。其中，目标阈值表征日志服务器在当前负载情况下所能处理的最大日志数量。[0043] 由上述内容可知，本申请通过检测日志服务器接收到的日志的数量，并在日志数量大于目标阈值时，自动调用备用服务器协助日志服务器处理日志，由于整个过程无需人工参与，因此不仅降低了人工人本，还能提高备用服务器的调用及时性，从而实现了提高日志处理效率的技术效果。[0044] 由此可见，本申请的技术方案达到了在日志服务器接收到的日志数量过多时，自动调用备用服务器协助日志服务器处理日志的目的，从而实现了提高备用服务器参与处理日志的及时率的技术效果，进而解决了现有技术中日志处理效率低的技术问题。[0045] 在一种可选的实施例中，图2示出了根据历史日志确定日志服务器在每个历史子时间段对应的阈值的方法流程图，如图2所示，包括如下步骤：[0046] 步骤S201，在检测多个日志的数量是否大于目标阈值之前，获取日志服务器在目标历史时间段内处理的多个历史日志。[0047] 在步骤S201中，目标历史时间段由多个历史子时间段组成，每个历史子时间段与多个历史日志中的至少一个历史日志相对应，每个历史子时间段的时长与预设时间段的时长相同。[0048] 举例而言，目标历史时间段为过去的1个自然周，每个历史子时间段的时长为一小时，所以在1个自然周中一共包含了24*7＝168个历史子时间段，每个历史子时间段分别对应了至少一个历史日志。[0049] 步骤S202，统计每个历史子时间段对应的历史日志数量。[0050] 仍以上述示例为例，日志管理系统计算每个历史子时间段对应的历史日志的个数，得到每个历史子时间段对应的历史日志数量，例如，周一的8点‑9点对应的历史日志数量为1000个，周一的13点‑14点对应的历史日志数量为500个，周三的10点‑11点对应的历史日志数量为1200个，周日的15点‑16点对应的历史日志数量为100个。[0051] 步骤S203，根据每个历史子时间段对应的历史日志数量确定每个历史子时间段对应的阈值。[0052] 可选的，在得到每个历史子时间段对应的历史日志数量之后，日志管理系统可以确定每个历史子时间段对应的阈值，例如，日志管理系统可直接确定周一的8点‑9点对应的阈值为1000，周一的13点‑14点对应的阈值为500，周三的10点‑11点对应的阈值为1200，周日的15点‑16点对应的阈值为100。[0053] 另外，在一种可选的实施例中，日志管理系统还可以通过对每个历史子时间段对应的历史日志数量进行调整，得到每个历史子时间段对应的阈值。例如，日志管理系统可直接确定周一的8点‑9点对应的阈值为1000+100＝1100，周一的13点‑14点对应的阈值为500+50＝550，周三的10点‑11点对应的阈值为1200+120＝1320，周日的15点‑16点对应的阈值为100+10＝110。[0054] 在一种可选的实施例中，图3示出了根据本申请实施例的一种可选的确定目标阈值的方法流程图。如图3所示，包括如下步骤：[0055] 步骤S301，从多个历史子时间段中确定与预设时间段相对应的目标历史子时间段。[0056] 在步骤S301中，目标历史子时间段与预设时间段为不同时间周期下起始时刻和终止时刻相同的两个时间段。[0057] 举例而言，由于预设时间段的时长与每个历史子时间段的时长相同，因此，如果预设时间段为本周一的8点‑9点，则目标历史子时间段为上周一的8点‑9点；如果预设时间段为本周三的10点‑11点，则目标历史子时间段为上周三的10点‑11点。[0058] 容易注意到的是，本周和上周为不同的时间周期，但是预设时间段和目标历史子时间段的起始时刻和终止时刻相同。另外，时间周期除了自然周之外，还可以是自然年、自然月、自然天等，本申请对此不作特别限定。[0059] 步骤S302，确定目标历史子时间段对应的阈值为目标阈值，并检测多个日志的数量是否大于目标阈值。[0060] 可选的，在步骤S302中，假设目标历史子时间段为上周一的8点‑9点，对应的阈值为1000，则说明日志服务器在上周一的8点‑9点处理的日志数量在1000条左右。本领域技术人员知晓的是，系统在运行过程中存在时间周期性，当一个系统在上周一的8点‑9点生成的日志数量为1000条左右时，如果不出现特殊情况，该系统在本周一的8点‑9点所生成的日志数量也应该在1000条左右。在此基础上，依据本申请的技术方案，可确定1000作为预设时间段对应的目标阈值，如果日志管理系统发现日志服务器当前接收到的日志数量大于了1000条，则说明出现了一些特殊情况，从而导致了日志数量增多，为了保证日志处理效率不受影响，日志管理系统此时可以自动地从服务器集群中调用备用服务器参与到日志处理的过程中，从而为日志服务器分担处理压力。[0061] 容易注意到的是，通过上述方案，只要日志管理系统发现同期时间段内的日志数量增多，日志管理系统便会调用备用服务器参与日志处理，从而不仅可以分担日志服务器的负担，而且对于前端用户而言，其在任何时间段发起业务处理请求时，所感知到的业务响应速度都是稳定的，进而还实现了提高用户使用体验的效果。[0062] 在一种可选的实施例中，在通过日志服务器获取目标系统在预设时间段内生成的多个日志之后，日志管理系统还可以获取日志服务器的内存使用率，并检测内存使用率是否大于预设阈值，在内存使用率大于预设阈值的情况下，日志管理系统从服务器集群中调用至少一个备用服务器与日志服务器处理多个日志。[0063] 可选的，预设阈值可以自定义设置，例如，80％、75％、90％。假设预设阈值设置为80％，当日志管理系统检测到日志服务器的内存使用率超过了80％，则日志管理系会从服务器集群中调用至少一个备用服务器与日志服务器共同处理多个日志，从而实现了由备用服务器为日志服务器分担日志处理压力的效果。[0064] 在一种可选的实施例中，日志管理系统还会控制至少一个备用服务器与日志服务器处理多个日志。具体的，如图4所示，日志处理过程至少包括如下步骤：[0065] 步骤S401，日志管理系统首先通过备用服务器和日志服务器对每个日志进行格式统一化处理，得到多个第一日志，其中，每个第一日志的报文头的格式为目标报文头格式，每个第一日志的报文体的格式为目标报文体格式，报文头至少包含第一日志对应的功能描述信息，报文体至少包含第一日志对应的业务逻辑信息。[0066] 在步骤S401中，由于目标系统可能包括多个系统，因此，对于来自不同系统的日志，备用服务器和日志服务器需要按照统一的格式对日志进行格式处理，具体可以针对报文头和报文体两部分进行处理，其中，报文头用于定义该日志的主要实现功能的头信息；报文体用于定义该日志实现的主要业务和逻辑。如表1所示，格式化后的日志为以下形式：[0067] 表1[0068][0069][0070] 需要注意到的是，将日志进行格式统一化处理，可以提高日志管理效率。[0071] 步骤S402，日志管理系统通过备用服务器和日志服务器识别每个第一日志中的敏感信息，并对敏感信息进行加密，得到多个第二日志，其中，敏感信息至少包括用户隐私信息。[0072] 在步骤S402中，敏感信息包括但不限于身份证号、手机号、银行卡号、邮箱地址、统一社会信息代码、用户姓名、家庭住址等信息。[0073] 通过对敏感信息进行加密，可以提高用户隐私信息的安全性。[0074] 步骤S403，日志管理系统通过备用服务器和日志服务器识别多个第二日志中的冗余日志，并从多个第二日志中去除冗余日志，得到至少一个目标日志，其中，冗余日志为多个第二日志中的异常日志或重复日志。[0075] 需要注意到的是，通过识别并去除冗余日志，可以减少备用服务器和日志服务器在后续过程中需要处理的日志数量，从而提高日志的处理效率。[0076] 其中，在一种可选的实施例中，日志管理系统通过日志服务器和备用服务器检测多个第二日志中是否存在缺失目标标识字段的异常日志，并在多个第二日志中存在异常日志的情况下，确定异常日志为冗余日志。其中，目标标识字段用于表征每个第二日志的唯一标识。[0077] 可选的，上述表1中的YwtransCode交易代码即为目标标识字段，该目标标识字段为日志的唯一标识，用于串联日志，追踪业务流向以及数据流向，例如，追踪交易链路为手机APP‑ESC‑知识图谱‑核心‑外联软件。如果某个日志中缺失了该目标标识字段，则日志管理系统将确定该日志为冗余日志。[0078] 在一种可选的实施例中，日志管理系统通过日志服务器和备用服务器还会检测每个第二日志是否为待配对日志，并在第二日志为待配对日志的情况下，检测第二日志是否配对成功，在第二日志配对失败的情况下，确定第二日志为冗余日志。其中，待配对日志为需要与关联日志进行配对的日志，关联日志与待配对日志之间存在预设关联关系。[0079] 可选的，在实际应用中，一些日志之间具有配对规则，例如，具有create‑over字段的日志为待配对日志，这些日志需要和与其存在预设关联关系的关联日志进行配对之后，才能被服务器正常处理，例如，在金融行业中常见的对账场景中，账单日志需要和销售单据日志进行匹配之后才能确定是否可以对账成功。在此基础上，如果一个待配对日志无法配对成功(例如，服务器找不到其所对应的关联日志)，则日志管理系统将确定该待配对日志为冗余日志。[0080] 在一种可选的实施例中，日志管理系统通过日志服务器和备用服务器还会检测多个第二日志中是否存在至少两个第三日志，在多个第二日志中存在至少两个第三日志的情况下，日志管理系统根据每个第三日志的日志生成时间对至少两个第三日志进行排序，得到排序结果，并根据排序结果从至少两个第三日志中确定至少一个第四日志，并确定第四日志为冗余日志。其中，至少两个第三日志之间具有相同的目标日志信息，目标日志信息为第三日志的日志信息中除日志生成时间之外的信息。[0081] 可选的，至少两个第三日志中的每个第三日志仅仅是日志生成时间不同，其他的所有日志信息则全部相同，因此，日志管理系统可以确定至少两个第三日志为报文内容重复的日志，为了提高日志处理效率，日志管理系统可以仅保留一个第三日志，将其他的第三日志确定为第四日志并进行删除。其中，具体保留哪一个第三日志可以根据日志生成时间确定，例如，保留日志生成时间最早的第三日志，或者，保留日志生成时间最晚的第三日志。[0082] 需要注意到的是，在日志服务器和备用服务器对多个日志进行处理时，首先识别出多个日志中的冗余日志，并将这些冗余日志从多个日志中删除，既可以减少后续需要处理的日志的数量，还能够提高整体的日志处理效率，从而实现了提高业务响应速度的效果，有利于提高用户使用体验。[0083] 实施例2[0084] 根据本申请实施例，还提供了一种日志处理装置，其中，图5是根据本申请实施例的一种可选的日志处理装置的示意图，如图5所示，该装置包括：获取模块501，用于通过日志服务器获取目标系统在预设时间段内生成的多个日志；检测模块502，用于检测多个日志的数量是否大于目标阈值，其中，目标阈值表征日志服务器在当前负载情况下所能处理的最大日志数量；调用模块503，用于在多个日志的数量大于目标阈值的情况下，从服务器集群中调用至少一个备用服务器，并控制至少一个备用服务器与日志服务器处理多个日志。[0085] 需要说明的是，上述获取模块501、检测模块502以及调用模块503对应于上述实施例1中的步骤S101至步骤S103，三个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。[0086] 可选的，上述调用模块还包括：第一处理单元、第一识别单元以及第二识别单元。其中，第一处理单元，用于对每个日志进行格式统一化处理，得到多个第一日志，其中，每个第一日志的报文头的格式为目标报文头格式，每个第一日志的报文体的格式为目标报文体格式，报文头至少包含第一日志对应的功能描述信息，报文体至少包含第一日志对应的业务逻辑信息；第一识别单元，用于识别每个第一日志中的敏感信息，并对敏感信息进行加密，得到多个第二日志，其中，敏感信息至少包括用户隐私信息；第二识别单元，用于识别多个第二日志中的冗余日志，并从多个第二日志中去除冗余日志，得到至少一个目标日志，其中，冗余日志为多个第二日志中的异常日志或重复日志。[0087] 可选的，上述的第二识别单元还包括：第一检测子单元和第一确定子单元。其中，第一检测子单元，用于检测多个第二日志中是否存在缺失目标标识字段的异常日志，其中，目标标识字段用于表征每个第二日志的唯一标识；第一确定子单元，用于在多个第二日志中存在异常日志的情况下，确定异常日志为冗余日志。[0088] 可选的，上述的第二识别单元还包括：第二检测子单元、第三检测子单元以及第二确定子单元。其中，第二检测子单元，用于检测每个第二日志是否为待配对日志，其中，待配对日志为需要与关联日志进行配对的日志，关联日志与待配对日志之间存在预设关联关系；第三检测子单元，用于在第二日志为待配对日志的情况下，检测第二日志是否配对成功；第二确定子单元，用于在第二日志配对失败的情况下，确定第二日志为冗余日志。[0089] 可选的，上述的第二识别单元还包括：第四检测子单元、排序子单元以及第三确定子单元。其中，第四检测子单元，用于检测多个第二日志中是否存在至少两个第三日志，其中，至少两个第三日志之间具有相同的目标日志信息，目标日志信息为第三日志的日志信息中除日志生成时间之外的信息；排序子单元，用于在多个第二日志中存在至少两个第三日志的情况下，根据每个第三日志的日志生成时间对至少两个第三日志进行排序，得到排序结果；第三确定子单元，用于根据排序结果从至少两个第三日志中确定至少一个第四日志，并确定第四日志为冗余日志。[0090] 可选的，日志处理装置还包括：第一获取模块、统计模块以及确定模块。其中，第一获取模块，用于获取日志服务器在目标历史时间段内处理的多个历史日志，其中，目标历史时间段由多个历史子时间段组成，每个历史子时间段与多个历史日志中的至少一个历史日志相对应，每个历史子时间段的时长与预设时间段的时长相同；统计模块，用于统计每个历史子时间段对应的历史日志数量；确定模块，用于根据每个历史子时间段对应的历史日志数量确定每个历史子时间段对应的阈值。[0091] 可选的，上述的检测模块还包括：第一确定单元和第二确定单元。其中，第一确定单元，用于从多个历史子时间段中确定与预设时间段相对应的目标历史子时间段，其中，目标历史子时间段与预设时间段为不同时间周期下起始时刻和终止时刻相同的两个时间段；第二确定单元，用于确定目标历史子时间段对应的阈值为目标阈值，并检测多个日志的数量是否大于目标阈值。[0092] 可选的，日志处理装置还包括：第二获取模块、第一检测模块以及第一调用模块。其中，第二获取模块，用于获取日志服务器的内存使用率；第一检测模块，用于检测内存使用率是否大于预设阈值；第一调用模块，用于在内存使用率大于预设阈值的情况下，从服务器集群中调用至少一个备用服务器与日志服务器处理多个日志。[0093] 实施例3[0094] 根据本申请实施例，还提供了一种电子设备实施例，其中，图6是根据本申请实施例的一种可选的电子设备的示意图，如图6所示，电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：[0095] 通过日志服务器获取目标系统在预设时间段内生成的多个日志；检测多个日志的数量是否大于目标阈值，其中，目标阈值表征日志服务器在当前负载情况下所能处理的最大日志数量；在多个日志的数量大于目标阈值的情况下，从服务器集群中调用至少一个备用服务器，并控制至少一个备用服务器与日志服务器处理多个日志。[0096] 可选的，处理器执行程序时还实现以下步骤：对每个日志进行格式统一化处理，得到多个第一日志，其中，每个第一日志的报文头的格式为目标报文头格式，每个第一日志的报文体的格式为目标报文体格式，报文头至少包含第一日志对应的功能描述信息，报文体至少包含第一日志对应的业务逻辑信息；识别每个第一日志中的敏感信息，并对敏感信息进行加密，得到多个第二日志，其中，敏感信息至少包括用户隐私信息；识别多个第二日志中的冗余日志，并从多个第二日志中去除冗余日志，得到至少一个目标日志，其中，冗余日志为多个第二日志中的异常日志或重复日志。[0097] 可选的，处理器执行程序时还实现以下步骤：检测多个第二日志中是否存在缺失目标标识字段的异常日志，其中，目标标识字段用于表征每个第二日志的唯一标识；在多个第二日志中存在异常日志的情况下，确定异常日志为冗余日志。[0098] 可选的，处理器执行程序时还实现以下步骤：检测每个第二日志是否为待配对日志，其中，待配对日志为需要与关联日志进行配对的日志，关联日志与待配对日志之间存在预设关联关系；在第二日志为待配对日志的情况下，检测第二日志是否配对成功；在第二日志配对失败的情况下，确定第二日志为冗余日志。[0099] 可选的，处理器执行程序时还实现以下步骤：检测多个第二日志中是否存在至少两个第三日志，其中，至少两个第三日志之间具有相同的目标日志信息，目标日志信息为第三日志的日志信息中除日志生成时间之外的信息；在多个第二日志中存在至少两个第三日志的情况下，根据每个第三日志的日志生成时间对至少两个第三日志进行排序，得到排序结果；根据排序结果从至少两个第三日志中确定至少一个第四日志，并确定第四日志为冗余日志。[0100] 可选的，处理器执行程序时还实现以下步骤：在检测多个日志的数量是否大于目标阈值之前，获取日志服务器在目标历史时间段内处理的多个历史日志，其中，目标历史时间段由多个历史子时间段组成，每个历史子时间段与多个历史日志中的至少一个历史日志相对应，每个历史子时间段的时长与预设时间段的时长相同；统计每个历史子时间段对应的历史日志数量；根据每个历史子时间段对应的历史日志数量确定每个历史子时间段对应的阈值。[0101] 可选的，处理器执行程序时还实现以下步骤：从多个历史子时间段中确定与预设时间段相对应的目标历史子时间段，其中，目标历史子时间段与预设时间段为不同时间周期下起始时刻和终止时刻相同的两个时间段；确定目标历史子时间段对应的阈值为目标阈值，并检测多个日志的数量是否大于目标阈值。[0102] 可选的，处理器执行程序时还实现以下步骤：在通过日志服务器获取目标系统在预设时间段内生成的多个日志之后，获取日志服务器的内存使用率；检测内存使用率是否大于预设阈值；在内存使用率大于预设阈值的情况下，从服务器集群中调用至少一个备用服务器与日志服务器处理多个日志。[0103] 上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。[0104] 在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。[0105] 在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。[0106] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。[0107] 另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。[0108] 所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read‑OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。[0109] 以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

专利地区：吉林

专利申请日期：2022-11-24

专利公开日期：2024-11-29

专利公告号：CN115866067B