基于网络节点风险评估的告警过滤方法、系统及介质

专利名称：基于网络节点风险评估的告警过滤方法、系统及介质

专利类型：实用新型专利

专利申请号：CN202311206887.5

专利申请（专利权）人：中孚信息股份有限公司
权利人地址：山东省济南市高新区经十路7000号汉峪金谷A1-5号楼25层

专利发明（设计）人：卢延科,刘洋洋,张树辉

专利摘要：本申请公开了一种基于网络节点风险评估的告警过滤方法、系统及介质，主要涉及告警过滤技术领域，用以解决现有的方法需要大量的人力物力、误报率高、对数据量的要求比较大，训练和更新周期长等问题。包括：按照网络节点IP生成事件文档，进而确定网络事件风险值；获得网络节点拓扑重要度；获得网络节点影响度；确定网络节点风险值；根据网络事件的发生频次、网络事件风险值、网络节点风险值、网络事件总数、网络节点总数和网络事件种类，获得网络节点告警列表和网络事件告警列表；基于网络节点告警列表和网络事件告警列表，生成去重集合，并以网络事件的排列顺序为第一基准，以网络节点的排列顺序为第二基准，形成最终告警排序结果。

主权利要求：基于网络节点风险评估的告警过滤方法、系统及介质
技术领域
[0001] 本申请涉及告警过滤技术领域，尤其涉及一种基于网络节点风险评估的告警过滤方法、系统及介质。
背景技术
[0002] 告警过滤在网络安全监控系统中起着关键作用，帮助识别和过滤掉噪声和重复的告警，以减少运维人员的工作量和提高运维效率。但目前存在一个非常普遍的现象：“误告警泛滥”，而“真”告警容易被淹没。研究发现其中只有3.05%的告警是“真”告警。同时发现误告警泛滥根源在于单靠现有告警产品的能力很难配置出行之有效的告警规则。
[0003] 目前，告警过滤可以分为以下几类：1.基于规则的过滤。2.机器学习方法，自动识别和过滤出相对较低风险的告警。3.异常检测和行为分析：通过建立基准行为模型或统计模型来检测与预期行为不一致的事件。4.自适应告警过滤：这根据当前的威胁情报、攻击趋势和网络拓扑等因素来优化告警过滤。5.自动化和智能化：利用人工智能等技术，自动识别和解释告警。
[0004] 但是，上述告警过滤方法1.基于规则的方法：需要大量的人力物力，另外，新规则的制定存在严重的滞后性。2.机器学习方法：需要人工对历史数据进行标注，同样需要大量的人力物力。3.异常检测和行为分析：真正的异常只占很小一部分，存在很高误报率。4.自适应告警过滤：对异常趋势的变化判断存在很大的误差。5.自动化和智能化：对数据量的要求比较大，训练和更新周期长。
发明内容
[0005] 针对现有技术的上述不足，本申请提供一种基于网络节点风险评估的告警过滤方法、系统及介质，以解决现有的方法需要大量的人力物力、误报率高、对数据量的要求比较大，训练和更新周期长等问题。
[0006] 第一方面，本申请提供了一种基于网络节点风险评估的告警过滤方法，方法包括：基于网络节点IP，将预设时间间隔内的网络事件进行聚合；按照网络节点IP生成事件文档；
根据事件文档、事件文档中的网络事件和IDF公式，确定网络事件风险值；获取网络节点对应的有向图的基本转移矩阵、第一阻尼系数，进而获得网络节点拓扑重要度；获取预设时间间隔内网络节点对应的访问用户数、各个网络节点被访问频次、全部网络节点被访问总频次、第二阻尼系数和网络节点总数，以获得网络节点影响度；获得网络节点对应的网络事件总数、网络事件的发生频次、第三阻尼系数、网络事件风险值、网络节点拓扑重要度和网络节点影响度，确定网络节点风险值；根据网络事件的发生频次、网络事件风险值、网络节点风险值、网络事件总数、网络节点总数和网络事件种类，获得网络节点告警列表和网络事件告警列表；基于网络节点告警列表和网络事件告警列表，生成节点‑事件去重集合，并以网络事件的排列顺序为第一基准，以网络节点的排列顺序为第二基准，形成最终告警排序结果。

[0007] 进一步地，根据事件文档、事件文档中的网络事件和IDF公式，确定网络事件风险值，具体包括：根据IDF公式： ， ，计算网络事件对应的IDF值；其中， 为第i个网络事件对应的IDF值，a为任一事件文档，A为所有事件文档集合，|A|是所有事件文档的数量，N为网络事件集合，|N|是事件文档中网络事件的数量， ；根据事件扩散度公式： ，
，计算网络事件的扩散度；其中， 为第i个网络事件的扩散度，
为预设时间间隔内 的平均值；根据预设风险值计算公式：
，确定网络事件风险值；其中， 为第i个网络事件风险值。

[0008] 进一步地，获取网络节点对应的有向图的基本转移矩阵、第一阻尼系数，进而获得网络节点拓扑重要度，具体包括：获取网络节点和网络节点之间的连接方式，以生成网络节点对应的有向图，进而基于网络节点对应的有向图获得基本转移矩阵；通过预设参数编辑界面获取第一阻尼系数；通过预设拓扑重要度计算公式： ，计算网络节点拓扑重要度；其中，d为第一阻尼系数；M为基本转移矩阵； 为上一次迭代的PR值，且 的初始值为1；n为网络节点总数；E为所有分量为1的n维向量。

[0009] 进一步地，获取预设时间间隔内网络节点对应的访问用户数、各个网络节点被访问频次、全部网络节点被访问总频次、第二阻尼系数和网络节点总数，以获得网络节点影响度，具体包括：通过预设参数编辑界面，获得第二阻尼系数；通过预设统计工具获取预设时间间隔内网络节点生成的网络日志，以通过网络日志，统计预设时间间隔内网络节点对应的访问用户数、各个网络节点被访问频次、全部网络节点被访问总频次和网络节点总数；通过预设影响度公式： ，获得网络节点影响度；其中，IF为网络节点影响度， 为第二阻尼系数，UV为预设时间间隔内网络节点对应的访问用户数，UF各个网络节点被访问频次，TF全部网络节点被访问总频次，n为网络节点总数。

[0010] 进一步地，获得网络节点对应的网络事件总数、网络事件的发生频次、第三阻尼系数、网络事件风险值、网络节点拓扑重要度和网络节点影响度，确定网络节点风险值，具体包括：通过预设参数编辑界面，获取第三阻尼系数；通过预设统计工具获取预设时间间隔内网络节点生成的网络日志，以通过网络日志，统计预设时间间隔内各个网络事件的发生频次；通过预设风险值公式： ，确定网络节点风险值；其中，NR为网络节点风险值，为第三阻尼系数，PR为网络节点拓扑重要度，IF为网络节点影响度， 为第i个网络事件风险值， 为第i个网络事件的发生频次，N为网络事件集合。

[0011] 进一步地，根据网络事件的发生频次、网络事件风险值、网络节点风险值、网络事件总数、网络节点总数和网络事件种类，获得网络节点告警列表和网络事件告警列表，具体包括：通过预设统计工具获取预设时间间隔内网络节点生成的网络日志，以通过网络日志，统计预设时间间隔内网络事件总数、网络节点总数、网络事件种类；通过网络节点平均风险值计算公式： ，获得网络节点平均风险值；其中，N为网络事件集合，n为网络节点总数，m为网络事件种类， 为第i个网络事件风险值， 为第i个网络事件的发生频次；通过预设网络节点告警激活函数： ，获得节点告
警激活值，以在节点告警激活值大于预设节点激活阈值时，将网络节点和节点告警激活值添加至网络节点告警列表；其中，θ为预设调节参数，NR为网络节点风险值， 为告警激活值；通过网络事件平均风险值计算公式： ，获得网络事
件平均风险值；通过预设网络事件告警激活函数： ，获得事件告
警激活值，以在事件告警激活值大于预设事件激活阈值时，将网络节点和事件告警激活值添加至网络节点告警列表。

[0012] 第二方面，本申请提供了一种基于网络节点风险评估的告警过滤系统，系统包括：确定模块，用于基于网络节点IP，将预设时间间隔内的网络事件进行聚合；按照网络节点IP生成事件文档；根据事件文档、事件文档中的网络事件和IDF公式，确定网络事件风险值；获得模块，用于获取网络节点对应的有向图的基本转移矩阵、第一阻尼系数，进而获得网络节点拓扑重要度；获取预设时间间隔内网络节点对应的访问用户数、各个网络节点被访问频次、全部网络节点被访问总频次、第二阻尼系数和网络节点总数，以获得网络节点影响度；
获得网络节点对应的网络事件总数、网络事件的发生频次、第三阻尼系数、网络事件风险值、网络节点拓扑重要度和网络节点影响度，确定网络节点风险值；根据网络事件的发生频次、网络事件风险值、网络节点风险值、网络事件总数、网络节点总数和网络事件种类，获得网络节点告警列表和网络事件告警列表；形成模块，用于基于网络节点告警列表和网络事件告警列表，生成节点‑事件去重集合，并以网络事件的排列顺序为第一基准，以网络节点的排列顺序为第二基准，形成最终告警排序结果。

[0013] 进一步地，确定模块包括事件计算单元，用于根据IDF公式：， ，计算网络事件对应的IDF值；其中，a为任一事件文档，A为
所有事件文档集合，|A|是所有事件文档的数量N为网络事件集合，|N|是事件文档中网络事件的数量；根据事件扩散度公式： ， ，计算
网络事件的扩散度；其中， 为第i个网络事件的扩散度， 为预设时间间隔内的平均值；根据预设风险值计算公式： ，确定网络事件风险
值；其中， 为第i个网络事件风险值。

[0014] 进一步地，获得模块包括拓扑计算单元，用于获取网络节点和网络节点之间的连接方式，以生成网络节点对应的有向图，进而基于网络节点对应的有向图获得基本转移矩阵；通过预设参数编辑界面获取第一阻尼系数；通过预设拓扑重要度计算公式：，计算网络节点拓扑重要度；其中，d为第一阻尼系数；M为基本转移
矩阵； 为上一次迭代的PR值，且 的初始值为1；n为网络节点总数；E为所有分量为1的n维向量。

[0015] 第三方面，本申请提供了一种非易失性计算机存储介质，其上存储有计算机指令，计算机指令在被执行时实现如上述任一项的一种基于网络节点风险评估的告警过滤方法。
[0016] 本领域技术人员能够理解的是，本申请至少具有如下有益效果：
[0017] 1.本申请计算速度快，并没有高复杂度的计算公式，可以快速适应业务的迁移或变化。2.本申请是无监督的，不需要太多的人工成本。3.本申请创新性的将nlp（NaturalLanguageProcessing自然语言处理）中的TF‑IDF方法应用到了事件风险评估中，并有效的对事件风险进行了评估。4.本申请结合了网络节点风险和事件自身风险，对事件告警重要性进行了有效排序。5.本申请可以有效的对告警进行过滤。
附图说明
[0018] 下面参照附图来描述本公开的部分实施例，附图中：
[0019] 图1是本申请实施例提供的一种基于网络节点风险评估的告警过滤方法流程图。
[0020] 图2是本申请实施例提供的一种基于网络节点风险评估的告警过滤系统内部结构示意图。
具体实施方式
[0021] 本领域技术人员应当理解的是，下文所描述的实施例仅仅是本公开的优选实施例，并不表示本公开仅能通过该优选实施例实现，该优选实施例仅仅是用于解释本公开的技术原理，并非用于限制本公开的保护范围。基于本公开提供的优选实施例，本领域普通技术人员在没有付出创造性劳动的情况下所获得的其它所有实施例，仍应落入到本公开的保护范围之内。
[0022] 还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0023] 下面通过附图对本申请实施例提出的技术方案进行详细的说明。
[0024] 本申请实施例提供了一种基于网络节点风险评估的告警过滤方法，如图1所示，本申请实施例提供的方法，主要包括以下步骤：
[0025] 步骤110、基于网络节点IP，将预设时间间隔内的网络事件进行聚合；按照网络节点IP生成事件文档；根据事件文档、事件文档中的网络事件和IDF公式，确定网络事件风险值。
[0026] 需要说明的是，网络节点为互联网中的一个网络设备，它可以是计算机、服务器、路由器、交换机等网络设备。网络节点IP为网络设备自带具有唯一性的IP编号。预设时间间隔可以为任意可行的时间间隔。网络事件为网络设备产生的网络安全事件，当网络节点没有产生网络事件时，事件文档为空文档。另外，网络事件至少包含网络事件名称。事件文档的内容可以为网络事件名称或代号，用空格间隔。
[0027] 本步骤中，IDF（InverseDocumentFrequency）为逆文档频率技术，“根据事件文档、事件文档中的网络事件和IDF公式，确定网络事件风险值”，可以具体为：
[0028] 根据IDF公式： ， ，计算网络事件对应的IDF值；其中， 为第i个网络事件对应的IDF值，a为任一事件文档，A为所有事件文档集合，|A|是所有事件文档的数量，N为网络事件集合，|N|是事件文档中网络事件的数量， ；根据事件扩散度公式： ，
，计算网络事件的扩散度；其中， 为第i个网络事件的扩散度，
为预设时间间隔内 的平均值；根据预设风险值计算公式：
，确定网络事件风险值；其中， 为第i个网络事件风险值。

[0029] 步骤120、获取网络节点对应的有向图的基本转移矩阵、第一阻尼系数，进而获得网络节点拓扑重要度。
[0030] 需要说明的是，第一阻尼系数的具体内容可由本领域技术人员根据实际情况确定，一般取值为0.85。有向图为有网络节点、网络节点间超链接的转移概率组成的图。由于随意游走的有向图由两部分组成：（1）一个结点到其连出的所有结点的转移概率相等的基本转移矩阵；（2）完全随意的随机转移矩阵。
[0031] 本申请通过获取网络节点和网络节点之间的连接方式，以生成网络节点对应的有向图，进而基于网络节点对应的有向图获得基本转移矩阵。需要说明的是，生成有向图，获得基本转移矩阵的方法可由现有技术实现，本申请对此不做限定。
[0032] 作为示例地，本步骤可以具体为：获取网络节点和网络节点之间的连接方式，以生成网络节点对应的有向图，进而基于网络节点对应的有向图获得基本转移矩阵；通过预设参数编辑界面获取第一阻尼系数；通过预设拓扑重要度计算公式：，计算网络节点拓扑重要度；其中，d为第一阻尼系数；M为基本转移矩阵； 为上一次迭代的PR值，且 的初始值为1；n为网络节点总数；E为所有分量为1的n维向量。

[0033] 步骤130、获取预设时间间隔内网络节点对应的访问用户数、各个网络节点被访问频次、全部网络节点被访问总频次、第二阻尼系数和网络节点总数，以获得网络节点影响度。
[0034] 需要说明的是，第二阻尼系数的具体内容可由本领域技术人员根据实际情况确定。获取预设时间间隔内网络节点对应的访问用户数、各个网络节点被访问频次、全部网络节点被访问总频次和网络节点总数的方法通过预设统计工具自行统计。需要说明的是，预设统计工具为现有工具，任何较为智能的系统都能实现，本申请对预设统计工具的具体统计过程不做限定。
[0035] 作为示例地，本步骤可以具体为：通过预设参数编辑界面，获得第二阻尼系数；通过预设统计工具获取预设时间间隔内网络节点生成的网络日志，以通过网络日志，统计预设时间间隔内网络节点对应的访问用户数、各个网络节点被访问频次、全部网络节点被访问总频次和网络节点总数；通过预设影响度公式： ，获得网络节点影响度；其中，IF为网络节点影响度， 为第二阻尼系数，UV为预设时间间隔内网络节点对应的访问用户数，UF各个网络节点被访问频次，TF全部网络节点被访问总频次，n为网络节点总数。

[0036] 步骤140、获得网络节点对应的网络事件总数、网络事件的发生频次、第三阻尼系数、网络事件风险值、网络节点拓扑重要度和网络节点影响度，确定网络节点风险值。
[0037] 需要说明的是，第三阻尼系数的具体内容可由本领域技术人员根据实际情况确定。获得网络节点对应的网络事件总数、网络事件的发生频次的方法通过预设统计工具自行统计。
[0038] 作为示例地，本步骤可以具体为：通过预设参数编辑界面，获取第三阻尼系数；通过预设统计工具获取预设时间间隔内网络节点生成的网络日志，以通过网络日志，统计预设时间间隔内各个网络事件的发生频次；通过预设风险值公式：，确定网络节点风险值；其中，NR为网络节点风险值，
为第三阻尼系数，PR为网络节点拓扑重要度，IF为网络节点影响度， 为第i个网络事件风险值， 为第i个网络事件的发生频次，N为网络事件集合。

[0039] 步骤150、根据网络事件的发生频次、网络事件风险值、网络节点风险值、网络事件总数、网络节点总数和网络事件种类，获得网络节点告警列表和网络事件告警列表。
[0040] 需要说明的是，获得预设时间间隔内网络事件总数、网络节点总数、网络事件种类的方法通过预设统计工具自行统计。
[0041] 作为示例地，本步骤可以具体为：
[0042] （1）获得网络节点告警列表：通过预设统计工具获取预设时间间隔内网络节点生成的网络日志，以通过网络日志，统计预设时间间隔内网络事件总数、网络节点总数、网络事件种类；通过网络节点平均风险值计算公式： ，获得网络节点平均风险值；其中，N为网络事件集合，n为网络节点总数，m为网络事件种类， 为第i个网络事件风险值， 为第i个网络事件的发生频次；通过预设网络节点告警激活函数：
，获得节点告警激活值，以在节点告警激活值大于预设节点
激活阈值时，将网络节点和节点告警激活值添加至网络节点告警列表；其中，θ为预设调节参数，NR为网络节点风险值， 为告警激活值。

[0043] （2）获得网络事件告警列表：通过网络事件平均风险值计算公式：，获得网络事件平均风险值；通过预设网络事件告警激活函数：
，获得事件告警激活值，以在事件告警激活值大于预设事件激
活阈值时，将网络节点和事件告警激活值添加至网络节点告警列表。

[0044] 步骤160、基于网络节点告警列表和网络事件告警列表，生成节点‑事件去重集合，并以网络事件的排列顺序为第一基准，以网络节点的排列顺序为第二基准，形成最终告警排序结果。
[0045] 需要说明的是，生成节点‑事件去重集合的方法可以为现有的LinkedHashSet去重方法。节点‑事件去重集合为包含网络节点和网络事件且去除重合数据的集合。
[0046] 除此之外，图2为本申请实施例提供的一种基于网络节点风险评估的告警过滤系统。如图2所示，本申请实施例提供的系统，主要包括：
[0047] 通过系统中的确定模块210基于网络节点IP，将预设时间间隔内的网络事件进行聚合；按照网络节点IP生成事件文档；根据事件文档、事件文档中的网络事件和IDF公式，确定网络事件风险值。
[0048] 需要说明的是，确定模块210可以为任意可行的能够通过数据计算确定网络事件风险值的设备或装置等。
[0049] 本系统“根据事件文档、事件文档中的网络事件和IDF公式，确定网络事件风险值”，可以具体为：通过确定模块210中的事件计算单元211，
[0050] 根据IDF公式： ， ，计算网络事件对应的IDF值；其中，a为任一事件文档，A为所有事件文档集合，|A|是所有事件文档的数量N为网络事件集合，|N|是事件文档中网络事件的数量；根据事件扩散度公式：
， ，计算网络事件的扩散度；其中， 为第
i个网络事件的扩散度， 为预设时间间隔内 的平均值；根据预设风险值计算公式： ，确定网络事件风险值；其中， 为第i个网络事件风险值。

[0051] 需要说明的是，事件计算单元211可以为任意可行的能够进行网络事件风险值计算的设备或装置等。
[0052] 通过系统中的获得模块220获取网络节点对应的有向图的基本转移矩阵、第一阻尼系数，进而获得网络节点拓扑重要度；获取预设时间间隔内网络节点对应的访问用户数、各个网络节点被访问频次、全部网络节点被访问总频次、第二阻尼系数和网络节点总数，以获得网络节点影响度；获得网络节点对应的网络事件总数、网络事件的发生频次、第三阻尼系数、网络事件风险值、网络节点拓扑重要度和网络节点影响度，确定网络节点风险值；根据网络事件的发生频次、网络事件风险值、网络节点风险值、网络事件总数、网络节点总数和网络事件种类，获得网络节点告警列表和网络事件告警列表。
[0053] 需要说明的是，获得模块220可以为任意可行的能够通过数据处理获得网络节点告警列表和网络事件告警列表的设备或装置等。
[0054] 其中，获取网络节点对应的有向图的基本转移矩阵、第一阻尼系数，进而获得网络节点拓扑重要度，可以具体为：通过获得模块220中的拓扑计算单元221，获取网络节点和网络节点之间的连接方式，以生成网络节点对应的有向图，进而基于网络节点对应的有向图获得基本转移矩阵；通过预设参数编辑界面获取第一阻尼系数；通过预设拓扑重要度计算公式： ，计算网络节点拓扑重要度；其中，d为第一阻尼系数；M为基本转移矩阵； 为上一次迭代的PR值，且 的初始值为1；n为网络节点总数；E为所有分量为1的n维向量。

[0055] 需要说明的是，拓扑计算单元221为任意可行的能够进行预设拓扑重要度计算的设备或装置等。
[0056] 通过系统中的形成模块230基于网络节点告警列表和网络事件告警列表，生成节点‑事件去重集合，并以网络事件的排列顺序为第一基准，以网络节点的排列顺序为第二基准，形成最终告警排序结果。
[0057] 需要说明的是，形成模块230可以为任意可行的能够进行数据去重，以及数据排序的设备或装置等。
[0058] 除此之外，本申请实施例还提供了一种非易失性计算机存储介质，其上存储有可执行指令，在该可执行指令被执行时，实现如上述的一种基于网络节点风险评估的告警过滤方法。
[0059] 至此，已经结合前文的多个实施例描述了本公开的技术方案，但是，本领域技术人员容易理解的是，本公开的保护范围并不仅限于这些具体实施例。在不偏离本公开技术原理的前提下，本领域技术人员可以对上述各个实施例中的技术方案进行拆分和组合，也可以对相关技术特征作出等同的更改或替换，凡在本公开的技术构思和/或技术原理之内所做的任何更改、等同替换、改进等都将落入本公开的保护范围之内。

专利地区：山东

专利申请日期：2023-09-19

专利公开日期：2023-12-15

专利公告号：CN116962080B