数据的验证方法、装置、系统及计算机可读存储介质

专利名称：数据的验证方法、装置、系统及计算机可读存储介质

专利类型：实用新型专利

专利申请号：CN202011480066.7

专利申请（专利权）人：深圳前海微众银行股份有限公司
权利人地址：广东省深圳市前海深港合作区前湾一路1号A栋201室(入驻深圳市前海商务秘书有限公司)

专利发明（设计）人：朱晨鸣

专利摘要：本申请涉及金融科技技术领域，公开了一种数据的验证方法、装置、系统及计算机可读存储介质，该方法的步骤包括：响应用户指令，基于用户指令和无监督异常识别算法确定对应的异常度数据；确定业务目标数据，基于异常度数据和业务目标数据构建对应的数据验证模型；基于数据验证模型验证无监督异常识别算法的有效性。本申请通过用户指令和无监督异常识别算法共同确定异常度数据，从而保证了异常度数据的准确性。再通过异常度数据和业务目标数据构建数据验证模型，并通过数据验证模型验证无监督异常识别算法的有效性，保证了数据验证模型与业务目标数据之间的关联性。

主权利要求：
1.一种数据的验证方法，其特征在于，所述数据的验证方法包括步骤：响应用户指令，基于所述用户指令和无监督异常识别算法确定对应的异常度数据，其中，所述异常度数据为所述无监督异常识别算法得到的异常数据的异常数值，所述异常数值用于表征所述异常数据的异常程度；
确定业务目标数据，基于所述异常度数据和所述业务目标数据构建对应的数据验证模型，所述业务目标数据指的是待验证的业务场景数据；
基于所述数据验证模型验证所述无监督异常识别算法的有效性；
其中，所述基于所述数据验证模型验证所述无监督异常识别算法的有效性的步骤包括：确定所述数据验证模型中所述异常度数据和所述业务目标数据的关联性程度，基于所述关联性程度验证所述无监督异常识别算法的有效性；
所述确定业务目标数据，基于所述异常度数据和所述业务目标数据构建对应的数据验证模型的步骤包括：将所述异常度数据确定为自变量数据，并检测是否存在业务数据标签；
若检测到存在业务数据标签，则基于所述业务数据标签确定所述业务目标数据，并将所述业务目标数据确定为目标变量数据；
基于所述自变量数据和所述目标变量数据构建所述数据验证模型。
2.如权利要求1所述数据的验证方法，其特征在于，所述基于所述关联性程度验证所述无监督异常识别算法的有效性的步骤包括：确定所述关联性程度是否大于或者等于预设关联程度；
若确定所述关联性程度大于或者等于所述预设关联程度，则确定所述无监督异常识别算法有效；
若确定所述关联性程度小于所述预设关联程度，则确定所述无监督异常识别算法无效。
3.如权利要求1所述数据的验证方法，其特征在于，所述检测是否存在可识别的业务数据标签的步骤之后，还包括：若检测到不存在业务数据标签，则基于所述用户指令确定所述业务目标数据，并将所述业务目标数据确定为所述目标变量数据。
4.如权利要求1至3任一项所述数据的验证方法，其特征在于，所述基于所述用户指令和无监督异常识别算法确定对应的异常度数据的步骤包括：基于所述用户指令确定对应的用户数据和所述用户数据对应的数据特征；
基于所述无监督异常识别算法和所述数据特征对所述用户数据进行数据分析，确定所述用户数据的异常点数据；
基于所述异常点数据确定对应的异常度数据。
5.如权利要求4所述数据的验证方法，其特征在于，所述基于所述用户指令确定对应的用户数据的步骤包括：确定所述用户指令中的数据库信息、数据内容信息、数据分布信息和数据量级信息；
基于所述数据库信息、所述数据内容信息、所述数据分布信息和所述数据量级信息确定所述用户指令对应的用户数据。
6.一种数据的验证装置，其特征在于，所述数据的验证装置包括：确定模块，用于响应用户指令，基于所述用户指令和无监督异常识别算法确定对应的异常度数据，其中，所述异常度数据为所述无监督异常识别算法得到的异常数据的异常数值，所述异常数值用于表征所述异常数据的异常程度；
构建模块，用于确定业务目标数据，基于所述异常度数据和所述业务目标数据构建对应的数据验证模型，所述业务目标数据指的是待验证的业务场景数据；
验证模块，用于基于所述数据验证模型验证所述无监督异常识别算法的有效性，还用于确定所述数据验证模型中所述异常度数据和所述业务目标数据的关联性程度，基于所述关联性程度验证所述无监督异常识别算法的有效性；
其中，所述构建模块还用于：
将所述异常度数据确定为自变量数据，并检测是否存在业务数据标签；
若检测到存在业务数据标签，则基于所述业务数据标签确定所述业务目标数据，并将所述业务目标数据确定为目标变量数据；
基于所述自变量数据和所述目标变量数据构建所述数据验证模型。
7.一种数据的验证系统，其特征在于，所述数据的验证系统包括存储器、处理器和存储在所述存储器上并在所述处理器上运行的数据的验证程序，所述数据的验证程序被所述处理器执行时实现如权利要求1至5中任一项所述的数据的验证方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据的验证程序，所述数据的验证程序被处理器执行时实现如权利要求1至5中任一项所述的数据的验证方法的步骤。 说明书 : 数据的验证方法、装置、系统及计算机可读存储介质技术领域[0001] 本申请涉及金融科技(Fintech)数据处理技术领域，尤其涉及一种数据的验证方法、装置、系统及计算机可读存储介质。背景技术[0002] 随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对数据的验证技术提出了更高的要求。[0003] 目前小微企业风险管理的数据验证方法主要是通过专家经验验证和无监督算法验证，专家经验验证主要是根据主观经验进行评判，而不是根据统计分析或者模型算法来进行客观的计算，如，根据相关经验判断特征重要性，根据相关经验进行变量加权。无监督算法验证通常为无监督异常检测，异常检测是发现样本之间的差异性。然而，专家经验验证需要大量的行业经验积累，数据不具有说服性，无监督算法验证从数据学习出来的模型和真实的业务目标之间并不一定有直接联系。[0004] 上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。发明内容[0005] 本申请的主要目的在于提供一种数据的验证方法、装置、系统及计算机可读存储介质，旨在保证数据模型与业务目标数据之间的关联性。[0006] 为实现上述目的，本申请提供一种数据的验证方法，所述数据的验证方法包括步骤：[0007] 响应用户指令，基于所述用户指令和无监督异常识别算法确定对应的异常度数据；[0008] 确定业务目标数据，基于所述异常度数据和所述业务目标数据构建对应的数据验证模型；[0009] 基于所述数据验证模型验证所述无监督异常识别算法的有效性。[0010] 可选地，所述基于所述数据验证模型验证所述无监督异常识别算法的有效性的步骤包括：[0011] 确定所述数据验证模型中所述异常度数据和所述业务目标数据的关联性程度，基于所述关联性程度验证所述无监督异常识别算法的有效性。[0012] 可选地，所述基于所述关联性程度验证所述无监督异常识别算法的有效性的步骤包括：[0013] 确定所述关联性程度是否大于或者等于预设关联程度；[0014] 若确定所述关联性程度大于或者等于所述预设关联程度，则确定所述无监督异常识别算法有效；[0015] 若确定所述关联性程度小于所述预设关联程度，则确定所述无监督异常识别算法无效。[0016] 可选地，所述确定业务目标数据，基于所述异常度数据和所述业务目标数据构建对应的数据验证模型的步骤包括：[0017] 将所述异常度数据确定为自变量数据，并检测是否存在业务数据标签；[0018] 若检测到存在业务数据标签，则基于所述业务数据标签确定所述业务目标数据，并将所述业务目标数据确定为目标变量数据；[0019] 基于所述自变量数据和所述目标变量数据构建所述数据验证模型。[0020] 可选地，所述检测是否存在可识别的业务数据标签的步骤之后，还包括：[0021] 若检测到不存在业务数据标签，则基于所述用户指令确定所述业务目标数据，并将所述业务目标数据确定为所述目标变量数据。[0022] 可选地，所述基于所述用户指令和无监督异常识别算法确定对应的异常度数据的步骤包括：[0023] 基于所述用户指令确定对应的用户数据和所述用户数据对应的数据特征；[0024] 基于所述无监督异常识别算法和所述数据特征对所述用户数据进行数据分析，确定所述用户数据的异常点数据；[0025] 基于所述异常点数据确定对应的异常度数据。[0026] 可选地，所述基于所述用户指令确定对应的用户数据的步骤包括：[0027] 确定所述用户指令中的数据库信息、数据内容信息、数据分布信息和数据量级信息；[0028] 基于所述数据库信息、所述数据内容信息、所述数据分布信息和所述数据量级信息确定所述用户指令对应的用户数据。[0029] 本申请实施例还提供一种数据的验证装置，其特征在于，所述数据的验证装置包括：[0030] 确定模块，用于响应用户指令，基于所述用户指令和无监督异常识别算法确定对应的异常度数据；[0031] 构建模块，用于确定业务目标数据，基于所述异常度数据和所述业务目标数据构建对应的数据验证模型；[0032] 验证模块，用于基于所述数据验证模型验证所述无监督异常识别算法的有效性。[0033] 本申请实施例还提供一种数据的验证系统，所述数据的验证系统包括存储器、处理器和存储在所述存储器上并在所述处理器上运行的数据的验证程序，所述数据的验证程序被所述处理器执行时实现如上所述的数据的验证方法的步骤。[0034] 此外，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据的验证程序，所述数据的验证程序被处理器执行时实现如上所述的数据的验证方法的步骤。[0035] 本申请实施例提供一种数据的验证方法、装置、系统及计算机可读存储介质，通过响应用户指令，基于用户指令和无监督异常识别算法确定对应的异常度数据；确定业务目标数据，基于异常度数据和业务目标数据构建对应的数据验证模型；基于数据验证模型验证无监督异常识别算法的有效性。由此可知，本申请在进行数据验证的过程中，通过用户指令和无监督异常识别算法共同确定异常度数据，从而保证了异常度数据的准确性。再通过异常度数据和业务目标数据构建数据验证模型，并通过数据验证模型验证无监督异常识别算法的有效性，保证了数据验证模型与业务目标数据之间的关联性。附图说明[0036] 图1是本申请实施例方案涉及的硬件运行环境的结构示意图；[0037] 图2是本申请数据的验证方法第一实施例的流程示意图；[0038] 图3是本申请数据的验证方法的流程示意图；[0039] 图4是本申请数据的验证装置较佳的结构示意图。[0040] 本申请目的的实现、功能特点及优点将合并实施例，参照附图做进一步说明。具体实施方式[0041] 应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。[0042] 如图1所示，图1为本申请实施例方案涉及的硬件运行环境的系统结构示意图。该数据的验证系统可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如Wi‑Fi接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non‑volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。[0043] 本领域技术人员可以理解，图1中示出的数据的验证系统结构并不构成对数据的验证系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。[0044] 如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据的验证程序。[0045] 在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的数据的验证程序，并执行以下操作：[0046] 响应用户指令，基于所述用户指令和无监督异常识别算法确定对应的异常度数据；[0047] 确定业务目标数据，基于所述异常度数据和所述业务目标数据构建对应的数据验证模型；[0048] 基于所述数据验证模型验证所述无监督异常识别算法的有效性。[0049] 进一步地，处理器1001可以调用存储器1005中存储的数据的验证程序，还执行以下操作：[0050] 确定所述数据验证模型中所述异常度数据和所述业务目标数据的关联性程度，基于所述关联性程度验证所述无监督异常识别算法的有效性。[0051] 进一步地，处理器1001可以调用存储器1005中存储的数据的验证程序，还执行以下操作：[0052] 确定所述关联性程度是否大于或者等于预设关联程度；[0053] 若确定所述关联性程度大于或者等于所述预设关联程度，则确定所述无监督异常识别算法有效；[0054] 若确定所述关联性程度小于所述预设关联程度，则确定所述无监督异常识别算法无效。[0055] 进一步地，处理器1001可以调用存储器1005中存储的数据的验证程序，还执行以下操作：[0056] 将所述异常度数据确定为自变量数据，并检测是否存在业务数据标签；[0057] 若检测到存在业务数据标签，则基于所述业务数据标签确定所述业务目标数据，并将所述业务目标数据确定为目标变量数据；[0058] 基于所述自变量数据和所述目标变量数据构建所述数据验证模型。[0059] 进一步地，处理器1001可以调用存储器1005中存储的数据的验证程序，还执行以下操作：[0060] 若检测到不存在业务数据标签，则基于所述用户指令确定所述业务目标数据，并将所述业务目标数据确定为所述目标变量数据。[0061] 进一步地，处理器1001可以调用存储器1005中存储的数据的验证程序，还执行以下操作：[0062] 基于所述用户指令确定对应的用户数据和所述用户数据对应的数据特征；[0063] 基于所述无监督异常识别算法和所述数据特征对所述用户数据进行数据分析，确定所述用户数据的异常点数据；[0064] 基于所述异常点数据确定对应的异常度数据。[0065] 进一步地，处理器1001可以调用存储器1005中存储的数据的验证程序，还执行以下操作：[0066] 确定所述用户指令中的数据库信息、数据内容信息、数据分布信息和数据量级信息；[0067] 基于所述数据库信息、所述数据内容信息、所述数据分布信息和所述数据量级信息确定所述用户指令对应的用户数据。[0068] 本申请提供一种数据的验证方法，参照图2，图2为本申请数据的验证方法第一实施例的流程示意图。[0069] 本申请实施例提供了数据的验证方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些数据下，可以以不同于此处的顺序执行所示出或描述的步骤。[0070] 本申请实施例以数据验证系统为执行主体进行举例说明，数据的验证方法包括:[0071] 步骤S10，响应用户指令，基于所述用户指令和无监督异常识别算法确定对应的异常度数据。[0072] 用户根据用户经验在数据验证系统的输入界面输入对应的用户指令，用户指令用于指明对应的用户数据源、用户数据源的数据特征和业务数据信息等，其中，用户包括但不限制于个体户、小微型企业、中型企业和大型企业，需要说明的是，本申请实施例中用户主要面对的小微型企业。[0073] 数据验证系统侦测到输入界面输入用户指令时，响应用户指令，然后通过无监督异常识别算法并结合用户数据源的数据特征对用户数据源进行分析，识别用户数据源中的孤立点,即将识别出来的孤立点确定为异常数据点。其中，无监督异常识别算法包括但不限制于局部异常因子算法、DBSCAN聚类算法、单分类SVM算法和孤立森林算法，本实施例不作限制。[0074] 无监督异常识别算法的应用场景只需要得到异常数据点的排名，将最为异常的一部分异常数据点确定为异常数据，其输出结果为异常数据对应的异常数值，该异常数值即为异常数据对应的异常度数据。[0075] 进一步地，所述步骤S10包括：[0076] 步骤S101，基于所述用户指令确定对应的用户数据和所述用户数据对应的数据特征；[0077] 步骤S102，基于所述无监督异常识别算法和所述数据特征对所述用户数据进行数据分析，确定所述用户数据的异常点数据；[0078] 步骤S103，基于所述异常点数据确定对应的异常度数据。[0079] 具体地，数据验证系统确定用户指令包含的用户数据信息，根据用户数据信息确定用户指令对应的用户数据，以及用户数据对应的数据特征，通过无监督异常识别算法并按照数据特征对用户数据进行正常数据和异常数据分析，识别出偏离正常点数据的常点数据。然后，数据验证系统输出该异常点数据对应的异常数值，其中，异常数值一般以异常分数形式进行表示，将异常数值与预设标准数值进行作差，得到异常差值，再确定异常差值所处的预设差值阶段，通过异常差值所处的预设差值阶段确定异常点数据对应的异常度数据。其中，预设标准数值和预设差值阶段是根据实际情况设定，本实施例不作限制。[0080] 在本实施例中，比如，预设标准数值为0.5，预设差值阶段为，第一阶段0至0.1，第二阶段0.11至0.3，第三阶段为0.31至0.6，第四阶段大于0.6。异常点数据对应的异常数值为0.94，数据验证系统确定异常差值为0.95‑0.5＝0.45，异常差值0.45大于0.31且小于0.6，则确定异常点数据对应的异常度数据为第三阶段。[0081] 进一步地，所述步骤S101，基于所述用户指令确定对应的用户数据的步骤包括：[0082] 步骤S1011，确定所述用户指令中的数据库信息、数据内容信息、数据分布信息和数据量级信息；[0083] 步骤S1102，基于所述数据库信息、所述数据内容信息、所述数据分布信息和所述数据量级信息确定所述用户指令对应的用户数据。[0084] 具体地，数据验证系统对用户指令进行分析，确定用户指令中携带的数据库信息、数据内容信息、数据分布信息和数据量级信息。然后，数据验证系统根据数据库信息，如，数据库的名称或者数据库的地址等，确定所需要获取对应数据的数据库。接着，数据验证系统根据数据内容信息确定所需要获取的数据是什么，根据数据分布信息确定数据的内在分布，根据数据量级信息确定数据的量级。最后，数据验证系统按照数据内容信息、数据分布信息和数据量级信息在该数据库中确定所要获取的用户数据。[0085] 在本实施例中，比如，数据库的地址为“101.1.12.1.0”，数据内容信息为“提款数据”，数据分布信息为“2020年1月至11月”，数据量级信息为“10000条”，数据验证系统在“101.1.12.1.0”数据库中获取“2020年1月至11月”的“10000条提款数据”，若“2020年1月至11月”的“提款数据”大于或者等于10000条，数据验证系统则取10000条“提款数据”，若“2020年1月至11月”的“提款数据”小于10000条，数据验证系统则取当前数量级的“提款数据”。[0086] 步骤S20，确定业务目标数据，基于所述异常度数据和所述业务目标数据构建对应的数据验证模型。[0087] 数据验证系统确定数据库中是否存在对应的场景下可识别的业务数据标签，若数据验证系统确定数据库中存在可识别的业务数据标签，数据验证系统则根据该业务数据标签确定对应的业务目标数据，若数据验证系统确定数据库中不存在可识别的业务数据标签，数据验证系统则根据用户指令中携带的数据信息确定业务目标数据，其中，场景即定义用户的正常操作和异常操作，业务目标数据可以是是否违约，也可以是是否提款等。[0088] 数据验证系统确定业务目标数据后，将异常度数据和业务目标数据确定为对应的模型变量，并通过异常度数据的模型变量和业务目标数据的模型变量构建对应的数据验证模型。[0089] 进一步，所述步骤S20包括：[0090] 步骤S201，将所述异常度数据确定为自变量数据，并检测是否存在业务数据标签；[0091] 步骤S202，若检测到存在业务数据标签，则基于所述业务数据标签确定所述业务目标数据，并将所述业务目标数据确定为目标变量数据；[0092] 步骤S203，若检测到不存在业务数据标签，则基于所述用户指令确定所述业务目标数据，并将所述业务目标数据确定为所述目标变量数据；[0093] 步骤S204，基于所述自变量数据和所述目标变量数据构建所述数据验证模型。[0094] 具体地，数据验证系统将异常度数据确定为构建数据验证模型的自变量数据，并在数据库中检测是否存在业务数据标签，若数据验证系统检测到在数据库中存在业务数据标签，数据验证系统则识别该业务数据标签，得到对应的识别结果，并将识别结果确定为该业务数据标签对应的业务目标数据，并将该业务目标数据确定为构建数据验证模型的目标变量数据。若数据验证系统检测到在数据库中不存在业务数据标签，数据验证系统则确定用户指令中携带的业务数据信息，根据该业务数据信息确定用户指令对应的业务目标数据，并将该业务目标数据确定为构建数据验证模型的目标变量数据。[0095] 数据验证系统确定构建数据验证模型的自变量数据和构建数据验证模型的目标变量数据后，将构建数据验证模型的自变量数据和构建数据验证模型的目标变量数据进行构建回归模型，得到对应的数据验证模型。[0096] 步骤S30，基于所述数据验证模型验证所述无监督异常识别算法的有效性。[0097] 数据验证系统构建完成数据验证模型后，确定数据验证模型中异常度数据和业务目标数据之间的关联性，根据数据验证模型中异常度数据和业务目标数据之间的关联性确定无监督异常识别算法有效或者无效。[0098] 进一步地，如图3所示，图3为本申请数据的验证方法的流程示意图，基于专家经验(用户经验)的特征筛选，选择适用于小微企业(用户)风险模型的用户数据源和用户数据源对应的特征衍生方式(数据特征)，得到专家经验指令(用户指令)。基于无监督算法的异常识别，通过无监督异常识别算法和用户数据源对应的特征衍生方式，计算用户数据源的异常度数据。基于业务目标的多场景回归测试，将无监督异常识别算法计算出的异常度数据作为自变量，将多场景的业务目标数据作为目标变量构建回归模型(数据验证模型)，通过回归模型验证无监督异常识别算法的有效性。[0099] 本实施例通过响应用户指令，基于用户指令和无监督异常识别算法确定对应的异常度数据；确定业务目标数据，基于异常度数据和业务目标数据构建对应的数据验证模型；基于数据验证模型验证无监督异常识别算法的有效性。由此可知，本实施例在进行数据验证的过程中，通过用户指令和无监督异常识别算法共同确定异常度数据，从而保证了异常度数据的准确性。再通过异常度数据和业务目标数据构建数据验证模型，并通过数据验证模型验证无监督异常识别算法的有效性，保证了数据验证模型与业务目标数据之间的关联性。[0100] 进一步地，本申请数据的验证方法提供另一实施例，所述步骤S30包括：[0101] 步骤S301，确定所述数据验证模型中所述异常度数据和所述业务目标数据的关联性程度，基于所述关联性程度验证所述无监督异常识别算法的有效性。[0102] 具体的，数据验证系统确定数据验证模型中异常度数据和业务目标数据之间的关联性程度，将数据验证模型中异常度数据和业务目标数据之间的关联性程度与预设关联程度进行程度大小比较，根据关联性程度与预设关联程度的比较结果确定无监督异常识别算法有效或者无效，其中，预设关联程度由技术人员设定，本实施例不作限制。关联性程度和预设关联程度的表达形式包括但不限制于数值表达形式和等级表达形式。[0103] 进一步地，所述步骤S301包括：[0104] 步骤S3011，确定所述关联性程度是否大于或者等于预设关联程度；[0105] 步骤S3012，若确定所述关联性程度大于或者等于所述预设关联程度，则确定所述无监督异常识别算法有效；[0106] 步骤S3013，若确定所述关联性程度小于所述预设关联程度，则确定所述无监督异常识别算法无效。[0107] 具体地，数据验证系统分别确定关联性程度和预设关联程度对应的数值或者等级，并将关联性程度对应的数值或者等级与预设关联程度对应的数值或者等级进行大小比较，确定关联性程度对应的数值或者等级是否大于或者我等于预设关联程度对应的数值或者等级，若数据验证系统确定关联性程度对应的数值或者等级大于或者等于预设关联程度对应的数值或者等级，数据验证系统则确定数据验证模型中异常度数据和业务目标数据之间的关联性满足预设要求，即确定无监督异常识别算法有效。若数据验证系统确定关联性程度对应的数值或者等级小于预设关联程度对应的数值或者等级，数据验证系统则确定数据验证模型中异常度数据和业务目标数据之间的关联性没有满足预设要求，即确定无监督异常识别算法无效。[0108] 在本实施例中，比如，关联性程度和预设关联程度的表达形式为数值，预设关联程度的数值为75，数据验证系统确定异常度数据和业务目标数据之间的关联性程度为82大于75，则确定无监督异常识别算法有效。数据验证系统确定异常度数据和业务目标数据之间的关联性程度为67小于75，则确定无监督异常识别算法无效。[0109] 本实施例确定数据验证模型中异常度数据和业务目标数据的关联性程度，基于关联性程度验证无监督异常识别算法的有效性。由此可知，本实施例通过数据验证模型与业务目标数据之间的关联性异常度数据和业务目标数据的关联性程度和预设关联程度验证无监督异常识别算法的有效性，从而保证了数据验证模型与业务目标数据之间的关联性。[0110] 此外，本申请还提供一种数据的验证装置，参照图4，图4是本申请数据的验证装置较佳的结构示意图，所述数据的验证装置包括：[0111] 确定模块10，用于响应用户指令，基于所述用户指令和无监督异常识别算法确定对应的异常度数据；[0112] 构建模块20，用于确定业务目标数据，基于所述异常度数据和所述业务目标数据构建对应的数据验证模型；[0113] 验证模块30，用于基于所述数据验证模型验证所述无监督异常识别算法的有效性。[0114] 进一步地，所述确定模块10还用于确定所述数据验证模型中所述异常度数据和所述业务目标数据的关联性程度；[0115] 所述验证模块30还用于基于所述关联性程度验证所述无监督异常识别算法的有效性；[0116] 所述确定模块10还用于确定所述关联性程度是否大于或者等于预设关联程度；[0117] 所述确定模块10还用于若确定所述关联性程度大于或者等于所述预设关联程度，则确定所述无监督异常识别算法有效；[0118] 所述确定模块10还用于若确定所述关联性程度小于所述预设关联程度，则确定所述无监督异常识别算法无效；[0119] 所述确定模块10还用于将所述异常度数据确定为自变量数据。[0120] 进一步地，所述确定模块10还包括：[0121] 检测单元，用于检测是否存在业务数据标签。[0122] 进一步地，所述确定模块10还用于若检测到存在业务数据标签，则基于所述业务数据标签确定所述业务目标数据，并将所述业务目标数据确定为目标变量数据；[0123] 所述构建模块20还用于基于所述自变量数据和所述目标变量数据构建所述数据验证模型；[0124] 所述确定模块10还用于若检测到不存在业务数据标签，则基于所述用户指令确定所述业务目标数据，并将所述业务目标数据确定为所述目标变量数据；[0125] 所述确定模块10还用于基于所述用户指令确定对应的用户数据和所述用户数据对应的数据特征；[0126] 所述确定模块10还用于基于所述无监督异常识别算法和所述数据特征对所述用户数据进行数据分析，确定所述用户数据的异常点数据；[0127] 所述确定模块10还用于基于所述异常点数据确定对应的异常度数据；[0128] 所述确定模块10还用于确定所述用户指令中的数据库信息、数据内容信息、数据分布信息和数据量级信息；[0129] 所述确定模块10还用于基于所述数据库信息、所述数据内容信息、所述数据分布信息和所述数据量级信息确定所述用户指令对应的用户数据。[0130] 本申请基于数据的验证装置具体实施方式与上述基于数据的验证方法各实施例基本相同，在此不再赘述。[0131] 此外，本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有数据的验证程序，所述数据的验证程序被处理器执行时实现如上所述的数据的验证方法的步骤。[0132] 本申请计算机可读存储介质具体实施方式与上述数据的验证方法各实施例基本相同，在此不再赘述。[0133] 需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的数据下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。[0134] 上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。[0135] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多数据下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件货物的形式体现出来，该计算机软件货物存储在一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台数据的验证系统执行本申请各个实施例所述的方法。

专利地区：广东

专利申请日期：2020-12-15

专利公开日期：2024-07-26

专利公告号：CN112597209B