计算机系统和日程安排系统的验证方法发明专利

专利名称：计算机系统和日程安排系统的验证方法

专利类型：发明专利

专利申请号：CN202010805915.5

专利申请（专利权）人：株式会社日立制作所
权利人地址：日本东京都

专利发明（设计）人：渡边聪,宫永瑞纪

专利摘要：本发明提供一种计算机系统和日程安排系统的验证方法，验证能够生成日程的、开发阶段的AI系统的效果。能够对日程安排系统进行验证的计算机系统，日程安排系统在接受了包括关于日程的对象的数据即多个条目的对象数据的情况下，使用计算条目的选择概率的模型，生成由排序后的条目构成的日程，计算机系统管理模型的信息，包括：从验证用的对象数据中选择条目的选择部；生成条目的特征量数据的特征量计算部；推算没有包含在特征量数据中的特征量的特征量推算部；计算条目的选择概率的选择概率计算部；和效果推算部，其执行基于选择概率来选择包含在日程中的候选条目的选择处理，基于选择处理的结果生成表示日程安排系统的搜索范围的信息。

主权利要求：
1.一种对能够生成日程的日程安排系统进行验证的计算机系统，其特征在于：所述日程安排系统，在接受了包括多个含有多个数据项目的条目的对象数据的输入时，使用基于特征量来计算所述条目的选择概率的模型，生成由排序后的多个所述条目构成的所述日程，其中所述条目是关于日程的对象的数据，所述特征量能够从一个所述条目中包含的所述多个数据项目的值计算出，所述计算机系统包括：
具有运算装置、与所述运算装置连接的存储装置和与所述运算装置连接的接口的至少一个计算机；
用于管理所述模型的信息的第一存储部；
从验证用的所述对象数据中选择至少一个所述条目的选择部；
特征量计算部，其从由所述选择部选择出的所述条目中包含的所述多个数据项目的值来计算特征量，生成由计算出的所述特征量构成的特征量数据；
特征量推算部，其推算由所述模型处理的、没有包含在所述特征量数据中的特征量；
选择概率计算部，其使用所述模型的信息、所述特征量数据和由所述特征量推算部计算出的特征量来计算所述条目的选择概率并将计算出的选择概率作为选择概率计算结果输出；和效果推算部，其执行基于所述选择概率计算结果来选择所述日程中包含的候选条目的选择处理，基于所述选择处理的结果，生成表示所述日程安排系统的搜索范围的搜索范围信息，并输出所述搜索范围信息作为验证结果，所述效果推算部，
通过多次执行由使所述选择部、所述特征量计算部、所述特征量推算部和选择概率计算部进行协作的处理构成的仿真，来生成多个所述选择概率计算结果，对于所述多个选择概率计算结果分别执行所述选择处理，输出所述搜索范围信息，其中该搜索范围信息包括使用在所述多次选择处理中分别选择出的所述候选条目的数量而计算出的值。
2.如权利要求1所述的计算机系统，其特征在于：所述效果推算部，
对所述多次选择处理各自的结果进行分析，
基于所述分析的结果，判断是否需要输出通知生成所述模型用的学习数据不足和要修改所述特征量的设计的至少一者的警报，在判断为需要输出所述警报的情况下，输出包含作为所述判断的依据的所述选择处理的结果的警报信息。
3.如权利要求1所述的计算机系统，其特征在于：具有保存用于生成所述模型的学习数据的第二存储部，所述选择部对所述第二存储部中保存的学习数据进行分析，基于所述分析的结果，决定要从所述验证用的对象数据中选择的所述条目的数量。
4.如权利要求1所述的计算机系统，其特征在于：具有保存用于生成所述模型的学习数据的第二存储部，所述特征量推算部对所述第二存储部中保存的学习数据进行分析，基于所述分析的结果，推算没有包含在所述特征量数据中的特征量。
5.如权利要求1所述的计算机系统，其特征在于：接受关于所述选择部执行的所述条目的选择方法、所述特征量推算部执行的没有包含在所述特征量数据中的特征量的计算方法、所述选择处理的执行次数、以及基于所述选择概率的所述候选条目的选择方法的信息的输入。
6.一种由计算机系统执行的、能够生成日程的日程安排系统的验证方法，其特征在于：所述日程安排系统，在接受了包括多个含有多个数据项目的条目的对象数据的输入时，使用基于特征量来计算所述条目的选择概率的模型，生成由排序后的多个所述条目构成的所述日程，其中所述条目是关于日程的对象的数据，所述特征量能够从一个所述条目中包含的所述多个数据项目的值计算出，所述计算机系统，包括具有运算装置、与所述运算装置连接的存储装置和与所述运算装置连接的接口的至少一个计算机，并能够管理所述模型的信息，所述日程安排系统的验证方法包括：
由所述运算装置从验证用的所述对象数据中选择至少一个所述条目的第一步骤；
第二步骤，所述运算装置从选择出的所述条目中包含的所述多个数据项目的值来计算特征量，生成由计算出的所述特征量构成的特征量数据；
第三步骤，所述运算装置推算所述模型处理的、没有包含在所述特征量数据中的特征量；
第四步骤，所述运算装置使用所述模型的信息、所述特征量数据和由所述特征量推算部计算出的特征量来计算所述条目的选择概率并将计算出的选择概率作为选择概率计算结果输出；和第五步骤，所述运算装置执行基于所述选择概率计算结果来选择所述日程中包含的候选条目的选择处理，基于所述选择处理的结果，生成表示所述日程安排系统的搜索范围的搜索范围信息，并输出所述搜索范围信息作为验证结果，所述第五步骤包括：
所述运算装置通过多次执行由所述第一步骤、所述第二步骤、所述第三步骤和所述第四步骤的处理构成的仿真，来生成多个所述选择概率计算结果的步骤；
所述运算装置对于所述多个选择概率计算结果分别执行所述选择处理的步骤；和所述运算装置输出所述搜索范围信息的步骤，其中所述搜索范围信息包括使用在所述多次选择处理中分别选择出的所述候选条目的数量而计算出的值。
7.如权利要求6所述的日程安排系统的验证方法，其特征在于：所述第五步骤包括：
所述运算装置对所述多次选择处理各自的结果进行分析的步骤；
所述运算装置基于所述分析的结果，判断是否需要输出通知生成所述模型用的学习数据不足和要修改所述特征量的设计的至少一者的警报的步骤；和在判断为需要输出所述警报的情况下，所述运算装置输出包含作为所述判断的根据的所述选择处理的结果的警报信息的步骤。
8.如权利要求6所述的日程安排系统的验证方法，其特征在于：所述计算机系统管理用于生成所述模型的学习数据，所述第一步骤包括：
所述运算装置对所述学习数据进行分析的步骤；和所述运算装置基于所述分析的结果，决定要从所述验证用的对象数据中选择的所述条目的数量的步骤。
9.如权利要求6所述的日程安排系统的验证方法，其特征在于：所述计算机系统管理用于生成所述模型的学习数据，所述第三步骤包括：
所述运算装置对所述学习数据进行分析的步骤；和所述运算装置基于所述分析的结果，推算没有包含在所述特征量数据中的特征量的步骤。
10.如权利要求6所述的日程安排系统的验证方法，其特征在于：包括下述步骤，
在该步骤中，所述运算装置接受关于所述第一步骤中的所述条目的选择方法、所述第三步骤中的没有包含在所述特征量数据中的特征量的计算方法、所述选择处理的执行次数和基于所述选择概率的所述候选条目的选择方法的信息的输入。 说明书 : 计算机系统和日程安排系统的验证方法技术领域[0001] 本发明涉及产品的生产计划等日程的生成技术。背景技术[0002] 在医疗和工业等各种领域中应用AI的系统的使用正在扩大。期待使用这些系统实现人工进行的业务的自动化。本说明书中，也将应用AI的系统记载为AI系统。[0003] 实现AI的算法即模型是通过使用学习数据的机器学习生成的。通过使用学习数据，能够将各种领域的业务知识导入AI中。[0004] 但是，也存在法律的规定和合规等、难以从学习数据导入的业务知识。另外，学习数据少的情况下，也存在不能充分地将业务知识导入AI中的情况。如果不考虑不能直接导入AI中的业务知识，则作为系统不适合实际使用。从而，对于难以从学习数据导入的业务知识，需要另外开发逻辑，并嵌入AI系统中。[0005] AI系统的开发分为设定目标、理解业务和准备学习数据、开发、以及提高精度这四个阶段。作为实现已开发的系统的精度提高的方法，已知专利文献1中记载的技术。[0006] 专利文献1中记载了：“根据决策辅助系统101，因果关系模型更新部103具有：基于因果关系模型和由数据分析功能202得到的分析结果，生成更新因果关系模型用的临时更新模型数据的更新信息生成功能202；和对用临时更新模型数据进行的更新的有效性进行评价的模型更新评价功能213，因果关系模型管理部105具有在由模型更新评价功能213得到的评价结果是一定以上的情况下，用临时更新模型数据对因果关系模型进行更新的模型登记/更新功能231。”[0007] 现有技术文献[0008] 专利文献[0009] 专利文献1：日本特开2017‑194730号公报发明内容[0010] 发明要解决的课题[0011] 生成日程的AI系统的实用性，依赖于处理的问题的困难性、AI的算法、学习数据的质和量等各种因素。因此，在采用AI系统之前，进行判断AI系统的实用性用的效果验证。[0012] 现有的AI系统的效果验证，需要完成全部开发、使其实际地工作。因此，存在效果验证的结果是未能达到实用的情况下、AI系统的开发所需的时间和工作量被浪费的问题。[0013] 本发明提供一种对开发阶段的AI系统的效果进行验证的方法。[0014] 用于解决课题的技术方案[0015] 示出本申请中公开的发明的代表性的一例，如下所述。即，一种对能够生成日程的日程安排系统进行验证的计算机系统，所述日程安排系统，在接受了包括多个含有多个数据项目的条目的对象数据的输入时，使用基于特征量来计算所述条目的选择概率的模型，生成由排序后的多个所述条目构成的所述日程，其中所述条目是关于日程的对象的数据，所述特征量能够从一个所述条目中包含的所述多个数据项目的值计算出，所述计算机系统包括：具有运算装置、与所述运算装置连接的存储装置和与所述运算装置连接的接口的至少一个计算机；用于管理所述模型的信息的第一存储部；从验证用的所述对象数据中选择至少一个所述条目的选择部；特征量计算部，其从由所述选择部选择出的所述条目中包含的所述多个数据项目的值来计算特征量，生成由计算出的所述特征量构成的特征量数据；特征量推算部，其推算由所述模型处理的、没有包含在所述特征量数据中的特征量；选择概率计算部，其使用所述模型的信息、所述特征量数据和由所述特征量推算部计算出的特征量来计算所述条目的选择概率并将计算出的选择概率作为选择概率计算结果输出；和效果推算部，其执行基于所述选择概率计算结果来选择所述日程中包含的候选条目的选择处理，基于所述选择处理的结果，生成表示所述日程安排系统的搜索范围的搜索范围信息，并输出所述搜索范围信息作为验证结果。[0016] 发明效果[0017] 根据本发明，能够对开发阶段的AI系统的效果进行验证。上述以外的课题、结构和效果，将通过以下实施例的说明而说明。附图说明[0018] 图1是表示实施例1的计算机系统的结构的一例的图。[0019] 图2是表示实施例1的计算机的硬件结构的一例的图。[0020] 图3是表示实施例1的学习数据的一例的图。[0021] 图4是说明实施例1的计算机执行的处理的流程图。[0022] 图5是表示实施例1的由特征量生成部生成的特征量数据的一例的图。[0023] 图6是表示实施例1的由学习部生成的模型的结构的一例的图。[0024] 图7是说明实施例1的计算机执行的处理的流程图。[0025] 图8是表示实施例1的对计算机输入的对象数据的一例的图。[0026] 图9是表示实施例1的存储部中保存的选择指标计算部的处理结果的一例的图。[0027] 图10是说明实施例1的计算机执行的效果推算处理的一例的流程图。[0028] 图11A是表示实施例1的基于计算机输出的效果推算信息显示的画面的一例的图。[0029] 图11B是表示实施例1的基于计算机输出的效果推算信息显示的画面的一例的图。具体实施方式[0030] 以下，对于本发明的实施例，使用附图进行说明。但是，本发明并不限定解释为以下所示的实施例的记载内容。在不脱离本发明的思想或主旨的范围内可以变更其具体的结构，这一点对于本行业从业者是容易理解的。[0031] 以下说明的发明的结构中，对于相同或类似的结构或功能附加同一附图标记，省略重复的说明。[0032] 本说明书等中的“第一”、“第二”、“第三”等表述是为了识别构成要素而附加的，并不限定数量或顺序。[0033] 附图等中示出的各结构的位置、大小、形状、和范围等，为了使发明易于理解，有时并不表示实际的位置、大小、形状和范围等。从而，本发明中，并不限定于附图等中公开的位置、大小、形状和范围等。[0034] 【实施例1】[0035] 图1是表示实施例1的计算机系统的结构的一例的图。图2是表示实施例1的计算机的硬件结构的一例的图。图3是表示实施例1的学习数据的一例的图。[0036] 计算机系统由多个计算机100、101和数据库102构成。计算机100、计算机101和数据库102直接或经由网络相互连接。网络例如是LAN(LocalAreaNetwork)和WAN(WideAreaNetwork)。网络的连接方式可以是有线和无线中的任意者。[0037] 数据库102保存学习数据130。数据库102可以是HDD(HardDiskDrive)和SSD(SolidStateDrive)等存储装置，也可以是具有存储装置和控制器的存储系统。[0038] 学习数据130包括至少一个包括含有多个项目的值的输入数据和训练数据的条目。图3所示的学习数据130中，保存了包括含有商品名、库存数、预计销售数和可制造量作为项目的输入数据、以及含有制造选择的训练数据的条目。输入数据是关于作为日程的对象的商品的数据。制造选择是表示实际被选择的信息。[0039] 计算机100是执行生成AI系统中使用的模型用的学习处理的计算机。计算机100具有处理器200、存储器201和通信装置202。各硬件经由总线相互连接。另外，计算机100也可以具有存储装置、键盘、鼠标和触摸面板等输入装置、以及显示器等输出装置。[0040] 处理器200执行存储器201中保存的程序。处理器200通过按照程序执行数据，而作为实现特定功能的功能部(模块)工作。以下说明中，以功能部为主语说明处理的情况，表示处理器200执行实现该功能部的程序。[0041] 存储器201保存处理器200执行的程序和程序使用的数据。另外，存储器201包括程序暂时使用的工作区域。存储器201中保存的程序和数据在后文中叙述。[0042] 通信装置202是与外部装置通信用的装置。通信装置202例如是网络接口。[0043] 存储器201保存实现特征量生成部110和学习部111的程序。[0044] 特征量生成部110根据输入数据中包括的项目的值计算特征量，生成包括至少一个特征量的特征量数据。[0045] 学习部111使用由特征量生成部110生成的特征量数据执行学习处理。学习部111输出定义模型的模型信息120作为学习处理的结果。此处，模型是预测任意事件用的算法。[0046] 计算机101是实现处理日程安排问题的AI系统的计算机。计算机101的硬件结构与计算机100相同，所以省略说明。对计算机101输入AI系统的仿真中使用的对象数据160。对象数据160包括至少一个包括多个项目的值的条目。条目是关于日程的对象的数据。[0047] 本实施例中，特别以生成商品的生产计划(日程)的AI系统(日程安排系统)为例进行说明。该AI系统例如生成生产效率或利润最大的商品的生产计划。更具体而言，AI系统在接受了包括多个包含关于商品的值的条目的对象数据160的情况下，执行多次将选择处理对象的条目、计算条目的特征量、基于特征量和模型计算商品(生产工序)的选择概率作为一系列处理的处理流程。AI系统基于各处理流程的结果选择候选条目，将候选条目组合，由此生成多个生产计划(日程)。另外，AI系统计算各生产计划的评分，基于评分输出最优的生产计划。[0048] 另外，AI系统的仿真指的是处理流程的仿真。在AI系统的开发阶段，作为处理对象的条目的选择逻辑和基于选择概率的条目的选择逻辑等处于开发中。另外，因前一选择结果而变化的状态值等、不能根据外部输入决定的特征量是不明的。从而，以往不能进行开发阶段的AI系统的仿真。于是，在实施例1中，追加实现开发阶段的AI系统的仿真用的功能和信息。[0049] 计算机101的存储器201保存实现合适条目选择部140、特征量生成部141、动态特征量推算部142、选择指标计算部143、存储部144和效果推算部145的程序。[0050] 合适条目选择部140是对作为处理对象的条目的选择逻辑进行仿真的功能部，从对象数据160包括的条目中选择符合规定条件的条目。具体而言，合适条目选择部140基于经由效果推算部145输入的合适条目选择方法，选择规定数量的条目。[0051] 特征量生成部141根据选择的条目中包括的项目的值计算特征量，生成包括至少一个特征量的特征量数据。[0052] 动态特征量推算部142是推算不能根据外部数据决定的特征量的功能部，计算模型处理的、由特征量生成部141生成的特征量数据中不包括的特征量。此处，不由特征量生成部141生成的特征量，指的是不能根据外部输入决定的特征量。例如，设想生产商品的工厂的情况下，工厂中的商品的库存数、原材料的库存数并不能根据预定生产的商品的信息(外部输入)唯一地决定。[0053] 以下说明中，将由动态特征量推算部142生成的特征量记载为动态特征量。[0054] 选择指标计算部143使用特征量、动态特征量和模型信息120，计算表示任意事件的预测结果的值。本实施例中，计算出作为条目的选择指标的概率(选择概率)。另外，选择指标计算部143计算由合适条目选择部140选择的各条目的选择概率。[0055] 存储部144存储选择指标计算部143的处理结果。[0056] 效果推算部145是对基于选择概率的条目的选择逻辑进行仿真的功能部，基于条目的选择概率选择条目。效果推算部145也是验证AI系统的效果的功能部，基于选择结果推算AI系统的效果，将AI系统的效果的推算结果作为效果推算信息170输出。另外，效果推算部145也发挥接受实现AI系统的仿真用的各种设定信息的接口的功能。[0057] 具体而言，效果推算部145接受关于合适条目选择方法、动态特征量推算方法、执行次数和效果推算方法的信息。合适条目选择方法是选择条目的方法。动态特征量推算方法是计算动态特征量的方法。执行次数是仿真的执行次数。效果推算方法是AI系统的效果的推算方法。[0058] 关于合适条目选择方法的信息中，包括关于对象数据160中包括的条目的选择方法和选择的条目的数量的决定方法的信息。作为对象数据160中包括的条目的选择方法，例如可以考虑随机地选择的方法。作为选择的条目的数量的决定方法，可以考虑基于学习数据130的平均个数决定的方法。[0059] 关于动态特征量推算方法的信息中，包括关于动态特征量的每个种类的推算方法的信息。例如，关于后述的特征量之一的剩余库存日数，计算学习数据130的同一商品的剩余库存日数的平均值作为动态特征量，关于后述的特征量之一的可制造量，计算学习数据130的同一商品的可制造量的平均值作为动态特征量。[0060] 关于效果推算方法的信息中，包括关于作为条目的选择基准的选择概率的阈值、基于选择概率的条目的选择方法和未能选择条目的情况下的应对处理的信息。基于选择概率的条目的选择方法，例如从选择概率大于阈值的条目中，选择选择概率最高5位以内的条目。应对处理例如是输出警报信息。[0061] 图4是说明实施例1的计算机100执行的处理的流程图。图5是表示实施例1的由特征量生成部110生成的特征量数据的一例的图。图6是表示实施例1的由学习部111生成的模型的结构的一例的图。[0062] 计算机100在接受了执行指示的情况下、或者周期性地执行以下说明的处理。[0063] 计算机100从数据库102取得学习数据130(步骤S101)。另外，取得的学习数据130的数量是任意的。[0064] 接着，计算机100根据一个学习数据130中包括的一个条目生成一个特征量数据(步骤S102)。具体而言，执行如下所述的处理。[0065] (S102‑1)特征量生成部110选择一个学习数据130。[0066] (S102‑2)特征量生成部110从选择的学习数据130中选择一个条目。[0067] (S102‑3)特征量生成部110根据选择的条目的项目的值计算特征量。特征量生成部110生成由多个特征量构成的特征量数据。[0068] (S102‑3)特征量生成部110判断是否已生成选择的学习数据130中包括的全部条目的特征量数据。尚未生成选择的学习数据130中包括的全部条目的特征量数据的情况下，特征量生成部110返回(S102‑2)，执行同样的处理。[0069] (S102‑4)已生成选择的学习数据130中包括的全部条目的特征量数据的情况下，特征量生成部110判断对于全部学习数据130处理是否已完成。对于全部学习数据130处理尚未完成的情况下，特征量生成部110返回(S102‑1)，执行同样的处理。对于全部学习数据130处理已完成的情况下，特征量生成部110结束步骤S102的处理。[0070] 根据一个学习数据130生成如图5所示的数据500。数据500中包括的一个条目对应于一个特征量数据。图5所示的特征量数据包括商品代码、剩余库存日数、可制造量和正确答案标志。以上是步骤S102的处理的说明。[0071] 接着，计算机100执行使用特征量数据的学习处理(步骤S103)。[0072] 具体而言，学习部111对如图6所示的神经网络输入特征量数据的与输入数据对应的各特征量，计算各条目的选择概率。另外，学习部111基于选择概率选择条目。基于该选择结果与特征量数据的正确答案标志的误差更新神经网络的权重，将更新结果反映至模型信息120。[0073] 另外，模型也可以不是神经网络。例如，模型也可以是决策树。另外，学习方法不限定于上述方法。[0074] 图7是说明实施例1的计算机101执行的处理的流程图。图8是表示实施例1的对计算机101输入的对象数据160的一例的图。图9是表示实施例1的存储部144中保存的选择指标计算部143的处理结果的一例的图。[0075] 计算机101在接受了执行指示的情况下，执行以下说明的处理。[0076] 计算机101接收设定信息(步骤S201)。具体而言，执行如下所述的处理。[0077] (S201‑1)效果推算部145接受关于合适条目选择方法、动态特征量推算方法、执行次数和效果推算方法的信息。[0078] (S201‑2)效果推算部145将关于合适条目选择方法的信息设定至合适条目选择部140，将关于动态特征量推算方法的信息设定至动态特征量推算部142。另外，效果推算部145将执行次数和效果推算方法设定至自身。[0079] (S201‑3)效果推算部145对执行次数计数器设定初始值0。[0080] 以上是步骤S201的处理的说明。[0081] 接着，计算机101接收对象数据160(步骤S202)。例如，计算机101接收如图8所示的对象数据160。此时，效果推算部145对执行次数计数器加1之后，调用合适条目选择部140。[0082] 接着，计算机101从对象数据160中包括的条目中选择合适条目(步骤S203)。[0083] 具体而言，合适条目选择部140基于合适条目选择方法，从对象数据160中包括的条目中选择规定数量的条目作为合适条目。合适条目选择部140将选择的合适条目输出至效果推算部145。效果推算部145起动特征量生成部141。[0084] 另外，合适条目选择部140也可以根据需要访问数据库102，参照学习数据130。例如，在基于关于学习数据130的信息选择合适条目、或者决定合适条目的选择数量的情况下，合适条目选择部140访问数据库102。[0085] 接着，计算机101生成合适条目的特征量数据(步骤204)。具体而言，执行如下所述的处理。[0086] (S204‑1)特征量生成部141选择一个合适条目。[0087] (S204‑2)特征量生成部141根据选择的合适条目的项目的值计算特征量。特征量生成部141生成由多个特征量构成的特征量数据。[0088] (S204‑3)特征量生成部141判断对于全部合适条目处理是否已完成。对于全部合适条目处理尚未完成的情况下，特征量生成部141返回(S204‑1)，执行同样的处理。对于全部合适条目处理已完成的情况下，特征量生成部141将与合适条目关联的特征量数据输出至效果推算部145，结束步骤S204的处理。效果推算部145调用动态特征量推算部142。[0089] 以上是步骤S204的处理的说明。[0090] 接着，计算机101生成合适条目的动态特征量数据(步骤S205)。具体而言，执行如下所述的处理。[0091] (S205‑1)动态特征量推算部142选择一个合适条目。[0092] (S205‑2)动态特征量推算部142基于动态特征量推算方法计算动态特征量，生成由多个动态特征量构成的动态特征量数据。[0093] 另外，动态特征量推算部142也可以根据需要访问数据库102，参照学习数据130。例如，在基于学习数据130计算动态特征量的情况下，动态特征量推算部142访问数据库102。[0094] (S205‑3)动态特征量推算部142判断对于全部合适条目处理是否已完成。对于全部合适条目处理尚未完成的情况下，动态特征量推算部142返回(S205‑1)，执行同样的处理。对于全部合适条目处理已完成的情况下，动态特征量推算部142将与合适条目关联的动态特征量数据输出至效果推算部145，结束步骤S205的处理。效果推算部145调用选择指标计算部143，输入合适条目的特征量数据和动态特征量数据。[0095] 接着，计算机101使用模型信息120、特征量数据和动态特征量数据，计算合适条目的选择指标(步骤S206)。具体而言，执行如下所述的处理。[0096] (S206‑1)选择指标计算部143选择一个合适条目。[0097] (S206‑2)选择指标计算部143将选择的条目的特征量数据和动态特征量数据输入至用模型信息120定义的模型。由此，计算合适条目的选择概率。[0098] (S206‑3)选择指标计算部143判断对于全部合适条目处理是否已完成。对于全部合适条目处理尚未完成的情况下，选择指标计算部143返回(S206‑1)，执行同样的处理。对于全部合适条目处理已完成的情况下，选择指标计算部143将与合适条目关联的选择概率输出至效果推算部145，结束步骤S206的处理。[0099] 以上是步骤S206的处理的说明。[0100] 接着，计算机101记录选择指标计算部143的处理结果(步骤S207)。[0101] 具体而言，效果推算部145将包括与各合适条目关联的选择概率的仿真结果900保存在存储部144中。例如，将如图9所示的仿真结果900保存在存储部144中。仿真结果900中，包括每个合适条目的动态特征量和选择概率。[0102] 从步骤S203到步骤S207的处理是1次AI系统的仿真。通过1次仿真生成一个仿真结果900。图9表示执行N次仿真之后的存储部144的状态。[0103] 接着，计算机101判断是否结束仿真(步骤S208)。[0104] 具体而言，效果推算部145判断执行次数计数器的值是否在执行次数的阈值以上。执行次数计数器的值在执行次数的阈值以上的情况下，效果推算部145判断为结束仿真。[0105] 不结束仿真的情况下，计算机101返回步骤S203，执行同样的处理。此时，效果推算部145对执行次数计数器加1。[0106] 结束仿真的情况下，计算机101执行效果推算处理(步骤S209)。之后，计算机101结束处理。效果推算处理的详情用图10说明。[0107] 图10是说明实施例1的计算机101执行的效果推算处理的一例的流程图。图11A和图11B是表示实施例1的基于计算机101输出的效果推算信息170显示的画面的一例的图。[0108] 效果推算部145基于效果推算方法和存储部144中保存的处理结果(仿真结果900)，选择各仿真结果900的候选条目(步骤S301)。[0109] 例如，效果推算部145参照仿真结果900，从选择概率在0.5以上的合适条目中选择最高5位以内的合适条目作为候选条目。[0110] 接着，效果推算部145基于各仿真结果900的候选条目的选择结果生成搜索范围信息(步骤S302)。[0111] 例如，效果推算部145计算各仿真结果900的候选条目的数量的相乘值。效果推算部145生成包括关于计算出的值和各仿真结果900的候选条目的数量的信息的搜索范围信息。另外，上述运算处理中，将候选条目的数量是0的仿真结果900排除。[0112] 生产计划的问题中的搜索范围被表达为条目的组合的数量。AI系统通过用1次仿真筛选条目而削减评价的条目的组合的数量。AI系统通过将用各仿真选择的条目组合而生成规定数量的生产计划。另外，AI系统通过对各生产计划进行评分，而输出最优的生产计划。用仿真选择的条目较多的情况下，条目的组合的数量、即生产计划的数量也较多。这表示搜索范围较广。[0113] 搜索范围是对于推算AI系统所需的资源量、运算性能和运算时间等有用的信息。于是，效果推算部145输出关于候选条目的组合的数量的值，作为评价搜索范围用的信息。[0114] 接着，效果推算部145判断候选条目不存在的仿真结果900是否存在(步骤S303)。即，判断是否需要通知警报。[0115] 候选条目不存在的仿真结果900不存在的情况下，效果推算部145前进至步骤S305。[0116] 候选条目不存在的仿真结果900存在的情况下，效果推算部145生成警报信息(步骤S304)，之后，前进至步骤S305。[0117] 候选条目不存在的情况下，可以认为是学习数据不足和特征量的设计不完善。于是，效果推算部145在不存在候选条目的仿真结果900存在的情况下，生成通知学习数据不足和特征量的设计不完善中的至少一者的警报信息。[0118] 在步骤S305中，效果推算部145输出效果推算信息170(步骤S305)。之后，效果推算部145结束效果推算处理。效果推算信息170中包括搜索范围信息。另外，步骤S303的判断结果为是的情况下，效果推算信息170中包括警报信息。[0119] 基于效果推算信息170，显示如图11A和图11B所示的画面。[0120] 图11A是基于效果推算信息170中包括的搜索范围信息显示的画面1100。在画面1100中，显示计算出的值和关于各仿真结果900的候选条目的数量的信息的表1101。通过提示画面1100，开发者或用户能够验证搜索范围、即AI系统的效果。[0121] 图11B是基于效果推算信息170中包括的警报信息显示的画面1110。例如，可以考虑在对表1101的候选条目数0进行操作的情况下切换的方法。在画面1110中，显示仿真结果900和警报的内容。通过提示画面1110，能够对开发者或用户提醒追加学习数据和修改特征量的设计。[0122] 另外，也可以基于1次仿真结果验证AI系统的效果。[0123] 另外，计算机101保持根据搜索范围信息计算资源量、运算性能或运算时间用的信息的情况下，计算机101也可以提示资源量、运算性能或运算时间。[0124] 如以上所说明，根据本发明，在开发阶段，能够实现AI系统的仿真，验证AI系统的效果。[0125] 另外，本发明不限定于上述实施例，包括各种变形例。另外，例如，上述实施例为了易于理解地说明本发明而详细说明了结构，并不限定于必须具备说明的全部结构。另外，对于各实施例的结构的一部分，能够追加、删除、置换其他结构。[0126] 另外，对于上述各结构、功能、处理部、处理单元等，例如可以通过在集成电路中设计等而用硬件实现其一部分或全部。另外，本发明也能够通过实现实施例的功能的软件的程序代码实现。该情况下，对计算机提供记录了程序代码的存储介质，该计算机具有的处理器读取存储介质中保存的程序代码。该情况下，从存储介质读取的程序代码自身实现上述实施例的功能，该程序代码自身和存储它的存储介质构成本发明。作为供给这样的程序代码用的存储介质，例如使用软盘、CD‑ROM、DVD‑ROM、硬盘、SSD(SolidStateDrive)、光盘、磁光盘、CD‑R、磁带、非易失性的存储卡、ROM等。[0127] 另外，实现本实施例中记载的功能的程序代码，例如能够用汇编、C/C++、perl、Shell、PHP、Python、Java(注册商标)等广范围的编程或脚本语言实现。[0128] 进而，也可以通过经由网络发布实现实施例的功能的软件的程序代码，而将其保存在计算机的硬盘或存储器等存储单元或者CD‑RW、CD‑R等存储介质中，计算机具备的处理器读取该存储单元或该存储介质中保存的程序代码并执行。[0129] 上述实施例中，控制线和信息线示出了认为说明上必要的，并不一定示出了产品上全部的控制线和信息线。全部结构也可以相互连接。[0130] 附图标记说明[0131] 100，101计算机[0132] 102数据库[0133] 110，141特征量生成部[0134] 111学习部[0135] 120模型信息[0136] 130学习数据[0137] 140合适条目选择部[0138] 142动态特征量推算部[0139] 143选择指标计算部[0140] 144存储部[0141] 145效果推算部[0142] 160对象数据[0143] 170效果推算信息[0144] 200处理器[0145] 201存储器[0146] 202通信装置[0147] 900仿真结果[0148] 1100，1110画面。

专利地区：日本

专利申请日期：2020-08-12

专利公开日期：2024-07-26

专利公告号：CN112990636B