光子神经网络的光学干涉单元配置方法、装置及存储介质

专利名称：光子神经网络的光学干涉单元配置方法、装置及存储介质

专利类型：实用新型专利

专利申请号：CN202110722256.3

专利申请（专利权）人：浪潮电子信息产业股份有限公司
权利人地址：山东省济南市高新区浪潮路1036号

专利发明（设计）人：吴睿振,王凛

专利摘要：本申请公开了一种光子神经网络的光学干涉单元配置方法、装置及计算机可读存储介质。对光子神经网络的卷积核在卷积运算中的各套权重值所构建的权重实矩阵进行分解，得到用于计算干涉光路链接拓扑结构的酉矩阵；基于光子神经网络的光学干涉单元的光路结构和光传导特性确定干涉光路链接拓扑结构的最小乘加单元；基于最小乘加单元对应表示的光信号输入关系和酉矩阵，进行消元次数小于酉矩阵的阶数的多次消元运算处理；根据消元运算结果确定光学干涉单元的所有配置方式，从而有效提高光子神经网络的光学干涉单元配置效率。

主权利要求：
1.一种光子神经网络的光学干涉单元配置方法，其特征在于，包括：
对光子神经网络的卷积核在卷积运算中的各套权重值所构建的权重实矩阵进行分解，得到用于计算干涉光路链接拓扑结构的酉矩阵；
基于光子神经网络的光学干涉单元的光路结构和光传导特性确定所述干涉光路链接拓扑结构的最小乘加单元；
基于所述最小乘加单元对应表示的光信号输入关系和所述酉矩阵，进行多次消元运算；所述消元运算次数小于所述酉矩阵的阶数；
根据消元运算结果确定所述光学干涉单元的所有配置方式；
其中，所述基于光子神经网络的光学干涉单元的光路结构和光传导特性确定所述干涉光路链接拓扑结构的最小乘加单元，包括：所述光学干涉单元包括第一输入端、第二输入端、第一移相器、第一分光器、第二移相器和第二分光器；经所述第一输入端和第二输入端输入的光信号通过所述第一移相器投射至所述第一分光器，经所述第一分光器处理后进入所述第二移相器，通过所述第二移相器进入所述第二分光器进行处理后输出；
根据所述光学干涉单元的光学结构和所述光传导特性确定输入光信号和输出光信号之间的光学转换关系为：式中， 为所述第一输入端的输入光信号， 为所述第二输入端的输入光信号， 为所述第一输入端的输入光信号经所述光学干涉单元处理后的最终输出光信号， 为所述第二输入端的输入光信号经所述光学干涉单元处理后的最终输出光信号；θ为所述第二移相器的调相角，φ为所述第一移相器的调相角，e表示指数，i表示虚数；
基于所述光学转换关系，将所述第一移相器的调相角置0，得到所述最小乘加单元R为：
2.根据权利要求1所述的光子神经网络的光学干涉单元配置方法，其特征在于，所述对光子神经网络的卷积核在卷积运算中的各套权重值所构建的权重实矩阵进行分解，得到用于计算干涉光路链接拓扑结构的酉矩阵包括：对当前卷积核，获取进行卷积运算的所有的权重值；
将所述当前卷积核需要运算的权重值展开为矩阵结构；所述矩阵结构的每一行对应一组卷积运算的权重值，每一列对应一个待输入光信号数据；
对所述矩阵结构进行奇异值分解，得到所述酉矩阵。
3.根据权利要求1或2所述的光子神经网络的光学干涉单元配置方法，其特征在于，所述基于所述最小乘加单元对应表示的光信号输入关系和所述酉矩阵，进行多次消元运算，包括：根据所述最小乘加单元具有酉矩阵特性，构建用于表示所述光学干涉单元对应输入关系的对角矩阵；
基于所述对角矩阵的对角线元素对所述对角矩阵进行基于矩阵运算的扩充，得到配置关系矩阵；
对所述配置关系矩阵按照预设消元方法进行消元处理，结合所述酉矩阵计算所述配置关系矩阵所包含的输入关系。
4.根据权利要求3所述的光子神经网络的光学干涉单元配置方法，其特征在于，所述根据消元运算结果确定所述光学干涉单元的所有配置方式，包括：根据所每一次消元运算处理过程中所计算得到的输入关系确定所述光学干涉单元的配置方式。
5.一种光子神经网络的光学干涉单元配置装置，其特征在于，包括：
拓扑结构表示模块，用于对光子神经网络的卷积核在卷积运算中的各套权重值所构建的权重实矩阵进行分解，得到用于计算干涉光路链接拓扑结构的酉矩阵；
拓扑结构的基础单元确定模块，用于基于光子神经网络的光学干涉单元的光路结构和光传导特性确定所述干涉光路链接拓扑结构的最小乘加单元；
消元处理，用于基于所述最小乘加单元对应表示的光信号输入关系和所述酉矩阵，进行多次消元运算；所述消元运算次数小于所述酉矩阵的阶数；
配置方式确定模块，用于根据消元运算结果确定所述光学干涉单元的所有配置方式；
其中，所述拓扑结构的基础单元确定模块进一步用于：
所述光学干涉单元包括第一输入端、第二输入端、第一移相器、第一分光器、第二移相器和第二分光器；经所述第一输入端和第二输入端输入的光信号通过所述第一移相器投射至所述第一分光器，经所述第一分光器处理后进入所述第二移相器，通过所述第二移相器进入所述第二分光器进行处理后输出；根据所述光学干涉单元的光学结构和所述光传导特性确定输入光信号和输出光信号之间的光学转换关系为：式中， 为所述第一输入端的输入光信号， 为所述第二输入端的输入光信号， 为所述第一输入端的输入光信号经所述光学干涉单元处理后的最终输出光信号， 为所述第二输入端的输入光信号经所述光学干涉单元处理后的最终输出光信号；θ为所述第二移相器的调相角，φ为所述第一移相器的调相角，e表示指数，i表示虚数；
基于所述光学转换关系，将所述第一移相器的调相角置0，得到所述最小乘加单元R为：
6.根据权利要求5所述的光子神经网络的光学干涉单元配置装置，其特征在于，所述拓扑结构表示模块进一步用于：对当前卷积核，获取进行卷积运算的所有的权重值；
将所述当前卷积核需要运算的权重值展开为矩阵结构；所述矩阵结构的每一行对应一组卷积运算的权重值，每一列对应一个待输入光信号数据；
对所述矩阵结构进行奇异值分解，得到所述酉矩阵。
7.一种光子神经网络的光学干涉单元配置装置，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至4任一项所述光子神经网络的光学干涉单元配置方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有光子神经网络的光学干涉单元配置程序，所述光子神经网络的光学干涉单元配置程序被处理器执行时实现如权利要求1至4任一项所述光子神经网络的光学干涉单元配置方法的步骤。 说明书 : 光子神经网络的光学干涉单元配置方法、装置及存储介质技术领域[0001] 本申请涉及计算机技术领域，特别是涉及一种光子神经网络的光学干涉单元配置方法、装置及计算机可读存储介质。背景技术[0002] 随着科技的发展，现今社会已进入云+AI(ArtificialIntelligence，人工智能)+5G(5thGenerationMobileCommunicationTechnology，第五代移动通信技术)的时代，为了实现云+AI+5G的运算需求，需要有支持大运算量的专用芯片。芯片是人类最伟大的发明之一，也是现代电子信息产业的基础和核心。小到手机、电脑、数码相机，大到5G、物联网、云计算，全部都是基于芯片技术的不断突破。半导体光刻工艺水平的发展是以芯片为核心的电子计算机的基石，目前半导体光刻的制造工艺几乎是摩尔定律的物理极限，随着制造工艺的越来越小，芯片内晶体管单元已经接近分子尺度，半导体制作工艺的“瓶颈效应”越来越明显。随着全球化以及科技的高速发展，需要处理的数据量急剧增加，相应的数据处理模型和算法也在不断增加，带来的结果就是对算力和功耗的要求不断提高。而目前冯·诺依曼架构和哈佛架构的电子计算机存在传输瓶颈、功耗增加以及算力瓶颈等问题，已越来越难以满足大数据时代对算力与功耗的需求，例如人工智能计算需求与传统芯片算力增长曲线极度不匹配，因此提高运算速度同时降低运算功耗是目前面临的紧要问题。利用光子计算方法替代传统电子计算方法将是解决摩尔定律困境以及冯诺依曼架构的问题，即解决当前算力、功耗问题的极具潜力的途径之一。光子具有光速传播、抗电磁干扰、任意叠加等特性，相比于电计算，光计算具有很多优势，例如：光信号以光速传输，使速度得到巨大提升；光具有天然的并行处理能力以及成熟的波分复用技术，运算速度极快，十分适合做并行运算，从而使数据处理能力和容量及带宽大幅度提升；光计算功耗有望低至10‑18J/bit，相同功耗下，光子器件比电子器件快数百倍，故具备深度学习能力、高算力和低功耗的集成光子芯片被广泛应用，例如，在远距离、高速运动目标的测距、测速和高分辨成像激光雷达中，在生物医药、纳米器件等的内部结构实现高分辨无损检测的新型计算显微关联成像装备中。[0003] 近年来，随着摩尔定律的逐步失效，以及大数据时代对计算系统功耗和速度要求的不断提高，光计算技术高速和低功耗的特点越来越受到重视。此外，由于光计算技术的并行性运算特点，以及光学神经网络等算法和硬件架构的发展，为图像识别、语音识别、虚拟现实等人工智能技术对算力的需求提供了最有潜力的解决方案。光计算可以分为模拟光计算和数字光计算。模拟光计算最典型的一个例子就是傅立叶运算，在图像处理等领域需要运用傅立叶变换相关的计算，如卷积计算。用传统计算机来计算傅立叶变换是非常消耗计算量的，而光通过透镜的过程，本身就是一次傅立叶变换的过程，这个过程几乎完全不需要时间。数字光计算是利用光和光学器件组合形成经典的逻辑门，构建类似传统数字电子计算原理的计算系统，通过复杂的逻辑门组合操作实现计算。[0004] ONN(opticalneuralnetwork，光子神经网络)包括输入层、输出层、以及中间的各隐藏层。中间的各隐藏层包括光学干涉单元(OIU)和光学非线性单元(ONU)，分别起到矩阵乘法和激活函数的作用。由于通过MZI(Mach–Zehnderinterferometer，马赫增德尔干涉仪)实现光运算的方式具有易于控制的特点，故基于MZI的光子运算是现今光子神经网络方面最常见的工业解决方案。相应的，OIU可由基于MZI阵列的可编程纳米光子器实现。光子神经网络中的主要运算的卷积运算，相应的基于MZI的ONN中卷积的实现方式就是光子神经网络中必须要解决的问题。使用MZI作为基础器件以不同的链接方式进行链接，并对其针对不同链接方式进行配置，可以实现多组不同ANN(ArtificialNeuralNetwork，人工神经网络)中卷积运算所需要的权重weight值的卷积乘加运算，并得到最终结果。相关技术在确定光子神经网络的不同的链接方式和其所对应的MZI配置方式过程中，对于任意m*m的酉矩阵需要至少m次计算才能得到所有的MZI配置方式，酉矩阵规模越大，耗时越长，效率不高。[0005] 鉴于此，如何提高光子神经网络的光学干涉单元配置效率，是所属领域技术人员需要解决的技术问题。发明内容[0006] 本申请提供了一种光子神经网络的光学干涉单元配置方法、装置及计算机可读存储介质，提高光子神经网络的光学干涉单元配置效率。[0007] 为解决上述技术问题，本发明实施例提供以下技术方案：[0008] 本发明实施例一方面提供了一种光子神经网络的光学干涉单元配置方法，包括：[0009] 对光子神经网络的卷积核在卷积运算中的各套权重值所构建的权重实矩阵进行分解，得到用于计算干涉光路链接拓扑结构的酉矩阵；[0010] 基于光子神经网络的光学干涉单元的光路结构和光传导特性确定所述干涉光路链接拓扑结构的最小乘加单元；[0011] 基于所述最小乘加单元对应表示的光信号输入关系和所述酉矩阵，进行多次消元运算；所述消元运算次数小于所述酉矩阵的阶数；[0012] 根据消元运算结果确定所述光学干涉单元的所有配置方式。[0013] 可选的，所述基于光子神经网络的光学干涉单元的光路结构和光传导特性确定所述干涉光路链接拓扑结构的最小乘加单元，包括：[0014] 所述光学干涉单元包括第一输入端、第二输入端、第一移相器、第一分光器、第二移相器和第二分光器；经所述第一输入端和第二输入端输入的光信号通过所述第一移相器投射至所述第一分光器，经所述第一分光器处理后进入所述第二移相器，通过所述第二移相器进入所述第二分光器进行处理后输出；[0015] 根据所述光学干涉单元的光学结构和所述光传导特性确定输入光信号和输出光信号之间的光学转换关系为：[0016][0017] 式中， 为所述第一输入端的输入光信号， 为所述第二输入端的输入光信号，为所述第一输入端的输入光信号经所述光学干涉单元处理后的最终输出光信号， 为所述第二输入端的输入光信号经所述光学干涉单元处理后的最终输出光信号；θ为所述第二移相器的调相角，φ为所述第一移相器的调相角，e表示指数，i表示虚数；[0018] 基于所述光学转换关系，将所述第一移相器的调相角置0，得到所述最小乘加单元R为：[0019][0020] 可选的，所述对光子神经网络的卷积核在卷积运算中的各套权重值所构建的权重实矩阵进行分解，得到用于计算干涉光路链接拓扑结构的酉矩阵包括：[0021] 对当前卷积核，获取进行卷积运算的所有的权重值；[0022] 将所述当前卷积核需要运算的权重值展开为矩阵结构；所述矩阵结构的每一行对应一组卷积运算的权重值，每一列对应一个待输入光信号数据；[0023] 对所述矩阵结构进行奇异值分解，得到所述酉矩阵。[0024] 可选的，所述基于所述最小乘加单元对应表示的光信号输入关系和所述酉矩阵，进行多次消元运算，包括：[0025] 根据所述最小乘加单元具有酉矩阵特性，构建用于表示所述光学干涉单元对应输入关系的对角矩阵；[0026] 基于所述对角矩阵的对角线元素对所述对角矩阵进行基于矩阵运算的扩充，得到配置关系矩阵；[0027] 对所述配置关系矩阵按照预设消元方法进行消元处理，结合所述酉矩阵计算所述配置关系矩阵所包含的输入关系。[0028] 可选的，所述根据消元运算结果确定所述光学干涉单元的所有配置方式，包括：[0029] 根据所每一次消元运算处理过程中所计算得到的输入关系确定所述光学干涉单元的配置方式。[0030] 本发明实施例另一方面提供了一种光子神经网络的光学干涉单元配置装置，包括：[0031] 拓扑结构表示模块，用于对光子神经网络的卷积核在卷积运算中的各套权重值所构建的权重实矩阵进行分解，得到用于计算干涉光路链接拓扑结构的酉矩阵；[0032] 拓扑结构的基础单元确定模块，用于基于光子神经网络的光学干涉单元的光路结构和光传导特性确定所述干涉光路链接拓扑结构的最小乘加单元；[0033] 消元处理，用于基于所述最小乘加单元对应表示的光信号输入关系和所述酉矩阵，进行多次消元运算；所述消元运算次数小于所述酉矩阵的阶数；[0034] 配置方式确定模块，用于根据消元运算结果确定所述光学干涉单元的所有配置方式。[0035] 可选的，所述拓扑结构的基础单元确定模块进一步用于：[0036] 所述光学干涉单元包括第一输入端、第二输入端、第一移相器、第一分光器、第二移相器和第二分光器；经所述第一输入端和第二输入端输入的光信号通过所述第一移相器投射至所述第一分光器，经所述第一分光器处理后进入所述第二移相器，通过所述第二移相器进入所述第二分光器进行处理后输出；根据所述光学干涉单元的光学结构和所述光传导特性确定输入光信号和输出光信号之间的光学转换关系为：[0037][0038] 式中， 为所述第一输入端的输入光信号， 为所述第二输入端的输入光信号，为所述第一输入端的输入光信号经所述光学干涉单元处理后的最终输出光信号， 为所述第二输入端的输入光信号经所述光学干涉单元处理后的最终输出光信号；θ为所述第二移相器的调相角，φ为所述第一移相器的调相角，e表示指数，i表示虚数；[0039] 基于所述光学转换关系，将所述第一移相器的调相角置0，得到所述最小乘加单元R为：[0040][0041] 可选的，所述拓扑结构表示模块进一步用于：[0042] 对当前卷积核，获取进行卷积运算的所有的权重值；[0043] 将所述当前卷积核需要运算的权重值展开为矩阵结构；所述矩阵结构的每一行对应一组卷积运算的权重值，每一列对应一个待输入光信号数据；[0044] 对所述矩阵结构进行奇异值分解，得到所述酉矩阵。[0045] 本发明实施例还提供了一种光子神经网络的光学干涉单元配置装置，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述光子神经网络的光学干涉单元配置方法的步骤。[0046] 本发明实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有光子神经网络的光学干涉单元配置程序，所述光子神经网络的光学干涉单元配置程序被处理器执行时实现如前任一项所述光子神经网络的光学干涉单元配置方法的步骤。[0047] 本申请提供的技术方案的优点在于，对于同一个卷积核的不同套权重值通过分解后的矩阵映射计算方式，可以适用于任意酉矩阵。且对于任意m*m的酉矩阵只需要进行m‑1次计算即可得到所有的光学干涉单元的配置方式，实现所需要的m组权重值的运算，相比现有技术，可有效提升光子神经网络的光学干涉单元配置效率。[0048] 此外，本发明实施例还针对光子神经网络的光学干涉单元配置方法提供了相应的实现装置及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置及计算机可读存储介质具有相应的优点。[0049] 应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。附图说明[0050] 为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0051] 图1为本发明实施例提供的一种光子神经网络的光学干涉单元配置方法的流程示意图；[0052] 图2为本发明实施例提供的示意性例子的一种光路结构示意图；[0053] 图3为本发明实施例提供的示意性例子的一种矩阵构造光学示意图；[0054] 图4为本发明实施例提供的示意性例子的另一种矩阵构造光学示意图；[0055] 图5为本发明实施例提供的光子神经网络的光学干涉单元配置装置的一种具体实施方式结构图；[0056] 图6为本发明实施例提供的光子神经网络的光学干涉单元配置装置的另一种具体实施方式结构图。具体实施方式[0057] 为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0058] 本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。[0059] 在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。[0060] 首先参见图1，图1为本发明实施例提供的一种光子神经网络的光学干涉单元配置方法的流程示意图，本发明实施例可包括以下内容：[0061] S101：对光子神经网络的卷积核在卷积运算中的各套权重值所构建的权重实矩阵进行分解，得到用于计算干涉光路链接拓扑结构的酉矩阵。可以理解的是，光子神经网络的中间的各隐藏层可包括光学干涉单元起到矩阵乘法的作用。光学干涉单元例如可由基于马赫曾德干涉仪(Mach–Zehnderinterferometer，MZI)的可编程纳米光子器实现，其中，如图2所示，MZI的结构通常包括两个输入端、两个输出端、两个分光器、第一移相器和第二移相器，输入光信号经第一分光器进行分光处理后进入第二移相器，并通过第二移相器处理后再经过第二分光器进行输出。其中，第一移相器是位于输入端与第一分光器之间，第二移相器是位于两个分光器之间，两个移相器均用于通过诸如改变波导折射率来控制输出分光比。[0062] 通常来讲，一个卷积核对应一套权重值，但在实际人工神经网络中，同一套卷积核一般会有不同的权重weight运算需求，所以针对同一套数据运算的卷积权重值包括多套。则此时需要实现一个并行执行多个卷积weight值针对同一套输入可以运算并得到不同输出结果的干涉光路链接方法。本申请的权重实矩阵即为将当前卷积核在卷积运算中的所有套权重值展开所形成的矩阵，对该矩阵分解可使用任何一种矩阵分解方法。酉矩阵的一种可选的实施方式可为，对当前卷积核，获取进行卷积运算的所有的权重值；将当前卷积核需要运算的权重值展开为矩阵结构；矩阵结构的每一行对应一组卷积运算的权重值，每一列对应一个待输入光信号数据；对矩阵结构进行奇异值分解，得到酉矩阵。[0063] S102：基于光子神经网络的光学干涉单元的光路结构和光传导特性确定干涉光路链接拓扑结构的最小乘加单元。本实施例的光子神经网络的光学干涉单元中干涉光路链接关系是基于最小乘加单元，光传导特性是指光在光子神经网络的传导过程中，结合光信号的数学表达形式可知传输中需要涉及实部和虚部，每一次运算是虚部作为能量损耗需要参与，在对光电转换输出中，可识别的只是光的实部部分。[0064] S103：基于最小乘加单元对应表示的光信号输入关系和酉矩阵，进行多次消元运算。[0065] 由于干涉光路链接关系是基于最小乘加单元的，所以最小乘加单元中的元素是用于表示输入关系的，而酉矩阵是基于权重值分解所得，所以基于最小乘加单元和酉矩阵的消元处理，可以得到任意酉矩阵对应的干涉光路如MZI实现时，光学干涉单元的所有配置参数，或者是说光学干涉单元的配置方式。本实施例的消元运算次数要小于酉矩阵的阶数，这样才可以提升光学干涉单元的配置效率。[0066] S104：根据消元运算结果确定光学干涉单元的所有配置方式。[0067] 在本发明实施例提供的技术方案中，对于同一个卷积核的不同套权重值通过分解后的矩阵映射计算方式，可以适用于任意酉矩阵。且对于任意m*m的酉矩阵只需要进行m‑1次计算即可得到所有的光学干涉单元的配置方式，实现所需要的m组权重值的运算，相比现有技术，可有效提升光子神经网络的光学干涉单元配置效率。[0068] 需要说明的是，本申请中各步骤之间没有严格的先后执行顺序，只要符合逻辑上的顺序，则这些步骤可以同时执行，也可按照某种预设顺序执行，图1只是一种示意方式，并不代表只能是这样的执行顺序。[0069] 在上述实施例中，对于光子神经网络的最小乘加单元的计算方式并不做限定，本实施例中针对图2所示的光学干涉单元结构给出一种具体实施方式，光学干涉单元包括第一输入端、第二输入端、第一移相器、第一分光器、第二移相器和第二分光器；经第一输入端和第二输入端输入的光信号通过第一移相器投射至第一分光器，经第一分光器处理后进入第二移相器，通过第二移相器进入第二分光器进行处理后输出，可包括如下步骤：[0070] 根据光学干涉单元的光学结构和光传导特性确定输入光信号和输出光信号之间的光学转换关系为：[0071][0072] 式中， 为第一输入端的输入光信号， 为第二输入端的输入光信号， 为第一输入端的输入光信号经光学干涉单元处理后的最终输出光信号， 为第二输入端的输入光信号经光学干涉单元处理后的最终输出光信号；θ为第二移相器的调相角，φ为第一移相器的调相角，e表示指数，i表示虚数；[0073] 基于光学转换关系，将第一移相器的调相角置0，得到最小乘加单元R为：[0074][0075] 在本实施例中，光转换计算关系是指光信号经输入端输入到输出端输出这个过程中涉及到的光信号的处理运算。[0076] 在上述实施例中，对如何进行消元处理并不做限定，本申请还提供了一种消元处理方式，也即基于最小乘加单元对应表示的光信号输入关系和酉矩阵进行多次消元运算的过程可包括下述内容：[0077] 整个消元思路为：根据最小乘加单元具有酉矩阵特性，构建用于表示光学干涉单元对应输入关系的对角矩阵；基于对角矩阵的对角线元素对对角矩阵进行基于矩阵运算的扩充，得到配置关系矩阵；对配置关系矩阵按照预设消元方法进行消元处理，结合酉矩阵计算配置关系矩阵所包含的输入关系。根据实际应用场景，可按照下述方式执行：[0078] 根据最小乘加单元具有酉矩阵特性，构建用于表示光学干涉单元对应第一输入关系的第一对角矩阵；[0079] 基于第一对角矩阵的对角线元素对第一对角矩阵进行基于矩阵运算的扩充，得到第一配置关系矩阵；[0080] 对第一配置关系矩阵按照预设消元方法进行消元运算，结合酉矩阵计算第一配置关系矩阵所包含的第一输入关系；[0081] 判断第一配置关系矩阵的对角线元素个数是否为1；[0082] 若否，则执行后续步骤，如是，则根据前面每次计算得到的输入关系确定光学干涉单元的配置方式。[0083] 对角度配置关系矩阵和酉矩阵进行乘加运算得到第一子酉矩阵；[0084] 根据最小乘加单元具有酉矩阵特性，构建用于表示光学干涉单元对应第二输入关系的第二对角矩阵；[0085] 基于第二对角矩阵的对角线元素对第二对角矩阵进行基于矩阵运算的扩充，得到第二配置关系矩阵；[0086] 对第二配置关系矩阵按照预设消元方法进行消元运算，结合第一子酉矩阵计算第二配置关系矩阵所包含的第二输入关系；[0087] 判断第二配置关系矩阵的对角线元素个数是否为1；[0088] 若否，则执行后续步骤，如是，则根据前面每次计算得到的输入关系确定光学干涉单元的配置方式。[0089] 对第二配置关系矩阵和酉矩阵进行乘加运算得到第二子酉矩阵；[0090] 根据最小乘加单元具有酉矩阵特性，构建用于表示光学干涉单元对应第三输入关系的第三对角矩阵；[0091] 基于第三对角矩阵的对角线元素对第三对角矩阵进行基于矩阵运算的扩充，得到第三配置关系矩阵；[0092] 对第三配置关系矩阵按照预设消元方法进行消元运算，结合第二子酉矩阵计算第三配置关系矩阵所包含的第三输入关系。[0093] 相应的，上述实施例的S104的实现过程即为：根据所每一次消元运算处理过程中所计算得到的输入关系确定光学干涉单元的配置方式。[0094] 为了使所属领域技术人员更加清楚明白本申请的技术方案，本申请基于图2所示的光学干涉单元结构、以具体示意性例子阐述整个过程，可包括下述内容：[0095] 可以理解的是，光学干涉单元通过光学元器件实现卷积运算，以图像处理的卷积神经网络为例，其中的2*2的卷积运算如下所示：[0096][0097] 人工神经网络的前向传播过程强烈依赖于乘加运算，其推理过程中的绝大部分运算本质上是训练后的权重和特征值之间的线性运算。使用光学芯片计算矩阵乘法与电学芯片在实现原理方面有很大的不同。在数字集成电路中，数据一般以晶体管的开关状态来编码为二进制串。利用二进制串表示的数字是离散的，例如整数或浮点值；在光子学中，数据是通过调制激光脉冲的振幅或相位来进行编码的，产生的是连续实数值，改变光场的强度或相位会改变所表示的实数。电路中可以使用导线来引导电子，光子学中可以利用硅基光波导结构传输激光。在数学模型上，利用可编程的移相器，马赫增德尔干涉仪等结构可以在光域使用特征分解方法如SVD(SingularValueDecomposition，奇异值分解)的方式实现任意维度的矩阵乘法运算。在线性代数中，奇异值分解是一种重要的矩阵分解方式，同时也是机器学习中常用的算法之一，在提取特征、简化数据、推荐系统中应用广泛。数学上任意维度的实数矩阵都可以通过奇异值分解的方法分解为三个矩阵的积。设M是一个m*n的矩阵，U是一个m*m的矩阵，称为幺正矩阵，∑是一个m*n的对角矩阵，对角线上的值为非负实数，V是一个n*n的矩阵，也是一个幺正矩阵，用V*来表示V的复数共轭矩阵，对矩阵M进行奇异值分解可以用公式(2)来表示：[0098] M＝U∑V*。(2)[0099] 基于上述理论基础，对于图2所示结构，L1和L2是MZI的光输入端，所输出的光信号是L1’和L2’。MZI可以将双端口的光功率按一定比例耦合到另一个双端口，分光比为50：50。2θ和2φ是移相器，具有可编程功能，通常可以使用几种方式来实现可编程的移相器，比如在一段波导材料上镀上金属薄膜，通过施加外部电压控制金属薄膜加热器导致波导温度变化来改变折射率，实现相移；此外还可以利用等离子体弥散效应即改变电子和空穴的浓度和电光效应改变波导折射率来引入相移。若A表示振幅，ω表示频率，t表示时间，θ1、θ2为初始相位，相应的，L1和L2的表达方式为[0100] 式中，A1、A2、θ1、θ2分别为第一光路通道的光信号L1和第二光路通道的光信号L2的振幅和初始相位。因为在光电转换过程中，可以识别的仅有光的实部，虚部表示的是传输过程中的能量损耗，因此基于欧拉公式可将上式(3)转换为：[0101][0102] 式(4)Re表示实部。L1和L2在进入MZI后，可知光中所含能量会通过耦合器转移到输出的两个端口对应的光信号上，因此其振幅则为原本的 因此图2中的L1和L2与L1’和L2’的关系可以通过式(5)表示为：[0103][0104] 为所述第一输入端的输入光信号， 为所述第二输入端的输入光信号， 为所述第一输入端的输入光信号经所述光学干涉单元处理后的最终输出光信号， 为所述第二输入端的输入光信号经所述光学干涉单元处理后的最终输出光信号；θ为所述第二移相器的调相角，φ为所述第一移相器的调相角，e表示指数，i表示虚数。[0105] 将式(1)中右边3x3的矩阵转化为左边卷积核运算的待乘数序列可表示为：[0106][0107] 结合式(1)，所需要映射到2φ和2θ的即式(7)中的卷积核weight值：[0108][0109] 这里即是实现了一个卷积核对应为weight值在卷积运算中的数据的对应关系。而实际的ANN中，同一套卷积核一般会有不同的weight运算需求，如式(7)的卷积核weight值之外，可能还有对于同一套数据(如式(6)所示)的其他weight值对应的卷积运算需要做，所有需要针对同一套数据运算的卷积weight值如式(8)所示：[0110][0111] 则此时需要实现一个并行执行多个卷积weight值针对同一套输入可以运算并得到不同输出结果的MZI链接方法。[0112] 本实时解决此问题的方法为，首先将需要运算的weight值展开成矩阵结构，如式(8)中所示，展开则为：[0113][0114] 式(9)中每一行对应一组卷积运算的weight值，每一列对应一个输入的待乘数据。考虑到MZI实现的运算结构，设输入数据为L1‑L4，则上述需要实现的卷积运算结构为：[0115][0116] 其中的T矩阵就是需要通过不同的MZI链接拓扑结构实现的矩阵关系，L即为输入数据。[0117] 可知任意m*n的矩阵，都可以经过SVD分解，成为两个酉矩阵和一个对角矩阵，如式(2)所示。则对于公式(10)中的weight值为例，进行奇异值分解可以得到：[0118][0119] 式(10)中的U和W分别是酉矩阵，而V是对角矩阵，可对UVW分别进行分解，尝试构建利用MZI的拓扑结构实现。从公式(5)中考虑MZI的特性，分别设置其调相器，为了方便推导，我们首先设调相器2φ＝0，则需要调整的就只有外调相器2θ。[0120] 于是MZI的最小乘加单元改进为：[0121][0122] 观察公式(11)的特点，可知V矩阵作为对角阵，可以轻易通过图2中的MZI链接关系实现，较为复杂的是解决酉矩阵U和W。以上述酉矩阵U为例进行本发明方法说明，设式(12)为最小乘加单元进行高斯消元运算如下所示：[0123][0124] 考虑到酉矩阵U的特性为其一定可逆，且呈希尔伯特空间的对称特性。再考虑到所需要得到的运算结果为将酉矩阵经过分解，得到对角阵。因此可知U矩阵进行乘加的矩阵运算，一定会保存对角线元素，而消去其他元素。又因为如式(12)所示，进行乘加运算的最小单元为MZI所表示的酉矩阵，因此其乘加的被乘矩阵一定满足其特性。基于以上特性需要对U矩阵进行消元运算，而U矩阵作为酉矩阵，一定具有其子矩阵都满足酉矩阵的特性，因此本实施例提出的顺序预设消元方法为首先消去U矩阵最外面一层元素，然后逐渐向内消元。[0125] 公式(12)所表述的运算最小乘加单元(MZI)呈现一种酉矩阵特性(逆矩阵为其转置矩阵)。而这种特性相应的，在(12)中的cos和sin互相颠倒位置时，也能成立，因此必须确定一种固定的酉矩阵特性，然后基于其展开运算才能有确定的结果。[0126] 则此时被乘矩阵R考虑到式(12)的特性，即本实施例中确定的关系为式(12)所给出的cos和sin的位置关系。此时cos在矩阵的对角线上，因此所有基于(12)的矩阵运算，在对角线上一定会保留cos，而相应的，为了做消元运算，加减运算得0的操作一定是sin涉及的，除对角线外的另两个元素。基于以上关系，公式(14)中如果保存对角线元素，剩下的一定是cos。以及基于cos进行的其他运算。因此(14)中保存了对角线的cos值，作为基础参照，然后基于(12)中消元运算的关系，去展开其他的操作。在做最外围的元素消元时，一定会保存第一行第一列的元素，并消掉第一行第一列其他的元素。基于(12)的特性，以及消元关系，构造出第一行第一列消元的公式(14)，其方法为：[0127] 1：首先保存对角线元素分别为：[0128][0129] 其中，θ12,θ13,θ14分别表示的是MZI对应的输入关系，具体来说，本实施例是以4路输入信号为例，故θ12为第一路输入信号和第二路输入信号之间的关系，θ13为第一路输入信号和第三路输入信号之间的关系，θ14为第一路输入信号和第四路输入信号之间的关系。[0130] 2：基于图3方法在对角线元素的基础上对其进行基于矩阵运算的扩充可得第一配置关系矩阵R1，即下述式(15)：[0131][0132] 3：进行第一行第一列的消元运算得到下述公式(16)，基于该式可分别算出θ12,θ13,θ14：[0133][0134] 4：迭代完成其他所有运算：[0135] 通过对酉矩阵和第一配置关系矩阵进行乘加运算可以得到式(17)：[0136][0137] 则设新得到的子矩阵为U’，也即第一酉矩阵：[0138][0139] 将第一酉矩阵作为酉矩阵，依照上述1‑3步进行计算，可以得到第二配置关系矩阵，直至计算得到θ12、θ13、θ14、θ24、θ23、θ34。θ24、θ23的计算过程可为：[0140] 首先保存对角线元素分别为：[0141][0142] 其中，θ24为第二路输入信号和第四路输入信号之间的关系，θ23为第二路输入信号和第三路输入信号之间的关系。[0143] 基于图4方法在对角线元素的基础上对其进行基于矩阵运算的扩充可得第二配置关系矩阵R2，即下述式(20)：[0144][0145] 进行第一行第一列的消元运算可分别计算出θ24、θ23。[0146] θ34的计算过程可依照上述方法进行，此处便不再赘述。在计算得到θ12、θ13、θ14、θ24、θ23、θ34。θ24、θ23之后，基于θ12、θ13、θ14、θ24、θ23、θ34。θ24、θ23的下标和先后计算顺序、迭代关系顺序便为对应的MZI链接关系，也就是MZI的所有配置方式。[0147] 由上可知，本实施例提出了一种基于MZI实现ONN卷积的快速运算方式，通过基于酉矩阵和MZI运算关系的分析，设置了按圈消元运算的处理顺序，并基于此得到的运算矩阵的设置方法。通过本实施例可以快速求得任意酉矩阵对应的MZI实现时，MZI的角度配置关系。另，还需要说明的是，考虑到整个计算效率以及所需搭载的计算环境，本实施例适合于五次方以内的运算操作。[0148] 本发明实施例还针对光子神经网络的光学干涉单元配置方法提供了相应的装置，进一步使得方法更具有实用性。其中，装置可从功能模块的角度和硬件的角度分别说明。下面对本发明实施例提供的光子神经网络的光学干涉单元配置装置进行介绍，下文描述的光子神经网络的光学干涉单元配置装置与上文描述的光子神经网络的光学干涉单元配置方法可相互对应参照。[0149] 基于功能模块的角度，参见图5，图5为本发明实施例提供的光子神经网络的光学干涉单元配置装置在一种具体实施方式下的结构图，该装置可包括：[0150] 拓扑结构表示模块501，用于对光子神经网络的卷积核在卷积运算中的各套权重值所构建的权重实矩阵进行分解，得到用于计算干涉光路链接拓扑结构的酉矩阵。[0151] 拓扑结构的基础单元确定模块502，用于基于光子神经网络的光学干涉单元的光路结构和光传导特性确定干涉光路链接拓扑结构的最小乘加单元。[0152] 消元处理模块503，用于基于最小乘加单元对应表示的光信号输入关系和酉矩阵，进行多次消元运算；消元运算次数小于酉矩阵的阶数。[0153] 配置方式确定模块504，用于根据消元运算结果确定光学干涉单元的所有配置方式。[0154] 可选的，在本实施例的一些实施方式中，上述拓扑结构的基础单元确定模块502进一步用于：[0155] 光学干涉单元包括第一输入端、第二输入端、第一移相器、第一分光器、第二移相器和第二分光器；经第一输入端和第二输入端输入的光信号通过第一移相器投射至第一分光器，经第一分光器处理后进入第二移相器，通过第二移相器进入第二分光器进行处理后输出；根据光学干涉单元的光学结构和光传导特性确定输入光信号和输出光信号之间的光学转换关系为：[0156][0157] 式中， 为第一输入端的输入光信号， 为第二输入端的输入光信号， 为第一输入端的输入光信号经光学干涉单元处理后的最终输出光信号， 为第二输入端的输入光信号经光学干涉单元处理后的最终输出光信号；θ为第二移相器的调相角，φ为第一移相器的调相角，e表示指数，i表示虚数；[0158] 基于光学转换关系，将第一移相器的调相角置0，得到最小乘加单元R为：[0159][0160] 作为本实施例的一种可选的实施方式，上述拓扑结构表示模块501进一步用于：对当前卷积核，获取进行卷积运算的所有的权重值；将当前卷积核需要运算的权重值展开为矩阵结构；矩阵结构的每一行对应一组卷积运算的权重值，每一列对应一个待输入光信号数据；对矩阵结构进行奇异值分解，得到酉矩阵。[0161] 可选的，在本实施例的另一些实施方式中，上述消元处理模块503可进一步用于：根据最小乘加单元具有酉矩阵特性，构建用于表示光学干涉单元对应输入关系的对角矩阵；基于对角矩阵的对角线元素对对角矩阵进行基于矩阵运算的扩充，得到配置关系矩阵；对配置关系矩阵按照预设消元方法进行消元处理，结合酉矩阵计算配置关系矩阵所包含的输入关系。[0162] 作为本实施例的一种可选的实施方式，上述配置方式确定模块504可用于根据所每一次消元运算处理过程中所计算得到的输入关系确定光学干涉单元的配置方式。[0163] 本发明实施例所述光子神经网络的光学干涉单元配置装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。[0164] 由上可知，本发明实施例可有效提高光子神经网络的光学干涉单元配置效率。[0165] 上文中提到的光子神经网络的光学干涉单元配置装置是从功能模块的角度描述，进一步的，本申请还提供一种光子神经网络的光学干涉单元配置装置，是从硬件角度描述。图6为本申请实施例提供的另一种光子神经网络的光学干涉单元配置装置的结构图。如图6所示，该装置包括存储器60，用于存储计算机程序；处理器61，用于执行计算机程序时实现如上述任一实施例提到的光子神经网络的光学干涉单元配置方法的步骤。[0166] 其中，处理器61可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器61可以采用DSP(DigitalSignalProcessing，数字信号处理)、FPGA(Field‑ProgrammableGateArray，现场可编程门阵列)、PLA(ProgrammableLogicArray，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器61也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(CentralProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器61可以在集成有GPU(GraphicsProcessingUnit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器61还可以包括AI(ArtificialIntelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。[0167] 存储器60可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器60还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器60至少用于存储以下计算机程序601，其中，该计算机程序被处理器61加载并执行之后，能够实现前述任一实施例公开的光子神经网络的光学干涉单元配置方法的相关步骤。另外，存储器60所存储的资源还可以包括操作系统602和数据603等，存储方式可以是短暂存储或者永久存储。其中，操作系统602可以包括Windows、Unix、Linux等。数据603可以包括但不限于光子神经网络的光学干涉单元配置结果对应的数据等。[0168] 在一些实施例中，光子神经网络的光学干涉单元配置装置还可包括有显示屏62、输入输出接口63、通信接口64或者称为网络接口、电源65以及通信总线66。其中，显示屏62、输入输出接口63比如键盘(Keyboard)属于用户接口，可选的用户接口还可以包括标准的有线接口、无线接口等。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(OrganicLight‑EmittingDiode，有机发光二极管)触摸器等。显示器也可以适当的称为显示屏或显示单元，用于显示在光子神经网络的光学干涉单元配置装置中处理的信息以及用于显示可视化的用户界面。通信接口64可选的可以包括有线接口和/或无线接口，如WI‑FI接口、蓝牙接口等，通常用于在该光子神经网络的光学干涉单元配置装置与其他电子设备之间建立通信连接。通信总线66可以是外设部件互连标准(peripheralcomponentinterconnect，简称PCI)总线或扩展工业标准结构(extendedindustrystandardarchitecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。[0169] 本领域技术人员可以理解，图6中示出的结构并不构成对光子神经网络的光学干涉单元配置装置的限定，可以包括比图示更多或更少的组件，例如还可包括实现各类功能的传感器67。[0170] 本发明实施例所述光子神经网络的光学干涉单元配置装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。[0171] 由上可知，本发明实施例可有效提高光子神经网络的光学干涉单元配置效率。[0172] 可以理解的是，如果上述实施例中的光子神经网络的光学干涉单元配置方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read‑OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD‑ROM、磁碟或者光盘等各种可以存储程序代码的介质。[0173] 基于此，本发明实施例还提供了一种计算机可读存储介质，存储有光子神经网络的光学干涉单元配置程序，所述光子神经网络的光学干涉单元配置程序被处理器执行时如上任意一实施例所述光子神经网络的光学干涉单元配置方法的步骤。[0174] 本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。[0175] 由上可知，本发明实施例可有效提高光子神经网络的光学干涉单元配置效率。[0176] 本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。[0177] 专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。[0178] 以上对本申请所提供的一种光子神经网络的光学干涉单元配置方法、装置及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

专利地区：山东

专利申请日期：2021-06-28

专利公开日期：2024-07-26

专利公告号：CN113627605B