用于在视网膜跟踪中拒绝完全和部分眨眼的系统和方法

专利名称：用于在视网膜跟踪中拒绝完全和部分眨眼的系统和方法

专利类型：实用新型专利

专利申请号：CN202011073428.0

专利申请（专利权）人：奥普托斯股份有限公司
权利人地址：英国丹弗姆林

专利发明（设计）人：大卫·克利夫顿

专利摘要：本公开涉及用于在视网膜跟踪中拒绝完全和部分眨眼的系统和方法。一种用于检测眨眼或非眨眼是否在图像中被捕获到的方法、系统和计算机可读介质。该方法包括从图像中过滤被预测为不适合于确定眨眼或非眨眼是否在图像中被捕获到的一个或更多个对象，以提供过滤后的图像。该方法还包括使过滤后的图像与参考图像关联，以及基于该关联来确定眨眼或非眨眼是否在图像中被捕获到。在本文的一个示例实施例中，眨眼是完全眨眼或部分眨眼，并且图像可以是顺序地捕获的IR SLO图像。被确定为包括眨眼的图像可以被省略而不被包含在最终(例如OCT)图像中。

主权利要求：
1.一种用于检测眨眼或非眨眼是否在图像中被捕获到的方法，所述方法包括：从所述图像中过滤被预测为不适合于确定眨眼或非眨眼是否在所述图像中被捕获到的一个或更多个对象，以提供过滤后的图像，其中，所述过滤包括：检测在所述图像中的所述一个或更多个对象；
确定所述一个或更多个对象属于一个或更多个预定分类；以及从所述图像中移除所述一个或更多个对象以提供所述过滤后的图像；
使所述过滤后的图像与参考图像互相关；以及
基于所述互相关来确定所述眨眼或非眨眼是否在所述图像中被捕获到。
2.根据权利要求1所述的方法，其中，当光学系统扫描眼睛时，所述图像和所述参考图像被所述光学系统按次序捕获。
3.根据权利要求1或权利要求2所述的方法，其中，所述确定所述眨眼或非眨眼是否在所述图像中被捕获到包括基于所述互相关的结果来确定分数。
4.根据权利要求3所述的方法，其中，所述分数指示特征的存在或缺乏。
5.根据权利要求4所述的方法，其中，所述特征是峰特征。
6.根据权利要求4所述的方法，其中，所述特征的缺乏指示所述眨眼在所述图像中被捕获。
7.根据权利要求4所述的方法，其中，所述特征的存在指示所述非眨眼在所述图像中被捕获到。
8.根据任一前述权利要求所述的方法，其中，所述眨眼是完全眨眼或部分眨眼。
9.根据任一前述权利要求所述的方法，还包括在所述过滤之前对所述图像执行空间方向过滤。
10.根据任一前述权利要求所述的方法，还包括在所述过滤之前将所述图像和所述参考图像中的每一者分割成片段。
11.一种用于检测眨眼或非眨眼是否在图像中被捕获到的系统，所述系统包括：存储器，所述存储器存储程序；以及
计算机处理器，所述计算机处理器在被存储在所述存储器中的所述程序下操作以执行根据前述权利要求中的至少一项所述的方法。
12.一种存储指令的非暂时性计算机可读介质，所述指令当由计算机处理器执行时使所述计算机处理器执行根据权利要求1到10中的至少一项所述的方法。 说明书 : 用于在视网膜跟踪中拒绝完全和部分眨眼的系统和方法[0001] 领域[0002] 本文的示例方面总体上涉及视网膜跟踪，并且特别是涉及用于在视网膜跟踪中检测和拒绝完全和部分眨眼的系统、方法和计算机可读介质。[0003] 背景[0004] 光学相干断层扫描(OCT)是众所周知的干涉成像技术，其作为有力的诊断工具被广泛用于眼科，其用于使受验者的视网膜结构成像。OCT是一种干涉技术，借此照射源指向受验者的视网膜，且反射光束或样本臂与在受控参考臂中的光组合，并且因此组合光束的干涉特性被用于确定和显示被成像的视网膜的结构。OCT成像技术可以通过使用低相干光来捕获受验者的眼睛内的二维和三维图像。OCT通常基于低相干断层扫描采用近红外光，其中相对长的波长的光可以穿透到眼睛内。[0005] 使用扫描激光检眼镜(SLO)对受验者的视网膜成像以获得视网膜在多个波长下的图像也是众所周知的，其中特定波长代表视网膜的特定层。SLO通常涉及共焦激光扫描显微镜术，并利用水平和竖直扫描镜来扫描例如特定的视网膜区域，并创建可被显示的光栅图像。虽然OCT和SLO扫描仪可以是不同的设备，但至少在一些情况下它们可以一起被提供在组合的SLO‑OCT扫描仪中，并且它们的扫描可以在时间上被同步。在这种组合的SLO‑OCT扫描仪中，至少一些相同的扫描仪元件在SLO和OCT技术二者中被使用，但是不同的激光被并行地发射。[0006] 当使用上述技术捕获受验者的视网膜的图像时，可能出现受验者的眼睛完全眨眼(即眼睑的闭合)、部分眨眼和/或无眨眼。完全或部分眨眼可能对成像技术的结果是不利的，因为这样的眨眼可能至少部分阻碍扫描仪对视网膜的视场。在完全或部分眨眼的条件期间进行的OCT扫描可以导致包括由完全或部分眨眼条件产生的“不清晰”图像的OCT帧堆栈(例如，具有平均的B扫描和C扫描)。当被视为组合图像时，这种帧堆栈可能包括不想要的伪影，并且相对于只有清晰图像(即，在非眨眼条件期间拍摄的图像，其中扫描仪具有清晰的视网膜的视场)被包括在帧堆栈中的情况，可能使总体质量降低。而且，眨眼可能使视网膜跟踪系统迷失它的正确位置，且因此破坏扫描定位，并因而破坏最终扫描图像(例如OCT图像)。因此，能够准确地区分开清晰和不清晰图像并且能够选择性地省略不清晰图像使得它们不被包括在最终帧堆栈中将是有用的。[0007] 图3a至图3c表示清晰图像和不清晰图像的示例。更特别地，图3a示出了通过IRSLO获得的作为在没有眨眼(且因此SLO具有视网膜的清晰视场)的条件期间SLO扫描患者的视网膜的结果的跟踪帧(例如红外(IR)跟踪帧)302以及在相同的条件期间通过OCT扫描与跟踪帧302同步地获得的相对应的OCTB‑扫描304的示例。为了方便起见，这种条件在下文中将被称为“清晰视场条件”或“非眨眼条件”，并且帧302和OCTB‑扫描304也被称为“清晰图像”。[0008] 图3b示出了通过IRSLO获得的作为在有部分眨眼(且因此SLO仅有视网膜的部分视场)的条件期间SLO扫描患者的视网膜的结果的跟踪帧306以及在相同的条件期间通过OCT扫描与跟踪帧306同步地获得的相对应的OCTB‑扫描308的示例。为了方便起见，这种条件在下文中将被称为“部分眨眼条件”或“部分视网膜视场条件”)，并且帧306和OCTB‑扫描308也被称为“不清晰图像”。[0009] 图3c示出了通过IRSLO获得的作为在有完全眨眼(且因此SLO没有视网膜的视场)的条件期间SLO扫描患者的视网膜的结果的跟踪帧310以及在相同的条件期间通过OCT扫描与跟踪帧310同步地获得的相对应的OCTB‑扫描312的示例。为了方便起见，这种条件在下文中将被称为“完全眨眼条件”或“无视网膜视场条件”)，并且帧310和OCTB‑扫描312也被称为“不清晰图像”。[0010] 对OCT帧304、308、312的分析可以直接提供帧的内容是否指示完全或部分眨眼的出现的一些指示。然而，在实践中，由于图像通常具有低信息内容和差的信噪比特性，这些类型的分析证明是无效的。[0011] 此外，在简单形式的眨眼检测中，可以设想返回的光的平均图像强度的变化可以用于确定眨眼正在出现。然而，实验表明，情况通常不是这样，因为存在在眨眼和非眨眼条件期间发现的范围广泛的公共强度特性。这在外围扫描期间尤其如此，其中对于眨眼(不清晰)和视网膜(清晰)图像，返回的强度的范围可以通常在同一范围内。换句话说，在眨眼特征图像和外围视网膜图像之间可能存在大体相似性。实际上，外围扫描可能导致与在图3c中针对完全眨眼条件场景所示的图像相似的图像。因此，试图采用这种简单的、基于强度的参数化技术来试图区分开模糊(眨眼和部分眨眼)和非模糊(非眨眼)扫描可能是无效的或不够的。[0012] 概述[0013] 通过根据本文的示例方面的用于检测眨眼或非眨眼是否在图像中被捕获到的方法、系统和计算机可读介质克服了前述和其他限制。根据本文的示例实施例，该方法包括从图像中过滤被预测为不适于确定眨眼或非眨眼是否在图像中被捕获到的一个或更多个对象，以提供过滤后的图像。该方法还包括使过滤后的图像与参考图像关联，并基于该关联来确定眨眼或非眨眼是否在图像中被捕获到。被确定为包括眨眼的图像可以被省略而不包含在最终(例如OCT)图像中。[0014] 眨眼可能是完全眨眼或部分眨眼。在本文的一个示例实施例中，图像优选地在参考图像之后按次序被捕获，并且这两个图像优选地都是IRSLO图像。在本文的一个示例实施例中，这两个图像被获得作为对患者眼睛的IR扫描的结果的“实时”图像流的一部分，其中参考图像(例如图像帧n‑1)按次序紧接在图像(例如图像帧n)之前被捕获，并且其中参考图像(其用于眨眼/非眨眼检测)在执行关联之前也如上所述被过滤。[0015] 而且，根据本文的示例实施例，该确定包括基于关联的结果来确定分数，其中分数指示特征的存在或缺乏，并且在一个示例中，该特征是峰特征。[0016] 在本文的一个示例实施例中，该特征的缺乏指示眨眼(例如完全或部分眨眼)在图像中被捕获到，并且该特征的存在指示视网膜在图像中被捕获到，但是没有眨眼。[0017] 在本文的又一示例实施例中，该方法还包括在过滤之前对图像执行空间方向过滤。[0018] 另外，在本文的示例实施例中，过滤包括检测在图像中的一个或更多个对象，确定一个或更多个对象属于一个或更多个预定分类，以及从图像中移除一个或更多个对象以提供过滤后的图像。[0019] 该方法还可以包括至少对于该方法被执行以检测部分眨眼是否在图像中被捕获到的情况在过滤之前将图像和参考图像中的每一个分割成片段。[0020] 附图简述[0021] 现在将仅通过非限制性示例的方式参考附图来详细解释本发明的实施例，附图的内容在下面被描述。在附图中的不同附图中出现的相似的参考数字表示相同的、对应的或在功能上相似的元素，除非另有指示。[0022] 图1是根据本文的示例实施例的光学系统的示意图。[0023] 图2是根据本文的示例实施例的可编程信号处理硬件的示意图。[0024] 图3a示出了当IRSLO和OCTB‑扫描在非眨眼条件(即，视网膜的清晰视场)期间被执行时关于扫描质量的示例结果。[0025] 图3b示出了当IRSLO和OCTB‑扫描在部分眨眼条件(即，部分视网膜视场)期间被执行时关于扫描质量的示例结果。[0026] 图3c示出了当IRSLO和OCTB‑扫描在完全眨眼条件(即，无视网膜视场)期间被执行时关于扫描质量的示例结果。[0027] 图4a示出了根据本文的示例方面的用于检测在至少一个图像中的完全眨眼条件的系统的示例表示。[0028] 图4b示出了根据本文的示例方面的用于检测在至少一个图像中的部分眨眼条件的系统的示例表示。[0029] 图4c示出了根据本文的示例方面的用于检测在至少一个图像中的非眨眼条件的系统的示例表示。[0030] 图5a‑5b示出了根据本文的示例方面的用于检测在至少一个图像中的完全眨眼条件的方法的流程图。[0031] 图6a‑6b示出了根据本文的示例方面的用于检测在至少一个图像中的部分眨眼条件的方法的流程图。[0032] 图7a‑7b示出了根据本文的示例方面的用于检测在至少一个图像中的非眨眼条件的方法的流程图。[0033] 图8a描绘了已经被分类为属于一个或更多个预定分类的对象的示例。[0034] 图8b描绘了已经被分类为属于一个或更多个预定分类的对象的另一示例。[0035] 图8c描绘了已经被分类为属于一个或更多个预定分类的对象的另一示例。[0036] 图8d描绘了已经被分类为属于一个或更多个预定分类的对象的又一示例。[0037] 图9表示根据本文的示例实施例的计算互相关置信度分数的方式。[0038] 具体实施方式[0039] 现在将参考附图详细描述本文的示例实施例。[0040] 如上所述，由于上面所述的原因，根据已知的光学成像技术的用于检测图像帧内容是否指示眨眼或非眨眼条件的传统分析已被证明是无效的。发明人已经发现，基于用于跟踪视网膜运动的“跟踪”图像(例如IRSLO图像)来识别不清晰(和清晰)图像将具有大得多的效力，因为这些类型的图像(其可以与OCT帧并行地且时间同步地被捕获)通常包含指示眨眼的更直接的信息，并且通常比OCT帧具有高得多的信息质量。用于跟踪视网膜运动的IRSLO跟踪帧通常是通过在不可见的IR波长下照射视网膜来捕获的。这是因为在整个扫描设置时期中以及在扫描期间照射是连续的。另一方面，如果可见光波长被用于照射，那么亮度以及照明的持续时间将会使患者不舒服(并且还将产生虹膜的闭合，这又将限制光量，导致对图像质量的损害)。[0041] 人眨眼通常出现的持续时间大于几个帧采样间隔。因此，发明人还发现，可以基于以例如每秒至少50个样本的帧速率获得的至少两个(或更多个)帧(例如IRSLO帧)的比较来检测眨眼(或非眨眼)条件以捕获最快的眨眼速率(例如通常约1/10秒)。在1/10秒眨眼的情况下这大约是5帧。[0042] 因此，根据本文的示例方面，本文描述了用于检测在图像中的眨眼和非眨眼条件的方法和系统。根据本文的示例方面的方法，顺序地获得的图像(例如其可以作为图像流作为患者的眼睛的IR扫描的结果而被获得)通过空间方向滤波器进行过滤。然后，对过滤后的图像执行对象过滤，其中在本文的一个示例实施例中，对象过滤是通过一个或更多个对象滤波器来执行的，该一个或更多个对象滤波器被“调谐”以基于与眨眼和/或非眨眼条件(或视网膜特征)相关联的预定特征(约束)来在过滤后的图像中过滤(例如移除)被检测到的对象。在对象过滤之后，对通过对象滤波器过滤的图像中的至少两个连续图像执行互相关，以确定互相关的结果是否指示如由例如互相关峰值的相应的缺乏或存在所指示的眨眼或非眨眼条件。被确定为指示眨眼条件的图像可以从最终图像(例如OCT图像)中被省略，因为它们可能不适合于图像(或子区域)选择和跟踪，而被确定为指示非眨眼条件的图像可以被包括在最终图像中，因为它们可能包括可跟踪的视网膜特征。[0043] 在本文的一些示例实施例中，在用于检测图像是否指示部分眨眼条件的前述方法被采用的情况下，在对片段执行过滤和互相关之前，可以首先将来自图像流的图像分割成竖直块或片段。在这种情况下，可以获得一个或更多个相关峰值，作为使片段的相对应的集合互相关的结果，以便确定足够的视网膜特征(或这样的特征的缺乏)在部分眨眼期间是否存在。给定OCT的扫描区域通常小于IRSLO的区域，这可能是有帮助的。事实上，它在一些扫描模式中可以是水平线。[0044] 以上述方式处理SLO图像可以提高SLO图像配准和眼球跟踪的可靠性，允许SLO/OCT成像系统的OCT扫描仪的成像区域更准确地被保持在期望目标位置处，且因而使改进的OCT图像能够被产生。[0045] 现在将参考图1描述示例医学成像设备100的示意图，该示例医学成像设备100可用于执行对受验者的视网膜的扫描，并且其可根据本文描述的示例方法来操作。[0046] 本示例实施例的医学成像设备100包括光学成像模块110、控制模块120和配准模块130。光学成像模块110、控制模块120和配准模块130通过任何适当的通信信道140(例如数据总线等)通信地耦合，以便如下面更详细描述的能够与彼此交换数据。[0047] 光学成像模块110可以是任何种类的光学成像装置，其可操作来通过首先获取样本来生成定义人类或动物身体的任何部位的区域的图像(该区域在身体部位的外表面或身体部位的内部部分上)的图像数据，该样本的值指示在该区域中的相应样本位置处的身体部位的光学特性。作为示例，光学成像模块110可以包括图像传感器(例如电荷耦合设备(CCD)或互补MOS(CMOS)传感器)，或更一般地包括能够通过测量穿过身体部位透射的或从身体部位的被成像区域反射的光或从透射光/反射光得到的光(例如在多个样本位置处例如由透射光/反射光与参考光信号的干涉产生的光)的强度来生成图像数据的任何种类的光电检测器。例如，通过光学成像设备110获取的样本值可以指示身体部位的至少一个光学特性，例如它的反射率、透射率、荧光性或其他形式的光致发光和/或颜色。[0048] 通过光学成像模块110生成的图像数据可以是从所获取的样本得到的图像的任何数值表示，例如由像素的阵列定义的位图图像的任何数值表示，像素在阵列中的位置和值分别指示所获取的样本值和样本位置。光学成像模块110可以使用映射来将所获取的样本映射到图像的对应像素，使得每个样本的样本位置的指示被映射到图像的对应像素的像素位置。每个样本的样本值可以被分配或以其他方式映射到图像的对应像素的像素值。在本文的一个示例实施例中，为了提高处理速度，所生成的位图图像可以在压缩的情况下以原始格式(例如，作为原始位图，没有头部或其他信息，例如尺寸信息)被存储在光学成像模块110的存储器设备中。然而，所生成的位图图像可以可选地以任何已知的压缩图像文件格式(例如以标准化压缩位图文件，例如GIF、PNG、TIFF或JPEG)存储在存储器设备中。[0049] 可以以许多不同的形式之一提供医学成像设备100。作为示例，以用于对患者眼睛的视网膜的区域成像的视网膜扫描仪的形式提供本示例实施例的医学成像设备100。然而，应当理解，在下文中描述的视网膜扫描仪的配置和操作方面不是视网膜扫描仪所特有的，并且可以应用于其他种类的医学扫描仪和医学成像设备。[0050] 如在本示例实施例中的，视网膜扫描仪可以是用于对视网膜的表面成像的扫描激光检眼镜(SLO)。例如，视网膜扫描仪可以采取具有如例如在美国专利号5,815,242(该美国专利的内容通过引用以其整体并入本文)中所描述的光学布置的宽视场SLO的形式，或可选地采取本领域中的技术人员公知的传统类型的窄视场SLO的形式。视网膜扫描仪可以可选地是被配置成获取OCT图像数据的多种已知的光学相干断层扫描(OCT)扫描仪中的一种，该多种OCT图像数据定义在视网膜的表面下的规定深度处的视网膜的区域的图像。作为另一备选方案，视网膜扫描仪可以是能够在单个过程中通过SLO光学器件获取共焦眼底图像和通过OCT光学器件获取断层图像的组合SLO‑OCT扫描仪。在美国专利号9,924,862中描述了宽视场组合SLO‑OCT扫描仪的示例，该美国专利的内容通过引用以其整体并入本文。[0051] 视网膜扫描仪可以通过下列操作来对区域成像：沿着区域扫描准直光束并且使用图像传感器或能够测量反射光的强度的其他光电检测器布置针对在由扫描覆盖的区域上的样本位置序列中的每个样本位置测量从相应样本位置反射的光的强度，因而获得具有该反射光的强度的样本序列。对于每个所获取的样本，视网膜扫描仪形成在样本值和指示对应的样本位置的一个或更多个扫描参数(例如，用于控制视网膜扫描仪的一个或更多个扫描元件的角位移的一个或更多个控制信号)的值之间的关联(例如，通过在可以被显现为表格等的适当地配置的数据结构中的存储)。[0052] 控制模块120可以控制光学成像模块110以根据扫描图案(例如密集扫描图案)获取样本序列，扫描图案使得在通过光学成像模块110生成图像数据时所获取的样本的在视网膜上的样本位置被映射到布置在阵列中的在图像中的对应的像素位置。扫描图案可以是光栅扫描图案，在这种情况中，该获取的样本序列被映射到对应的像素序列上，该对应的像素序列根据光栅扫描图案反映所获取的样本的排序。因此，控制模块120控制光学成像模块110以使用上述不同种类之一的扫描图案来执行扫描，例如从而将可用扫描时间专用于获取定义视网膜的相对小的部分的图像的图像数据，在视网膜上的相邻样本点的间距通常类似于光学成像模块110的光学分辨率。[0053] 在如上所述包括一个或更多个扫描元件的光学成像模块中，控制模块120可以基于函数来生成用于驱动扫描元件的旋转的控制信号，使得准直光根据由该函数定义的稀疏扫描图案在视网膜上进行扫描。在扫描期间，光学成像模块110可以如在本示例实施例中以恒定的采样速率(例如上面讨论的帧速率)或对于其他情形以不规则的间隔获取样本。[0054] 配准模块130被配置成对照存储在其中的参考图像132配准由所生成的图像数据定义的图像，参考图像132在一个示例实施例中包括定义已由光学成像模块110成像的区域的至少一部分的图像的图像数据。在本文的一个示例实施例中，在参考图像132中成像的视网膜的面积可以大于由光学成像模块110执行的上述类型的单次扫描所覆盖的视网膜的面积。[0055] 配准模块130可以通过计算在图像与参考图像132之间的互相关来对照参考图像132配准图像。例如，如在本示例实施例中，配准模块130可以被配置成通过计算在图像与参考图像132之间的加权归一化互相关(换句话说，掩蔽归一化互相关)来对照参考图像132配准图像。例如在2012年5月5日由D.Padfield在IEEETransactionsonImageProcessing(第21卷第21期)中发布的标题为“MaskedObjectRegistrationintheFourierDomain”的文章(“Padfield公开物”)中提供了加权归一化互相关计算可以如何被执行的另外的细节，该文章的内容通过引用以其整体并入本文。这种技术通过仅考虑真实数据点来允许对稀疏图像数据的配准；在稀疏图像帧中的非数据点通过掩模的使用从配准计算中被排除。因此，本示例实施例的配准模块130被配置成产生在两个图像之间的平移偏移的度量。配准模块130可以被配置成直接对照参考图像132配准图像，或间接地通过对照在由光学成像模块110获取的图像序列中的先前获取的图像(其在该情况下形成参考图像132)配准图像来配准图像，其中在先前获取的图像与参考图像132之间的前述种类的差异是已知的。[0056] 在本示例实施例中，在由配准模块130执行配准之前，例如通过形成在视网膜上的相邻成像区域的图像的拼接来获取由配准模块130使用的参考图像132，每个相邻成像区域由光学成像模块110使用扫描图案来被成像。优选地，相邻成像区域重叠，以便允许图像对照彼此被配准，使得它们可以被组合(或结合在一起)以生成形成参考图像132的图像的拼接。[0057] 如在本示例实施例中，医学成像设备100可以被配置成使得(使用如上所述的稀疏扫描图案获取的)每个输入图像帧对照参考图像132被配准以确定平移偏移，并且如果偏移大于特定阈值，则扫描图案重新回到中心位置以跟随任何运动。这可以允许更大程度的平移偏移，同时仍然保持在扫描图案的范围内。[0058] 在本文的另一示例实施例中，参考图像132是作为对患者眼睛的扫描结果的“实时”图像流的一部分而获得的输入图像帧之一，其中，参考图像(例如图像帧n‑1)132按次序紧接在输入图像帧(例如图像帧n)中的当前图像帧之前被捕获。[0059] 图2是可编程信号处理硬件200的示意图，可编程信号处理硬件200可被配置成控制包括如上所述的光学成像模块110的医学成像设备，并且特别是起控制模块120和/或配准模块130的作用。可编程信号处理硬件200包括通信接口(I/F)210，以用于接收由光学成像模块110获取的样本数据，并且向光学成像模块110发送控制指令以控制光学成像模块110以根据扫描图案并且可选地基于在配准中获得的偏移(以便将扫描位置保持在视网膜上的感兴趣区域上，以便补偿在成像期间的眼睛的运动)来获取样本。信号处理装置200还包括处理器(例如中央处理单元CPU或图形处理单元GPU)220、工作存储器230(例如随机存取存储器)和存储包括计算机可读指令的计算机程序的指令储存装置240，计算机可读指令当由处理器220执行时使处理器220执行各种功能，包括控制模块120、配准模块130的功能和/或本文描述的方法。工作存储器230存储由处理器220在计算机程序的执行期间使用的信息，例如包括由光学成像设备110生成的图像数据、参考图像132、在图像配准期间计算的一个或更多个偏移、定义扫描图案的一个或更多个函数、以及下文描述的候选成像模板。指令储存装置240可以包括预加载有计算机可读指令的ROM(例如以电可擦除可编程只读存储器(EEPROM)或闪存的形式)。可选地，指令储存装置240可以包括RAM或类似类型的存储器，并且计算机程序的计算机可读指令可以从计算机程序产品(例如以CD‑ROM、DVD‑ROM等形式的非暂时性计算机可读存储介质250)或携带计算机可读指令的计算机可读信号260被输入到指令储存装置240。在任何情况下，计算机程序当由处理器执行时使处理器执行如本文所述的控制医学成像设备100的方法。然而，应当注意，控制模块120和/或配准模块130可以可选地在不可编程硬件(例如专用集成电路(ASIC))中实现。输入/输出用户接口280也可以被包括在硬件200中，连接到处理器200。用户接口280可以包括用于使用户能够向处理器200输入信息的任何合适类型的接口和/或用于使用户能够感知从处理器200输出的信息的任何合适类型的输出接口。[0060] 在本示例实施例中，包括处理器220、工作存储器230和指令储存装置240的在图2中所示的硬件部件的组合270被配置成执行控制模块120和/或配准模块130的功能。[0061] 在描述了图1和图2后，现在将参考图4a至图4c和图5a至图7b描述根据本文的示例方面的方法和系统。图4a示出了系统401，以及图5a和图5b示出了用于检测在至少一个图像中的完全眨眼条件的方法500，图4b示出了系统403，以及图6a和图6b示出了用于检测在至少一个图像中的部分眨眼条件的方法600，以及图4c示出了系统405，以及图7a和图7b示出了用于检测在至少一个图像中的非眨眼条件的方法700。每个系统401、403和405可以被操作，并且每个方法500、600和700可以单独地、并行地、同时地、或在不同的时间被执行，和/或每个方法可以被操作来同时地或单独地处理来自相同图像流的相同图像，或每个方法可以处理不同的输入图像帧。在本文的一些示例实施例中，图4a‑4c的部件402、409、430、430a和430b可以被包括在上面所述的图2的处理器220和/或指令储存装置240中，部件430、430a、430b可以被包括在上面所述的图1的配准模块130中，并且图像流可以如上所述经由接口210从系统100获得，用于用作系统401、403、405和方法500、600、700的输入。此外，图4a‑4c的部件432、468、470和474可以被包括在图2的用户接口280中(或由用户接口280形成)。在本文的一些示例中，在图像流中的图像帧n和n‑1是(例如，由系统100捕获的)IRSLO图像，并且这些图像被用作用于(例如，由系统100)捕获OCT图像的参考。[0062] 首先将描述过程500和系统401。在步骤501(图5a)中，方法500以图像帧n和先前获得的图像帧n‑1(例如，从经由如上所述的接口210获得的图像流)被输入到系统401开始，其中在本文的一个示例实施例中，帧n‑1按次序紧接在帧n之前被捕获。然后在步骤502中，帧n和n‑1被应用于空间方向滤波器402，其中帧n和n‑1被过滤。在本文的一个示例实施例中，空间方向滤波器402作为用于计算在那些相应方向上的导数的x方向和y方向滤波器来操作，但是空间方向滤波器420可以替代地关于在给定空间内的任何选定方向来这样做。在本文的一个示例实施例中，空间方向滤波器402是可以确定图像的一阶导数的边缘检测器。在大变化出现在相邻像素值之间的时候，一阶导数(或斜率)通常很明显。也就是说，在图像帧n和n‑1内的边缘可能由于由空间方向滤波器402所确定的在相邻像素值之间的大变化(陡峭的梯度)而是可见的。所确定的导数可以被按比例缩放以仅显示负斜率、零斜率和正斜率，如由感兴趣的应用确定的。此外，在本文的一个示例实施例中，空间方向滤波器402是Gabor滤波器，并且如在Zhang等人的标题为“RetinalVesselSegmentationUsingGaborthFilterandTextons”的公开物(Proc.18 Conf.onMedicalImageUnderstandingandAnalysis(MIUA)，2014年，1‑6页)中描述的操作，该公开物通过引用以其全部并入本文。在一个示例实施例中，Gabor滤波器可以包括“定向”旋转(例如，在360/8步长中的8个角度)。[0063] 根据本文的示例实施例，空间方向滤波器402通过从帧n和n‑1移除预定特征(例如且没有限制地背景照明、高频噪声和/或其他预定的不需要的特征(即，被认为对跟踪视网膜信息没有用的特征))来执行过滤。此外，在本文的一个示例实施例中，空间方向滤波器402可以包括一系列空间方向滤波器(未示出)，其中每个这样的滤波器通过从帧n和n‑1中过滤相应类型的特征来操作。[0064] 作为图像帧n和n‑1在步骤502中被空间方向滤波器402过滤的结果，空间方向滤波器402输出相对应的过滤后的帧n’和n‑1’，其中帧n’是如上所述由滤波器402过滤后的帧n的版本，而帧n‑1’是如上所述由滤波器402过滤后的帧n‑1的版本。[0065] 在步骤504中，过滤后的帧n’和n‑1’被输入到滤波器409，滤波器409包括对象滤波器410和对象约束412。在本文的一个示例实施例中，对象约束412以如下所述的方式由对象滤波器410使用，以确定是否将可以被包括在帧n’和n‑1’中的对象分类为在一个或更多个预定分类411内(如果有的话)。对象约束412包括预定分类411和相关几何特征413。在本文的一个示例实施例中，预定分类411是应当由对象滤波器410从帧n’和n‑1’中移除的特征/对象的分类，因为它们被认为对于确定帧是否指示眨眼条件是没有帮助的。作为示例且没有限制地，在用于检测眨眼条件的系统401的滤波器409的情况下，预定分类411可以包括灰尘分类、眼睑分类、眼睫毛分类、血管分类、脉络膜视网膜特征分类和/或被认为不适合于检测在图像帧n’和n‑1’中的眨眼条件的对象的任何其他预定分类。此外，与预定分类411中的相对应的分类相关联的相应几何特征413定义与那些分类411相关联的几何特性。仅作为示例，与“灰尘”分类411相关联的几何特征413可以包括与灰尘颗粒相关联的面积(例如总强度)、宽度、高度和/或其他预定尺寸/特征，与“眼睑”分类411相关联的几何特征413可以包括与眼睑相关联的面积(例如总强度)、宽度、高度和/或其他预定尺寸/特征等。[0066] 可以由滤波器409采用的其他类型的几何特征413可以作为示例且没有限制地包括空间范围(例如，相对于质量中心和周边长度的宽高比)、纹理特性、从对象特征的质心到边界框上的选定方向位置的距离(见例如下面描述的图8a‑8d)、垂直和水平范围、面积、宽度和长度比、周边长度、围绕质心的力矩等。在本文的一个非限制性示例实施例中，力矩是围绕质心的二阶矩，如作为示例在https：//en.wikipedia.org/wiki/Second_moment_of_area中描述的，该文献通过引用被并入本文。借助于由滤波器409采用的预定分类411和几何特征413的类型，滤波器409被“调谐”以实现对在帧中的眨眼条件(如果有的话)的检测(例如，借助于将在下面描述的互相关)。事实上，特征413可能对实现在具有较大空间范围但低像素计数区域的对象(即，应该被保留的对象)和相对于像素计数区域具有较低空间范围的对象(即，应该被移除的对象)之间的区分是有效的。[0067] 再次参考图4a和图5a，在步骤504中帧n’和n‑1’由对象滤波器410首先接收到之后，对象滤波器410通过执行预定的对象检测技术来确定可以被包括在帧n’和n‑1’中的任何对象是否被检测到(步骤506)。如果在步骤506中为“否”，则控制返回到步骤501，在步骤501中，方法500对于下一组帧n和n‑1再次开始。另一方面，如果在步骤506中为“是”，则对象滤波器410确定与检测到的对象相关联的几何特征(步骤508)。作为说明性的非限制性示例，在步骤508中，对象滤波器410可以针对在步骤506中检测到的至少一个对象计算至少一个图像矩(例如二阶矩)(其中如在本领域中已知的，图像矩可以是图像的像素强度的特定平均值或加权平均值，或通常被选择为具有一些吸引人的性质或解释的这样的力矩的函数)、面积(例如总强度)、其质心、定向、宽度、高度和/或与检测到的对象相关联的其他预定特征。[0068] 基于针对在步骤506中检测到的对象确定的几何特征(在步骤508中)和几何约束412，对象滤波器410确定对象是否可以被分类到一个或更多个预定分类411中(步骤510)。例如，步骤510可以包括确定在步骤508中确定的几何特征是否足够好地(例如在预定阈值或范围内)对应于与特定的预定分类411相关联的几何特征413。如果在步骤510中为“否”，则控制返回到步骤506，其中该方法以上述方式继续，以如以上所述确定另外的对象是否可以在帧n’和n‑1’中被检测到。另一方面，如果在步骤510中为“是”，则控制通过连接器A转到图5b的步骤511，其中对象滤波器410将对象分类为在特定的预定分类411内。接下来，在步骤512中，对象滤波器410从图像帧n’和n‑1’移除在步骤511中被分类的任何对象，并且此后控制转到步骤513。在一个示例实施例中，通过将对象的像素值设置为“零”(或在灰度级图像的情况下，改变灰度级范围)来执行步骤512中的移除。这样的移除避免不需要的对象(例如灰尘)不适当地影响互相关，这将在下面被描述。然后，做出关于任何另外的对象是否在图像n’和n‑1’中被检测到(步骤513)的确定。如果在步骤513中为“是”，则控制返回到图5a的步骤508，其中该方法然后以上述方式继续进行。如果在步骤513中为“否”，则控制转到步骤514，这将在下面被描述。[0069] 应当注意，在本文的一个示例实施例中，基于图像来预训练对象滤波器410(和/或滤波器409)以学习以上述方式检测图像中的对象和将图像中的对象分类。根据本文的一个示例实施例，对象滤波器410(和/或滤波器409)包括被训练来执行对象检测和分类的卷积神经网络(CNN)(未示出)，其中如在本领域中已知的，CNN可以用于机器学习，并且采用可以用于分析图像和将图像分类的一类深度前向反馈人工神经网络。在本文的一个示例实施例中，CNN包括层(但是该示例不是限制性的或排他的)，并且CNN的权重在训练期间被调整，以便最小化分类错误。根据本文的一个非限制性示例实施例，根据由S.Mondal等人在标题为“ImageSimilarityMeasurementusingRegionProps,ColorandTexture：AnApproach”的公开物(InternationalJournalofComputerApplications(0975‑8887)，第121卷，第22期，2015年7月，第23‑26页)中描述的技术来执行图像和/或在图像中的对象的分类，该公开物通过引用被并入本文。[0070] 现在参考图8a‑8d，图8a‑8d描绘了在步骤511中被分类为属于一个或更多个预定分类411的对象以及其他对象的示例。非零像素值区域由参考数字802表示，而零像素值区域(即，在区域802之外的变暗的区域)由参考数字804表示。区域804可以表示被分类(在步骤511中)和移除(在步骤512中)(通过例如将它们的像素值设置为零)的对象，并且区域802可以表示在步骤512中没有被移除(例如，作为例如在步骤511中没有被分类的结果)的检测到的对象。在本文的一个示例实施例中，非零区域的值可以都具有相同的值，如在二进制图像中，或在其他例子中在特定阈值之上的像素保留它们的当前灰度级值。作为示例，在灰度级的情况下，如果阈值“125”被应用于被表示为8位灰度级的对象，则剩余的值在“126”到“256”的范围内。这样，对象现在由原始灰度级值表示，但是它仍然通过被设置为零的像素(即，具有值“125”及以下的所有像素)与它的背景隔离。[0071] 在图8a‑8d中还示出了质心C(例如在步骤508中计算的那些质心)以及边界框B(即，在步骤506中的对象检测期间可能已经生成的边界框)的示例。图8a和图8b表示指示眨眼条件的图像，以及图8c和图8d表示指示非眨眼条件的图像。注意，图8a‑8b可以适用于图4a‑4b的每个系统401、403、405以及本文描述的相对应的方法。[0072] 再次参考图5b，在所有需要移除的对象在步骤512中从考虑中的图像中被移除并且没有额外的对象被检测到(在步骤513中的“否”)之后，然后所得到的过滤后的帧n”和n‑1”由滤波器409输出。然后执行步骤514。在步骤514中，从对象滤波器410输出的过滤后的帧n”和n‑1”由互相关器430来互相关。图像互相关是使用跟踪和图像配准技术以用于对图像中的变化的准确的2D和3D测量的已知方法。在本文的一个示例实施例中，在步骤514中执行的互相关建立在作为参考图像的一个帧(例如帧n‑1”)和作为感测到的图像的另一帧(例如帧n”)之间的对应性。互相关可以涉及移动这样的帧n”和n‑1”中的一个或两个，使得它们具有匹配的、对应的位置，并且提供在图像和模板之间的相似性程度的度量。在本文的一个示例性实施例中，互相关器430可以被包括在上述配准模块130中，并且步骤514的互相关可以根据Padfield公开物被执行，但是在其他示例中可以使用其他类型的互相关，例如在J.P.Lewis的标题为“FastNormalizedCross‑Correlation”的公开物(参见：VisionInterface，1995年，第120‑123页)中描述的互相关，该公开物通过引用被并入本文。[0073] 在步骤514中执行的互相关的结果由图4a所示的关联覆盖图420表示。关联覆盖图420表示在移动到相对应的相同位置之后的互相关的n”和n‑1”帧(即，作为互相关步骤514的结果)，其中覆盖图420包括来自帧n”和n‑1”的内容，包括来自每个帧n”和n‑1”的重叠内容422(例如像素)以及非重叠内容。[0074] 接下来，在步骤516中，做出与互相关步骤518的结果(关联覆盖图420)相关的峰值特征(如果有的话)或分数(例如置信度分数)的确定。在本文的一个示例实施例中，通过测量在完整的互相关帧上由它的梯度加权的峰高比来确定分数。作为示例且没有限制地以及还参考图9，可以基于下面的公式(F1)来执行在步骤516中的置信度分数的计算：[0075] 置信度分数＝round((A2/C)*B*D)/S，(F1)[0076] 其中S是比例系数(例如值“1000”)，A表示在任何方向上在预定数量(例如七个)像素距离内的峰值减去下一峰值，B表示在峰值位置的中心周围的(+/‑3)像素区域的梯度，C表示将在峰值周围的(例如七个)像素区域排除在外的关联表面非零值的平均值，以及D表示在关联表面中的零值的计数与关联表面的总面积之比，并且其中在图9所示的表面视图、侧视图和平面视图中的单位是像素。[0077] 在考虑中的帧中存在眨眼条件的情况下，在步骤516中对分数的确定产生显著的峰值特征的缺乏的结果(在一个示例中，这样的确定可以涉及确定分数小于阈值)，如由图4a的关联表面432所表示的(例如，表面432可以呈现在用户接口280上)。这样的缺乏指示眨眼条件存在于考虑中的帧中，并且因此帧(例如IR帧，并且在一些示例中，相关的所捕获的OCT帧)被认为是无效的(即，对于在视网膜跟踪中的使用是没有用的)，并且可以在步骤518中被丢弃，使得它们不在OCT帧堆栈中被使用。因此，在本文的一个示例实施例中，在步骤518中，分数低于阈值的图像帧(n,n‑1)可以被丢弃，而分数超过阈值的图像帧可以被保持。其后，控制可以返回到图5a的步骤501，其中该方法基于下一组帧继续。[0078] 在本文的另一个示例实施例中，不是将被认为不适合于检测眨眼条件的对象分类和移除这些对象(如上面对步骤508‑512所述的)，被认为适合于检测眨眼条件的被检测的对象(来自步骤506或513)被分类(在步骤510‑511中)，并且这些对象不在步骤512中被移除。替代地，在步骤512中移除未被分类(在步骤510‑511中)的任何剩余对象(在考虑中的帧中)。[0079] 现在将详细描述系统403(图4b)和过程600(图6a‑图6b)。如上面所解释的，执行过程600以确定图像n是否具有部分眨眼条件。在步骤600‑1中，图像帧n和前一帧图像n‑1被输入到系统403。在步骤601中，每个帧n和n‑1被分割成两个(优选地竖直分割的)片段(区域A、区域B)，其中在图像帧n的情况下，图像帧n的区域A和区域B在本文也分别被称为图像片段S1和S2，并且在图像帧n‑1的情况下，其区域A和区域B在本文分别被称为片段S3和S4。接下来，在步骤602中，将片段S1‑S4中的每个片段应用于空间方向滤波器402，空间方向滤波器402以与上面关于图4a所述的相同的方式操作，以过滤每个片段S1‑S4，以便例如移除背景照明、高频噪声和/或其他预定的不需要的特征。[0080] 作为帧片段S1‑S4应用于滤波器402的结果，相对应的过滤后的片段S1’‑S4’分别从滤波器402输出，且然后被应用于滤波器409，滤波器409以与上述系统401的滤波器409类似的方式操作，不同之处在于系统403的滤波器409被调谐以使系统403能够检测在片段中的部分眨眼条件。更特别地，在图4b的系统403的情况下，在一个示例中的预定分类411是应当由对象滤波器410从片段S1’‑S4’移除的特征/对象的分类，因为它们被认为对确定帧是否指示部分眨眼条件是没有帮助的。通过示例且没有限制地，在系统403的滤波器409的情况下，预定分类411可以包括灰尘分类、眼睑分类、血管分类、脉络膜视网膜特征分类和/或被认为不适合于检测在片段S1’‑S4’中的部分眨眼条件的对象的任何其他预定分类。而且，在系统403的情况下，与预定分类411中的相对应的预定分类相关联的相应几何特征413定义与这些分类411相关联的几何特征。仅作为示例，与“灰尘”分类411相关联的几何特征413可以包括与灰尘颗粒相关联的面积(例如总强度)、宽度、高度和/或其他预定尺寸/特征(即，灰尘可以具有更薄的尺寸和/或纹理特征)。与“眼睑”分类411相关联的几何特征413可以包括与眼睑相关联的面积(例如总强度)、宽度、高度和/或其他预定尺寸/特征等。可以由滤波器409采用的其他类型的几何特征413可以例如且没有限制地包括空间范围(例如相对于质量中心和周边长度的宽高比)、纹理特征、从对象特征的质心到边界框上的选定方向位置的距离(见例如本文所述的图8a‑8d)、围绕质心的力矩(例如二阶矩)、竖直和水平范围、面积、宽度和长度比、周边长度等。借助于由系统403的滤波器409所采用的预定分类411和几何特征413的类型，滤波器409被“调谐”以实现对在帧中的部分眨眼条件的检测(例如，借助于将在下面描述的互相关)。[0081] 再次参考图4b和图6a，在步骤604中片段S1’‑S4’由滤波器409(图4b)的对象滤波器410首先接收到之后，对象滤波器410通过执行预定的对象检测技术来确定可能被包括在片段S1‑S4’中的任何对象是否被检测到(步骤606)。如果在步骤606中为“否”，则控制返回到步骤600‑1，其中方法600对于下一组帧n和n‑1再次开始。另一方面，如果在步骤606中为“是”，则系统403的对象滤波器410确定与检测到的对象相关联的几何特征(步骤608)。作为说明性的非限制性示例，在步骤608中系统403的对象滤波器410可以针对在步骤606中检测到的至少一个对象计算至少一个图像矩(例如二阶矩)(其中如在本领域中已知的，图像矩可以是图像的像素强度的特定平均值或加权平均值，或通常被选择为具有一些吸引人的性质或解释的这样的力矩的函数)、面积(例如总强度)、其质心、定向、宽度、高度和/或与检测到的对象相关联的其他预定特征。[0082] 基于为在步骤606中针对检测到的对象确定的几何特征(在步骤608中)和系统403的几何约束412，系统403的对象滤波器410确定对象是否可以被分类到一个或更多个预定分类411中(步骤610)。例如，步骤610可以包括确定在步骤608中确定的几何特征是否足够好地对应于与特定的预定分类411相关联的几何特征413。如果在步骤610中为“否”，则控制返回到步骤606，在步骤606中，该方法以上述方式继续，以确定另外的对象是否可能在片段S1’‑S4’中被检测到。另一方面，如果在步骤610中为“是”，则控制通过连接器B转到图6b的步骤611，在步骤611中系统403的对象滤波器410将对象分类为在预定分类411内。接下来，在步骤612中，对象滤波器410从片段S1’‑S4’中移除在步骤611中被分类的任何对象，以及其后控制转到步骤613。在一个示例实施例中，通过将对象的像素值设置为“零”(或在灰度级图像的情况下，改变灰度级范围)来执行在步骤612中的移除。这样的移除避免不需要的对象(例如灰尘)不适当地影响互相关，这将在下面被描述。然后，做出关于任何另外的对象是否在图像n’和n‑1’中被检测到的确定(步骤613)。如果在步骤613中为“是”，则控制返回到图6a的步骤608，在步骤608中该方法然后以上述方式继续进行。[0083] 在所有需要移除的对象在步骤612中从考虑中的图像中被移除并且没有另外的对象在步骤613中被检测到(在步骤613中的“否”)之后，然后所得到的过滤后的帧S1”‑S4”由图4b的滤波器409输出。然后执行步骤614。[0084] 在步骤614中，由系统403的对象滤波器410输出的片段S1”和S3”使用互相关器430a来互相关，以及由系统403的对象滤波器410输出的片段S2”和S4”使用互相关器430b来互相关。在步骤614中执行的每个互相关以类似于上面关于图5b的步骤514所述的方式被执行，包括在互相关器430a的情况下建立在作为参考图像的一个片段(例如片段S3”)和作为感测到的图像的另一个片段(例如片段S1”)之间的对应性，以及在互相关器430b的情况下建立在作为参考图像的一个片段(例如片段S4”)和作为感测到的图像的另一个片段(例如片段S2”)之间的对应性。互相关可以涉及移动片段S1”和S3”中的一个或两个以及移动片段S2”和S4”中的一个或两个，使得相应的片段对具有匹配的对应位置，并且提供在图像和模板之间的相似性程度的度量。[0085] 由互相关器430a执行的互相关的结果由图4b所示的关联覆盖图464表示，以及由互相关器430b执行的互相关的结果由图4b所示的关联覆盖图466表示。关联覆盖图464表示在步骤614中移动到相对应的相同位置之后的相关片段S1”和S3”，以及关联覆盖图466表示在步骤614中移动到相对应的相同位置之后的相关片段S2”和S4”。[0086] 接下来，在步骤616中，做出与在步骤614中对片段S1”和S3”执行的互相关的结果(关联覆盖图464)相关的峰值特征或分数的确定，并且还做出与在步骤614中对片段S2”和S4”执行的互相关的结果(关联覆盖图466)相关的峰值特征或分数的确定。作为示例，如在图4a的情况下的，在本文的一个示例实施例中，使用上述公式(F1)通过测量在完整的、对应的互相关片段上由它的梯度加权的峰高比来确定每个分数。在所示示例中的关联覆盖图464(对于区域A)的情况下，对分数的确定(在一个示例中，这样的确定可以涉及确定分数超过阈值)产生显著的峰值特征的结果，如由图4b的关联表面468所表示的。在关联覆盖图466(对于区域B)的情况下，对分数的确定(在一个例子中，这样的确定可以涉及确定分数小于阈值)产生显著的峰值特征的缺乏的结果，如由图4b的关联表面470所表示的。由关联表面468和470指示的结果指示部分眨眼条件存在于被输入到系统430的相对应的图像帧n和n‑1中。在步骤618中，确定是否保留考虑中的片段用于创建最终(例如OCT)图像和/或是否丢弃考虑中的片段从而它们从最终图像的创建中被省略。作为示例，在一个示例中，在步骤618中的确定可以取决于扫描的位置所在的地方及它相对于眼睛运动的物理高度，并且分数低于阈值的片段(和/或它们的对应帧)可以被丢弃，而分数超过阈值的片段(和/或它们的对应帧)可以被保持。在步骤618中保持和/或丢弃片段之后，控制返回到图6a的步骤600‑1，在步骤600‑1中方法600基于下一组帧继续。[0087] 注意，没有被对象滤波器410移除的特征(对象)仍然可能是不随视网膜移动的类别的一部分，且因此跟踪到这些剩余特征可能是潜在地有问题的。然而，情况通常是，当n和n‑1帧被对齐(例如，通过互相关输出)时，则与其他特征相比在合适的跟踪特征(在视网膜上的那些跟踪特征)之间有更大的对齐。这是因为，例如眼睑和睫毛经常以非仿射的方式运动(在n和n‑1帧之间)。换句话说，它们通常不在相对平坦的平面上移动，并且可以通常被看到相对于彼此移动，好像在对象之间的间隙被拉伸一样，使得当仿射配准被应用时，这些对象通常将不重叠。通过比较图4b的关联覆盖图464和466，可以看到这个方面的示例。如可以在其中看到的，在对象过滤之后剩余的特征在区域A中对齐(例如，将在关联表面中产生峰值的特征)，但是在区域B中具有差的对齐(例如，其将不对关联表面中的峰值做出贡献)。因此，可以区分当视网膜移动时一致地移动的特征(且其期望被跟踪)，而不是与眼睑和眼睫毛相关联的可以不与视网膜一致地移动的特征(且其不期望被跟踪)。实际上，作为示例且没有限制地，可以通过对约束412的选择来区分眼睑表面纹理、眼睫毛和血管以及脉络膜视网膜特征，约束412移除大多数不需要的特征，留下通常不对相关峰值做出贡献的剩余的特征。[0088] 在本文的另一示例实施例中，不是将被认为不适合于检测部分眨眼条件的对象分类和移除这些对象(如上面对步骤608‑612所述的)，被认为适合于检测部分眨眼条件的被检测的对象(来自步骤606或613)被分类(在步骤610‑611中)，并且这些对象不在步骤612中被移除。替代地，在步骤612中移除(在考虑中的帧中)未被如此分类(在步骤610‑611中)的任何剩余对象。[0089] 注意，在用于检测部分眨眼条件的上述实施例中的任一个实施例中，可能出现某些特征(例如眼睫毛特征)——如果存在的话——将倾向于更普遍地出现在下部片段(例如区域B)中而不是在上部片段(例如区域A)中。因此，在本文的另一示例实施例中，这样的知识可以作为特征分类的可能特征和/或作为分类本身被考虑和使用。作为示例，这样的分类可以指示部分眨眼条件。[0090] 在描述了用于检测图像中的部分眨眼条件的方法600和系统403后，现在将详细描述用于检测非眨眼条件的系统405(图4c)和过程700(图7a‑图7b)。方法700在步骤701中以如上所述将图像帧n和先前获得的帧n‑1输入到系统405开始。然后在步骤702中，帧n和n‑1应用于系统405的空间方向滤波器402，其中帧n和n‑1被过滤。系统405的空间方向滤波器402以与上面关于图4a所述的相同的方式操作，以过滤每个图像帧n和n‑1，以便例如移除背景照明、高频噪声和/或其他预定的不希望有的特征。[0091] 作为图像帧n和n‑1被应用于系统405的滤波器402的结果，相对应的过滤后的图像帧n’和n‑1’分别从滤波器402输出，且然后被应用于系统405的滤波器409。系统405的滤波器409以与上面描述的图4a的系统401的滤波器409类似的方式操作，不同之处在于系统405的滤波器409被调谐以使系统405能够检测图像帧中的非眨眼条件(如果有的话)。更特别地，在图4c的系统405的情况下，预定分类411是应该由系统405的对象滤波器410从图像帧n’和n‑1’移除的特征/对象的分类，因为该特征/对象被认为对确定帧是否指示非眨眼条件是没有帮助的。作为示例且没有限制地，在系统405的滤波器409的情况下，预定分类411可以包括灰尘分类、眼睑分类、血管分类、脉络膜视网膜特征分类和/或被认为不适于检测图像帧n’和n‑1’中的非眨眼条件的对象的任何其他预定分类。而且，在系统405的情况下，与预定分类411中的相对应的分类相关联的相应几何特征413定义与这些分类411相关联的几何特征。仅作为示例，与“灰尘”分类411相关联的几何特征413可以包括与灰尘颗粒相关联的面积(例如总强度)、宽度、高度和/或其他预定尺寸/特征，与“眼睑”分类411相关联的几何特征413可以包括与眼睑相关联的面积(例如总强度)、宽度、高度和/或其他预定尺寸/特征，等等。可以由滤波器409采用的其他类型的几何特征413可以作为示例且没有限制地包括空间范围(例如，相对于质量中心和周边长度的宽高比)、纹理特征、从对象特征的质心到边界框上的选定方向位置的距离(见例如本文描述的图8a‑8d)、围绕质心的力矩(例如二阶矩)、竖直和水平范围、面积、宽度和长度比、周边长度等。借助于由系统405的滤波器409采用的预定分类411和几何特征413的类型，滤波器409被“调谐”以使系统405能够检测帧中的非眨眼条件(如果有的话)。[0092] 再次参考图4c和图7a，在步骤704中图像帧n’和n‑1’由滤波器409(图4c)的对象滤波器410首先接收到之后，对象滤波器410通过执行预定的对象检测技术来确定可能被包括在帧n’和n‑1’中的任何对象是否被检测到(步骤706)。如果在步骤706中为“否”，则控制返回到步骤701，在步骤701中，方法700对于下一组帧n和n‑1再次开始。另一方面，如果在步骤706中为“是”，则系统405的对象滤波器410确定与检测到的对象相关联的几何特征(步骤708)。作为说明性的非限制性示例，在步骤708中，系统405的对象滤波器410可以针对在步骤706中检测到的至少一个对象计算至少一个图像矩(例如二阶矩)(其中，如在本领域中已知的，图像矩可以是图像的像素强度的特定平均值或加权平均值，或通常被选择为具有一些吸引人的性质或解释的这样的力矩的函数)、面积(例如总强度)、其质心、定向、宽度、高度和/或与检测到的对象相关联的其他预定特征。[0093] 基于针对在步骤706中检测到的对象确定的几何特征(在步骤708中)和系统405的几何约束412，系统405的对象滤波器410确定对象是否可以被分类到一个或更多个预定分类411中(步骤710)。作为示例，步骤710可以包括确定在步骤708中确定的几何特征是否足够好地对应于与特定的预定分类411相关联的几何特征413。如果在步骤710中为“否”，则控制返回到步骤706，在步骤706中该方法以上述方式继续，以确定另外的对象是否可能在图像帧n’和n‑1’中被检测到。另一方面，如果在步骤710中为“是”，则控制通过连接器C转到图7b的步骤711，在步骤711中系统405的对象滤波器410将对象分类为在预定分类411内。接下来，在步骤712中，对象滤波器410从图像帧n’和n‑1’移除在步骤711中被分类的任何对象，并且其后控制转到步骤713。在一个示例实施例中，通过将对象的像素值设置为“零”(或在灰度级图像的情况下，改变灰度级范围)来执行步骤712中的移除。这样的移除避免不需要的对象(例如灰尘)不适当地影响互相关，这将在下面被描述。然后，做出关于任何另外的对象是否在图像n’和n‑1’中被检测到的确定(步骤713)。如果在步骤713中为“是”，则控制返回到图7a的步骤708，在步骤708中该方法然后以上述方式继续进行。[0094] 在所有需要移除的对象在步骤712中从考虑中的图像中被移除并且没有另外的对象在步骤713中被检测到(在步骤713中的“否”)之后，所得到的过滤后的帧n”和n‑1”由图4c的滤波器409输出。然后执行步骤714。在步骤714中，从系统405的对象滤波器410输出的过滤后的帧n”和n‑1”由互相关器430以与上面关于图4a描述的相同的方式来互相关。[0095] 在步骤714中执行的互相关的结果由图4c所示的关联覆盖图472表示。关联覆盖图472表示在移动到相对应的相同位置之后的n”和n‑1”帧的相关性(即，作为互相关步骤714的结果)，其中覆盖图472包括来自帧n”和n‑1”的内容，包括来自每个帧n”和n‑1”的重叠内容以及非重叠内容。[0096] 接下来，在步骤716中，以与上面关于图4a描述的相同的方式(例如公式(F1))来做出与互相关步骤714的结果(关联覆盖图472)相关的峰值特征(如果有的话)或分数的确定。在考虑中的帧中存在的非眨眼条件的情况下，在步骤716中对分数的确定(其在一个示例中可以包括确定分数是否超过阈值)产生显著的峰值特征的结果，如由图4c的关联表面474所表示的。显著的峰值特征指示除了在帧中的非眨眼条件之外视网膜特征也在考虑中的帧中被识别出，且因此帧(例如IR帧和/或相关的OCT帧)被认为是有效的，适合于稳定的视网膜跟踪，并且可以在步骤718中被保持，因此它们可以用于包含在OCT帧堆栈中。因此，在本文的一个示例实施例中，分数超过阈值的图像帧(n,n‑1)可以被保持(在步骤718中)，而分数没有超过阈值的图像帧可以被丢弃(在步骤718中)。其后，控制可以返回到图7a的步骤701，在步骤701中该方法基于下一组帧继续进行。[0097] 在本文的另一示例实施例中，不是将被认为不适合于检测非眨眼条件的对象分类和移除这些对象(如上面对步骤708‑712所述)，被认为适合于检测非眨眼条件的被检测的对象(来自步骤706或713)被分类(在步骤710‑711中)，并且这些对象不在步骤712中被移除。替代地，在步骤712中移除(在考虑中的帧中的)任何未被如此分类(在步骤710‑711中)的剩余对象。[0098] 应当注意，尽管本文的示例实施例在上面被描述为处理来自所获得的“实时”图像帧序列中的图像帧n和n‑1，其中图像帧n‑1被认为是参考图像，本发明的范围并不被这样限制。实际上，在本文的另一示例实施例中，也可以对用于跟踪视网膜运动所对照的参考图像执行如本文所述的处理，并且这种参考图像可以在上述过程中作为图像帧n(或在本文的其他示例实施例中作为帧n‑1、或帧n和n‑1)被使用。这样的实施例可以用于在这样的参考图像中检测眨眼或非眨眼条件，并丢弃被认为包括眨眼条件的任何这样的图像，以确保跟踪可以被正确地执行。在本文的又一示例实施例中，只有“跟踪”类型的参考图像以上述方式被处理(即，跟踪参考图像帧作为图像帧n和n‑1被使用)，并且“实时”图像帧不以上述方式被处理，但是在本文的其他示例实施例中跟踪参考图像和“实时”图像帧都可以如上所述被处理。[0099] 本文描述的示例方面避免了与用于在光学扫描环境中进行图像扫描的传统技术相关的、特别是根植于计算机技术中的限制。这些传统的方法和系统通常不能够区分开包括捕获的眨眼(完全或部分眨眼)条件的被扫描的图像和不包括这种条件的被扫描的图像，且因此所产生的得到的图像(包括IRSLO图像和OCT图像)由于捕获的眨眼条件而有缺陷。此外，由于图像通常具有低信息内容和差的信噪比特征，检测具有眨眼条件的图像的传统尝试被证明是无效的。另一方面，借助于本文描述的示例方面，可以以简单得多的方式并且以需要比传统系统/方法所需的计算机处理和存储资源相对更少的计算机处理和存储资源的方式来执行成像处理，因为具有眨眼条件的图像可以被检测和丢弃而不被包括在最终图像处理和形成中，从而使成像评估能够相对于传统系统/方法以更高的计算能力和资源有效的方式被执行。而且，借助于根植于计算机技术中的本文描述的示例方面的前述能力，本文描述的示例方面改进了计算机和计算机处理/功能，并且还改进了至少图像处理、SLO、OCT和数据处理、以及对功能图像数据的处理的领域。[0100] 在前述描述中，参考几个示例实施例描述了示例方面。因此，说明书应被视为说明性的而不是限制性的。类似地，在附图中示出的突出示例实施例的功能和优点的附图仅仅是为了示例目的而被呈现的。示例实施例的体系结构是足够灵活的和可配置的，使得它可以以除了在附图中所示的方式以外的方式被利用(和导航)。[0101] 在一个示例实施例中，在本文呈现的示例的软件实施例可以被提供为计算机程序或软件，诸如具有被包括或存储在制品(例如机器可访问或机器可读介质、指令储存装置、或计算机可读存储设备，其中每一个制品都可以是非暂时性的(且可以形成存储器或储存器))中的指令或指令序列的一个或更多个程序。在非暂时性机器可访问介质、机器可读介质、存储器、指令储存装置、或计算机可读存储设备或介质上的程序或指令可用于对计算机系统或其他电子设备编程。机器或计算机可读设备/介质、存储器、指令储存装置和存储设备可以包括但不限于软盘、光盘和磁光盘或适合于存储或传输电子指令的其他类型的介质/机器可读介质/指令储存装置/存储设备。本文描述的技术不限于任何特定的软件配置。它们可能在任何计算或处理环境中得到应用。本文使用的术语“计算机可读介质”、“机器可访问介质”、“机器可读介质”、“存储器”、“指令储存装置”、“计算机可读储存介质”和“计算机可读存储设备”应当包括能够存储、编码、或传输指令或指令序列以被机器、计算机、或计算机处理器执行并且使机器/计算机/计算机处理器执行本文描述的方法中的任一个方法的任何介质。此外，在本领域中常见的是以一种或另一种形式(例如，程序(program)、程序(procedure)、过程、应用、模块、单元、逻辑等)提及软件作为采取动作或引起结果。这种表达仅仅是陈述由处理系统执行软件使处理器执行动作以产生结果的简略方式。[0102] 一些实施例也可以通过准备专用集成电路、现场可编程门阵列、或者通过使常规部件电路的适当网络互连来实现。[0103] 一些实施例包括计算机程序产品。计算机程序产品可以是在其上或其中存储有可用于控制或促使计算机或计算机处理器执行本文所述的示例实施例的任何过程的指令的一种或更多种存储介质、存储器、指令储存装置或存储设备。存储介质/存储器/指令储存装置/存储设备可以作为示例且非限制性地包括光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪存、闪存卡、磁卡、光卡、纳米系统、分子存储器集成电路、RAID、远程数据存储/存档/仓储装置和/或适合于存储指令和/或数据的任何其他类型的设备。[0104] 存储在一种或更多种计算机可读介质、存储器、指令储存装置(多个指令储存装置)、或存储设备(多个存储设备)中的任一者上的一些实现方式包括用于控制系统的硬件和用于使系统或微处理器能够利用本文描述的示例实施例的结果与人类用户或其他机构交互的软件。这种软件可以非限制性地包括设备驱动器、操作系统和用户应用。最终，如上所述，这种计算机可读介质或存储设备还包括用于执行本发明的示例方面的软件。[0105] 在系统的编程和/或软件中包括用于实现本文描述的过程的软件模块。在本文的一些示例实施例中，模块包括软件，但是在本文的其他示例实施例中，模块包括硬件或硬件和软件的组合。[0106] 虽然在上面描述了本发明的各种示例实施例，但是应该理解，它们作为示例而非限制的方式被呈现。对在相关领域中的技术人员将明显的是，可以在形式和细节上做出各种改变。因此，本发明不应受上述示例实施例中的任一个的限制，而应仅根据随附的权利要求及其等同物来被定义。[0107] 此外，摘要的目的是使通常专利局和公众、以及尤其是不熟悉专利或法律术语或措辞的本领域中的科学家、工程师和从业人员能够根据粗略的检查快速确定本申请的技术公开的性质和本质。摘要并不意欲以任何方式关于在本文呈现的示例实施例的范围进行限制。还应该理解的是，在权利要求中叙述的任何过程不需要以所呈现的顺序来执行。[0108] 虽然本说明书包含很多具体实施例细节，但这些不应该理解为对任何发明范围的限制或所要求保护的内容的限制，而应该理解为是对本文描述的特定实施例所特定的特征的描述。在单独的实施例的背景下，本说明书中所描述的某些特征也可在单个实施例中结合实施。相反地，也可以在多个实施例中单独地或以任何合适的子组合实现在单一实施例的背景下描述的各种特征。此外，尽管特征在上文中可被描述为作用在特定组合中并甚至起初如此要求保护，但是来自所要求保护的组合的一个或更多个特征可在一些情况下从组合中删除，且所要求保护的组合可针对子组合或子组合的变体。[0109] 现在已经描述了一些说明性实施例和实施例，显然，前面的实施例是说明性的而不是限制性的，已经通过示例的方式给出。[0110] 在不脱离其特性的情况下，本文描述的设备和装置可以以其他特定形式来实施。前述实施例是说明性的，而不是对所描述的系统和方法的限制。因此，本文描述的光学系统和装置的范围由所附权利要求而不是前述描述指示，并且因此落入权利要求的等价物的意义和范围内的变化都被包括在其中。[0111] 在下面的编号的条款E1至E20中概述了上面描述的实施例：[0112] E1.一种用于检测眨眼或非眨眼是否在图像中被捕获到的方法，所述方法包括：[0113] 从图像中过滤被预测为不适合于确定眨眼或非眨眼是否在图像中被捕获到的一个或更多个对象，以提供过滤后的图像；[0114] 使过滤后的图像与参考图像关联；以及[0115] 基于该关联来确定眨眼或非眨眼是否在图像中被捕获到。[0116] E2.根据E1所述的方法，其中，当光学系统扫描眼睛时，图像和参考图像被光学系统按次序捕获。[0117] E3.根据E1所述的方法，其中，所述确定包括基于所述关联的结果来确定分数。[0118] E4.根据E3所述的方法，其中，分数指示特征的存在或缺乏。[0119] E5.根据E4所述的方法，其中，特征是峰特征。[0120] E6.根据E4所述的方法，其中，特征的缺乏指示眨眼在图像中被捕获到。[0121] E7.根据E4所述的方法，其中，特征的存在指示非眨眼在图像中被捕获到。[0122] E8.根据E1所述的方法，其中，眨眼是完全眨眼或部分眨眼。[0123] E9.根据E1所述的方法，还包括在过滤之前对图像执行空间方向过滤。[0124] E10.根据E1所述的方法，其中，过滤包括：[0125] 检测在图像中的一个或更多个对象；[0126] 确定一个或更多个对象属于一个或更多个预定分类；以及[0127] 从图像中移除一个或更多个对象以提供过滤后的图像。[0128] E11.根据E1所述的方法，还包括在过滤之前将图像和参考图像中的每一者分割成片段。[0129] E12.一种用于检测眨眼或非眨眼是否在图像中被捕获到的系统，该系统包括：[0130] 存储器，其存储程序；以及[0131] 计算机处理器，其在被存储在存储器中的程序下操作以执行以下项：[0132] 从图像中过滤被预测为不适合于确定眨眼或非眨眼是否在图像中被捕获到的一个或更多个对象，以提供过滤后的图像；[0133] 使过滤后的图像与参考图像关联；以及[0134] 基于该关联来确定眨眼或非眨眼是否在图像中被捕获到。[0135] E13.根据E12所述的系统，其中，所述确定包括基于所述关联的结果来确定分数，以及分数指示特征的存在或缺乏。[0136] E14.根据E13所述的系统，其中，特征的缺乏指示眨眼在图像中被捕获到。[0137] E15.根据E12所述的系统，其中，特征的存在指示非眨眼在图像中被捕获到。[0138] E16.根据E12所述的系统，其中，眨眼是完全眨眼或部分眨眼。[0139] E17.根据E12所述的系统，其中，计算机处理器还在程序的控制下操作以在过滤之前对图像执行空间方向过滤。[0140] E18.根据E12所述的系统，其中，所述过滤包括：[0141] 检测在图像中的一个或更多个对象；[0142] 确定一个或更多个对象属于一个或更多个预定分类；以及[0143] 从图像中移除一个或更多个对象以提供过滤后的图像。[0144] E19.一种存储指令的非暂时性计算机可读介质，所述指令当由计算机处理器执行时使计算机处理器执行用于检测眨眼或非眨眼是否在图像中被捕获到的方法，该方法包括：[0145] 从图像中过滤被预测为不适合于确定眨眼或非眨眼是否在图像中被捕获到的一个或更多个对象，以提供过滤后的图像；[0146] 使过滤后的图像与参考图像关联；以及[0147] 基于该关联来确定眨眼或非眨眼是否在图像中被捕获到。[0148] E20.根据E19所述的非暂时性计算机可读介质，其中，眨眼是完全眨眼或部分眨眼。

专利地区：英国

专利申请日期：2020-10-09

专利公开日期：2024-07-26

专利公告号：CN112700400B