交通事件检测方法和设备实用新型专利

专利名称：交通事件检测方法和设备

专利类型：实用新型专利

专利申请号：CN202010238631.2

专利申请（专利权）人：上海高德威智能交通系统有限公司
权利人地址：上海市嘉定区云谷路599弄6号2010室

专利发明（设计）人：孔繁司

专利摘要：本申请提供了交通事件检测方法和设备。本申请中，即使监控区域中的路面场景发生变化，基于上述依据已采集到的至少一帧图像确定对应的路面交通场景信息，从已配置的所有事件检测机制中确定与所述路面交通场景信息对应的至少一个目标事件检测机制，则实现了随着监控区域中实际路面变化自适应动态调整对应的目标事件检测机制，无需人工重新配置事件检测机制，有效节省人力物力，节省成本，也提高调整事件检测机制的调整效率。

主权利要求：
1.一种交通事件检测方法，其特征在于，该方法应用于电子设备，包括：将当前采集的当前图像帧输入至已训练出的场景分割模型得到目标路面场景分类；或者，将已采集的N帧图像依次输入至已训练出的场景分割模型得到N帧图像分别对应的候选路面场景分类，所述N大于1，依据N帧图像分别对应的候选路面场景分类确定目标路面场景分类；
从所述目标路面场景分类中确定满足设定条件的路面场景的场景信息；
从所述目标路面场景分类中确定各不同车道线的车道线信息；
依据车道线的车道线信息、以及已确定出的与该车道线相邻的目标路面的场景信息确定车道信息，确定所述车道信息对应的车道的车道方向信息；
从所述目标路面场景分类中确定道路方向标志，根据所述道路方向标志确定对应的道路方向信息；
依据所述满足设定条件的路面场景的场景信息、所述车道线信息、所述车道信息、所述车道方向信息、以及所述道路方向信息确定路面交通场景信息；
从已配置的所有事件检测机制中确定与所述路面交通场景信息对应的至少一个目标事件检测机制；
按照所述目标事件检测机制检测对应的交通事件。
2.根据权利要求1所述的方法，其特征在于，
所述N帧图像包括当前采集的当前图像帧和之前采集的N‑1帧图像；
所述目标路面场景分类包括不同类别的路面场景，所述不同类别的路面场景至少包括：斑马线、白色车道线、黄色车道线、道路方向标志、导流带、护栏、绿化、以及其它指定场景信息。
3.根据权利要求2所述的方法，其特征在于，所述候选路面场景分类包括不同类别的候选路面场景，所述不同类别的候选路面场景至少包括：斑马线、白色车道线、黄色车道线、道路方向标志、导流带、护栏、绿化、以及其它指定场景信息；
所述依据N帧图像分别对应的候选路面场景分类确定目标路面场景分类，包括：从所述N帧图像分别对应的候选路面场景分类中选择属于同一类别的候选路面场景；
依据选择出的属于同一类别的候选路面场景生成该类别对应的目标路面场景。
4.根据权利要求1所述的方法，其特征在于，所述满足设定条件的路面场景是指在路面上被设置为面状结构的路面场景，所述在路面上被设置为面状结构的路面场景至少包括：导流带、绿化、护栏、斑马线，未被设置任何交通标识的目标路面。
5.根据权利要求1所述的方法，其特征在于，所述确定所述车道信息对应的车道的车道方向信息包括：获取已跟踪的目标对象在所述车道信息对应的车道上的行动轨迹；
根据所述目标对象和所述目标对象的行动轨迹确定所述车道的车道类型；
在所述车道类型不为用于指示非机动车道的类型时，根据所述行动轨迹确定所述车道的车道方向信息。
6.根据权利要求1所述的方法，其特征在于，所述从已配置的所有事件检测机制中确定与所述路面交通场景信息对应的至少一个目标事件检测机制，包括：当所述路面交通场景信息中存在目标路面，所述目标路面上未被设置任何交通标识，则确定与所述目标路面对应的事件检测机制为所述目标事件检测机制，所述目标路面对应的事件检测机制至少用于检测路障、施工、烟雾、火灾；和/或，当所述路面交通场景信息中存在非机动车道，则确定与所述非机动车道对应的事件检测机制为所述目标事件检测机制，所述非机动车道对应的事件检测机制至少用于检测非机动车道被机动车占用；和/或，当所述路面交通场景信息中存在车道线，且该车道线用于指示禁止跨线，则确定与车道线对应的事件检测机制为所述目标事件检测机制，所述车道线对应的事件检测机制至少用于检测压线、变道；和/或，当所述路面交通场景信息中存在机动车道，则确定与所述机动车道对应的事件检测机制为所述目标事件检测机制，所述机动车道对应的事件检测机制至少用于检测违停、行人；
和/或，
当所述路面交通场景信息中存在车道方向信息，则确定与所述车道方向信息对应的事件检测机制为所述目标事件检测机制，所述车道方向信息对应的事件检测机制至少用于检测逆行、倒车；和/或，当所述路面交通场景信息中存在超车道，则确定与所述超车道对应的事件检测机制为所述目标事件检测机制，所述超车道对应的事件检测机制至少用于检测超车道被占用。
7.根据权利要求1所述的方法，其特征在于，在按照所述目标事件检测机制检测到对应的交通事件后，该方法进一步包括：控制摄像装置抓拍所述交通事件。
8.一种交通事件检测装置，其特征在于，该装置应用于电子设备，包括：场景确定单元，用于将当前采集的当前图像帧输入至已训练出的场景分割模型得到目标路面场景分类；或者，将已采集的N帧图像依次输入至已训练出的场景分割模型得到N帧图像分别对应的候选路面场景分类，所述N大于1，依据N帧图像分别对应的候选路面场景分类确定目标路面场景分类；
从所述目标路面场景分类中确定满足设定条件的路面场景的场景信息；所述满足设定条件的路面场景是指在路面上被设置为面状结构的路面场景，所述在路面上被设置为面状结构的路面场景至少包括：导流带、绿化、护栏、斑马线，未被设置任何交通标识的目标路面；
从所述目标路面场景分类中确定各不同车道线的车道线信息；
依据车道线的车道线信息、以及已确定出的与该车道线相邻的目标路面的场景信息确定车道信息，确定所述车道信息对应的车道的车道方向信息；
从所述目标路面场景分类中确定道路方向标志，根据所述道路方向标志确定对应的道路方向信息；
依据所述满足设定条件的路面场景的场景信息、所述车道线信息、所述车道信息、所述车道方向信息、以及所述道路方向信息确定路面交通场景信息；
检测机制确定单元，用于从已配置的所有事件机制中确定与所述路面交通场景信息对应的至少一个目标事件检测机制；
事件检测单元，用于按照所述目标事件检测机制检测对应的交通事件。
9.一种电子设备，其特征在于，该电子设备包括：处理器和机器可读存储介质；
所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；
所述处理器用于执行机器可执行指令，以实现所述权利要求1‑7任一项的方法步骤。 说明书 : 交通事件检测方法和设备技术领域[0001] 本申请涉及图像技术，特别涉及交通事件检测方法和设备。背景技术[0002] 在路面监控场景中，常会在不同监控点架设视频图像监控装置比如摄像机等，以由视频图像监控装置监控交通事件(比如占用超车道、倒车等)。[0003] 目前，在监控点架设的视频图像监控装置是预先根据实际路面场景(也称监控区域)配置交通事件检测机制的。比如预先根据监控区域中车道、车道方向等在视频图像监控装置配置对应的交通事件检测机制。而一旦因为特殊情况而导致监控区域中的路面场景发生变化，则之前配置在视频图像监控装置的交通事件检测机制可能也会随之变化，需要重新在视频图像监控装置内配置与变化对应的交通事件检测机制。而随着视频图像监控装置的广泛应用，尤其是在高速公路上的应用，目前大都是按照每公里架设一台视频图像监控装置的需求架设视频图像监控装置，如此，当监控区域中实际路面场景发生变化时，重新配置视频图像监控装置将会耗费大量的人力物力，并且效率也非常低。发明内容[0004] 本申请提供了交通事件检测方法和设备，以自适应地基于场景动态调整交通事件检测机制。[0005] 本申请提供的技术方案包括：[0006] 一种交通事件检测方法，该方法应用于电子设备，包括：[0007] 依据已采集到的至少一帧图像确定对应的路面交通场景信息；[0008] 从已配置的所有事件检测机制中确定与所述路面交通场景信息对应的至少一个目标事件检测机制；[0009] 按照所述目标事件检测机制检测对应的交通事件。[0010] 作为一个实施例，所述依据已采集到的至少一帧图像确定对应的路面交通场景信息，包括：[0011] 将当前采集的当前图像帧输入至已训练出的场景分割模型得到目标路面场景分类；所述目标路面场景分类包括不同类别的路面场景，所述不同类别的路面场景至少包括：斑马线、白色车道线、黄色车道线、道路方向标志、导流带、护栏、绿化、以及路面上其它指定场景信息；[0012] 依据所述目标路面场景分类确定所述路面交通场景信息。[0013] 作为一个实施例，所述依据已采集到的至少一帧图像确定对应的路面交通场景信息，包括：[0014] 将已采集的N帧图像依次输入至已训练出的场景分割模型得到N帧图像分别对应的候选路面场景分类，所述N大于1，所述N帧图像包括当前采集的当前图像帧和之前采集的N‑1帧图像；[0015] 依据N帧图像分别对应的候选路面场景分类确定目标路面场景分类；所述目标路面场景分类包括不同类别的路面场景，所述不同类别的路面场景至少包括：斑马线、白色车道线、黄色车道线、道路方向标志、导流带、护栏、绿化、以及其它指定场景信息；[0016] 依据所述目标路面场景分类确定所述路面交通场景信息。[0017] 作为一个实施例，所述候选路面场景分类包括不同类别的候选路面场景，所述不同类别的候选路面场景至少包括：斑马线、白色车道线、黄色车道线、道路方向标志、导流带、护栏、绿化、以及其它指定场景信息；[0018] 所述依据N帧图像对应的候选路面场景分类确定目标路面场景分类，包括：[0019] 从所述N帧图像分别对应的候选路面场景分类中选择属于同一类别的候选路面场景；[0020] 依据选择出的属于同一类别的候选路面场景生成该类别对应的目标路面场景。[0021] 作为一个实施例，所述依据所述目标路面场景分类确定所述路面交通场景信息，包括：[0022] 从所述目标路面场景分类中确定满足设定条件的路面场景的场景信息，所述满足设定条件的路面场景是指在路面上被设置为面状结构的路面场景，所述在路面上被设置为面状结构的路面场景至少包括：导流带、绿化、护栏、斑马线，未被设置任何交通标识的目标路面；[0023] 从所述目标路面场景分类中确定各不同车道线的车道线信息；[0024] 依据车道线的车道线信息、以及已确定出的与该车道线相邻的目标路面的场景信息确定车道信息，确定所述车道信息对应的车道的车道方向信息；[0025] 从所述目标路面场景分类中确定道路方向标志，根据所述道路方向标志确定对应的道路方向信息；[0026] 依据所述满足设定条件的路面场景的场景信息、所述车道线信息、所述车道信息、所述车道方向信息、以及所述道路方向信息确定所述路面交通场景信息。[0027] 作为一个实施例，所述确定所述车道信息对应的车道的车道方向信息包括：[0028] 获取已跟踪的目标对象在所述车道信息对应的车道上的行动轨迹；[0029] 根据所述目标对象和所述目标对象的行动轨迹确定所述车道的车道类型；[0030] 在所述车道类型不为用于指示非机动车道的类型时，根据所述行动轨迹确定所述车道的车道方向信息。[0031] 作为一个实施例，所述从已配置的所有事件机制中确定与所述路面交通场景信息对应的至少一个目标事件检测机制，包括：[0032] 当所述路面交通场景信息中存在目标路面，所述目标路面上未被设置任何交通标识，则确定与所述目标路面对应的事件检测机制为所述目标事件检测机制，所述目标路面对应的事件检测机制至少用于检测路障、施工、烟雾、火灾；和/或，[0033] 当所述路面交通场景信息中存在非机动车道，则确定与所述非机动车道对应的事件检测机制为所述目标事件检测机制，所述非机动车道对应的事件检测机制至少用于检测非机动车道被机动车占用；和/或，[0034] 当所述路面交通场景信息中存在车道线，且该车道线用于指示禁止跨线，则确定与车道线对应的事件检测机制为所述目标事件检测机制，所述车道线对应的事件检测机制至少用于检测压线、变道；和/或，[0035] 当所述路面交通场景信息中存在机动车道，则确定与所述机动车道对应的事件检测机制为所述目标事件检测机制，所述机动车道对应的事件检测机制至少用于检测违停、行人；和/或，[0036] 当所述路面交通场景信息中存在车道方向信息，则确定与所述车道方向信息对应的事件检测机制为所述目标事件检测机制，所述车道方向信息对应的事件检测机制至少用于检测逆行、倒车；和/或，[0037] 当所述路面交通场景信息中存在超车道，则确定与所述超车道对应的事件检测机制为所述目标事件检测机制，所述超车道对应的事件检测机制至少用于检测超车道被占用。[0038] 作为一个实施例，在按照所述目标事件检测机制检测到对应的交通事件后，该方法进一步包括：[0039] 控制摄像装置抓拍所述交通事件。[0040] 一种交通事件检测装置，该装置应用于电子设备，包括：[0041] 场景确定单元，用于依据已采集到的至少一帧图像确定对应的路面交通场景信息；[0042] 检测机制确定单元，用于从已配置的所有事件机制中确定与所述路面交通场景信息对应的至少一个目标事件检测机制；[0043] 事件检测单元，用于按照所述目标事件检测机制检测对应的交通事件。[0044] 作为一个实施例，场景确定单元依据已采集到的至少一帧图像确定对应的路面交通场景信息，可包括：将当前采集的当前图像帧输入至已训练出的场景分割模型得到目标路面场景分类；依据所述目标路面场景分类确定所述路面交通场景信息。所述目标路面场景分类包括不同类别的路面场景，所述不同类别的路面场景至少包括：斑马线、白色车道线、黄色车道线、道路方向标志、导流带、护栏、绿化、以及其它指定场景信息。[0045] 作为一个实施例，所述场景确定单元依据已采集到的至少一帧图像确定对应的路面交通场景信息，包括：将已采集的N帧图像依次输入至已训练出的场景分割模型得到N帧图像分别对应的候选路面场景分类，依据N帧图像分别对应的候选路面场景分类确定目标路面场景分类；依据所述目标路面场景分类确定所述路面交通场景信息。可选地，所述N大于1，所述N帧图像包括当前采集的当前图像帧和之前采集的N‑1帧图像。所述目标路面场景分类包括不同类别的路面场景，所述不同类别的路面场景至少包括：斑马线、白色车道线、黄色车道线、道路方向标志、导流带、护栏、绿化、以及其它指定场景信息。[0046] 在一个例子中，所述候选路面场景分类包括不同类别的候选路面场景，所述不同类别的候选路面场景至少包括：斑马线、白色车道线、黄色车道线、道路方向标志、导流带、护栏、绿化、以及其它指定场景信息。[0047] 所述场景确定单元依据N帧图像对应的候选路面场景分类确定目标路面场景分类，包括：从所述N帧图像分别对应的候选路面场景分类中选择属于同一类别的候选路面场景；依据选择出的属于同一类别的候选路面场景生成该类别对应的目标路面场景。[0048] 作为一个实施例，所述场景确定单元依据所述目标路面场景分类确定所述路面交通场景信息，包括：从所述目标路面场景分类中确定满足设定条件的路面场景的场景信息，所述满足设定条件的路面场景是指在路面上被设置为面状结构的场景，所述在路面上被设置为面状结构的场景至少包括：导流带、绿化、护栏、斑马线，未被设置任何交通标识的目标路面；从所述目标路面场景分类中确定各不同车道线的车道线信息；依据车道线的车道线信息、以及已确定出的与该车道线相邻的目标路面的场景信息确定车道信息，确定所述车道信息对应的车道的车道方向信息；从所述目标路面场景分类中确定道路方向标志，根据所述道路方向标志确定对应的道路方向信息；依据所述满足设定条件的路面场景的场景信息、所述车道线信息、所述车道信息、所述车道方向信息、以及所述道路方向信息确定所述路面交通场景信息。[0049] 作为一个实施例，所述场景确定单元确定所述车道信息对应的车道的车道方向信息包括：获取已跟踪的目标对象在所述车道信息对应的车道上的行动轨迹；根据所述目标对象和所述目标对象的行动轨迹确定所述车道的车道类型；在所述车道类型不为用于指示非机动车道的类型时，根据所述行动轨迹确定所述车道的车道方向信息。[0050] 作为一个实施例，所述检测机制确定单元从已配置的所有事件机制中确定与所述路面交通场景信息对应的至少一个目标事件检测机制，包括：[0051] 当所述路面交通场景信息中存在目标路面，所述目标路面上未被设置任何交通标识，则确定与所述目标路面对应的事件检测机制为所述目标事件检测机制，所述目标路面对应的事件检测机制至少用于检测路障、施工、烟雾、火灾；和/或，[0052] 当所述路面交通场景信息中存在非机动车道，则确定与所述非机动车道对应的事件检测机制为所述目标事件检测机制，所述非机动车道对应的事件检测机制至少用于检测非机动车道被机动车占用；和/或，[0053] 当所述路面交通场景信息中存在车道线，且该车道线用于指示禁止跨线，则确定与车道线对应的事件检测机制为所述目标事件检测机制，所述车道线对应的事件检测机制至少用于检测压线、变道；和/或，[0054] 当所述路面交通场景信息中存在机动车道，则确定与所述机动车道对应的事件检测机制为所述目标事件检测机制，所述机动车道对应的事件检测机制至少用于检测违停、行人；和/或，[0055] 当所述路面交通场景信息中存在车道方向信息，则确定与所述车道方向信息对应的事件检测机制为所述目标事件检测机制，所述车道方向信息对应的事件检测机制至少用于检测逆行、倒车；和/或，[0056] 当所述路面交通场景信息中存在超车道，则确定与所述超车道对应的事件检测机制为所述目标事件检测机制，所述超车道对应的事件检测机制至少用于检测超车道被占用。[0057] 作为一个实施例，所述事件检测单元在按照所述目标事件检测机制检测到对应的交通事件后，进一步控制摄像装置抓拍所述交通事件。[0058] 一种电子设备，该电子设备包括：处理器和机器可读存储介质；[0059] 所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；[0060] 所述处理器用于执行机器可执行指令，以实现上述公开的方法步骤。[0061] 由以上技术方案可以看出，本申请中，通过依据已采集到的至少一帧图像确定对应的路面交通场景信息，从已配置的所有事件检测机制中确定与所述路面交通场景信息对应的至少一个目标事件检测机制，以基于目标事件检测机制检测对应的交通事件，这实现了基于路面交通场景信息自适应动态适配对应的目标事件检测机制。[0062] 进一步地，即使监控区域中的路面场景发生变化，基于上述依据已采集到的至少一帧图像确定对应的路面交通场景信息，从已配置的所有事件检测机制中确定与所述路面交通场景信息对应的至少一个目标事件检测机制，则实现了随着监控区域中实际路面变化自适应动态调整对应的目标事件检测机制，无需人工重新配置事件检测机制，有效节省人力物力，节省成本，也提高调整事件检测机制的调整效率。附图说明[0063] 此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。[0064] 图1为本申请实施例提供的方法流程图；[0065] 图2为本申请实施例提供的步骤101实现流程图；[0066] 图3a为本申请实施例提供的路面场景示意图；[0067] 图3b为本申请实施例提供的另一路面场景示意图；[0068] 图4为本申请实施例提供的步骤101另一实现流程图；[0069] 图5为本申请实施例提供的步骤402实现流程图；[0070] 图6为本申请实施例提供的步骤202或步骤403的实现流程图；[0071] 图7a为本申请实施例提供的斑马线示意图；[0072] 图7b为本申请实施例提供的机动车道示意图；[0073] 图8为本申请实施例提供的步骤603实现流程图；[0074] 图9为本申请实施例提供的道路方向标志示意图；[0075] 图10为本申请实施例提供的装置结构图；[0076] 图11为本申请实施例提供的装置硬件结构图。具体实施方式[0077] 这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。[0078] 在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。[0079] 为了使本领域技术人员更好地理解本申请实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。[0080] 参见图1，图1为本申请实施例提供的方法流程图。作为一个实施例，图1所示的方法可应用于电子设备。在一个例子中，这里的电子设备可为摄像机。在另一个例子中，这里的电子设备也可为新设置的连接摄像机的设备，本申请实施例并不具体限定。[0081] 如图1所示，该流程可包括以下步骤：[0082] 步骤101，依据已采集到的至少一帧图像确定对应的路面交通场景信息。[0083] 作为一个实施例，上述至少一帧图像可为针对被监控道路拍摄的监控图像。需要说明的是，被监控道路可为多车道双向的道路(例如高速公路)，也可以是多车道单向道路、单车道双向道路等，本实施例并不具体限制。[0084] 作为一个实施例，通过本步骤101，则可实现依据已采集到的至少一帧图像确定被监控道路的实际路面交通信息(即上述的路面交通场景信息)。至于本步骤101如何依据已采集到的至少一帧图像确定对应的路面交通场景信息，其可有很多实现方式，下文会举例描述其中两种实现方式，这里暂不赘述。[0085] 步骤102，从已配置的所有事件检测机制中确定与所述路面交通场景信息对应的至少一个目标事件检测机制。[0086] 作为一个实施例，本实施例会在上述电子设备上预先配置可能会用到的各种事件检测机制。需要说明的是，上述电子设备预先配置各种事件检测机制，并不意味着电子设备会在后续事件检测时启动该预先配置的所有事件检测机制，而是如步骤102描述，在后续事件检测时根据路面交通场景信息确定与路面交通场景信息对应的至少一个目标事件检测机制。至于本步骤102如何从已配置的所有事件检测机制中确定与所述路面交通场景信息对应的至少一个目标事件检测机制，下文通过一个具体实施例进行了描述，这里暂不赘述。[0087] 步骤103，按照所述目标事件检测机制检测对应的交通事件。[0088] 当通过步骤102从已配置的所有事件检测机制中确定与所述路面交通场景信息对应的至少一个目标事件检测机制，则后续即可启动目标事件检测机制(即按照所述目标事件检测机制检测对应的交通事件)。这实现了基于路面交通场景信息自适应适配对应的目标事件检测机制，并基于目标事件检测机制检测对应的交通事件。[0089] 至此，完成图1所示流程。[0090] 通过图1所示流程可以看出，本实施例通过依据已采集到的至少一帧图像确定对应的路面交通场景信息，从已配置的所有事件检测机制中确定与所述路面交通场景信息对应的至少一个目标事件检测机制，实现了基于路面交通场景信息自适应动态适配对应的目标事件检测机制。之后即可基于目标事件检测机制检测对应的交通事件。[0091] 进一步地，即使监控区域中的路面场景发生变化，基于上述依据已采集到的至少一帧图像确定对应的路面交通场景信息，从已配置的所有事件检测机制中确定与所述路面交通场景信息对应的至少一个目标事件检测机制，则实现了随着监控区域中实际路面变化自适应动态调整对应的目标事件检测机制，无需人工重新配置事件检测机制，有效节省人力物力，节省成本，也提高调整事件检测机制的调整效率。[0092] 下面对步骤101中如何依据已采集到的至少一帧图像确定对应的路面交通场景信息进行描述：[0093] 作为一个实施例，步骤101中可基于深度学习实现依据已采集到的至少一帧图像确定对应的路面交通场景信息。可选地，在本实施例中，可基于深度学习技术训练一个场景分割模型。下文会举例描述如何训练场景分割模型，这里暂不赘述。[0094] 基于场景分割模型，则作为一个实施例，步骤101中依据已采集到的至少一帧图像确定对应的路面交通场景信息可包括图2所示流程：[0095] 参见图2，图2为本申请实施例提供的步骤101实现流程图。如图2所示，该流程可包括以下步骤：[0096] 步骤201，将当前采集的当前图像帧输入至已训练出的场景分割模型得到目标路面场景分类。[0097] 作为一个实施例，目标路面场景分类可包括不同类别的路面场景。可选地，不同类别的路面场景至少包括：斑马线、白色车道线、黄色车道线、道路方向标志、导流带、护栏、绿化、以及其它指定场景信息(比如背景)。图3a、图3b分别举例示出了部分类别的路面场景。[0098] 步骤202，依据目标路面场景分类确定所述路面交通场景信息。[0099] 当上述步骤201得到目标路面场景分类后，本步骤202即可依据目标路面场景分类确定所述路面交通场景信息。至于本步骤202如何依据目标路面场景分类确定所述路面交通场景信息，在具体实现时有很多实现形式，下文图6会举例示出其中一种实施方式，这里不再赘述。[0100] 至此，完成图2所示的流程。[0101] 通过图2所示流程，则实现了基于当前采集的当前图像帧并借助场景分割模型确定出对应的路面交通场景信息。[0102] 作为另一个实施例，步骤101中依据已采集到的至少一帧图像确定对应的路面交通场景信息可包括图4所示流程：[0103] 参见图4，图4为本申请实施例提供的步骤101另一实现流程图。如图4所示，该流程可包括以下步骤：[0104] 步骤401，将已采集的N帧图像依次输入至已训练出的场景分割模型得到N帧图像分别对应的候选路面场景分类。[0105] 可选地，N大于1。[0106] 作为一个实施例，N帧图像可包括当前采集的当前图像帧和之前采集的N‑1帧图像。可选地，之前采集的N‑1帧图像可为之前已采集的所有图像帧中采集时间距离当前时刻最近的N‑1帧图像。[0107] 如步骤401描述，当将已采集的N帧图像依次输入至已训练出的场景分割模型，就会得到N帧图像分别对应的候选路面场景分类。作为一个实施例，每一帧图像对应的候选路面场景分类与上面的目标路面场景分类类似，其可包括不同类别的候选路面场景。可选地，不同类别的候选路面场景至少包括：斑马线、白色车道线、黄色车道线、道路方向标志、导流带、护栏、绿化、以及其它指定场景信息。这可参见图3a、图3b所示的部分路面场景。[0108] 步骤402，依据N帧图像分别对应的候选路面场景分类确定目标路面场景分类。[0109] 这里的目标路面场景分类如上述步骤201类似，不再赘述。[0110] 至于本步骤402如何依据N帧图像分别对应的候选路面场景分类确定目标路面场景分类，则作为一个实施例，其可包括图5所示流程，这里暂不赘述。[0111] 步骤403，依据目标路面场景分类确定所述路面交通场景信息。[0112] 与上述步骤202类似，本步骤403依据目标路面场景分类确定所述路面交通场景信息，在具体实现时有很多实现形式，下文图6会举例示出其中一种实施方式，这里不再赘述。[0113] 至此，完成图4所示的流程。[0114] 通过图4所示流程，则可实现基于N帧图像并借助场景分割模型确定出对应的路面交通场景信息。[0115] 下面对上述步骤402中如何依据N帧图像分别对应的候选路面场景分类确定目标路面场景分类进行描述：[0116] 参见图5，图5为本申请实施例提供的步骤402实现流程图。如图5所示，该流程可包括以下步骤：[0117] 步骤501，从N帧图像分别对应的候选路面场景分类中选择属于同一类别的候选路面场景。[0118] 比如，从第一帧图像对应的候选路面场景分类中选择斑马线，从第二帧图像对应的候选路面场景分类中选择斑马线，依次类推，则有可能会得到N个斑马线(当然，也有可能某些图像对应的候选路面场景分类中不存在斑马线，则最终也会得到M个斑马线，M小于N)。[0119] 步骤502，依据选择出的属于同一类别的候选路面场景生成该类别对应的目标路面场景。[0120] 需要说明的是，本实施例中，每一候选路面场景是通过图片格式比如JPEG示意。基于此，作为一个实施例，本步骤c2中依据选择出的属于同一类别的候选路面场景生成该类别对应的目标路面场景可包括：将属于同一类别的候选路面场景中同一像素点位置的像素进行设定算法处理，最终会得到该类别对应的目标路面场景。这里的目标路面场景也是通过图片格式比如JPEG示意。[0121] 仍以上述N个斑马线为例，可选地，这N个斑马线实质是N个斑马线图片。基于此，作为一个实施例，在步骤c2中，可将N个斑马线上相同像素点位置的像素进行设定算法处理，得到一个目标斑马线。[0122] 需要说明的是，上述设定算法处理可包括：对像素进行整合比如像素强度进行叠加或者加权处理等，本实施例并不具体限定。[0123] 至此，完成图5所示流程。[0124] 通过图5所示流程实现了上述步骤402中如何依据N帧图像分别对应的候选路面场景分类确定目标路面场景分类。[0125] 下面对上述步骤202或步骤403中如何依据所述目标路面场景分类确定所述路面交通场景信息进行描述：[0126] 参见图6，图6为本申请实施例提供的步骤202或步骤403的实现流程图。如图6所示，该流程可包括以下步骤：[0127] 步骤601，从目标路面场景分类中确定满足设定条件的路面场景的场景信息。[0128] 可选地，满足设定条件的路面场景是指在路面上被设置为面状结构的场景。作为一个实施例，所述在路面上被设置为面状结构的场景至少包括：导流带、绿化、护栏、斑马线，未被设置任何交通标识的路面(为便于描述，可称为目标路面)。需要说明的是，因为斑马线是由白色平行粗实线组成的，其也是被认为面状结构。图7a举例示出斑马线的结构。[0129] 需要说明的是，如上描述，路面场景是通过图片格式比如JPEG示意，基于此，作为一个实施例，在步骤601中，满足设定条件的路面场景的场景信息可包括：对满足设定条件的路面场景进行像素整合得到的多边形信息。该多边形信息包括：多边形上各点的位置信息、以及该多边形对应的路面场景信息。[0130] 步骤602，从所述目标路面场景分类中确定各不同车道线的车道线信息。[0131] 作为一个实施例，本步骤602中，可在目标路面场景分类中各车道线的类别(这里的类别可为颜色，比如白色、黄色等)和车道线的形态(比如实线、虚线、单线、双线等)确定各不同车道线(如白实线、虚线、单黄线、双黄线、停车区域的车道线等)。[0132] 基于上述确定出的各不同车道线，上述各不同车道线的车道线信息可包括：车道线的形状、位置。可选地，车道线的形状可通过三次样条曲线形式示意。[0133] 步骤603，依据车道线的车道线信息、以及已确定出的与该车道线相邻的目标路面的场景信息确定车道信息，确定所述车道信息对应的车道的车道方向信息。[0134] 作为一个实施例，本步骤603可依据车道线的车道线信息比如位置，确定与该位置相邻的目标路面的场景信息(比如上述的路面多边形信息)，之后依据该车道线的车道线信息和相邻的目标路面的场景信息确定车道信息。这里的车道信息可为：城市道路上机动车道信息。图7b举例示出机动车道信息。[0135] 至于本步骤603中如何确定所述车道信息对应的车道的车道方向信息，下文图8所示流程会举例描述其中一种实施方式，这里暂不赘述。[0136] 步骤604，从所述目标路面场景分类中确定道路方向标志，根据所述道路方向标志确定对应的道路方向信息。[0137] 道路方向标志用于指示道路方向，图9举例示出了几种道路方向标志。由于道路方向标志用于指示道路方向，因此，当本步骤604确定出道路方向标志后，很容易根据所述道路方向标志确定对应的道路方向信息。[0138] 步骤605，依据步骤601确定的满足设定条件的路面场景的场景信息、步骤602确定的车道线信息、步骤603确定的车道信息和车道方向信息、步骤604确定的道路方向信息确定所述路面交通场景信息。[0139] 作为一个实施例，可依据步骤601确定的满足设定条件的路面场景的场景信息、步骤602确定的车道线信息、步骤603确定的车道信息和车道方向信息、步骤604确定的道路方向信息确定所述路面交通场景信息编译一个路面交通场景结构体，该编译出的路面交通场景结构体即为上述的路面交通场景信息。步骤601确定的满足设定条件的路面场景的场景信息、步骤602确定的车道线信息、步骤603确定的车道信息和车道方向信息、步骤604确定的道路方向信息可为上述路面交通场景结构体的子结构体。[0140] 至此，完成图6所示流程。[0141] 通过图6所示流程，则实现了上述步骤202、步骤403中依据所述目标路面场景分类确定所述路面交通场景信息。[0142] 下面对步骤603中确定所述车道信息对应的车道的车道方向信息进行描述：[0143] 参见图8，图8为本申请实施例提供的步骤603实现流程图。如图8所示，该流程可包括：[0144] 步骤801，获取已跟踪的目标对象在所述车道信息对应的车道上的行动轨迹。[0145] 可选地，目标对象在所述车道信息对应的车道上的行动轨迹可采用检测跟踪技术获取，其类似现有的检测跟踪，本实施例不具体限定。[0146] 步骤802，根据目标对象和目标对象的行动轨迹确定所述车道的车道类型。[0147] 可选地，这里车道类型可为：非机动车道、机动车道、超车道等类型。[0148] 作为一个实施例，当目标对象为行人，且目标对象的行动轨迹显示目标对象在上述车道上行走，则确定车道类型为非机动车道。[0149] 当目标对象为车辆，且目标对象的行动轨迹显示目标对象在上述车道上行驶，则步骤802还需要进一步检测之前已监控到的车道周围图像中是否存在诸如行人或者非机动车等参考对象，如果检测到，则确定上述车道的车道类型为非高速公路上的机动车道，否则，可确定上述车道的车道类型为高速公路上的车道比如超车道、快车道等。[0150] 步骤803，在所述车道类型不为用于指示非机动车道的类型时，根据所述行动轨迹确定所述车道的车道方向信息。[0151] 比如，目标对象为车辆，行动轨迹显示车辆从南往北行驶，则确定车道的车道方向信息为从南往北。[0152] 至此，通过图8所示流程可实现步骤603中如何确定车道信息对应的车道的车道方向信息。[0153] 下面对步骤102中从已配置的所有事件机制中确定与所述路面交通场景信息对应的至少一个目标事件检测机制进行描述：[0154] 作为一个实施例，从已配置的所有事件机制中确定与所述路面交通场景信息对应的至少一个目标事件检测机制可包括：[0155] 当所述路面交通场景信息中存在目标路面，所述目标路面上未被设置任何交通标识，则确定与所述目标路面对应的事件检测机制为所述目标事件检测机制，所述目标路面对应的事件检测机制至少用于检测路障、施工、烟雾、火灾；和/或，[0156] 当所述路面交通场景信息中存在非机动车道，则确定与所述非机动车道对应的事件检测机制为所述目标事件检测机制，所述非机动车道对应的事件检测机制至少用于检测非机动车道被机动车占用；和/或，[0157] 当所述路面交通场景信息中存在车道线，且该车道线用于指示禁止跨线，则确定与车道线对应的事件检测机制为所述目标事件检测机制，所述车道线对应的事件检测机制至少用于检测压线、变道；和/或，[0158] 当所述路面交通场景信息中存在机动车道，则确定与所述机动车道对应的事件检测机制为所述目标事件检测机制，所述机动车道对应的事件检测机制至少用于检测违停、行人；和/或，[0159] 当所述路面交通场景信息中存在车道方向信息，则确定与所述车道方向信息对应的事件检测机制为所述目标事件检测机制，所述车道方向信息对应的事件检测机制至少用于检测逆行、倒车；和/或，[0160] 当所述路面交通场景信息中存在超车道，则确定与所述超车道对应的事件检测机制为所述目标事件检测机制，所述超车道对应的事件检测机制至少用于检测超车道被占用。[0161] 为便于理解，表1举例示出了如何从已配置的所有事件机制中确定与所述路面交通场景信息对应的至少一个目标事件检测机制：[0162] 路面交通场景信息 目标事件检测机制目标路面 用于检测路障、施工、烟雾和火灾事件非机动车道 用于检测非机动车道被机动车占用白实线、双黄线等禁跨线 用于检测压线、变道机动车道 用于检测违停、行人车道方向 用于检测逆行、倒车超车道 用于检测超车道被占用[0163] 表1[0164] 需要说明的是，上述只是确定与路面交通场景信息对应的至少一个目标事件检测机制的实现方式，也可采用其它方式确定路面交通场景信息对应的至少一个目标事件检测机制，本实施例并不具体限定如何确定路面交通场景信息对应的至少一个目标事件检测机。[0165] 当确定目标事件检测机制后，即可按照所述目标事件检测机制检测对应的交通事件，当检测到对应的交通事件后，可进一步控制摄像装置抓拍所述交通事件，抓拍的图像中包括车辆信息比如车牌号。之所以抓拍所述交通事件，其目的是留作违章证据。[0166] 下面再对上述的场景分割模型进行描述：[0167] 首先，收集场景图片样本并记录至场景图片样本集合。这里，为了保证训练出的场景分割模型更精准，场景图片样本集合中可包含若干数量的场景图片样本，比如包含20万以上的场景图片样本。需要说明的是，场景图片样本集合并非仅包含单一监控装置在同一时间段监控到的场景图片样本，其可包括不同架设角度的不同监控装置在不同时间段监控到的场景图片样本。这里不同监控装置可为应用于不同场景比如城市道路、隧道、高速等的各个监控装置。[0168] 其次，对场景图片样本集合中的场景图片样本进行标注。可选地，这里可基于photoshop或其他标图工具对场景图片样本进行标注，以标注出场景图片样本中各个类别的场景。在一个例子中，场景主要分为9类，分别为：未被设置任何交通标识的路面(记为目标路面)、斑马线、白色车道线、黄色车道线、道路方向标志、导流带、绿化、护栏以及其它指定场景信息比如背景部分。图3a、图3b举例示出其中的几类场景。[0169] 最后，在已搭建的caffe环境下利用已标注的场景图片样本训练出上述的场景分割模型。最终，训练出如上描述的场景分割模型。当训练出场景分割模型后，即可借助场景分割模型对路面场景分类，具体见上述的图2或图4所示流程。[0170] 以上对本申请提供的方法进行了描述，下面对本申请提供的装置进行描述：[0171] 参见图10，图10为本申请提供的装置结构图。该装置应用于电子设备，如图10所示，该装置可包括：场景确定单元、检测机制确定单元、事件检测单元。[0172] 可选地，场景确定单元，用于依据已采集到的至少一帧图像确定对应的路面交通场景信息。[0173] 检测机制确定单元，用于从已配置的所有事件机制中确定与所述路面交通场景信息对应的至少一个目标事件检测机制。[0174] 事件检测单元，用于按照所述目标事件检测机制检测对应的交通事件。[0175] 作为一个实施例，场景确定单元依据已采集到的至少一帧图像确定对应的路面交通场景信息，可包括：将当前采集的当前图像帧输入至已训练出的场景分割模型得到目标路面场景分类；依据所述目标路面场景分类确定所述路面交通场景信息。所述目标路面场景分类包括不同类别的路面场景，所述不同类别的路面场景至少包括：斑马线、白色车道线、黄色车道线、道路方向标志、导流带、护栏、绿化、以及其它指定场景信息。[0176] 作为一个实施例，所述场景确定单元依据已采集到的至少一帧图像确定对应的路面交通场景信息，包括：将已采集的N帧图像依次输入至已训练出的场景分割模型得到N帧图像分别对应的候选路面场景分类，依据N帧图像分别对应的候选路面场景分类确定目标路面场景分类；依据所述目标路面场景分类确定所述路面交通场景信息。可选地，所述N大于1，所述N帧图像包括当前采集的当前图像帧和之前采集的N‑1帧图像。所述目标路面场景分类包括不同类别的路面场景，所述不同类别的路面场景至少包括：斑马线、白色车道线、黄色车道线、道路方向标志、导流带、护栏、绿化、以及其它指定场景信息。[0177] 在一个例子中，所述候选路面场景分类包括不同类别的候选路面场景，所述不同类别的候选路面场景至少包括：斑马线、白色车道线、黄色车道线、道路方向标志、导流带、护栏、绿化、以及其它指定场景信息；[0178] 基于此，所述场景确定单元依据N帧图像对应的候选路面场景分类确定目标路面场景分类，包括：从所述N帧图像分别对应的候选路面场景分类中选择属于同一类别的候选路面场景；依据选择出的属于同一类别的候选路面场景生成该类别对应的目标路面场景。[0179] 作为一个实施例，所述场景确定单元依据所述目标路面场景分类确定所述路面交通场景信息，包括：从所述目标路面场景分类中确定满足设定条件的路面场景的场景信息，所述满足设定条件的路面场景是指在路面上被设置为面状结构的场景，所述在路面上被设置为面状结构的场景至少包括：导流带、绿化、护栏、斑马线，未被设置任何交通标识的目标路面；从所述目标路面场景分类中确定各不同车道线的车道线信息；依据车道线的车道线信息、以及已确定出的与该车道线相邻的目标路面的场景信息确定车道信息，确定所述车道信息对应的车道的车道方向信息；从所述目标路面场景分类中确定道路方向标志，根据所述道路方向标志确定对应的道路方向信息；依据所述满足设定条件的路面场景的场景信息、所述车道线信息、所述车道信息、所述车道方向信息、以及所述道路方向信息确定所述路面交通场景信息。[0180] 作为一个实施例，所述场景确定单元确定所述车道信息对应的车道的车道方向信息包括：获取已跟踪的目标对象在所述车道信息对应的车道上的行动轨迹；根据所述目标对象和所述目标对象的行动轨迹确定所述车道的车道类型；在所述车道类型不为用于指示非机动车道的类型时，根据所述行动轨迹确定所述车道的车道方向信息。[0181] 作为一个实施例，所述检测机制确定单元从已配置的所有事件机制中确定与所述路面交通场景信息对应的至少一个目标事件检测机制，包括：[0182] 当所述路面交通场景信息中存在目标路面，所述目标路面上未被设置任何交通标识，则确定与所述目标路面对应的事件检测机制为所述目标事件检测机制，所述目标路面对应的事件检测机制至少用于检测路障、施工、烟雾、火灾；和/或，[0183] 当所述路面交通场景信息中存在非机动车道，则确定与所述非机动车道对应的事件检测机制为所述目标事件检测机制，所述非机动车道对应的事件检测机制至少用于检测非机动车道被机动车占用；和/或，[0184] 当所述路面交通场景信息中存在车道线，且该车道线用于指示禁止跨线，则确定与车道线对应的事件检测机制为所述目标事件检测机制，所述车道线对应的事件检测机制至少用于检测压线、变道；和/或，[0185] 当所述路面交通场景信息中存在机动车道，则确定与所述机动车道对应的事件检测机制为所述目标事件检测机制，所述机动车道对应的事件检测机制至少用于检测违停、行人；和/或，[0186] 当所述路面交通场景信息中存在车道方向信息，则确定与所述车道方向信息对应的事件检测机制为所述目标事件检测机制，所述车道方向信息对应的事件检测机制至少用于检测逆行、倒车；和/或，[0187] 当所述路面交通场景信息中存在超车道，则确定与所述超车道对应的事件检测机制为所述目标事件检测机制，所述超车道对应的事件检测机制至少用于检测超车道被占用。[0188] 作为一个实施例，所述事件检测单元在按照所述目标事件检测机制检测到对应的交通事件后，进一步控制摄像装置抓拍所述交通事件。[0189] 至此，完成本申请提供的装置结构图。[0190] 对应地，本申请还提供了图10所示装置的硬件结构。参见图11，该硬件结构可包括：处理器和机器可读存储介质，机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现本申请上述示例公开的方法。[0191] 基于与上述方法同样的申请构思，本申请实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被处理器执行时，能够实现本申请上述示例公开的方法。[0192] 示例性的，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(RadomAccessMemory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。[0193] 上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。[0194] 为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。[0195] 本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD‑ROM、光学存储器等)上实施的计算机程序产品的形式。[0196] 本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。[0197] 而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。[0198] 这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。[0199] 以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

专利地区：上海

专利申请日期：2020-03-30

专利公开日期：2024-07-26

专利公告号：CN111753634B