可左右滑动选省市

脑电信号处理方法、装置、设备及计算机可读介质

更新时间:2024-11-01
脑电信号处理方法、装置、设备及计算机可读介质 专利申请类型:实用新型专利;
源自:北京高价值专利检索信息库;

专利名称:脑电信号处理方法、装置、设备及计算机可读介质

专利类型:实用新型专利

专利申请号:CN202410723979.9

专利申请(专利权)人:北京大学,上海明略人工智能(集团)有限公司,上海人工智能创新中心
权利人地址:北京市海淀区学院路38号

专利发明(设计)人:王平,吴明辉,苏安炀,赵晨旭

专利摘要:本申请涉及一种脑电信号处理方法、装置、设备及计算机可读介质。该方法包括:在检测到目标视频开始播放时,采集观看目标视频的第一对象的脑电信号,并记录脑电信号的采集时间;获取目标视频的场景切分信息,其中,目标视频的内容包含多个场景,场景切分信息包括目标视频的每个场景的起止时间;将每个场景的起止时间与脑电信号的采集时间对齐,以获得与目标视频的场景匹配的脑电信号片段;分别计算每个脑电信号片段的脑电指标,以基于脑电信号分析第一对象观看目标视频时,第一对象对每个场景的认知投入和情绪反应。本申请解决了视频内容与脑电信号时间轴不同步且缺乏对视频内容的逻辑和结构的考虑的技术问题。

主权利要求:
1.一种脑电信号处理方法,其特征在于,包括:
在检测到目标视频开始播放时,采集观看所述目标视频的第一对象的脑电信号,并记录所述脑电信号的采集时间;
获取所述目标视频的场景切分信息,其中,所述目标视频的内容包含多个场景,所述场景切分信息包括所述目标视频的每个场景的起止时间;
将每个场景的所述起止时间与所述脑电信号的所述采集时间对齐,以获得与所述目标视频的场景匹配的脑电信号片段;
分别计算每个所述脑电信号片段的脑电指标,以基于所述脑电信号分析所述第一对象观看所述目标视频时,所述第一对象对每个场景的认知投入和情绪反应,包括基于对视频内容的理解捕捉由特定画面或场景引起的脑电信号变化;
所述分别计算每个所述脑电信号片段的脑电指标中,计算任一所述脑电信号片段的脑电指标包括:计算所述脑电信号片段中每一个采样点的局部脑电指标;计算所述脑电信号片段中所有采样点的所述局部脑电指标的总和,得到指标总和;将所述指标总和与所述脑电信号片段的采样点总数相除,得到所述脑电信号片段的整体脑电指标;
所述计算所述脑电信号片段中每一个采样点的局部脑电指标包括按照如下方式计算情绪指标:;
其中, 为所述脑电信号中当前采样点的第二档 波的数值, 为所述脑电信号中当前采样点的第三档 波的数值,档位越高对应的信号频率越高;
所述计算所述脑电信号片段中每一个采样点的局部脑电指标包括按照如下方式计算认知投入指标:;
其中, 为所述脑电信号中当前采样点的第二档 波的数值, 为所述脑电信号中当前采样点的第三档 波的数值, 为所述脑电信号中当前采样点的第二档 波的数值,为所述脑电信号中当前采样点的第三档 波的数值,档位越高对应的信号频率越高。
2.根据权利要求1所述的方法,其特征在于,所述获取所述目标视频的场景切分信息包括:使用目标密码散列函数计算所述目标视频的目标散列值;
使用所述目标散列值在预设数据库中进行查找,以确认所述预设数据库中是否存在与所述目标散列值映射存储的所述目标视频;
在确认所述目标视频已存在于所述预设数据库中时,查找所述目标视频的关联数据;
在所述关联数据中存在所述场景切分信息时,获取所述场景切分信息。
3.根据权利要求2所述的方法,其特征在于,在确认所述目标视频未存在于所述预设数据库中,或所述目标视频的关联数据中不存在所述场景切分信息时,所述方法包括还按照如下方式中的任意一种获取所述目标视频的场景切分信息:提取所述目标视频的视频帧;计算每一所述视频帧的颜色直方图;按照所述视频帧的提取顺序依次计算相邻两帧的所述颜色直方图的直方图差异值;标记所述直方图差异值达到第一阈值的相邻视频帧;根据整段视频中的标记对所述目标视频进行切分,得到所述场景切分信息;
提取所述目标视频的视频帧;利用内容识别模型分析每一所述视频帧的内容;按照所述视频帧的提取顺序依次计算相邻两帧的内容的内容差异值;标记所述内容差异值达到第二阈值的相邻视频帧;根据整段视频中的标记对所述目标视频进行切分,得到所述场景切分信息;
提取所述目标视频的视频帧;计算每一所述视频帧的平均亮度;按照所述视频帧的提取顺序依次计算相邻两帧的平均亮度的亮度差异值;标记所述亮度差异值达到第三阈值的相邻视频帧;根据整段视频中的标记对所述目标视频进行切分,得到所述场景切分信息。
4.根据权利要求3所述的方法,其特征在于,所述得到所述场景切分信息之后,所述方法还包括:将所述场景切分信息展示给第二对象;
在接收到所述第二对象对所述场景切分信息的调整参数的情况下,使用所述调整参数对所述场景切分信息进行调整,并将调整后的场景切分信息展示给所述第二对象;
在接收到所述第二对象对所述场景切分信息的确认信息的情况下,将所述场景切分信息与所述目标视频关联,并以所述目标视频的目标散列值为索引,将所述目标视频和所述场景切分信息存储到所述预设数据库中。
5.一种脑电信号处理装置,其特征在于,包括:
采集模块,用于在检测到目标视频开始播放时,采集观看所述目标视频的第一对象的脑电信号,并记录所述脑电信号的采集时间;
获取模块,用于获取所述目标视频的场景切分信息,其中,所述目标视频的内容包含多个场景,所述场景切分信息包括所述目标视频的每个场景的起止时间;
对齐模块,用于将每个场景的所述起止时间与所述脑电信号的所述采集时间对齐,以获得与所述目标视频的场景匹配的脑电信号片段;
计算模块,用于分别计算每个所述脑电信号片段的脑电指标,以基于所述脑电信号分析所述第一对象观看所述目标视频时,所述第一对象对每个场景的认知投入和情绪反应,包括基于对视频内容的理解捕捉由特定画面或场景引起的脑电信号变化;
所述计算模块,具体用于:计算所述脑电信号片段中每一个采样点的局部脑电指标;计算所述脑电信号片段中所有采样点的所述局部脑电指标的总和,得到指标总和;将所述指标总和与所述脑电信号片段的采样点总数相除,得到所述脑电信号片段的整体脑电指标;
所述计算模块还用于按照如下方式计算情绪指标:

其中, 为所述脑电信号中当前采样点的第二档 波的数值, 为所述脑电信号中当前采样点的第三档 波的数值,档位越高对应的信号频率越高;
所述计算模块还用于按照如下方式计算认知投入指标:

其中, 为所述脑电信号中当前采样点的第二档 波的数值, 为所述脑电信号中当前采样点的第三档 波的数值, 为所述脑电信号中当前采样点的第二档 波的数值,为所述脑电信号中当前采样点的第三档 波的数值,档位越高对应的信号频率越高。
6.一种电子设备,包括存储器、处理器、通信接口及通信总线,所述存储器中存储有可在所述处理器上运行的计算机程序,所述存储器、所述处理器通过所述通信总线和所述通信接口进行通信,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1至4任一项所述的脑电信号处理方法。
7.一种具有处理器可执行的非易失的程序代码的计算机可读介质,其特征在于,所述程序代码使所述处理器执行所述权利要求1至4任一所述的脑电信号处理方法。 说明书 : 脑电信号处理方法、装置、设备及计算机可读介质技术领域[0001] 本申请涉及数据采集技术领域,尤其涉及一种脑电信号处理方法、装置、设备及计算机可读介质。背景技术[0002] 人脑对视频和图片数据的理解是一个涉及深层认知机制的复杂科学领域,不仅包括表面的识别过程,还包含对情感、文化背景和上下文的深度理解。在观看视频或图片时,大脑的视觉皮层活跃地加工和解释这些信息,激发科学家运用深度学习技术模拟人脑的图像处理方式。例如,图像可能根据个人经验和文化背景引起不同的情感反应,这有助于我们理解大脑如何在多个层面上,包括动态编码和记忆回放,解读视觉信息,从而推动人工智能在图像识别和处理方面的发展。科学家们为分析大脑如何处理视觉信息,开发了多种设备和技术,包括使用脑电图(EEG)记录大脑活动,以及眼动追踪技术来了解个体在观看图像时的注意力分配。通过分析EEG数据和眼动数据,研究人员可以关注情绪和投入程度等特定脑电指标,深入理解大脑在不同情境下如何响应视觉刺激。在现代广告和市场营销领域,利用这些神经科学工具,如EEG和眼动追踪技术,可以精确衡量和解析观众对广告视频的即时反应,揭示他们对内容的深层认知和情绪反应。[0003] 目前,相关技术中,在采集视频数据及其对应的脑电信号时,存在一个显著的同步问题,即视频内容的时间轴与脑电信号的采集时间通常不一致。这种时间上的差异要求进行人力手动对齐,这不仅是一个耗时的过程,而且可能导致数据同步的不准确性。由于脑电信号的变化非常快速且细微,即使是微小的对齐误差也可能导致分析结果的偏差。并且,目前视频内容和脑电信号匹配的做法是直接将秒级的视频画面与脑电信号进行匹配,分析第x秒内的脑电信号变化。然而,这种方法并未充分考虑到视频内容的逻辑和结构。[0004] 针对视频内容与脑电信号时间轴不同步且缺乏对视频内容的逻辑和结构的考虑的问题,目前尚未提出有效的解决方案。发明内容[0005] 本申请提供了一种脑电信号处理方法、装置、设备及计算机可读介质,以解决视频内容与脑电信号时间轴不同步且缺乏对视频内容的逻辑和结构的考虑的技术问题。[0006] 根据本申请实施例的一个方面,本申请提供了一种脑电信号处理方法,包括:在检测到目标视频开始播放时,采集观看所述目标视频的第一对象的脑电信号,并记录所述脑电信号的采集时间;获取所述目标视频的场景切分信息,其中,所述目标视频的内容包含多个场景,所述场景切分信息包括所述目标视频的每个场景的起止时间;将每个场景的所述起止时间与所述脑电信号的所述采集时间对齐,以获得与所述目标视频的场景匹配的脑电信号片段;分别计算每个所述脑电信号片段的脑电指标,以基于所述脑电信号分析所述第一对象观看所述目标视频时,所述第一对象对每个场景的认知投入和情绪反应。[0007] 可选地,所述获取所述目标视频的场景切分信息包括:使用目标密码散列函数计算所述目标视频的目标散列值;使用所述目标散列值在预设数据库中进行查找,以确认所述预设数据库中是否存在与所述目标散列值映射存储的所述目标视频;在确认所述目标视频已存在于所述预设数据库中时,查找所述目标视频的关联数据;在所述关联数据中存在所述场景切分信息时,获取所述场景切分信息。[0008] 可选地,在确认所述目标视频未存在于所述预设数据库中,或所述目标视频的关联数据中不存在所述场景切分信息时,所述方法包括还按照如下方式中的任意一种获取所述目标视频的场景切分信息:提取所述目标视频的视频帧;计算每一所述视频帧的颜色直方图;按照所述视频帧的提取顺序依次计算相邻两帧的所述颜色直方图的直方图差异值;标记所述直方图差异值达到第一阈值的相邻视频帧;根据整段视频中的标记对所述目标视频进行切分,得到所述场景切分信息;提取所述目标视频的视频帧;利用内容识别模型分析每一所述视频帧的内容;按照所述视频帧的提取顺序依次计算相邻两帧的内容的内容差异值;标记所述内容差异值达到第二阈值的相邻视频帧;根据整段视频中的标记对所述目标视频进行切分,得到所述场景切分信息;提取所述目标视频的视频帧;计算每一所述视频帧的平均亮度;按照所述视频帧的提取顺序依次计算相邻两帧的平均亮度的亮度差异值;标记所述亮度差异值达到第三阈值的相邻视频帧;根据整段视频中的标记对所述目标视频进行切分,得到所述场景切分信息。[0009] 可选地,所述得到所述场景切分信息之后,所述方法还包括:将所述场景切分信息展示给第二对象;在接收到所述第二对象对所述场景切分信息的调整参数的情况下,使用所述调整参数对所述场景切分信息进行调整,并将调整后的场景切分信息展示给所述第二对象;在接收到所述第二对象对所述场景切分信息的确认信息的情况下,将所述场景切分信息与所述目标视频关联,并以所述目标视频的目标散列值为索引,将所述目标视频和所述场景切分信息存储到所述预设数据库中。[0010] 可选地,所述分别计算每个所述脑电信号片段的脑电指标中,计算任一所述脑电信号片段的脑电指标包括:计算所述脑电信号片段中每一个采样点的局部脑电指标;计算所述脑电信号片段中所有采样点的所述局部脑电指标的总和,得到指标总和;将所述指标总和与所述脑电信号片段的采样点总数相除,得到所述脑电信号片段的整体脑电指标。[0011] 可选地,所述计算所述脑电信号片段中每一个采样点的局部脑电指标包括按照如下方式计算情绪指标:[0012] ;[0013] 其中, 为所述脑电信号中当前采样点的第二档 波的数值, 为所述脑电信号中当前采样点的第三档 波的数值,档位越高对应的信号频率越高。[0014] 可选地,所述计算所述脑电信号片段中每一个采样点的局部脑电指标包括按照如下方式计算认知投入指标:[0015] ;[0016] 其中, 为所述脑电信号中当前采样点的第二档 波的数值, 为所述脑电信号中当前采样点的第三档 波的数值, 为所述脑电信号中当前采样点的第二档 波的数值,为所述脑电信号中当前采样点的第三档 波的数值,档位越高对应的信号频率越高。[0017] 根据本申请实施例的另一方面,本申请提供了一种脑电信号处理装置,包括:采集模块,用于在检测到目标视频开始播放时,采集观看所述目标视频的第一对象的脑电信号,并记录所述脑电信号的采集时间;获取模块,用于获取所述目标视频的场景切分信息,其中,所述目标视频的内容包含多个场景,所述场景切分信息包括所述目标视频的每个场景的起止时间;对齐模块,用于将每个场景的所述起止时间与所述脑电信号的所述采集时间对齐,以获得与所述目标视频的场景匹配的脑电信号片段;计算模块,用于分别计算每个所述脑电信号片段的脑电指标,以基于所述脑电信号分析所述第一对象观看所述目标视频时,所述第一对象对每个场景的认知投入和情绪反应。[0018] 根据本申请实施例的另一方面,本申请提供了一种电子设备,包括存储器、处理器、通信接口及通信总线,存储器中存储有可在处理器上运行的计算机程序,存储器、处理器通过通信总线和通信接口进行通信,处理器执行计算机程序时实现上述方法的步骤。[0019] 根据本申请实施例的另一方面,本申请还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质,程序代码使处理器执行上述的方法。[0020] 本申请实施例提供的上述技术方案与相关技术相比具有如下优点:[0021] 本申请可以应用于数据能力开发以进行数据采集。本申请提供了一种脑电信号处理方法,包括:在检测到目标视频开始播放时,采集观看所述目标视频的第一对象的脑电信号,并记录所述脑电信号的采集时间;获取所述目标视频的场景切分信息,其中,所述目标视频的内容包含多个场景,所述场景切分信息包括所述目标视频的每个场景的起止时间;将每个场景的所述起止时间与所述脑电信号的所述采集时间对齐,以获得与所述目标视频的场景匹配的脑电信号片段;分别计算每个所述脑电信号片段的脑电指标,以基于所述脑电信号分析所述第一对象观看所述目标视频时,所述第一对象对每个场景的认知投入和情绪反应。本申请将脑电信号与视频内容在时间上的变化相结合,从而大幅提高了脑电指标与视频内容之间映射的精度,可以更深入地理解人脑如何处理和响应复杂的视觉信息,解决了视频内容与脑电信号时间轴不同步且缺乏对视频内容的逻辑和结构的考虑的技术问题。附图说明[0022] 此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。[0023] 为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。[0024] 图1为根据本申请实施例提供的一种可选的脑电信号处理方法流程示意图;[0025] 图2为根据本申请实施例提供的一种可选的脑电信号处理方法的技术架构示意图;[0026] 图3为根据本申请实施例提供的一种可选的脑电信号处理装置框图;[0027] 图4为本申请实施例提供的一种可选的电子设备结构示意图。具体实施方式[0028] 为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。[0029] 在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明,其本身并没有特定的意义。因此,“模块”与“部件”可以混合地使用。[0030] 为了解决背景技术中提及的问题,根据本申请实施例的一方面,提供了一种脑电信号处理方法的实施例,如图1所示,该方法可以包括以下步骤:[0031] 步骤S102,在检测到目标视频开始播放时,采集观看所述目标视频的第一对象的脑电信号,并记录所述脑电信号的采集时间;[0032] 步骤S104,获取所述目标视频的场景切分信息,其中,所述目标视频的内容包含多个场景,所述场景切分信息包括所述目标视频的每个场景的起止时间;[0033] 步骤S106,将每个场景的所述起止时间与所述脑电信号的所述采集时间对齐,以获得与所述目标视频的场景匹配的脑电信号片段;[0034] 步骤S108,分别计算每个所述脑电信号片段的脑电指标,以基于所述脑电信号分析所述第一对象观看所述目标视频时,所述第一对象对每个场景的认知投入和情绪反应。[0035] 本申请中,脑电信号(Electroencephalography,简称EEG)是指从人类头皮表面记录的大脑神经元群体活动产生的电信号。这些信号通常通过脑电图(EEG)设备采集,并可用于监测大脑活动,包括但不限于睡眠、认知功能和神经疾病的研究。脑电指标是通过特定的计算公式,从脑电信号中提取的可解释指标。这些指标通常用于分析大脑的不同状态和功能,例如情绪反应、认知过程和记忆功能。在本专利中,脑电指标可能包括情绪价值、认知记忆等,这些指标可以帮助研究者更好地理解脑电信号与大脑功能之间的关系。[0036] 相关技术中脑电信号与视频的匹配方式是直接将秒级的视频画面与脑电信号进行匹配,分析第x秒内的脑电信号变化。然而,这种方法并未充分考虑到视频内容的逻辑和结构,如果仅仅按照秒来匹配视频和脑电信号,可能会忽略掉这些分镜之间的细微变化和细节,也可能过多地采集某些帧的数据,引入误差,最主要的,这种匹配方法可能导致对视频内容的理解不够深入,无法准确捕捉到由特定画面或场景引起的脑电信号变化。相关技术还对人力资源过度依赖,目前的方法需要大量人力参与,这些人员的主要任务包括数据清洗、视频与脑电信号的对齐以及下游指标的计算。这不仅增加了工作量,还可能引入人为误差,从而影响最终结果的准确性和可靠性。[0037] 为了克服上述问题,本申请基于视频内容的变化,如场景变换、时间跳跃或剧情转换,将一个视频分割成多个场景片段,按照场景对齐脑电信号,从而基于分镜或场景的匹配,以捕捉视频中更丰富的信息和细节,并更准确地分析脑电信号的变化。通过上述改进,本申请可以更深入地分析人脑如何处理和响应复杂的视觉信息。[0038] 通过步骤S102至S108,本申请将脑电信号与视频内容在时间上的变化相结合,从而大幅提高了脑电指标与视频内容之间映射的精度,可以更深入地理解人脑如何处理和响应复杂的视觉信息,解决了视频内容与脑电信号时间轴不同步且缺乏对视频内容的逻辑和结构的考虑的技术问题。[0039] 在步骤S102中,第一对象是脑电信号采集的对象,第一对象预先佩戴脑电信号采集装置,脑电信号采集装置为至少4电极的脑电信号采集装置,具备脑电信号的接收与记录能力。[0040] 在步骤S104中,目标视频的场景切分信息记录了目标视频被切分成多个场景的时间分割节点。[0041] 在一个可选的实施例中,所述获取所述目标视频的场景切分信息包括:[0042] 步骤1,使用目标密码散列函数计算所述目标视频的目标散列值。[0043] 本申请实施例中,利用特定的密码散列函数(如SHA‑256、MD5等)对目标视频进行计算,生成一个唯一的散列值(或称为哈希值)。这个散列值代表了视频的内容,具有高度的唯一性,即使视频内容稍有改动,其散列值也会发生显著变化。[0044] 步骤2,使用所述目标散列值在预设数据库中进行查找,以确认所述预设数据库中是否存在与所述目标散列值映射存储的所述目标视频。[0045] 本申请实施例中,散列值计算完成后,将其在预设的数据库中进行查找。这个数据库应该存储了多个视频的散列值及其相关信息。通过比对目标散列值与数据库中存储的散列值,可以确认目标视频是否已存在于数据库中。[0046] 步骤3,在确认所述目标视频已存在于所述预设数据库中时,查找所述目标视频的关联数据。[0047] 本申请实施例中,如果目标视频确实存在于数据库中,那么就可以查找与该视频相关的其他数据。这些数据可能包括视频的元数据(如标题、描述、上传者等)、场景切分信息、关键帧等。[0048] 步骤4,在所述关联数据中存在所述场景切分信息时,获取所述场景切分信息。[0049] 本申请实施例中,在关联数据中,查找是否存在场景切分信息。场景切分信息通常包括视频中各个场景的起始和结束时间、场景描述等。如果这些信息存在,就将其提取出来,以便后续与脑电信号进行对齐和分析。[0050] 在一个可选的实施例中,在确认所述目标视频未存在于所述预设数据库中,或所述目标视频的关联数据中不存在所述场景切分信息时,所述方法包括还按照如下方式中的任意一种获取所述目标视频的场景切分信息:[0051] 第一种,RGB颜色直方图方法(ColorHistogram),这种方法通过比较连续帧的颜色直方图来检测场景变化。颜色直方图表示了图像中每种颜色的像素数量。当连续帧之间的直方图差异超过某个阈值时,算法就会检测到一个新场景。具体包括以下步骤:[0052] 步骤1,提取所述目标视频的视频帧;[0053] 步骤2,计算每一所述视频帧的颜色直方图;[0054] 步骤3,按照所述视频帧的提取顺序依次计算相邻两帧的所述颜色直方图的直方图差异值;[0055] 步骤4,标记所述直方图差异值达到第一阈值的相邻视频帧;[0056] 步骤5,根据整段视频中的标记对所述目标视频进行切分,得到所述场景切分信息。[0057] 第二种,内容检测(ContentDetection),这种方法通过分析视频帧的内容变化来检测场景变化。它计算连续帧之间的内容差异,并在这个差异超过特定阈值时标记为新场景。这种方法对于检测剪辑和场景变化非常有效,尤其是当这些变化涉及显著的视觉差异时。具体包括以下步骤:[0058] 步骤1,提取所述目标视频的视频帧;[0059] 步骤2,利用内容识别模型分析每一所述视频帧的内容;[0060] 步骤3,按照所述视频帧的提取顺序依次计算相邻两帧的内容的内容差异值;[0061] 步骤4,标记所述内容差异值达到第二阈值的相邻视频帧;[0062] 步骤5,根据整段视频中的标记对所述目标视频进行切分,得到所述场景切分信息,。[0063] 第三种,亮度检测(LuminanceDetection),这种方法基于像素亮度变化来检测场景变化。它计算每帧的平均亮度,并将其与前一帧进行比较。当亮度变化超过预设的阈值时,算法会标记一个新场景的开始。这种方法适用于场景之间亮度变化显著的视频。[0064] 步骤1,提取所述目标视频的视频帧;[0065] 步骤2,计算每一所述视频帧的平均亮度;[0066] 步骤3,按照所述视频帧的提取顺序依次计算相邻两帧的平均亮度的亮度差异值;[0067] 步骤4,标记所述亮度差异值达到第三阈值的相邻视频帧;[0068] 步骤5,根据整段视频中的标记对所述目标视频进行切分,得到所述场景切分信息。[0069] 可以理解,上述视频场景切分算法仅作为示例,本申请不特定指定视频场景切分算法,可以采用任意切分算法进行处理。[0070] 在一个可选的实施例中,所述得到所述场景切分信息之后,所述方法还包括:[0071] 步骤1,将所述场景切分信息展示给第二对象;[0072] 步骤2,在接收到所述第二对象对所述场景切分信息的调整参数的情况下,使用所述调整参数对所述场景切分信息进行调整,并将调整后的场景切分信息展示给所述第二对象;[0073] 步骤3,在接收到所述第二对象对所述场景切分信息的确认信息的情况下,将所述场景切分信息与所述目标视频关联,并以所述目标视频的目标散列值为索引,将所述目标视频和所述场景切分信息存储到所述预设数据库中。[0074] 本申请实施例中,为了让第二对象能够直观地查看场景切分信息,可以将视频场景切分的结果展示给第二对象,第二对象可以是该第一对象,即一个人同时上传视频、观看视频脑电信号记录、分镜操作等,第二对象还可以是视频编辑者、分析师或其他相关人员。如果第二对象认为场景切分信息不准确或需要进一步优化,他们可以提供调整参数。这些参数可能涉及修改场景的起始和结束时间、添加或删除场景等。系统会根据这些参数对场景切分信息进行相应的调整,并再次展示给第二对象,以便第二对象确认调整效果。一旦第二对象对场景切分信息表示满意并发出确认信息,系统就会将场景切分信息与目标视频进行关联。为了高效检索和管理这些信息,系统会使用目标视频的目标散列值作为索引,将目标视频和场景切分信息一起存储到预设数据库中。这样,当需要再次访问或使用这些信息时,就可以通过目标散列值快速检索到它们。[0075] 在一个可选的实施例中,所述分别计算每个所述脑电信号片段的脑电指标中,计算任一所述脑电信号片段的脑电指标包括:[0076] 步骤1,计算所述脑电信号片段中每一个采样点的局部脑电指标;[0077] 步骤2,计算所述脑电信号片段中所有采样点的所述局部脑电指标的总和,得到指标总和;[0078] 步骤3,将所述指标总和与所述脑电信号片段的采样点总数相除,得到所述脑电信号片段的整体脑电指标。[0079] 本申请实施例中,首先需要对脑电信号片段进行逐点分析。每个采样点的局部脑电指标从微观层面反映了第一对象对视频场景的认知投入和情绪变化。根据场景长度,需要对每种指标做平均,即场景内多个采样点的指标总和/采样点数目,得到脑电信号片段的整体脑电指标,脑电信号片段的整体脑电指标从宏观层面反映了第一对象对视频场景的认知投入和情绪变化。[0080] 本申请实施例中,可以按照勒芬投入度等级量表(LIS)将投入分为一般投入、轻度集中、中度集中、高度集中以及极度集中的状态,其分布近似长尾分布。一般投入(noactivity)的状态例如逛街或需要极少思考的情景时,该种情况出现很多,占68.85%。轻度集中(frequentlyinterruptedactivity)的状态例如人们思考简单问题或冥想的时候,该情况出现较多,占18.86%。中度集中(moreorlesscontinuousactivity)的状态例如人们在处理有一定难度的问题如考试,该情况出现较少,占6.73%。高度集中(activitywithintensemoments):的状态例如人们在处理复杂问题的时候如科研,该情况出现极少,占2.87%。极度集中(sustainedintenseactivity)的状态例如人们在处理高精准度或0失误率的事情时如手术或更极端的情况如生死一线间,该情况出现极少,占1.26%。[0081] 本申请实施例中,可以将情绪反应划分为重度回避、中度回避、轻度回避、一般心情、轻度趋近、中度趋近以及重度趋近的状态,其分布近似长尾分布。重度回避的状态例如看到有关生死的时候会进入重度回避状态,该情况出现频率极少,只占1.13%。中度回避的状态例如看到令人恶心的事物如昆虫细节、密集恐惧等,会进入中度回避状态,该情况出现较少,占7.30%。轻度回避的状态例如看到令人讨厌的事物如打架、争吵等,该情况出现较多,占22.84%。一般心情的状态例如看书籍等一般性事物,该情况出现较多,占37.80%。轻度趋近的状态例如看到舒适、美妙的环境时,该情况出现较多,占22.82%。中度趋近的状态例如看到令人兴奋的场景,该情况出现很少,占7.81%。重度趋近的状态例如看到令人及其欢快的场景如喜剧,人生四大喜事,该情况出现极少,占1.01%。[0082] 本申请实施例中,目标视频经过场景切分后,可以为不同的场景分配场景编号,具体的,可以将一个场景的视频片段的散列值作为该场景的场景编号,从而可以通过场景编号来整理各个场景的脑电信号及对应的脑电指标。[0083] 本申请实施例中,脑电指标的计算方式可以由用户自定义输入,从而可以根据脑电信号计算更多场景维度的指标。[0084] 可选地,所述计算所述脑电信号片段中每一个采样点的局部脑电指标包括按照如下方式计算情绪指标:[0085] ;[0086] 其中, 为所述脑电信号中当前采样点的第二档 波的数值, 为所述脑电信号中当前采样点的第三档 波的数值,档位越高对应的信号频率越高。[0087] 可选地,所述计算所述脑电信号片段中每一个采样点的局部脑电指标包括按照如下方式计算认知投入指标:[0088] ;[0089] 其中, 为所述脑电信号中当前采样点的第二档 波的数值, 为所述脑电信号中当前采样点的第三档 波的数值, 为所述脑电信号中当前采样点的第二档 波的数值,为所述脑电信号中当前采样点的第三档 波的数值,档位越高对应的信号频率越高。[0090] 在脑电图上,大脑可产生四类脑电波。进入深睡时,大脑产生的是δ波;δ波的频率范围是0.5‑3Hz;当感到睡意朦胧时,脑电波就变成θ波,θ波的频率范围是4‑8Hz;当身体放松,大脑比较活跃,灵感不断的时候,就导出了α波,α波的频率范围是8‑13Hz;当紧张状态下,大脑产生的是β波,β波的频率范围是大于14Hz。α波又分为三种,即慢速α波、中间α波(即第二档α波)及快速α波(即第三档α波)。慢速α波频率是8‑9Hz,对应临睡前头脑茫茫然的状态。意识逐渐走向模糊。中间α波频率是9‑12Hz,对应灵感、直觉发挥威力的状态,注意力集中。快速α波频率是12‑13Hz,对应高度警觉,无暇他顾的状态。β波分三个范围,分别是低,中,高三个范围,低范围β波频率在12.5‑16Hz赫兹,这种状态下,放松,但是精神集中。接着中范围β波(即第二档β波)频率在16.5‑20Hz赫兹,这种状态下除了思考,还有处理或接收外界的讯息,包括听到或者想到。最后高范围β波(即第三档β波)下的频率在20.5‑28Hz赫兹,这种状态下的情况就是激动和焦虑。[0091] 本申请提供的脑电信号处理方法可以基于脑电信号采集设备的SDK进行二次构建得到如图2所示的技术架构,其中,该架构中包括视频上传模块、脑电信号采集装置、视频场景切分模块、脑电指标计算模块以及软件核心数据库,用户通过视频上传模块提交原始视频,视频存储于软件核心数据库,视频场景切分模块用于对视频按照场景切分,切分情况记录在软件核心数据库。用户观看视频时,通过脑电信号采集装置提交原始信号,原始信号保存在软件核心数据库,在将脑电信号按照视频场景对齐后,脑电指标计算模块计算各种指标,计算结果保存在软件核心数据库中。[0092] 本申请将脑电信号与视频内容在时间上的变化相结合,从而大幅提高了脑电指标与视频内容之间映射的精度,可以更深入地理解人脑如何处理和响应复杂的视觉信息,解决了视频内容与脑电信号时间轴不同步且缺乏对视频内容的逻辑和结构的考虑的技术问题。[0093] 根据本申请实施例的又一方面,如图3所示,提供了一种脑电信号处理装置,包括:[0094] 采集模块301,用于在检测到目标视频开始播放时,采集观看所述目标视频的第一对象的脑电信号,并记录所述脑电信号的采集时间;[0095] 获取模块303,用于获取所述目标视频的场景切分信息,其中,所述目标视频的内容包含多个场景,所述场景切分信息包括所述目标视频的每个场景的起止时间;[0096] 对齐模块305,用于将每个场景的所述起止时间与所述脑电信号的所述采集时间对齐,以获得与所述目标视频的场景匹配的脑电信号片段;[0097] 计算模块307,用于分别计算每个所述脑电信号片段的脑电指标,以基于所述脑电信号分析所述第一对象观看所述目标视频时,所述第一对象对每个场景的认知投入和情绪反应。[0098] 需要说明的是,该实施例中的采集模块301可以用于执行本申请实施例中的步骤S102,该实施例中的获取模块303可以用于执行本申请实施例中的步骤S104,该实施例中的对齐模块305可以用于执行本申请实施例中的步骤S106,该实施例中的计算模块307可以用于执行本申请实施例中的步骤S108。[0099] 此处需要说明的是,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以通过软件实现,也可以通过硬件实现。[0100] 可选地,该获取模块,具体用于:使用目标密码散列函数计算所述目标视频的目标散列值;使用所述目标散列值在预设数据库中进行查找,以确认所述预设数据库中是否存在与所述目标散列值映射存储的所述目标视频;在确认所述目标视频已存在于所述预设数据库中时,查找所述目标视频的关联数据;在所述关联数据中存在所述场景切分信息时,获取所述场景切分信息。[0101] 可选地,该获取模块,还用于:提取所述目标视频的视频帧;计算每一所述视频帧的颜色直方图;按照所述视频帧的提取顺序依次计算相邻两帧的所述颜色直方图的直方图差异值;标记所述直方图差异值达到第一阈值的相邻视频帧;根据整段视频中的标记对所述目标视频进行切分,得到所述场景切分信息;提取所述目标视频的视频帧;利用内容识别模型分析每一所述视频帧的内容;按照所述视频帧的提取顺序依次计算相邻两帧的内容的内容差异值;标记所述内容差异值达到第二阈值的相邻视频帧;根据整段视频中的标记对所述目标视频进行切分,得到所述场景切分信息;提取所述目标视频的视频帧;计算每一所述视频帧的平均亮度;按照所述视频帧的提取顺序依次计算相邻两帧的平均亮度的亮度差异值;标记所述亮度差异值达到第三阈值的相邻视频帧;根据整段视频中的标记对所述目标视频进行切分,得到所述场景切分信息。[0102] 可选地,该获取模块,还用于:将所述场景切分信息展示给第二对象;在接收到所述第二对象对所述场景切分信息的调整参数的情况下,使用所述调整参数对所述场景切分信息进行调整,并将调整后的场景切分信息展示给所述第二对象;在接收到所述第二对象对所述场景切分信息的确认信息的情况下,将所述场景切分信息与所述目标视频关联,并以所述目标视频的目标散列值为索引,将所述目标视频和所述场景切分信息存储到所述预设数据库中。[0103] 可选地,该计算模块,具体用于:计算所述脑电信号片段中每一个采样点的局部脑电指标;计算所述脑电信号片段中所有采样点的所述局部脑电指标的总和,得到指标总和;将所述指标总和与所述脑电信号片段的采样点总数相除,得到所述脑电信号片段的整体脑电指标。[0104] 可选地,该计算模块,还用于按照如下方式计算情绪指标:[0105] ;[0106] 其中, 为所述脑电信号中当前采样点的第二档 波的数值, 为所述脑电信号中当前采样点的第三档 波的数值,档位越高对应的信号频率越高。[0107] 可选地,该计算模块,还用于按照如下方式计算认知投入指标:[0108] ;[0109] 其中, 为所述脑电信号中当前采样点的第二档 波的数值, 为所述脑电信号中当前采样点的第三档 波的数值, 为所述脑电信号中当前采样点的第二档 波的数值,为所述脑电信号中当前采样点的第三档 波的数值,档位越高对应的信号频率越高。[0110] 根据本申请实施例的另一方面,本申请提供了一种电子设备,如图4所示,包括存储器401、处理器403、通信接口405及通信总线407,存储器401中存储有可在处理器403上运行的计算机程序,存储器401、处理器403通过通信接口405和通信总线407进行通信,处理器403执行计算机程序时实现上述方法的步骤。[0111] 上述电子设备中的存储器、处理器通过通信总线和通信接口进行通信。所述通信总线可以是外设部件互连标准(PeripheralComponentInterconnect,简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。[0112] 存储器可以包括随机存取存储器(RandomAccessMemory,简称RAM),也可以包括非易失性存储器(non‑volatilememory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。[0113] 上述的处理器可以是通用处理器,包括中央处理器(CentralProcessingUnit,简称CPU)、网络处理器(NetworkProcessor,简称NP)等;还可以是数字信号处理器(DigitalSignalProcessing,简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit,简称ASIC)、现场可编程门阵列(Field‑ProgrammableGateArray,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。[0114] 根据本申请实施例的又一方面还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述任一实施例的步骤。[0115] 可选地,在本申请实施例中,计算机可读介质被设置为存储用于所述处理器执行以下步骤的程序代码:[0116] 在检测到目标视频开始播放时,采集观看所述目标视频的第一对象的脑电信号,并记录所述脑电信号的采集时间;[0117] 获取所述目标视频的场景切分信息,其中,所述目标视频的内容包含多个场景,所述场景切分信息包括所述目标视频的每个场景的起止时间;[0118] 将每个场景的所述起止时间与所述脑电信号的所述采集时间对齐,以获得与所述目标视频的场景匹配的脑电信号片段;[0119] 分别计算每个所述脑电信号片段的脑电指标,以基于所述脑电信号分析所述第一对象观看所述目标视频时,所述第一对象对每个场景的认知投入和情绪反应。[0120] 可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例在此不再赘述。[0121] 本申请实施例在具体实现时,可以参阅上述各个实施例,具有相应的技术效果。[0122] 可以理解的是,本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(ApplicationSpecificIntegratedCircuits,ASIC)、数字信号处理器(DigitalSignalProcessing,DSP)、数字信号处理设备(DSPDevice,DSPD)、可编程逻辑设备(ProgrammableLogicDevice,PLD)、现场可编程门阵列(Field‑ProgrammableGateArray,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。[0123] 对于软件实现,可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。[0124] 本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。[0125] 所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。[0126] 在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。[0127] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。[0128] 另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。[0129] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。[0130] 以上所述仅是本申请的具体实施方式,使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

专利地区:北京

专利申请日期:2024-06-05

专利公开日期:2024-09-03

专利公告号:CN118303899B


以上信息来自国家知识产权局,如信息有误请联系我方更正!
电话咨询
读内容
搜本页
回顶部