一种可互联互动的智能脑波音乐耳机发明专利

专利名称：一种可互联互动的智能脑波音乐耳机

专利类型：发明专利

专利申请号：CN202110352683.7

专利申请（专利权）人：华南理工大学
权利人地址：广东省广州市天河区五山路381号

专利发明（设计）人：张通,邱际宝,陈俊龙,贾雪

专利摘要：本发明提供一种可互联互动的智能脑波音乐耳机，包括脑电采集模块、精神状态评估模块、脑波音乐生成模块、脑波音乐播放模块和通信模块，脑电采集模块用于采集用户的脑电信号；精神状态评估模块用于通过人工智能模型从预处理后的脑电信号提取特征，提取出精神情感特征，并根据精神情感特征对使用者的精神状态进行评估；脑波音乐生成模块用于根据情绪类别和预处理后的脑电信号提取脑电波的特征，生成相应的符号音乐；脑波音乐播放模块用于对符号音乐进行解码和播放；通信模块用于实现音乐耳机之间的互联和/或，用于实现音乐耳机与其他设备的之间的数据传输。能够将脑电波转化为符合音乐乐理的音乐，可以对用户的情感有直观的感受与理解。

主权利要求：
1.一种可互联互动的智能脑波音乐耳机，其特征在于：包括脑电采集模块、精神状态评估模块、脑波音乐生成模块、脑波音乐播放模块和通信模块，所述脑电采集模块用于采集用户的脑电信号，并对脑电信号进行预处理；
所述精神状态评估模块用于从脑电信号中提取得到delta、theta、alpha和beta四种波形并从处理后的四种波形提取出精神情感特征，然后根据精神情感特征对使用者的精神状态进行评估，得到使用者的情绪类别；
所述脑波音乐生成模块通过将预处理后的脑电信号和情绪类别输入符号音乐生成模型中，得到相应的符号音乐，其中，所述符号音乐生成模型为卷积神经网络、长短时记忆网络或GPT模型中的任一个；其中，所述符号音乐生成模型通过预训练并微调得到，所述预训练包括：当符号音乐生成模型为卷积神经网络时，利用生成对抗式的训练方法，反卷积神经网络作为生成器，卷积神经网络作为判别器对卷积神经网络进行预训练，当符号音乐生成模型为长短时记忆网络或GPT模型时，利用语言模型进行预训练；将预训练后的符号音乐生成模型在带有情绪标签的音乐数据集上做微调；
所述脑波音乐播放模块用于对符号音乐进行解码和播放；
所述通信模块用于实现音乐耳机之间的互联，和/或，用于实现音乐耳机与其他设备之间的数据传输。
2.根据权利要求1所述的一种可互联互动的智能脑波音乐耳机，其特征在于：所述音乐耳机还包括电源键、指示灯和骨传导振子，所述电源键用于启动及进行功能操作，所述指示灯用于表明智能耳机的状态，所述骨传导振子用于使用户听到脑波音乐。
3.根据权利要求1所述的一种可互联互动的智能脑波音乐耳机，其特征在于：所述脑电采集模块包括用于采集使用者的左额极通道的第一脑电采集电极、用于采集使用者的右额极通道的第三脑电采集电极和用于采集使用者的额极中线通道的第二脑电采集电极。
4.根据权利要求1所述的一种可互联互动的智能脑波音乐耳机，其特征在于：所述对脑电信号进行预处理中，所述预处理包括对脑电信号进行导联选择、放大、去除伪迹。
5.根据权利要求1所述的一种可互联互动的智能脑波音乐耳机，其特征在于：所述对使用者的精神状态进行评估得到情绪类别中，采用PAD模型对情感进行量化，并利用人工智能模型进行情绪感知以得到情绪类别。
6.根据权利要求5所述的一种可互联互动的智能脑波音乐耳机，其特征在于：所述人工智能模型为长短时记忆网络、注意力机制类模型和时间卷积网络中的任一个。
7.根据权利要求1所述的一种可互联互动的智能脑波音乐耳机，其特征在于，所述精神情感特征包括功率谱密度、能量、功率、Hjorth参数特征和分形维数。
8.根据权利要求1所述的一种可互联互动的智能脑波音乐耳机，其特征在于，所述根据精神情感特征对使用者的精神状态进行评估，得到使用者的情绪类别中，采用人工智能模型对使用者的精神状态进行评估。 说明书 : 一种可互联互动的智能脑波音乐耳机技术领域[0001] 本发明涉及耳机领域，尤其涉及一种可互联互动的智能脑波音乐耳机。背景技术[0002] 脑波(头表脑电信号)是人脑神经元群电活动的综合体现，音乐是一种非语言的听觉艺术形式，脑波与音乐在信号形式上具有相似性，且它们都是大脑功能活动的结果，两者必然会遵从某些共同科学规律。脑电波主要可分为delta、theta、alpha、beta四个波段，不同波段会在不同的精神状态下出现。在紧张、压力大、疲劳状态下，大脑会产生beta波；意识清醒且在放松状态时，大脑会产生alpha波；意识中断且深度放松时，大脑会产生theta波；处于深度睡眠状态时，大脑会产生delta波。音乐中也包含情感，可以影响脑波，相近频率的音乐和脑波可以产生共振，如阿尔法波音乐可以把人们带入到阿尔法脑波状态，可用来开发大脑、激发潜能、协调身心；向大脑发送delta波可以促进睡眠等。[0003] 现有的音乐耳机大多是作为一种音乐输出装置，随着科技的发展也涌现出一些效果更好的耳机，如降噪耳机等；此外，多功能的智能耳机也逐渐成为一种趋势，比如根据心率进行音乐推荐，根据睡眠状态来调整耳机中的音乐播放音量等。[0004] 现有脑波映射成音乐的方法主要有两种，一种为直接进行音频翻译，也就是将EEG的波形视为声波直接进行播放。但因为EEG的主要频率在30Hz以下，低于人耳的听力阈值(20‑20KHZ)，因此需要将其频率提高到人类可以听到的范围。这种方法现在应用较少，因为EEG本身包含了很多背景噪声，其效果几乎没有音乐性，这种方式很难听到真正有意义的信息。另外一种是参数映射的方法，即用数据的原始值或人工抽取的特征来控制音乐合成的参数。音乐合成的参数则有音高、音量、调制频率、速度、节奏和调式等参数。但参数映射方法难以控制音乐的风格，得到的音乐的音乐性难以的到保证，同时需要精通乐理的专家进行系统的调制，灵活性不足。[0005] 当前的音乐疗法所采用的音乐是从创作好的的音乐库从选取音乐。这些音乐大多是针对大众化的音乐，如对精神状态相对亢奋的病人采用较为平静的音乐，对精神状态相对低沉的病人采用相对高昂的音乐。[0006] 但现有音乐疗法的音乐源选择较为困难。一方面，用于音乐疗法的音乐都是从已有音乐库得到的，而这些音乐的情感大都是通过一些简单的实践或者根据部分人群的主观感受得到的，对患者不一定具有普适性。另一方面，对于现有的音乐疗法很难找到完全与患者的现有情绪相对应的音乐，不完全匹配的音乐也可能降低音乐疗法对患者的治疗程度。[0007] 中国专利“用于精神状态评估与调节的头部可穿戴设备及其工作方法(CN201811430882.X)”中，利用对佩戴者进行精神状态评估后，从音乐库中选出音频进行反馈调节。该种技术的音频库是预先设定的。由于用户的个体差异(处于不同的精神状态，以及精神状态的程度不同)较大，不能满足用户的个性化需求。[0008] 中国专利“一种可进行精神状态调节的智能脑波音乐可穿戴设备(CN201911179114.6)”中，利用参数映射的方法，将周期、振幅和功率等脑波特性映射成音长、音高和音强。然而该种方法存在以下缺陷：(1)周期、振幅和平均功率这几个特征不足以很好地代表脑电波中蕴含的情感；(2)难以寻找一个很好的映射函数将脑波地特征映射成为音长、音高和音强。导致生成的音乐存在杂乱，难以符合音乐乐理。发明内容[0009] 为了解决现有技术中存在的缺陷，本发明提供了一种可互联互动的智能脑波音乐耳机。[0010] 为了实现本发明目的，本发明提供的一种可互联互动的智能脑波音乐耳机，包括脑电采集模块、精神状态评估模块、脑波音乐生成模块、脑波音乐播放模块和通信模块，[0011] 所述脑电采集模块用于采集用户的脑电信号，并对脑电信号进行预处理；[0012] 所述精神状态评估模块用于通过人工智能模型从预处理后的脑电信号提取delta、theta、alpha和beta四种特征，然后提取出精神情感特征，并根据精神情感特征对使用者的精神状态进行评估，得到使用者的情绪类别；[0013] 所述脑波音乐生成模块用于根据情绪类别和预处理后的脑电信号提取脑电波的特征，生成相应的符号音乐；[0014] 所述脑波音乐播放模块用于对符号音乐进行解码和播放；[0015] 所述通信模块用于实现音乐耳机之间的互联，和/或，用于实现音乐耳机与其他设备的之间的数据传输。[0016] 进一步地，所述音乐耳机还包括电源键、指示灯和骨传导振子，所述电源键用于启动及进行功能操作，所述指示灯用于表明智能耳机的状态，所述骨传导振子用于使用户听到脑波音乐。[0017] 进一步地，所述脑电采集模块包括用于采集使用者的左额极通道的左额电极、用于采集使用者的右额极通道的右额电极和用于采集使用者的额极中线通道的额极中线电极。[0018] 进一步地，所述对脑电信号进行预处理中，所述预处理包括对脑电信号进行去噪、放大、去眼电、去伪迹和滤波操作。[0019] 进一步地，所述对使用者的精神状态进行评估得到情绪类别中，采用PAD模型对情感进行量化，并使用人工智能模型进行精神状态评估。[0020] 进一步地，所述人工智能模型为长短时记忆网络、注意力机制类模型和时间卷积网络中的任一个。[0021] 进一步地，所述脑波音乐生成模块通过将预处理后的脑电信号和情绪类别输入符号音乐生成模型中，得到相应的符号音乐，其中，所述符号音乐生成模型为卷积神经网络、长短时记忆网络或GPT模型中的任一个。[0022] 进一步地，所述符号音乐生成模型通过预训练并微调得到，所述预训练包括：当符号音乐生成模型为卷积神经网络时，利用生成对抗式的训练方法，反卷积神经网络作为生成器，卷积神经网络作为判别器对卷积神经网络进行预训练，当符号音乐生成模型为长短时记忆网络或GPT模型时，利用语言模型进行预训练；将预训练后的符号音乐生成模型在带有情绪标签的音乐数据集上做微调。[0023] 与现有技术相比，本发明能够实现的有益效果至少如下：[0024] (1)脑电信号的频率范围通常在1‑40Hz，而人耳能够听到的声音在20‑20000Hz，因此自然状态下人们感受不到脑电波的存在。本发明的可互联的智能脑波音乐耳机能够将脑电波转化为符合音乐乐理的音乐。通过生产的脑波音乐，可以对用户的情感有直观的感受与理解。相对于传统的直接翻译式生成音乐的方法，本方法生成的音乐更具有音乐性，更符合乐理。相对于传统参数映射生成音乐的方法，本方法生成的音乐更符合乐理，同时生成的方法更加灵活多样。[0025] (2)对比传统从音乐库选择音乐的做法，利用脑波生成特定情感的音乐来进行音乐治疗的方案不需要专业的音乐疗法师。因为智能脑波音乐耳机可以根据脑波来对用户的精神状态进行评估。根据精神状态评估的结果结合脑电波，利用符号音乐生成模型来生成用于音乐疗法的具有特定情感的音乐，能够较好地解决音乐源选择较为困难和难以获取与患者的现有情绪相对应的音乐的问题。[0026] (3)现有其他脑波音乐耳机的方案，采集用户的脑电后只能用户自己听。本发明提出的可互联的智能脑波音乐耳机，能够使得脑波音乐耳机生成的脑波音乐在用户间分享。可以让性格开朗的用户与焦虑或者抑郁倾向的用户一同佩戴并配对本发明提出的智能脑波音乐耳机，通过分享性格开朗用户生产的脑波音乐，实现对其他用户的音乐疗法。附图说明[0027] 图1是本发明实施例提供的一种可互联互动的智能脑波音乐耳机的结构示意图。[0028] 图2是本发明实施例提供的一种可互联互动的智能脑波音乐耳机的模块示意图。[0029] 图3是本发明实施例中脑电采集模块的工作流程图。[0030] 图4是本发明实施例中精神状态评估模块的工作流程图。[0031] 图5是本发明实施例中脑波音乐生成模块的工作流程图。[0032] 图6是本发明实施例中脑波音乐播放模块的工作流程图。[0033] 图7是本发明实施例中通信模块的工作流程图。[0034] 图8是本发明实施例中音乐耳机之间的通信流程图。具体实施方式[0035] 为了更好地理解本发明，下面结合实施例进一步阐明本发明的内容，但本发明的内容不仅仅局限于下面的实施例。[0036] 请参阅图2，本发明提供的一种可互联互动的智能脑波音乐耳机，包括脑电采集模块、精神状态评估模块、脑波音乐生成模块、脑波音乐播放模块和通信模块。[0037] 在本发明其中一个实施例中，脑波音乐播放模块包括第一骨传导振子6和第二骨传导振子7，第一骨传导振子6和第二骨传导振子7佩戴时置于耳朵前侧的乳突位置，使用户听到脑波音乐。[0038] 在本发明其中一个实施例中，一种可互联互动的智能脑波音乐耳机还包括设置在耳机上的电源键2和指示灯3，电源键2用于启动智能脑波音乐耳机及进行功能操作，指示灯3用于表明智能耳机的状态。[0039] 在本发明其中一个实施例中，脑电采集模块用于采集用户的脑电信号，并对脑电信号进行预处理。脑电采集模块包括设置在耳机上的用于采集用户脑电信号的脑电电极，在本发明其中一个实施例中，脑电采集电极包括第一脑电采集电极1、第二脑电采集电极4和第三脑电采集电极5，第一脑电采集电极1、第二脑电采集电极4和第三脑电采集电极5设置在耳机上的位置各不相同。第一脑电采集电极1用于采集人体左额处的脑电信号，第三脑电采集电极5用于采集人体右额处的脑电信号，第二脑电采集电极4用于采集人体额极中线处的脑电信号。脑电采集模块可采用STM32芯片进行控制和处理。使用时，将智能脑波音乐耳机戴在人体头部，使电极稳定接触人体头皮表面，点击电源键2，连接蓝牙或者WIFI，准备进行脑电采集。脑电采集模块实时采集用户的脑电信号，并对信号进行预处理。[0040] 在本发明其中一个实施例中，所述预处理为：将采集到的脑电信号进行放大，以得到比较强烈的信号，之后进行去除伪迹操作，以便去除伪迹的对情绪识别的干扰，最后输出脑电信号。[0041] 在本发明其中一个实施例中，精神状态评估模块用于从脑电信号中提取得到delta、theta、alpha和beta四种波形并通过人工智能模型(如可以采用长短期记忆网络、注意力机制模型和时间卷积模型中的任一种)从处理后的四种波形提取出精神情感特征，然后根据精神情感特征对使用者的精神状态进行评估，得到使用者的情绪类别。评估结果采用PAD情感模型。其中效价和唤醒度分别表示情绪的正负和情绪的强度。[0042] 在本发明其中一个实施例中，精神状态评估模块对采集的脑电首先进行波形提取，从脑电信号中提取得到delta、theta、alpha和beta四种不同频段的波形，然后从这四种波形中提取出精神情感特征，提取得到特征后利用长短时记忆网络或注意力机制类模型或时间卷积网络对脑电进行情绪感知，从而得到情绪类别。[0043] 在本发明其中一个实施例中，精神情感特征包括功率谱密度、能量、功率、Hjorth参数特征和分形维数。[0044] 在本发明其中一个实施例中，脑波音乐生成模块从精神状态评估模块获取用户现在的情感类别，之后利用符号音乐生成模型，从经预处理后的脑电信号提取脑电波的特征，结合音乐乐理，生成对应可用于音乐疗法的音乐。[0045] 在本发明其中一个实施例中，脑波音乐生成模块从脑电采集模块获取脑电信息，从精神状态评估模块获取评估得到的情绪类别。把脑电信息作为输入，情绪类别作为额外的条件(额外条件可视为条件概率中给定的先验信息，如条件概率中p(x|c)的c就是提供的额外条件)信息输入到符号音乐生成模型如卷积神经网络、长短时记忆网络或GPT(GenerativePre‑Training)中，生成可以用于音乐疗法的符号音乐。[0046] 在本发明其中一个实施例中，用于音乐生成的符号音乐生成模型是预训练好的。首先利用大型符号音乐数据集对这些模型进行预训练。利用生成对抗式的训练方法，反卷积神经网络作为生成器，卷积神经网络作为判别器对卷积神经网络进行预训练。利用语言模型的训练方法，对长短时记忆网络和GPT模型进行预训练。语言模型的任务是给定当前音符或事件预测下一音符或事件。通过对符号音乐生成模型进行预训练，使得符号音乐生成模型可以生成符合乐理的符号音乐。[0047] 音乐根据存储方式可分为两种，一是音频音乐，存储了录制好的音频，常见的存储方式有MP3,WAV；二是符号音乐，存储的是创作者谱曲时的曲谱，常见格式有MIDI,MusicXML。大型的符号音乐数据集是公开获取、无版权限制的数据集。[0048] 为了使得模型能够针对用户的特定情感生成对应用于音乐治疗的音乐。将预训练好的符号音乐生成模型，在带有情绪标签的符号音乐数据集上做微调。利用标签信息帮助符号音乐生成模型更好理解音乐蕴含的情感。[0049] 脑波音乐播放模块用于对符号音乐进行解码和播放。本实施例中，脑波音乐生成后，发出音乐播放指令，脑波音乐播放模块根据脑波音乐生成模块生成的用于音乐疗法的符号音乐，解码生成对应的音频信号，通过扬声器或者骨传导耳机播放出来，从而对用户进行音乐治疗，调节用户的精神状态。[0050] 通信模块用于智能脑波音乐耳机与手机、云平台和其他智能脑波音乐耳机间的通信。通信方式可采用蓝牙和WIFI中的一种或者两种。通过通信模块，可以将精神状态评估结果和生成的音频信号传输到手机和云平台上，以方便进一步的分析与记录。[0051] 同时，通信模块还允许智能脑波音乐耳机之间直接通过蓝牙或WIFI相连。智能脑波音乐耳机之间直接通信使得能够直接向对方分享用户的脑波音乐。发送者经过发送者端的脑波音乐生成模块生成的音乐，通过通信模块传输到接收者，并在接收者端的脑波音乐播放模块进行播放。[0052] 用户操作时，需长按电源键，进入配对模式。通过蓝牙或者WIFI，与手机或者其他用户的智能脑波音乐耳机进行配对。之后再进行精神状态评估结果和音频信号的传输。[0053] 本发明从互联互动角度出发，提供了智能脑波音乐耳机，用户可以通过蓝牙或WIFI等手段将智能脑波音乐耳机生成的脑波音乐分享给其他用户的智能脑波音乐耳机。使得用户间能够通过音乐直观地感受对方地心情与精神状态。[0054] 本发明所提出的音乐生成技术是基于用户的脑电信号，结合精神状态评估的结果，利用神经网络技术生成符号音乐(五线谱等)。之后再将符号音乐转换成音频(mp3或wav)。生成的音乐具有个性化特征；佩戴者之间可以通过智能脑波音乐耳机直接通信，体验对方的脑波音乐。[0055] 本发明基于人工神经网络的强大特征提取能力，从脑电波中提取能够代表情感的隐层向量。基于神经网络提取特征向量的方法目前在脑电情感识别的研究领域取得了最先进的结果。本发明提出的利用经过预训练的GPT或长短时神经网络或卷积神经网络模型，在满足情感调控的条件下，能够生成符合乐理的音乐。[0056] 本发明未涉及部分均与现有技术相同或采用现有技术加以实现。[0057] 以上所述仅为本发明的优先实施例，而非对本发明作任何形式上的限制。本领域的技术人员可在上述实施例的基础上施以各种等同的更改和改进，凡在权利要求范围内所做的等同变化和修饰，均应落入本发明的保护范围之内。

专利地区：广东

专利申请日期：2021-03-31

专利公开日期：2024-07-26

专利公告号：CN113143289B