基于多感官数据的声音调控装置及应用其的调控设备

专利名称：基于多感官数据的声音调控装置及应用其的调控设备

专利类型：发明专利

专利申请号：CN202210127052.X

专利申请（专利权）人：佛山博易听集成科技有限公司
权利人地址：广东省佛山市三水区乐平镇齐力大道北2号15座601-606

专利发明（设计）人：熊彬彬,卢伟,张晓彤,卢连军,魏凡钦,李萌,蓝军,杨见明,蓝天翔

专利摘要：本发明公开了一种基于多感官数据的声音调控装置，可与计算机、听觉测试装置、平板电脑连接，声音调控装置包括总控制器、与总控制器连接的数据采集单元、数据运算单元和声音自动调控单元；数据采集单元包括数据采集模块和反馈控制模块，数据采集模块用于采集受试者在听觉测试过程产生的数据；反馈控制模块用于反馈信息并控制听觉测试装置发出对应的音频信号；数据运算单元用于对存储器内的数据进行整合分析以及运算，形成多感官数据库并存储于存储器内；声音自动调控单元能够依据多感官数据库对听觉测试装置输出的声音信号进行自动调控。还公开一种应用该基于多感官数据的声音调控装置的调控设备。

主权利要求：
1.基于多感官数据的声音调控装置，与计算机(1)、听觉测试装置(2)、平板电脑(5)连接，其特征在于，所述声音调控装置包括总控制器(41)、与所述总控制器(41)连接的数据采集单元(42)、数据运算单元(43)和声音自动调控单元(44)；所述数据采集单元(42)包括数据采集模块(421)和反馈控制模块(422)，所述数据采集模块(421)安装于计算机(1)，用于采集受试者在听觉测试过程产生的手势数据A、视觉数据E、听觉数据H；所述反馈控制模块(422)用于反馈信息并控制听觉测试装置(2)发出对应的音频信号；所述数据运算单元(43)包括数据运算模块(431)、存储器(432)和计数器(433)，所述存储器(432)用于存储所述数据采集模块(421)采集到的数据，所述计数器(433)用于记录数据，所述数据运算模块(431)用于对存储器(432)内的数据进行整合分析以及运算，形成多感官数据库并存储于所述存储器(432)内；所述声音自动调控单元(44)包括DSP(441)，所述DSP(441)的一端与所述总控制器(41)电性连接，另一端与听觉测试装置(2)连接，所述DSP(441)能够依据多感官数据库对听觉测试装置(2)输出的声音信号进行自动调控；
所述平板电脑(5)包括触摸显示屏(51)，所述触摸显示屏(51)与所述反馈控制模块(422)电性连接，配置为显示文字信息以及供受试者应答操控；所述反馈控制模块(422)能够控制所述文字信息在所述触摸显示屏(51)的不同位置显示以及记录受试者点击所述触摸显示屏(51)的位置、点击所述触摸显示屏(51)的次数、与所述触摸显示屏(51)接触的时间；
所述文字信息包括与所述听觉测试装置(2)发出的音频信号相对应的文字信号以及与所述音频信号不对应的其他文字信号；
所述总控制器(41)能够控制文字信号在所述触摸显示屏(51)的不同位置显示；
所述触摸显示屏(51)上还显示有响度等级表(511)和音量增减按钮(512)，所述响度等级表(511)包括小声S、中声M、大声L、吵闹N四个等级，所述响度等级表(511)的响度步进范围为5 10dB，所述音量增减按钮(512)用于控制所述听觉测试装置(2)的输出声音音量，所~述响度等级表(511)供受试者确定自主感知的响度等级且该数据由计数器(433)记录并存储于存储器(432)内；
所述手势数据A至少包括点击所述触摸显示屏(51)的次数、点击所述触摸显示屏(51)的时间间隔；所述视觉数据E至少包括位置信息、音量增减按钮(512)、响度等级表(511)；所述听觉数据H至少包括与文字信息相关的音频数据、响度数据、频谱数据；
所述数据运算模块(431)首先依据所述手势数据A、视觉数据E、听觉数据H建立多感官数据库，然后根据多感官数据库内的数据建立数据表，所述数据表至少体现频率与手势的函数关系、响度增量与手势的函数关系以及频率、响度与手势之间的函数关系。
2.根据权利要求1所述的基于多感官数据的声音调控装置，其特征在于，所述数据运算模块(431)运算得到的多感官数据库存储于存储器(432)中，作为所述DSP(441)对音量进行自动调控的基础数据，所述多感官数据库的基础数据至少包括不同频率的响度等级值、不同频率的响度增量响应时间值、随机位置变化响应准确率以及点击次数与给声次数差值。
3.根据权利要求2所述的基于多感官数据的声音调控装置，其特征在于，所述DSP(441)中至少嵌入有对入耳声音的语音信号和音乐信号分别处理的算法表；所述算法表至少包括语音模式算法表和音乐模式算法表两类；所述DSP(441)能够根据输入信号自动切换到语音模式或者音乐模式。
4.根据权利要求3所述的基于多感官数据的声音调控装置，其特征在于，所述DSP(441)能够基于所述多感官数据库中的数据配合算法表自动配置动态声压范围ΔD和增量值ΔP、依据输入信号自动配置频段范围ΔF，并将动态声压范围ΔD、增量值ΔP、频段范围ΔF以数据包的形式存储于自带RAM内；数据包中每个增量项格式按不低于n阶的方式存储，n值能够修改扩展；语音模式与音乐模式所设置的调控参数不同，调控参数采用数据包配置的方式。
5.基于多感官数据的声音调控设备，其特征在于，至少包括：
计算机(1)；
听觉测试装置(2)，与所述计算机(1)连接，配置为生成音频信号；
发声器件(3)，与所述听觉测试装置(2)连接，配置为将所述音频信号传入受试者耳朵；
声音调控装置(4)，与所述计算机(1)、听觉测试装置(2)连接，配置为根据所述音频信号生成文字信号；
平板电脑(5)，与所述声音调控装置(4)连接，配置为显示所述文字信息以及供受试者应答操控；
第一采集装置(6)，与所述声音调控装置(4)连接，配置为对受试者应答过程的动作以及视觉进行采集；
所述声音调控装置(4)为权利要求1 4任一项所述的声音调控装置；
~
所述数据采集模块(421)安装于计算机(1)。
6.根据权利要求5所述的基于多感官数据的声音调控设备，其特征在于，还包括第二采集装置(7)，所述第二采集装置(7)与所述声音调控装置(4)的总控制器(41)电性连接，配置为对受试者在测试过程发出的语音进行采集。 说明书 : 基于多感官数据的声音调控装置及应用其的调控设备技术领域[0001] 本发明涉及听力设备领域，特别涉及一种基于多感官数据的声音调控装置及应用其的调控设备。背景技术[0002] 现有耳机的音量调节不分左右耳，也不分频段，调节音量时各个频率的音量全部调节，双耳同时调节，并不考虑使用者的需求。[0003] 现有助听器产品则可以根据左右耳听力阈值数据进行音量调控，但是助听器是以放大声音或提高增益为目的，助听器音量调控都是放大音量，这种调节方式很容易导致过度声刺激，声音刺耳，导致出现声音很多、但听不清楚的现象，对聋人来说，原来听不到声音，使用助听器后，听到的声音多了，但是听不清楚，是一件很懊恼的事情。[0004] 对一些隐匿性听损和轻度听损的人群来说，基本没有交流障碍，无法接受助听器，但是，普通耳机或手机喇叭播放的声音又与个体听觉状态不能匹配，声音大了导致进一步听损，声音小了导致刺激不足而功能废退，进而出现耳鸣问题。[0005] 每个个体的身体条件和敏感度不同，因此，如何设置入耳的声音对很多人来说关系到听觉器官和功能的保护或保持。发明内容[0006] 本发明的目的是提供一种可整合“手势数据A、视觉数据E与听觉数据H”等数据进行入耳声音音量设置并自动调控的装置，即提供了一种基于多感官数据的声音调控装置，还提供了一种应用其的声音调控设备，至少能够解决上述问题之一。[0007] 根据本发明的一个方面，提供了一种基于多感官数据的声音调控装置，可与计算机、听觉测试装置、平板电脑连接，声音调控装置包括主机以及安装于主机内的总控制器、与总控制器连接的数据采集单元、数据运算单元和声音自动调控单元；数据采集单元包括数据采集模块和反馈控制模块，数据采集模块可安装于计算机，用于采集受试者在听觉测试过程产生的手势数据A、视觉数据E、听觉数据H；反馈控制模块可安装于主机，用于反馈信息并控制听觉测试装置发出对应的音频信号；数据运算单元包括数据运算模块、存储器和计数器，存储器用于存储所述数据采集模块采集到的数据，计数器用于记录数据，数据运算模块用于对存储器内的数据进行整合分析以及运算，形成多感官数据库并存储于存储器内；声音自动调控单元包括DSP，DSP的一端与总控制器电性连接，另一端与听觉测试装置连接，DSP能够依据多感官数据库对听觉测试装置输出的声音信号进行自动调控。[0008] 由此，本发明提供了一种全新结构的基于多感官数据的声音调控装置，可与计算机、平板电脑以及听力计等听觉测试装置连接并配合使用，工作原理为：在计算机控制听觉测试装置发出测试的音频信号时，受试者通过佩戴的发声器件接收音频信号，通过眼睛观察平板电脑的屏幕，把听到的音频信号对应的文字信号找出来并通过点击屏幕对应的文字信息进行应答，形成应答动作，第一采集装置对受试者手势以及视觉进行记录并反馈至声音调控装置，声音调控装置会将这些数据与听觉数据以及相关数据进行整合分析并对分析结果进行保存。[0009] 本发明设计了一种可实时采集并记录一个人的多感官数据的系统，该系统至少能够同时采集手势、视觉、听觉等数据以及相关性的数据并进行记录，用一种信号进行刺激同时获取手势动作、视觉和听觉等方面的反应数据，并对这些数据进行整合分析，得到多感官数据；更为重要地是，本设备还能够基于多感官数据进行运算，形成一个“手势‑视觉‑听觉”三维的数据库，DSP能够依据数据库中的数据对所述听觉测试装置输出的声音信号进行自动调控。[0010] 本发明的基于多感官数据的声音调控装置把数据集利用特殊的硬件架构建立多感官输入信号响应数据的数字化过程，把传统听力检查忽略的数据重新整合为一种三维形态的数据集，并根据数据集对输入人耳的声音进行精细化的调控，同时满足聆听语音和音乐欣赏的多重需求。[0011] 相比传统听力阈值的数据格式，只限于听力状态的标注，本发明可建立一种全新的听力数据集，该数据集可以满足听觉感知特征的科研、听觉疾病预防以及大脑认知状态变化探测等的需求；[0012] 调配好入耳声音信号后的数据会存储于总控制器内，总控制器可直接安装于助听器或者耳机等产品中，组装完成后可直接使用，且适用于不同听力状态的个体，有效弥补现有耳机或助听器产品对于声音调控方面的不足。[0013] 在一些实施方式中，平板电脑包括触摸显示屏，触摸显示屏与反馈控制模块电性连接，配置为显示文字信息以及供受试者应答操控；反馈控制模块能够控制文字信息在触摸显示屏的不同位置显示以及记录受试者点击触摸显示屏的位置、点击触摸显示屏的次数、与触摸显示屏接触的时间；[0014] 文字信息包括与听觉测试装置发出的音频信号相对应的文字信号以及与听觉测试装置发出的音频信号不对应的其他文字信号；[0015] 总控制器能够控制文字信号在触摸显示屏的不同位置显示。[0016] 由此，受试者在观看触摸显示屏的过程中就被记录了视觉数据，在操作过程中就被记录了手势数据，在测试过程中被记录了听觉数据，这些数据在受试过程中就实时获取，不会干扰测试过程，且这些数据均根据受试者的本能反应产生，精准度高，可参考性高。[0017] 在一些实施方式中，触摸显示屏上还显示有响度等级表和音量增减按钮，响度等级表包括小声S、中声M、大声L、吵闹N四个等级，响度等级表的响度步进范围为5 10dB，音量~增减按钮用于控制听觉测试装置的输出声音音量，响度等级表可供受试者确定自主感知的响度等级且该数据由计数器记录并存储于存储器内。由此，触摸显示屏上显示有响度等级表和音量增减按钮，随着音量增加，可让受试者确定自主感知的响度等级具体是响度等级表的哪一个等级，确认完成后，数据由计数器记录、并存储在存储器中。[0018] 在一些实施方式中，手势数据A至少包括点击触摸显示屏的次数、点击触摸显示屏的时间间隔；视觉数据E至少包括位置信息、音量增减按钮、响度等级表等；听觉数据H至少包括与文字信息相关的音频数据、响度数据、频谱数据。[0019] 在一些实施方式中，数据运算模块首先依据手势数据A、视觉数据E、听觉数据H建立多感官数据库，然后根据多感官数据库内的数据建立数据表，数据表至少可体现频率与手势的函数关系、响度增量与手势的函数关系以及频率、响度与手势之间的函数关系。[0020] 在一些实施方式中，数据运算模块运算得到的多感官数据库存储于存储器中，作为DSP对音量进行自动调控的基础数据，多感官数据库的基础数据至少包括不同频率的响度等级值、不同频率的响度增量响应时间值、随机位置变化响应准确率以及点击次数与给声次数差值。[0021] 在一些实施方式中，数据采集单元在对语音信号的位置识别中记录了与清晰度相关的数据、在刺激声后的手动时间信息中记录了与敏感度相关的数据、在音量增减控制的按键次数信息中记录了与音量增量ΔP相关的数据，这些数据形成一个“手势‑视觉‑听觉”三维的数据集，与常规的听力图一样，保存在计算机的数据库中。[0022] 在一些实施方式中，DSP中嵌入有可对入耳声音的语音信号和音乐信号分别处理的算法表，语音信号以改善或保持清晰度为目的；音乐信号以悦耳动听为目的；算法表包括语音模式算法表和音乐模式算法表两种；DSP能够根据输入信号自动切换到语音模式或者音乐模式。由此，可根据不同的声音信号切换不同的模式，满足使用需求。[0023] 在一些实施方式中，DSP能够基于多感官数据库中的数据配合算法表自动配置动态声压范围ΔD和增量值ΔP、依据输入信号自动配置频段范围ΔF，并将动态声压范围ΔD、增量值ΔP、频段范围ΔF以数据包的形式存储于自带RAM内；数据包中每个增量项格式按不低于n阶的方式存储，n值可以修改扩展；语音模式与音乐模式所设置的调控参数不同，调控参数采用数据包配置的方式。由此，可以覆盖较大的听力阈值范围，增强适用性。[0024] 根据本发明的另一个方面，还提供了一种基于多感官数据的声音调控设备，至少包括：[0025] 计算机；[0026] 听觉测试装置，与计算机连接，配置为生成音频信号；[0027] 发声器件，与听觉测试装置连接，配置为将音频信号传入受试者耳朵；[0028] 声音调控装置，与计算机、听觉测试装置连接，配置为根据音频信号生成文字信号；[0029] 平板电脑，与声音调控装置连接，配置为显示文字信息以及供受试者应答操控；[0030] 第一采集装置，与声音调控装置连接，配置为对受试者应答过程的动作以及视觉进行采集；[0031] 声音调控装置为上述的声音调控装置；[0032] 数据采集模块安装于计算机，用于采集受试者在测试过程产生的手势数据A、视觉数据E、听觉数据H。[0033] 由此，本发明提供了一种全新结构的基于多感官数据的声音调控设备，该设备应用了上述的声音调控装置，该设备的工作原理为：在计算机控制听觉测试装置发出测试的音频信号时，受试者通过佩戴的发声器件接收音频信号，通过眼睛观察平板电脑的屏幕，把听到的音频信号对应的文字信号找出来并通过点击屏幕对应的文字信息进行应答，形成应答动作，第一采集装置对受试者手势以及视觉进行记录并反馈至声音调控装置，声音调控装置会将这些数据与听觉数据以及相关数据进行整合分析并对分析结果进行保存。[0034] 本设备至少能够同时采集手势、视觉、听觉等数据以及相关性的数据并进行记录，用一种信号进行刺激同时获取手势动作、视觉和听觉等方面的反应数据，并对这些数据进行整合分析，得到多感官数据；更为重要地是，本设备还能够基于多感官数据进行运算，形成一个“手势‑视觉‑听觉”三维的数据库，DSP能够依据数据库中的数据对听觉测试装置输出的声音信号进行自动调控。[0035] 在一些实施方式中，基于多感官数据的声音调控设备还包括第二采集装置，第二采集装置与总控制器电性连接，配置为对受试者在测试过程发出的语音进行采集。由此，有些受试者会在测试过程中发出声音，第二采集装置可以对受试者发出的声音进行采集，并反馈至声音调控装置，声音调控装置会将该数据与其他相关数据进行分析。[0036] 本发明的有益效果：[0037] 本发明设计了一种可实时采集并记录一个人的多感官数据的系统，该系统至少能够同时采集手势、视觉、听觉等数据以及相关性的数据并进行记录，用一种信号进行刺激同时获取手势动作、视觉和听觉等方面的反应数据，并对这些数据进行整合分析，得到多感官数据；更为重要地是，本设备还能够基于多感官数据进行运算，形成一个“手势‑视觉‑听觉”三维的数据库，DSP能够依据数据库中的数据对所述听觉测试装置输出的声音信号进行自动调控。[0038] 本发明的基于多感官数据的声音调控装置把数据集利用特殊的硬件架构建立多感官输入信号响应数据的数字化过程，把传统听力检查忽略的数据重新整合为一种三维形态的数据集，并根据数据集对输入人耳的声音进行精细化的调控，同时满足聆听语音和音乐欣赏的多重需求。[0039] 相比传统听力阈值的数据格式，只限于听力状态的标注，本发明可建立一种全新的听力数据集，该数据集可以满足听觉感知特征的科研、听觉疾病预防以及大脑认知状态变化探测等的需求；[0040] 调配好入耳声音信号后的数据会存储于总控制器内，总控制器可直接安装于助听器或者耳机等产品中，组装完成后可直接使用，且适用于不同听力状态的个体，有效弥补现有耳机或助听器产品对于声音调控方面的不足。附图说明[0041] 图1为本发明一实施方式的基于多感官数据的声音调控装置的简化框图；[0042] 图2为图1所示的基于多感官数据的声音调控装置进一步细化后的结构框图；[0043] 图3为本发明一实施方式的平板电脑的触摸显示屏其中一种使用场景下的简化俯视结构示意图；[0044] 图4为本发明一实施方式的基于多感官数据的声音调控装置的简化立体结构示意图；[0045] 图5为本发明一实施方式的基于多感官数据的声音调控设备的简化框图；[0046] 图6为图5所示的基于多感官数据的声音调控设备进一步细化后的结构框图。[0047] 图1 6中的附图标记：1‑计算机；2‑听觉测试装置；3‑发声器件；4‑声音调控装置；~5‑平板电脑；6‑第一采集装置；7‑第二采集装置；40‑主机；41‑总控制器；42‑数据采集单元；43‑数据运算单元；44‑声音自动调控单元；45‑通讯模块；46‑PCB板；47‑端口；51‑触摸显示屏；421‑数据采集模块；422‑反馈控制模块；431‑数据运算模块；432‑存储器；433‑计数器；441‑DSP；511‑响度等级表；512‑音量增减按钮。具体实施方式[0048] 下面结合具体附图对本发明作进一步详细的说明。[0049] 图1 4示意性地显示了根据本发明的一种实施方式的基于多感官数据的声音调控~装置。[0050] 如图1 4所示，该基于多感官数据的声音调控装置4可与计算机1、听觉测试装置2、~平板电脑5连接。[0051] 声音调控装置4包括主机40以及安装于主机40内的总控制器41、与总控制器41连接的数据采集单元42、数据运算单元43和声音自动调控单元44。[0052] 数据采集单元42包括数据采集模块421和反馈控制模块422，数据采集模块421安装于计算机1，用于采集受试者在测试过程产生的手势数据A、视觉数据E、听觉数据H；反馈控制模块422安装于平板电脑5，用于反馈信息并控制听觉测试装置2发出对应的音频信号；[0053] 数据运算单元43包括与总控制器41电性连接的数据运算模块431、存储器432和计数器433，存储器432用于存储数据采集模块421采集到的数据，计数器433用于记录数据，数据运算模块431用于对存储器432内的数据进行整合分析以及运算，形成数据库并存储于存储器432内；[0054] 声音自动调控单元44包括DSP441，DSP441的一端与总控制器41电性连接，另一端与听觉测试装置2连接，DSP441能够依据数据库对听觉测试装置2输出的声音信号进行自动调控。本实施方式的DSP441为数字信号处理器。[0055] 本发明提供了一种全新结构的基于多感官数据的声音调控装置，可与计算机、平板电脑以及听力计等听觉测试装置连接并配合使用，工作原理为：在计算机控制听觉测试装置发出测试的音频信号时，受试者通过佩戴的发声器件接收音频信号，通过眼睛观察平板电脑的屏幕，把听到的音频信号对应的文字信号找出来并通过点击屏幕对应的文字信息进行应答，形成应答动作，第一采集装置对受试者手势以及视觉进行记录并反馈至声音调控装置，声音调控装置会将这些数据与听觉数据以及相关数据进行整合分析并对分析结果进行保存。[0056] 本实施方式的总控制器41可以为MCU控制芯片。[0057] 本实施方式的听觉测试装置2可以为听力计等采用的听觉测试设备。[0058] 本实施方式的平板电脑5可以为平板电脑等可作为受试者控制的控制器。平板电脑5包括触摸显示屏51，触摸显示屏51与反馈控制模块422电性连接，配置为显示文字信息以及供受试者应答操控；反馈控制模块422能够控制文字信息在触摸显示屏51的不同位置显示以及记录受试者点击触摸显示屏51的位置、点击触摸显示屏51的次数、与触摸显示屏51接触的时间；本实施方式的反馈控制模块422可以为嵌入平板电脑5中的专用软件。[0059] 文字信息包括与音频信号相对应的文字信号以及与音频信号不对应的其他文字信号；[0060] 总控制器41能够控制文字信号在触摸显示屏51的不同位置显示。[0061] 由此，受试者在观看触摸显示屏51的过程中就被记录了视觉数据，在操作过程中就被记录了手势数据，在测试过程中被记录了听觉数据，这些数据在受试过程中就实时获取，不会干扰测试过程，且这些数据均根据受试者的本能反应产生，精准度高，可参考性高。[0062] 触摸显示屏51上还显示有响度等级表511和音量增减按钮512，响度等级表511包括小声S、中声M、大声L、吵闹N四个等级，响度等级表511的响度步进范围为5 10dB，音量增~减按钮512用于控制听觉测试装置2的输出声音音量，响度等级表511可供受试者确定自主感知的响度等级且该数据由计数器433记录并存储于存储器432内。[0063] 本实施方式的数据采集单元42可以把采集的数据存入存储器432中，包含显示听觉测试设备发出的音频信号对应的文字或图像信息。例如：听觉测试装置2发出“香蕉”的语音（可控制在阈上15dBHL的响度），触摸显示屏51显示“香蕉”、“橡胶”、“牛肉”和“箱子”等文字，且触摸显示屏51显示有“重听”按钮，点击“重听”按钮后，听觉测试装置2再次播放相同的语音，但是语音对应的文字所排列的位置发生变化，受试者可以点击听到的语音所对应的文字，点击正确后，听力计会发出阈上5dBHL响度的语音，受试者同样点击对应的文字，确认后，语音响度不断增加，要求受试者按屏幕显示的“响度等级表511”调节音量增减按钮512。由此，触摸显示屏51上显示有响度等级表511和音量增减按钮512，随着音量增加，可让受试者确定自主感知的响度等级具体是响度等级表511的哪一个等级，确认完成后，数据由计数器433记录、并存储在存储器432中。[0064] 手势数据A至少包括点击触摸显示屏51的次数、点击触摸显示屏51的时间间隔；视觉数据E至少包括位置信息、音量增减按钮512、响度等级表511等；听觉数据H至少包括与文字信息相关的音频数据、响度数据、频谱数据。[0065] 数据运算模块431首先依据手势数据A、视觉数据E、听觉数据H建立多感官数据库，然后根据多感官数据库内的数据建立数据表，数据表至少可体现频率与手势的函数关系、响度增量与手势的函数关系以及频率、响度与手势之间的函数关系。[0066] 数据运算模块431运算得到的多感官数据库存储于存储器432中，作为DSP441对音量进行自动调控的基础数据，多感官数据库的基础数据至少包括不同频率的响度等级值、不同频率的响度增量响应时间值、随机位置变化响应准确率以及点击次数与给声次数差值。[0067] 不同频率的响度等级值包含觉察阈值、S值、M值、L值、N值等，这些阈值与年龄、听力损失状态、用耳习惯、身体状态、情绪等等相关；[0068] 不同频率的响度增量响应时间值，记录了音量调控的响应时间，即当刺激声音量超过设定的响度等级时，受试者需要点击音量增减按钮512调节感知音量与设置响度等级匹配，这时记录点击按钮的响应时间间隔；[0069] 随机位置变化响应准确率，由于同一音频信号所对应的文字信号在触摸屏屏幕中显示的顺序或位置是随机的，这种设计便于识别听觉与视觉以及手势行为的相关性；[0070] 点击次数与给声次数差值，可记录受试者的点击按键的次数和点击手势动作的响应时间等等。[0071] 上述数据可重复采集并与多次测试的数据进行对比分析调整，建立机器学习的基础，进而可利用手机或其他计算机1自动分析个体听觉状态与需求的相关性。[0072] 这些数据建立了完整的“耳‑手‑眼EHE”的整合运算方法和记录听觉感知状态的方法。在对语音信号的位置识别中记录了与清晰度相关的数据；在刺激声后的手动时间信息中记录了与敏感度相关的数据；在音量增减控制的按键次数信息中记录了与音量增量ΔP相关的数据。[0073] 这些数据形成一个“手势‑视觉‑听觉”三维的数据集，与常规的听力图一样，保存在计算机1数据库中。[0074] 数据采集单元42在对语音信号的位置识别中记录了与清晰度相关的数据、在刺激声后的手动时间信息中记录了与敏感度相关的数据、在音量增减控制的按键次数信息中记录了与音量增量ΔP相关的数据，这些数据形成一个“手势‑视觉‑听觉”三维的数据集，与常规的听力图一样，保存在计算机1的数据库中。[0075] DSP441中嵌入有可对入耳声音的语音信号和音乐信号分别处理的算法表，语音信号以改善或保持清晰度为目的；音乐信号以悦耳动听为目的；算法表包括语音模式算法表和音乐模式算法表两种；DSP441能够根据输入信号自动切换到语音模式或者音乐模式。由此，可根据不同的声音信号切换不同的模式，满足使用需求。[0076] DSP441能够基于多感官数据库内的数据配合算法表自动配置动态声压范围ΔD和增量值ΔP、依据输入信号自动配置频段范围ΔF。频段范围ΔF、动态声压范围ΔD、增量值ΔP等数据会以数据包的形式存储于DSP441自带的RAM存储器内，数据包中每个增量项格式按不低于n阶的方式存储，n值可以修改扩展；语音模式与音乐模式所设置的调控参数不同，调控参数采用数据包配置的方式。由此，可以覆盖较大的听力阈值范围，增强适用性。更为重要地是，调配好入耳声音信号后的数据会存储于总控制器内，总控制器41为微型芯片，可直接将其安装于助听器或者耳机等产品中，组装完成后可直接使用，且适用于不同听力状态的个体，有效弥补现有耳机或助听器产品对于声音调控方面的不足。[0077] 如图2和4所示，本实施方式的声音调控装置4还包括通讯模块45、PCB板46和若干个用于连接的端口47。本实施方式的主机40可以为独立的壳体，总控制器41、DSP等安装于PCB板，端口47开设于主机表面。声音调控装置4可通过通讯模块45与计算机1通讯，将上述数据上传至计算机1。便于后续在安装于计算机1中查阅存储信息，并进行分析，整合听觉、视觉与手势的相关性。[0078] 如图5 6所示，该基于多感官数据的声音调控设备至少包括：~[0079] 计算机1；[0080] 听觉测试装置2，与计算机1连接，配置为生成音频信号；[0081] 发声器件3，与听觉测试装置2连接，配置为将音频信号传入受试者耳朵；[0082] 声音调控装置4，与计算机1、听觉测试装置2连接，配置为根据音频信号生成文字信号；[0083] 平板电脑5，与声音调控装置4连接，配置为显示文字信息以及供受试者应答操控；[0084] 第一采集装置6，与声音调控装置4连接，配置为对受试者应答过程的动作以及视觉进行采集；[0085] 本实施方式的第一采集装置6可以为摄像头，数量和位置可以根据具体需要设置，比如：设置于平板电脑5、设置于声音调控装置4外壳体上（如图4所示）。[0086] 基于多感官数据的声音调控设备还包括第二采集装置7，第二采集装置7与总控制器41电性连接，配置为对受试者在测试过程发出的语音进行采集。由此，有些受试者会在测试过程中发出声音，第二采集装置7可以对受试者发出的声音进行采集，并反馈至总控制器41，总控制器41会将该数据与其他相关数据进行分析。本实施方式的第二采集装置7可以为麦克风，具体可以设置于平板电脑5，也可以设置于发声器件3，还可以设置于声音调控装置4的主机40（如图4所示），指向受试者嘴巴。[0087] 本发明的基于多感官数据的声音调控设备的主要工作原理是通过以下步骤来进行：[0088] S1、连接各设备，开启机器；[0089] S2、受试者佩戴比如耳机等发声器件3，医生或者工作人员操控计算机1，控制听觉测试装置2发出音频信号；[0090] S3、受试者通过眼睛观察平板电脑5的触摸显示屏51，把听到的音频信号对应的文字信号找出来并通过点击触摸显示屏51对应的文字信息进行应答；[0091] S4、在进行步骤S3时，第一采集装置6工作，对受试者应答手势进行摄像或者拍照并反馈至总控制器41，第二采集装置7工作，对受试者测试过程发出的语音信号进行拾取并反馈至总控制器41，反馈控制模块422将受试者点击触摸显示屏51的相关信息反馈至总控制器41；[0092] S5、数据采集单元42的反馈控制模块422与数据采集模块421共同配合工作，将测试过程产生的手势数据A、视觉数据E、听觉数据H等各种数据进行记录并存储于存储器432中；[0093] S6、数据运算单元43的数据运算模块431首先依据存储器432中的手势数据A、视觉数据E、听觉数据H建立多感官数据库并存储，然后根据多感官数据库内的数据建立数据表；[0094] S7、声音自动调控单元44的DSP441基于数据库中的数据表、数据包和/或各种基础数据，利用嵌入DSP441中的算法表对听觉测试装置2发出的声音信号进行自动调控，进而实现对入耳声音信号的调控；[0095] S8、声音调控装置4可与计算机1通讯，将数据上传至计算机1。[0096] 本发明提供了一种全新结构的基于多感官数据的声音调控装置，该设备的工作原理为：在计算机1控制听觉测试装置2发出测试的音频信号时，受试者通过佩戴的发声器件3接收音频信号，通过眼睛观察平板电脑5的屏幕，把听到的音频信号对应的文字信号找出来并通过点击屏幕对应的文字信息进行应答，形成应答动作，第一采集装置6对受试者手势以及视觉进行记录并反馈至声音调控装置4，声音调控装置4会将这些数据与听觉数据以及相关数据进行整合分析并对分析结果进行保存。[0097] 本发明设计了一种可实时采集并记录一个人的多感官数据的系统，该系统至少能够同时采集手势、视觉、听觉等数据以及相关性的数据并进行记录，用一种信号进行刺激同时获取手势动作、视觉和听觉等方面的反应数据，并对这些数据进行整合分析，用于判断受试者的意识或对信号的需求，最终得到的多感官数据参考性强，可应用于技能训练、言语学习、识别能力培养、机器学习等多个领域，适用范围广；[0098] 更为重要地是，本设备还能够基于多感官数据进行运算，形成一个“手势‑视觉‑听觉”三维的数据库，DSP441能够依据数据库中的数据对所述听觉测试装置2输出的声音信号进行自动调控。[0099] 本发明把数据集利用特殊的硬件架构建立多感官输入信号响应数据的数字化过程，把传统听力检查忽略的数据重新整合为一种三维形态的数据集，并根据数据集对输入人耳的声音进行精细化的调控，同时满足聆听语音和音乐欣赏的多重需求。[0100] 相比传统听力阈值的数据格式，只限于听力状态的标注，本发明可建立一种全新的听力数据集，该数据集可以满足听觉感知特征的科研、听觉疾病预防以及大脑认知状态变化探测等的需求。[0101] 更为重要地是，调配好入耳声音信号后的数据会存储于总控制器内，总控制器为微型芯片，可直接将其安装于助听器或者耳机等产品中，组装完成后可直接使用，且适用于不同听力状态的个体，有效弥补现有耳机或助听器产品对于声音调控方面的不足。[0102] 以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

专利地区：广东

专利申请日期：2022-02-10

专利公开日期：2024-07-26

专利公告号：CN114466298B