一种基于活体昆虫的无线视音频传输及飞行行为控制装置

专利名称：一种基于活体昆虫的无线视音频传输及飞行行为控制装置

专利类型：发明专利

专利申请号：CN202210263593.5

专利申请（专利权）人：东南大学
权利人地址：江苏省南京市玄武区四牌楼2号

专利发明（设计）人：杨波,姜永昌,蒋晔,赵文颢

专利摘要：本发明公开了一种基于活体昆虫的无线视音频传输及飞行行为控制装置，该装置由蓝牙从机电子背包、蓝牙主机端及PC上位机三部分组成。从机电子背包中传感器数据的读取、组合、无线发送以及上位机控制指令的接收、拆分以及昆虫行为控制刺激信号的产生都是在单块蓝牙芯片上实现的；图像传感器参数的配置是通过I2C接口实现的；图像传感器数据采集是通过SPI接口实现的；模拟音频数据采集是通过ADC接口实现的；数字音频数据采集是通过I2S接口实现的；刺激脉冲的产生是通过PWM接口实现的；数据的无线发送与指令接收是通过蓝牙芯片上的射频接口实现的。本发明整个电子背包体积小、质量轻，可安装在甲虫身上，是昆虫行为控制及视音频采集系统的执行装置。

主权利要求：
1.一种基于活体昆虫的无线视音频传输及飞行行为控制装置，包括蓝牙从机电子背包、蓝牙主机端和PC上位机；蓝牙从机电子背包通过蓝牙5.0协议与蓝牙主机端无线连接，蓝牙主机端通过USB2.0协议与PC上位机有线连接；其特征在于：所述蓝牙从机电子背包由电源模块1、电刺激器模块、图像采集模块、模拟音频模块、数字音频模块、蓝牙芯片1和天线1组成；其中，图像采集模块由COMS图像传感器和镜头组组成，模拟音频模块由模拟MEMS麦克风和后级运放放大电路组成，数字音频模块由数字麦克风组成，天线1为微型螺旋天线；天线1与天线2以无线的方式双向连接，用于向蓝牙主机端发送从机背包传感器数据以及接收经过蓝牙主机端传递的上位机指令；天线1与蓝牙芯片1的射频通讯接口双向连接，射频通讯接口与蓝牙MCU相连接，用于蓝牙MCU接收上位机指令；
蓝牙MCU与指令拆分模块相连接，将接收到的上位机指令通过指令拆分模块解析为刺激参数、图像参数、音频参数；指令拆分模块中的刺激参数设置与PWM接口相连接，PWM接口与电刺激模块相连接，PWM接口将刺激参数转化为电刺激模块对应的激励电信号施加于昆虫载体相应的刺激位点；指令拆分模块中的图像参数设置与I2C通讯接口相连接，I2C通讯接口与图像采集模块相连接，I2C通讯接口将图像参数转化为图像采集模块中传感器对应的寄存器值，图像采集模块与SPI通讯接口以及中断触发接口相连接，用于输出所采集的图像数据，也就是昆虫第一视角的图像信息；指令拆分模块中的音频参数设置与定时器1相连接，定时器1与ADC接口相连接，模拟音频模块与ADC接口相连接，定时器1将音频参数转化为对应的ADC接口对模拟音频采集的间隔，采集音频数据；指令拆分模块中的音频参数设置与I2S通讯接口相连接，I2S通讯接口与数字音频模块双向连接，I2S通讯接口将音频参数转化为数字音频模块中传感器对应的寄存器值，数字音频模块也通过I2S通讯接口输出所采集的音频数据；SPI通讯接口与数据组合模块中的图像数据区相连，用于输出采集的图像数据，ADC接口和I2S通讯接口均与数据组合模块中的音频数据区相连，用于输出所采集的音频数据；
数据组合模块中图像数据区、校验码区、音频数据区均与低功耗数据调用模块相连接，并依次按图像数据区数据输送线路①、校验码区数据输送线路②和音频数据区数据输送线路③的顺序输出数据；蓝牙MCU与定时器2相连接，定时器2与低功耗数据调用模块相连接，定时控制低功耗数据调用模块从数据组合模块中按图像数据区数据输送线路①、校验码区数据输送线路②和音频数据区数据输送线路③的顺序获取数据；低功耗数据调用模块与射频通讯接口相连，用于经天线1，无线发送所采集的音频、图像数据及校验码数据；电源模块
1与电刺激器模块、图像采集模块、模拟音频模块、数字音频模块以及蓝牙芯片1相连接，用于给整个电子背包系统中的上述组件供电；
所述蓝牙主机端由天线2、无线功率放大模块、蓝牙芯片2、电源模块2、USB接口模块组成，其中天线2为高增益平板天线；天线2与无线功率放大模块双向连接，无线功率放大模块与蓝牙芯片2双向连接，USB接口模块与蓝牙芯片2双向连接，USB接口模块与PC上位机的USB通信模块双向连接，用于将无线接收到的电子背包传感器数据包通过USB接口发送给PC上位机或将来自PC上位机的上位机指令通过无线功率放大模块和天线2，发送给蓝牙从机电子背包；电源模块2由可充电锂电池和线性稳压器组成，与蓝牙芯片2和无线功率放大模块相连接，用于给蓝牙芯片2及无线功率放大模块供电；
所述PC上位机由刺激指令选择模块、传感器参数配置模块、数据拆分模块、音频处理显示模块、图像处理显示模块、数据文件保存模块和USB通讯模块组成；其中刺激指令选择模块、传感器参数配置模块均与USB通讯模块单向连接，用于通过USB发送上位机指令给蓝牙主机端，后无线传输到蓝牙从机背包；USB通讯模块与数据拆分模块中的帧头帧尾校验模块单向连接；数据拆分模块与声音数据区及图像数据区相连接，声音数据区与音频处理模块相连接、音频处理模块与音频播放模块相连接，图像数据区与图像处理模块相连接，图像处理模块与图像显示模块相连接，将通过USB接口接收到的电子背包传感器数据包根据对应的校验码验证数据并将其拆分为声音数据包和图像数据包，并分别传输到音频处理模块和图像处理模块进行后续处理，然后分别传输到音频播放模块和图像显示模块进行播放；音频处理模块和图像处理模块与数据文件保存模块相连接，用于存储经由处理的音频及图像数据。
2.根据权利要求1所述的一种基于活体昆虫的无线视音频传输及飞行行为控制装置，其特征在于：蓝牙从机电子背包从机背包中传感器数据的读取、组合、无线发送以及上位机控制指令的接收、拆分以及昆虫行为控制刺激信号的产生都是在单块蓝牙芯片上实现的；
图像传感器参数的配置是通过I2C接口实现的；图像传感器数据采集是通过SPI接口实现的；模拟音频数据采集是通过ADC接口实现的；数字音频数据采集是通过I2S接口实现的；电刺激器脉冲的产生是通过PWM接口实现的；数据的无线发送与指令接收是通过蓝牙芯片上的射频接口实现的；数据采集、组合、传输的时序逻辑是通过蓝牙内部定时器实现的；传感器数据采集间隙，蓝牙芯片处于低功耗状态。
3.根据权利要求1所述的一种基于活体昆虫的无线视音频传输及飞行行为控制装置，其特征在于：所述天线1为使用0.5mm的裸铜线绕制的单极鞭状天线。
4.根据权利要求1所述的一种基于活体昆虫的无线视音频传输及飞行行为控制装置，其特征在于：所述蓝牙从机电子背包图像、声音数据采集、发送的实现流程包括以下步骤：步骤（1）开始图像信息的采集；若采用模拟麦克风采集声音数据，则同步开启定时器，进行模拟音频ADC值的DMA定时采集；
步骤（2）等待图像数据采集完成，然后判断麦克风类型；
步骤（3）若麦克风类型为模拟麦克风，则添加对应图像校验码，对已读取的所有图像数据进行发送；
步骤（4）读取通过ADC的DMA采集方法缓存的模拟音频数据，并添加对应音频校验码；然后重新配置定时器，开始新的模拟音频ADC的定时DMA采集，并对已读取的所有音频数据进行发送，直到累计发送的数据量达标，然后开始下一次的图像数据采集；
步骤（5）若麦克风类型为数字麦克风，则立即开始采集音频数据，并利用两次音频采集中断之间的间隔添加对应的校验码，对已采集的图像和声音数据进行同数据包发送；若累计发送的数据量小于所需的数据量，则重复进行音频采集及图像和声音同包发送循环；若累计发送的数据量达标，则开始下一次的图像数据采集。
5.根据权利要求1所述的一种基于活体昆虫的无线视音频传输及飞行行为控制装置，其特征在于：所述蓝牙从机电子背包图像信息采集的实现具体包括以下步骤：步骤（1）蓝牙芯片1通过I2C接口进行图像传感器输出格式配置；
步骤（2）进入低功耗模式，等待图像帧有效信号中断触发；
步骤（3）配置SPI接口，开始一行的图像数据采集；
步骤（4）进入低功耗模式，等待行有效信号中断，完成一行图像数据的采集；
步骤（5）重复执行步骤（3）（4），直到完成目标分辨率行数的采集任务。
6.根据权利要求1所述的一种基于活体昆虫的无线视音频传输及飞行行为控制装置，其特征在于：所述PC上位机的软件实现包括以下步骤：步骤（1）上电开始，系统首先调用Labview的VISA资源进行初始化，初始化USB端口，用户可以通过刺激参数配置控件进行昆虫刺激位点的选择和参数调节，通过传感器参数配置控件对图像、声音传感器的参数进行调整；刺激参数和传感器参数将通过USB端口发送给蓝牙主机端；
步骤（2）系统若收到来自USB端口的数据包，则根据数据包中的校验码，提取连续两次图像校验码之间的数据，然后再次根据音频校验码，提取图像数据和音频数据；
（3）对拆分获得的图像数据，调用LAVBIEW中的IMAQ模块对数据进行二维复原及后续的降噪处理，然后在图像显示界面中显示；
（4）对拆分获得的音频数据，调用LAVBIEW中的巴特沃斯滤波器进行数字滤波，然后调用PC的声音播放控件进行播放；
（5）对经过显示和播放的图像、声音数据，调用文件保存控件，分别以JEPG和MP3的格式进行保存。 说明书 : 一种基于活体昆虫的无线视音频传输及飞行行为控制装置技术领域[0001] 本发明涉及微机电系统(MEMS)、无线通信技术和生物学等相关领域，具体涉及到一种基于活体昆虫的无线视音频传输及飞行行为控制装置。背景技术[0002] 昆虫经过亿万年的进化从而具有飞行、行走、游泳、跳跃等多种运动能力。但由于昆虫生理学及昆虫运动学的发展不足以及控制技术的局限性，现阶段的昆虫仿生机器人在各方面运动性能上均远远落后于自然的昆虫。昆虫‑电子混合机器人，是一个将昆虫平台与微型电子装置的融合。工程师可以通过嵌入在昆虫身体上的微型设备来刺激其神经肌肉部位，从而触发昆虫产生所需的运动动作和行为。运动是昆虫本体而不是由人工驱动器产生的，因此相较于传统机械机器人，具有能耗低，运动稳定和满足恶劣环境应用等优良特点。[0003] 视觉是昆虫必不可少的感觉输入，可为提供了一种可以远距离感知世界的方法。通过携带图像传感载荷，昆虫‑计算机混合机器人借此可以获取昆虫第一人称视角的图像信息，同时搭配声音传感载荷，可以感知周围环境载体。以上两种环境信息的收集，有着重要的军事价值和广泛的生物学用途。发明内容[0004] 为解决上述问题，本发明公开了针对现有技术不足，本发明提出了一种基于活体昆虫的无线视音频传输及飞行行为控制装置，其由蓝牙从机电子背包、蓝牙主机端及PC上位机三部分组成。从机电子背包通过蓝牙5.0协议与蓝牙主机端无线连接，蓝牙主机端通过USB2.0协议与PC上位机有线连接。[0005] (1)从机背包中传感器数据的读取、组合、无线发送以及上位机控制指令的接收、拆分以及昆虫行为控制刺激信号的产生都是在单块蓝牙芯片上实现的；图像传感器参数的配置是通过I2C接口实现的；图像传感器数据采集是通过SPI接口实现的；模拟音频数据采集是通过ADC接口实现的；数字音频数据采集是通过I2S接口实现的；电刺激器脉冲的产生是通过PWM接口实现的；数据的无线发送与指令接收是通过蓝牙芯片上的射频接口实现的。(2)数据采集、组合、传输的时序逻辑是通过蓝牙内部定时器实现的。(3)传感器数据采集间隙，蓝牙芯片处于低功耗状态。[0006] 所述蓝牙从机电子背包由电源模块1、电刺激器模块、图像采集模块、模拟音频模块、数字音频模块、蓝牙芯片1和天线1组成；其中，图像采集模块由COMS图像传感器和镜头组组成，模拟音频采集模块由模拟MEMS麦克风和后级运放放大电路组成，数字音频模块由数字麦克风组成，天线1为微型螺旋天线；天线1与天线2以无线的方式双向连接，用于向蓝牙主机端发送从机背包传感器数据以及接收经过蓝牙主机端传递的上位机指令；天线1与蓝牙芯片1的射频通讯接口双向连接，射频通讯接口与蓝牙MCU相连接，用于蓝牙MCU接收上位机指令；蓝牙MCU与指令拆分模块相连接，将接收到的上位机指令通过指令拆分模块解析为刺激参数、图像参数、音频参数；指令拆分模块中的刺激参数设置与PWM接口相连接，PWM接口与电刺激模块相连接，PWM接口将刺激参数转化为电刺激模块对应的激励电信号施加于昆虫载体相应的刺激位点；指令拆分模块中的图像参数设置与I2C通讯接口相连接，I2C通讯接口与图像采集模块相连接，I2C通讯接口将图像参数转化为图像采集模块中传感器对应的寄存器值，图像采集模块与SPI通讯接口以及中断触发接口相连接，用于输出所采集的图像数据，也就是昆虫第一视角的图像信息；指令拆分模块中的音频参数设置与定时器1相连接，定时器1与ADC接口相连接，模拟音频模块与ADC接口相连接，定时器1将音频参数转化为对应的ADC接口对模拟音频采集的间隔，采集音频数据；指令拆分模块中的音频参数设置与I2S通讯接口相连接，I2S通讯接口与数字音频模块双向连接，I2S通讯接口将音频参数转化为数字音频模块中传感器对应的寄存器值，数字音频模块也通过I2S通讯接口输出所采集的音频数据；SPI通讯接口与数据组合模块中的图像数据区相连，用于输出采集的图像数据，ADC接口和I2S通讯接口均与数据组合模块中的音频数据区相连，用于输出所采集的音频数据；[0007] 数据组合模块中图像数据区、校验码区、音频数据区均与低功耗数据调用模块相连接，并依次按图像数据区数据输送线路①、校验码区数据输送线路②和音频数据区数据输送线路③的顺序输出数据；蓝牙MCU与定时器2相连接，定时器2与低功耗数据调用模块相连接，定时控制低功耗数据调用模块从数据组合模块中按按图像数据区数据输送线路①、校验码区数据输送线路②和音频数据区数据输送线路③的顺序获取数据；低功耗数据调用模块与射频通讯接口相连，用于经天线1，无线发送所采集的音频、图像数据及校验码数据；电源模块1与电刺激器模块、图像采集模块、模拟音频模块、数字音频模块以及蓝牙芯片1相连接，用于给整个电子背包系统中的上述组件供电；[0008] 所述蓝牙主机端由天线2、无线功率放大模块、蓝牙芯片2、电源模块2、USB接口模块组成，其中天线2为高增益平板天线；天线2与无线功率放大模块双向连接，无线功率放大模块与蓝牙芯片2双向连接，USB接口模块与蓝牙芯片2双向连接，USB接口模块与PC上位机的USB通信模块双向连接，用于将无线接收到的电子背包传感器数据包通过USB接口发送给PC上位机或将来自PC上位机的上位机指令通过无线功率放大模块和天线2，发送给蓝牙从机电子背包；电源模块2由可充电锂电池和线性稳压器组成，与蓝牙芯片2和无线功率放大模块相连接，用于给蓝牙芯片2及无线功率放大模块供电；[0009] 所述PC上位机由刺激指令选择模块、传感器参数配置模块、数据拆分模块、音频处理显示模块、图像处理显示模块、数据文件保存模块和USB通讯模块组成。其中刺激指令选择模块、传感器参数配置模块均与USB通讯模块单向连接，用于通过USB发送上位机指令给蓝牙主机端，后无线传输到蓝牙从机背包。USB通讯模块与数据拆分模块中的帧头帧尾校验模块单向连接。数据拆分模块与声音数据区及图像数据区相连接，声音数据区与音频处理模块相连接、音频处理模块与音频播放模块相连接，图像数据区与图像处理模块相连接，图像处理模块与图像显示模块相连接，将通过USB接口接收到的电子背包传感器数据包根据对应的校验码验证数据并将其拆分为声音数据包和图像数据包，并分别传输到音频处理模块和图像处理模块进行后级处理，然后分别传输到音频播放模块和图像显示模块进行播放；音频处理模块和图像处理模块与数据文件保存模块相连接，用于存储经由处理的音频及图像数据。[0010] 作为本发明的一种改进，所述蓝牙从机电子背包中的天线1为使用0.5mm的裸铜线绕制的单极鞭状天线。[0011] 作为本发明的一种改进，所述蓝牙从机电子背包图像、声音数据采集、发送的实现流程包括以下步骤：[0012] 步骤(1)开始图像信息的采集。若采用模拟麦克风采集声音数据，则同步开启定时器，进行模拟音频ADC值的DMA定时采集。[0013] 步骤(2)等待图像数据采集完成，然后判断麦克风类型。[0014] 步骤(3)若麦克风类型为模拟麦克风，则添加对应图像校验码，对已读取的所有图像数据进行发送。[0015] 步骤(4)读取通过ADC的DMA采集方法缓存的模拟音频数据，并添加对应音频校验码；然后重新配置定时器，开始新的模拟音频ADC的定时DMA采集，并对已读取的所有音频数据进行发送，直到累计发送的数据量达标，然后开始下一次的图像数据采集。[0016] 步骤(5)若麦克风类型为数字麦克风，则立即开始采集音频数据，并利用两次音频采集中断之间的间隔添加对应的校验码，对已采集的图像和声音数据进行同数据包发送。若累计发送的数据量小于所需的数据量，则重复进行音频采集——图像和声音发送循环；若累计发送的数据量达标，则开始下一次的图像数据采集。[0017] 作为本发明的一种改进，所述蓝牙从机电子背包图像信息采集的实现具体包括以下步骤：[0018] 步骤(1)蓝牙芯片1通过I2C接口进行图像传感器输出格式配置；[0019] 步骤(2)进入低功耗模式，等待图像帧有效信号中断触发；[0020] 步骤(3)配置SPI接口，开始一行的图像数据采集；[0021] 步骤(4)进入低功耗模式，等待行有效信号中断，完成一行图像数据的采集；[0022] 步骤(5)重复执行步骤(3)(4)，直到完成目标分辨率行数的采集任务。[0023] 作为本发明的一种改进，所述PC上位机的软件实现包括以下步骤：[0024] 步骤(1)上电开始，系统首先调用Labview的VISA资源进行初始化，初始化USB端口，用户可以通过刺激参数配置控件进行昆虫刺激位点的选择和参数调节，通过传感器参数配置控件对图像、声音传感器的参数进行调整；刺激参数和传感器参数将通过USB端口发送给蓝牙主机端。[0025] 步骤(2)系统若收到来自USB端口的数据包，则根据数据包中的校验码，提取连续两次图像校验码之间的数据，然后再次根据音频校验码，提取图像数据和音频数据；[0026] 步骤(3)对拆分获得的图像数据，调用LAVBIEW中的IMAQ模块对数据进行二维复原及后续的降噪处理，然后在图像显示界面中显示；[0027] 步骤(4)对拆分获得的音频数据，调用LAVBIEW中的巴特沃斯滤波器进行数字滤波，然后调用PC的声音播放控件进行播放；[0028] 步骤(5)对经过显示和播放的图像、声音数据，调用文件保存控件，分别以JEPG和MP3的格式进行保存；[0029] 本发明提出的一种视音频传输及生物行为控制系统，与现有技术相比，具有以下优点：[0030] (1)本发明主要是通过电子背包产生不同的刺激脉冲刺激昆虫特定的神经肌肉部位，诱导昆虫产生对应的运动动作和行为。因为运动是昆虫本体而不是由人工驱动器产生的，因此相较于传统机械机器人，具有能耗低，运动稳定和满足恶劣环境应用等优良特点。[0031] (2)本发明中的从机电子背包的具有小尺寸和小质量的特点，昆虫背负仍可保持正常的飞行、爬行等运动能力。此外，电子背包在小的电路板面积上同时实现了图像采集、音频采集及昆虫行为刺激三种功能。此外，电子背包系统基于低功耗设计，有较长的续航时间。[0032] (3)本发明中的从机电子背包的主控芯片即为蓝牙芯片，减小了电路的复杂度。通过板载蓝牙5.0实现了从机电子背包与PC上位机的通讯，借助蓝牙低功耗和长通讯距离，可以使上位机在100M以外的较远距离处，依然可以通过电子背包控制昆虫行为，同时获取昆虫第一视角的图像及环境音频信息。[0033] (4)本发明中的主控芯片，即蓝牙芯片1、2，所使用的内部数据通讯均采用直接内存读取(DMA)的方式，降低了控制模块中MCU的负担，数据传输实现并行处理，提高了数据传输速度与效率。附图说明[0034] 图1为本发明的整体结构示意图；[0035] 图2为电子背包低功耗总体数据采集、传输流程示意图；[0036] 图3为电子背包图像数据采集示意图；[0037] 图4为PC上位机的软件实现示意图。具体实施方式[0038] 下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。[0039] 图1为本发明的整体结构示意图，本实施例的一种基于活体昆虫的无线视音频传输及飞行行为控制装置，其由蓝牙从机电子背包、蓝牙主机端及PC上位机三部分组成。从机电子背包通过蓝牙5.0协议与蓝牙主机端无线连接，蓝牙主机端通过USB2.0协议与PC上位机有线连接。其特征是：(1)从机背包中传感器数据的读取、组合、无线发送以及上位机控制指令的接收、拆分以及昆虫行为控制刺激信号的产生都是在单块蓝牙芯片上实现的；图像传感器参数的配置是通过I2C接口实现的；图像传感器数据采集是通过SPI接口实现的；模拟音频数据采集是通过ADC接口实现的；数字音频数据采集是通过I2S接口实现的；刺激脉冲的产生是通过PWM接口实现的；数据的无线发送与指令接收是通过蓝牙芯片上的射频接口实现的。(2)数据采集、组合、传输的时序逻辑是通过蓝牙内部定时器实现的。(3)传感器数据采集间隙，蓝牙芯片处于低功耗状态。[0040] 进一步，所述蓝牙从机电子背包由电源模块1、蓝牙芯片1、图像采集模块、模拟音频模块、数字音频模块、电刺激器模块和天线1组成。其中，蓝牙芯片1选择NEF52840芯片，图像采集模块由HIMAXHM01B0COMS图像传感器和镜头组组成，模拟音频采集模块由模拟MEMS麦克风和后级运放放大电路组成，数字音频模块由数字麦克风组成，天线1为微型螺旋天线。天线1与天线2以无线的方式连接，用于从机背包传感器数据的发送及上位机指令的接收。天线1与蓝牙芯片1相连接，蓝牙芯片1将接收到的上位机指令通过指令拆分模块解析为脉冲参数、图像参数、音频参数。其中蓝牙芯片通过PWM接口将脉冲参数转化为电刺激模块对应的激励电信号施加于昆虫载体相应的刺激位点，控制昆虫表现出预期的生物行为；通过I2C接口将图像参数转化为图像采集模块中传感器对应的寄存器值；通过定时器1将音频参数转化为对应的模拟音频ADC采集的间隔或通过I2S接口音频参数转化为数字音频模块中传感器对应的寄存器值。所述蓝牙芯片1通过SPI接口与中断触发接口组合读取图像传感器数据，采集昆虫第一视角的图像信息，通过ADC接口读取模拟音频数据，通过I2S接口读取数字音频数据。上述获得的传感器数据在数据组合模块中进行添加校验码、数据打包压缩等操作。打包后的数据被定时器2控制的低功耗数据调用模块定时调用，后经射频通讯接口及天线1，无线发送给蓝牙主机端。电源模块2由可充电微型锂电池和线性稳压器组成，用于给整个电子背包系统供电。整体设计下来，电子背包的总重量可严格控制，满足昆虫背负的要求。[0041] 所述蓝牙主机端由电源模块2、蓝牙芯片2、无线功率放大模块、USB接口模块组成，其中天线2为高增益平板天线。蓝牙芯片2通过无线功率放大模块与天线2双向连接，通过USB接口模块与PC上位机双向连接，用于将无线接收到的电子背包传感器数据包通过USB接口发送给PC上位机或将来自PC上位机的上位机指令转换为射频信号，后通过无线功率放大模块和天线1，发送给蓝牙从机电子背包。电源模块2由可充电锂电池和线性稳压器组成，用于给蓝牙芯片2及无线功率放大模块供电。[0042] 所述PC上位机由刺激指令选择模块、传感器参数配置模块、数据拆分模块、音频处理显示模块、图像处理显示模块、数据文件保存模块和USB通讯模块组成。其中刺激指令选择模块、传感器参数配置模块与USB通讯模块单向连接，USB通讯模块与数据拆分模块单向连接。数据拆分模块将通过USB接口接收到的电子背包传感器数据包根据对应的校验码验证数据并将其拆分为声音数据包和图像数据包，并分别传输到音频处理模块和图像处理模块进行后级处理。然后传输到音频播放模块和图像显示模块进行播放；音频处理模块和图像处理模块还与数据文件保存模块相连接，用于存储经由处理的音频及图像数据。[0043] 图2所示为电子背包低功耗总体数据采集、传输流程示意图。所述蓝牙从机电子背包图像、声音数据采集、发送的实现流程包括以下步骤：(1)开始图像信息的采集。若采用模拟麦克风采集声音数据，则同步开启定时器，进行模拟音频ADC值的定时DMA方式采集，实现了图像数据与模拟音频数据的并行采集；(2)完成图像数据采集(3)判断麦克风类型，若为模拟麦克风，则添加对应校验码后直接发送已读取的所有图像数据，然后读取通过DMA定时采集缓存的模拟音频数据，并配置开始新的定时采集，然后添加对应校验码后直接发送已读取的所有音频数据。等待所需的数据量发送完成，若为数字麦克风，则开始采集声音数据，并利用音频采集间隔对图像声音数据一同打包，进行同数据包发送。(4)若累计发送的数据量达标，则开始新一轮的图像数据采集。[0044] 图3为电子背包图像数据采集示意图。所述蓝牙从机电子背包图像信息采集的实现具体包括以下步骤：[0045] 步骤(1)蓝牙芯片1通过I2C接口配置图像输出格式；[0046] 步骤(2)进入低功耗模式，等待图像输出帧有效信号中断；[0047] 步骤(3)配置SPI接口，用于图像数据采集；[0048] 步骤(4)进入低功耗模式，等待行有效信号中断，完成一行图像数据的采集；[0049] 步骤(5)重复执行步骤(3)，直到完成目标分辨率行数的采集任务。[0050] 图4为PC上位机的软件实现示意图。所述PC上位机的软件实现，包括以下步骤：[0051] 步骤(1)上电开始，系统首先调用Labview的Visa资源进行初始化，用户可以通过刺激参数配置控件进行昆虫刺激位点的选择和参数调节，例如刺激电压，刺激频率、刺激持续时间，等进行调整；通过传感器参数配置控件对图像、声音传感器的参数，例如分辨率、曝光值和采样率，进行调整；[0052] 步骤(2)系统若收到来自USB端口的数据包，则根据数据包中的校验码拆分提取不同的传感器数据；[0053] 步骤(3)对拆分获得的图像数据，调用LAVBIEW中的IMAQ模块对数据进行二维复原及后续的降噪处理，然后在图像显示界面中显示；对拆分获得的音频数据进行数字滤波，然后调用PC的声音播放控件进行播放[0054] 步骤(4)对经过处理后显示和播放的图像、声音数据，调用文件保存控件，分别以JEPG和MP3的格式进行保存。[0055] 本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。

专利地区：江苏

专利申请日期：2022-03-17

专利公开日期：2024-11-29

专利公告号：CN114567761B