一种双臂仿人智能叠衣机器人发明专利

专利名称：一种双臂仿人智能叠衣机器人

专利类型：发明专利

专利申请号：CN202310557628.0

专利申请（专利权）人：武汉纺织大学
权利人地址：湖北省武汉市洪山区纺织路1号

专利发明（设计）人：何儒汉, 顾宁权

专利摘要：本发明公开了一种双臂仿人智能叠衣机器人，其中包括集成控制单元、视觉识别单元、任务规划单元、双机械臂控制单元、移动平台控制单元、人机交互单元、供电单元。本发明所要解决的问题包括机器人利用RGBD相机对周围场景识别，生成周围物体的名称和对应坐标，对任意形状的衣物进行视觉分类，并按照分类结果机器人调用铺平算法使用左右两个机械臂对衣物进行铺平操作，铺平后调用折叠算法用左右两个机械臂对衣物进行折叠操作，折叠完成后放置于指定区域，在运行中机器人可以根据任务自动导航实时避障，且当电池低于阈值机器人自主寻路充电。

主权利要求：一种双臂仿人智能叠衣机器人
技术领域
[0001] 本发明属于智能机器人领域，特别是涉及一种双臂仿人智能叠衣机器人。
背景技术
[0002] 随着社会的进步，人们生活水平的提高，同时伴随着少子化和老龄化的严重，机器人作为降低用工成本提高生活品质的方案正在逐渐被人所接受。
[0003] 然而,机器人对衣物等纺织物的操控来说，仍然是一项具有挑战性和复杂性的工作：
[0004] 第一是衣物容易形变，外在形状多变，且有大量部位被遮挡，机器人难以识别预估衣物的状态；
[0005] 第二是衣物操纵涉及多步操作，机器人需要对衣物折叠操作多次才可以达到目标状态，对于折叠算法要求高；
[0006] 第三是衣物折叠涉及多点操作，普通单机械臂机器人系统无法满足仿人叠衣操作，无法实现复杂的折叠过程，折叠效率低下；
[0007] 第四是机器人需要进行自动寻路以及避障，以达到不同的位置。
[0008] 现有的专利，比如中国专利申请号201910669540.1，公布日期为2019年11月29日，该专利公开了一种叠衣机器人及其叠衣方法，包括拨送装置，曲柄滑块机构，转盘平铺装置，凸轮机构，处理装置，移动轴承架。该专利的不足之处在于：没有使用视觉系统进行衣物状态采集，没有使用机械臂作折叠的控制手段，不能对任意形状衣物进行仿人操作，并且不可移动作业；
[0009] 又如中国专利申请号201811562270.6，公布日期为2020年06月30日，该专利公开了基于深度学习的双臂协作机器人三维视觉识别抓取方法,，统一双臂机器人及三维视觉系统坐标系，从而实现视觉和双臂的目标识别定位；基于深度学习获取到目标的三维物体类型和位姿，根据物体类型和位姿得到双臂上末端抓取工具的抓取和姿态，进而控制机器人双臂上末端抓取工具进行抓取。该专利的不足在于，没有针对衣物折叠任务进行算法设计，不能进行衣物铺平折叠等的多步骤操作。
发明内容
[0010] 本发明针对现有的技术存在的上述问题，提供一种双臂仿人智能叠衣机器人。本发明所要解决的问题包括机器人利用RGBD相机对周围场景识别，生成周围物体的名称和对应坐标，对任意形状的衣物进行视觉分类，并按照分类结果机器人调用铺平算法使用左右两个机械臂对衣物进行铺平操作，铺平后调用折叠算法用左右两个机械臂对衣物进行折叠操作，折叠完成后放置于指定区域，在运行中机器人可以根据任务自动导航实时避障，且当电池低于阈值机器人自主寻路充电。
[0011] 本发明的目的是通过以下技术方案来实现的：一种双臂仿人智能叠衣机器人，包括集成控制单元、视觉识别单元、任务规划单元、双机械臂控制单元、移动平台控制单元、人机交互单元、供电单元；
[0012] 所述集成控制单元负责整个双臂仿人智能叠衣机器人各单元间的集成；
[0013] 所述视觉识别单元用于机器人周围视觉信息的获取，识别周围环境并确认对应位置；
[0014] 所述任务规划单元用于对折叠的衣物执行分类、铺平、折叠并堆放的操作；
[0015] 所述双机械臂控制单元用于实时接收并执行任务规划单元输出的分类、铺平、折叠操作内容；
[0016] 所述移动平台控制单元用于实现机器人进行自由移动的功能；
[0017] 所述人机交互单元用于显示当前机器人的状态各项参数，输入操作指令；
[0018] 所述供电单元用于机器人电力驱动，提供插电和电池两种供电方式。
[0019] 进一步的，所述视觉识别单元包括RGBD相机模块，坐标系转换模块，场景描述模块；
[0020] 所述的RGBD相机模块，实时收集机器人周围的RGBD图像，用于图像目标识别、观察目标物体、机器人移动导航；
[0021] 所述的坐标系转换模块,用于建立世界坐标系、RGBD相机坐标系、左右机械臂坐标系、移动平台坐标系之间的关系；
[0022] 所述的场景描述模块，用于处理RGBD相机模块的图像信息，识别图像中的每个物体的名称和轮廓位置信息。
[0023] 进一步的，场景描述模块包括深度学习网络YOLOV5和DeepLabV3+，所述RGBD相机模块将得到的RGBD图像信息输入YOLOV5目标识别模型，识别得到图片中每个物体，每个物体被方形锚框所标注，而后将方形锚框中的内容分别输入DeepLabV3+语义分割模型识别出每个物体的轮廓信息，至此得到图片中的每个物体名称，以及每个物体的轮廓。
[0024] 进一步的，坐标系转换模块的具体处理过程如下；
[0025] 步骤S1，在机器人活动的区域中预先固定若干世界坐标系的aruco标签识别码，每个标签识别码在世界坐标系下的位姿都是已知的，且进行独立编号，编号信息和对应的位姿信息 已经预先存储到机器人的坐标系转换模块；
[0026] 步骤S2，通过识别机器人视野中的世界坐标标记点aruco标签识别码，得到相机坐标系与标签坐标系的变换矩阵 根据标签识别码和查询到的标签识别码在世界坐标的位姿信息 快速得到相机和世界坐标系的变换矩阵
[0027] 步骤S3，在物体定位过程中，通过将物体在相机坐标系中的位置Pcamera和相机相对于世界坐标系变换矩阵 相乘得到该物体在世界坐标系中的位置Pcamera，将物体在相机坐标系中的位置Pcamera和相机相对于左右机械臂坐标系的变换矩阵相乘得到物体在左右机械臂坐标系中的位置 将物体在
相机坐标系中的位置Pcamera和相机相对于机器人本体坐标系的变换矩阵 相乘得到每个物体在机器人本体坐标系中的位置

[0028] 坐标系转换模块中的 为机器人默认固定参数。
[0029] 进一步的，所述任务规划单元包括衣物分类模块，铺平算法模块，折叠算法模块；
[0030] 所述的衣物分类模块，用于对机器人抓取的衣物进行视觉分类，判定衣物属于何种类型；
[0031] 所述的铺平算法模块，用于对目标衣物进行铺平操作，输出操作的点位坐标和动作内容；
[0032] 所述的折叠算法模块，用于对铺平的衣物进行折叠操作，折叠后抓取分类堆放至指定区域；
[0033] 任务规划单元执行任务流程为，开始机械臂从一堆衣物中随机抓离一件衣物，而后调用衣物分类模块对抓离的衣物进行分类，根据分类结果调用相应的铺平算法模块，铺平算法模块生成铺平操作动作，衣物被操作一次后，判断衣物展开率是否达到85％以上，若没有达到阈值，迭代调用铺平算法模块执行铺平操作；当衣物展开率在85％以上时，调用对应的衣物折叠算法模块进行衣物折叠，衣物折叠成功后，机器人将衣物分类临时放置于工作台面，判断所有地衣物是否折叠完成，当未完成，继续随机抓离一件衣物，当衣物全部折叠完成，机器人将分类摆放的折叠好的衣物分类收纳至指定区域；若指定区域不在机器人工作半径，则机器人调用移动平台控制单元将衣物移动，对于所有对机械臂的控制运动，均为先生成相机坐标系下的目标点Pcamera，然后通过 的变换矩阵，得到机械臂坐标系下的目标点
[0034] 进一步的，衣物分类模块中使用的深度学习主干网络为ResNet模型，最后一层插入全连接网络，输出分类的结果，训练的损失函数为交叉熵函数；
[0035] Loss函数为： K表示衣物的种类包括K类，N代表一次训练输入的样本个数，t[i]表示每个样本的真实种类，o[i]表示每个样本的预测种类的概率值,权重w以减少训练集中样本不平衡导致的误差，w为该种类样本数量占所有样本数量百分比的倒数。

[0036] 进一步的，所述的铺平算法模块将操作衣物从褶皱状态在工作台上使用预设的3个初始动作铺平至展开状态，以便后续的折叠作业；
[0037] 铺平算法模块使用深度强化学习模型，其中状态为衣物的铺平状态，动作为预设的3个铺平动作，奖励为动作执行后面积变化，策略为根据当前状态计算下一步动作的函数，即深度强化学习模型；具体为：将当前褶皱的衣物状态输入到策略，策略给出奖励最大的对应动作和对应的作业点位，机械臂执行该动作，得到新的衣物状态,确认该状态是否达到85％的铺平率，若达到铺平率动作就停止，若没有达到就继续将新状态输入到策略得到新的动作；
[0038] 铺平算法模块中预设的3个动作：(1).铺甩动作，左右机械臂抓住策略给出的两个点，提起衣物后进行拉直，而后往前铺甩，用动态的动作快速扩大衣物的面积；(2).抓放，单机械臂抓住策略给出的一个点，拉扯该点到另外个点使得衣物平整；(3).拖拽，左右机械臂抓住策略给出的两个点朝两个点的垂直方向拖拽固定距离使其舒展；
[0039] 铺平算法模块使用ResNet50作为编码器，DeepLabv3+的解码部分作为解码器，奖励Reward的函数为：
[0040] rewardt＝max(tanh[m(△cover(statet))+n(△pred(smoothed∣statet)],0)[0041] 其中△cover(statet)为操作前后的展开面积变化情况，△pred(smoothed∣statet)为操作前后铺平的置信度变化情况，tanh为双曲正切函数，m和n均为权重的超参数值，向铺平算法模块输入当前衣物状态，输出使得奖励最大的对应动作和对应的点位,动作为定义的预设的3个动作中的一个，选取的点位记为 和 调用坐标系转换模块，将选取的点乘以变换矩阵 得到机械臂坐标系下的作业点位 和 机械臂按照作业点位执行动作得到新的衣物状态，直到衣物的铺平率达到85％。

[0042] 进一步的，所述的折叠算法模块的具体实现包括如下步骤；
[0043] 步骤SA，构建模型训练数据，，包括衣物图像信息，和衣物的关键区域标签；
[0044] 步骤SB，构建模型并训练，包括以下子步骤；
[0045] 步骤S2.1，设计基于DeepLabV3+的区域分割模型，网络整体采用了编码器和解码器的结构，编码器中使用的主干网络为Xception，提取特征得到初步图像特征，再通过加强特征提取ASPP模块进行进一步的图像特征提取，ASPP模块中有五个分支，分别为1*1普通卷积层、膨胀率系数为6、12、18的3*3膨胀卷积以及一个全局池化层ImagePooling，得到五个分支的输出特征图，通过Concat进行拼接；在ASPP模块的1*1卷积层后增加两层注意力机制，以增强算法对衣物细节的感知能力，所使用的注意力机制为SE模块，在ASPP的Imagepooling层后增加1*1卷积，以降低输出的特征图数量；ASPP的输出通过1*1卷积进行特征融合，得到多尺度特征；解码器部分首先通过对加强特征提取ASPP模块提取到的多尺度特征进行双线性插值4倍上采样，再与经过1*1卷积处理后的由主干网络提取的初步图像特征进行拼接、特征融合，最后采用双线性插值4倍上采样恢复至高层特征图，在模型最后增加3层全连接网络，输出图片每个像素预测的标签值；
[0046] 步骤S2.2，训练基于DeepLabV3+的区域分割模型，输入为RGBD图像，输出为每个像素点的各标签概率，损失函数为交叉熵函数其中K为标签类别，i表示RGBD图片的每个像素点，I表示像素点i的集合，yi表示该像素点的真实标签类别， 表示该像素点的预测标签类别；

[0047] 步骤SC，通过RGBD相机获取衣物当前图片，输入到训练好的模型，模型输出关键区域，通过关键区域可得到衣物的中心线，衣物中心线的朝向，大小信息；根据以上信息定义折叠线，T恤的竖向折叠线为中心线左右偏移宽度的20％，横向折叠线为T恤中间平分线，裙子和裤子的竖向折叠线为中心线，横向折叠线为三分之一和三分之二线，毛巾折叠线为水平和垂直中心线；
[0048] 步骤SD，计算折叠坐标点，折叠T恤时，首先折叠左边袖口，抓取点为袖口和下摆最左边的点,在相机坐标系下记为 和 放置点为以折叠线为中心的对称点 和 将以上四个坐标通过坐标系转换模块进行刚性变换，得到
机械臂坐标系下的抓取点和放置点 通
过调用双机械臂控制单元，执行折叠作业，以此类推完成T恤的右侧折叠，最后机械臂抓取T恤的领口两侧按照横向折叠线对折，完成折叠作业。

[0049] 进一步的，双机械臂控制单元包括运动学模块，左机械臂模块，右机械臂模块；
[0050] 所述的运动学模块，用于将接收到的机械臂运动点位信息，逆向求解至左右机械臂的运动方式；
[0051] 所述的左机械臂模块，用于接收运动学模块的逆向求解得到的左机械臂运动指令，并执行移动夹取操作；
[0052] 所述的右机械臂模块，用于接收运动学模块的逆向求解得到的右机械臂运动指令，并执行移动夹取操作。
[0053] 进一步的，所述移动平台控制单元包括自动导航模块，全向移动平台，底层控制器；所述的自动导航模块用于规划机器人当前位置到目标位置的移动路径，并根据实时视觉系统实现实时避障，以最短路径达到目标点；所述的全向移动平台采用麦克纳姆轮结构，可实现360度无死角全向运动，所述底层控制器用于控制电机速度及移动平台的转动角度，通过CANopen总线与驱动器进行通信，从而控制机器人的移动。
[0054] 本发明的有益效果是：
[0055] 1.可以扫描周围环境，并对周围环境进行识别分类，生成周围环境内物体的名称，并对物体的在各坐标系下的位置进行快速定位；
[0056] 2.可以根据识别到的物体，机器人自动移动到目标物体周围，以便作业；
[0057] 3.可以对任意形状的衣物进行识别分类操作，分类对象包括且不限上衣、裤子、裙子、毛巾等；
[0058] 4.可以对衣物进行铺平操作，使用深度强化学习算法，将衣物从任意形状用双机械臂展开至铺平状态；
[0059] 5.可以对展开的衣物进行折叠操作，对衣物使用区域分割算法识别作业点，将衣物用双机械臂折叠至指定形状；
[0060] 6.可以将折叠后的衣物，按照分类抓取堆放至预设位置；
[0061] 7.机器人在衣物操作任务过程中，会按照最优路线控制机械臂移动；
[0062] 8.当机器人在地面移动时，可以自动避障，并寻找出最优的到达路径；
[0063] 9.通过人机交互单元可以实时观察机器人的各项参数，同时可以实时给机器人发出任务指令；10.机器人可以使用插电供电和电池供电两种供电模式，当处于电池供电模式下，电池电量低于预设值时，机器人会自动移动至充电位置，进行自动充电。
附图说明
[0064] 图1为本发明的结构示意框图：
[0065] 图中，00‑集成控制单元，10‑视觉识别单元，20‑任务规划单元，30‑双机械臂控制单元，40‑移动平台控制单元，50‑人机交互单元，60‑供电单元。
[0066] 图2为场景描述模块示意图；
[0067] 图3为任务规划单元的衣物折叠过程示意图；
[0068] 图4为折叠算法模型；
[0069] 图5为衣物折叠示意图。
具体实施方式
[0070] 下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
[0071] 如图1所示，一种双臂仿人智能叠衣机器人包括集成控制单元00，视觉识别单元10，任务规划单元20，双机械臂控制单元30，移动平台控制单元40，人机交互单元50，供电单元60。集成控制单元00负责各单元间的通信管理。

[0072] 在本发明中，视觉识别单元10，包括RGBD相机模块101，场景描述模块102，坐标系转换模块103。所述的RGBD相机模块101，可以实时收集机器人周围的RGBD图像，刷新频率为60Hz，图像中每个点位包含RGB值颜色信息和深度depth值信息。收集到的图像可以用于图像目标识别、观察目标物体、机器人移动导航。

[0073] 所述的场景描述模块102，用于处理RGBD相机模块101的图像信息，可以实时识别图像中的每个物体的名称和轮廓位置信息，该模块由深度学习网络YOLOV5和DeepLabV3+组成。如图2所示，101模块将得到RGBD图像信息输入YOLOV5目标识别模型，识别得到图片中每个物体，如物体1、物体2、物体3。每个物体被方形锚框所标注，而后将方形锚框中的内容分别输入DeepLabV3+语义分割模型识别出每个物体的轮廓信息。至此得到图片中的每个物体名称，以及每个物体的轮廓。
[0074] 所述的坐标系转换模块103，用于快速建立世界坐标系、相机坐标系、左右机械臂坐标系、机器人本体坐标系之间的关系。
[0075] 实现步骤是：
[0076] 步骤S1：在机器人活动的区域中预先固定若干世界坐标系的aruco标签识别码，每个标签识别码在世界坐标系下的位姿都是已知的，且进行独立编号，编号信息和对应的位姿信息 已经预先存储到机器人的坐标系转换模块。
[0077] 步骤S2：通过识别机器人视野中的世界坐标标记点aruco标签识别码，得到相机坐标系与标签坐标系的变换矩阵 根据标签识别码和查询到的标签识别码在世界坐标的位姿信息 可以快速得到相机和世界坐标系的变换矩阵
[0078] 步骤S3：在物体定位过程中，通过将物体在相机坐标系中的位置Pcamera和相机相对于世界坐标系变换矩阵 相乘得到该物体在世界坐标系中的位置Pcamera。将物体在相机坐标系中的位置Pcamera和相机相对于左右机械臂
坐标系的变换矩阵 相乘得到物体在左右机械臂坐标系中的位置
将物体在相机坐标系中的位置Pcamera和相机相对于机器人本体
坐标系的变换矩阵 相乘得到每个物体在机器人本体坐标系中的位置

[0079] 坐标系转换模块中的 为机器人默认固定参数。
[0080] 该方法可以快速准确得到物体和各坐标系的关系。
[0081] 在本发明中，任务规划单元20，包括衣物分类模块201，铺平算法模块202，折叠算法模块203，任务扩展模块204。如图3所示，任务规划单元执行任务流程为，开始机械臂从一堆衣物中随机抓离一件衣物，而后调用衣物分类模块201对抓离的衣物进行分类，根据分类结果调用相应的铺平算法模块202，铺平算法模块生成铺平操作动作，衣物被操作一次后，判断衣物展开率是否达到85％以上，若没有达到阈值，迭代调用铺平算法模块、执行铺平操作。当衣物展开率在85％以上时，调用对应的衣物折叠算法模块203进行衣物折叠，衣物折叠成功后，机器人将衣物分类临时放置于工作台面。判断所有地衣物是否折叠完成，当未完成，继续随机抓离一件衣物，当衣物全部折叠完成，机器人将分类摆放的折叠好的衣物分类收纳至指定区域。若指定区域不在机器人工作半径，则机器人调用移动平台控制单元将衣物移动。对于所有对机械臂的控制运动，均为先生成相机坐标系下的目标点Pcamera，然后通过 的变换矩阵，得到机械臂坐标系下的目标点
[0082] 所述的衣物分类模块201可以对任意形状和褶皱的衣物进行实时分类识别，将衣物分类为T恤、裤子、裙子、毛巾等。使用的深度学习主干网络为ResNet模型，最后一层插入全连接网络，输出分类的结果，训练的损失函数为交叉熵函数。
[0083] Loss函数为： K表示衣物的种类K类，N代表一次训练输入的样本个数，t[i]表示每个样本的真实种类，o[i]表示每个样本的预测种类的概率值,本发明中为了调整训练集的正负样例的不平衡增加了权重w以减少样本不平衡导致的误差，w为该种类占所有样本百分比的倒数。

[0084] 所述的铺平算法模块202可以将操作衣物从褶皱状态在工作台上使用预设的3个初始动作铺平至展开状态，以便后续的折叠作业。
[0085] 铺平算法模块使用深度强化学习模型(DeepReinforcementLearning)，其中状态(State)为衣物的铺平状态，动作(Action)为预设的3个铺平动作，奖励(Reward)为动作执行后面积变化，策略(Policy)为根据当前状态计算下一步动作的函数，即深度强化学习模型。
[0086] 步骤为，将当前褶皱的衣物状态(State)输入到策略(Policy)，策略(Policy)给出奖励(Reward)最大的对应动作(Action)和对应的作业点位。机械臂执行该动作(Action)，得到新的衣物状态(State),确认该状态(State)是否达到85％的铺平率，若达到铺平作业就停止，若没有达到就继续将新状态(State)输入到策略(Policy)得到新的动作(Action)。
[0087] 本发明中预设3个动作(Action)为：1.铺甩动作，左右机械臂抓住策略(Policy)给出的两个点，提起后进行拉直，往前铺甩，用动态的动作快速扩大衣物的面积；2.抓放，单机械臂抓住策略(Policy)给出的一个点，拉扯该点到另外个点使得衣物平整；3.拖拽，左右机械臂抓住策略(Policy)给出的两个点朝两个点的垂直方向拖拽固定距离使其舒展。
[0088] 铺平算法模块使用ResNet50作为编码器，DeepLabv3+的解码部分作为解码器，奖励(Reward)的函数为：
[0089] rewardt＝max(tanh[m(△cover(statet))+n(△pred(smoothed∣statet)],0)[0090] 其中△cover(statet)为操作前后的展开面积变化情况，△pred(smoothed∣statet)为操作前后铺平的置信度变化情况，tanh为双曲正切函数，m和n均为权重的超参数值。向模型输入当前衣物状态(State)，输出使得奖励(Reward)最大的对应动作(Action)和对应的点位,动作(Action)为定义的3个动作中的一个。选取的点位记为 和调用坐标系转换模块，将选取的点乘以变换矩阵 得到机械臂坐标系下的作业点位和 机械臂按照作业点位执行动作(Action)得到新的衣物状态，直到衣物的铺平率达到85％。
[0091] 铺平算法模型根据衣物不同调用不同的策略(Policy)。对于不能识别的衣物种类，调用未优化的通用型铺平策略(Policy)。
[0092] 所述的折叠算法模块203可以将展平的衣物折叠起来。输入工作台面上展平的衣物画面，衣物的位置和大小可以任意且不需要完全铺平，输出为衣物在相机坐标系下的关键点区域划分。根据关键区域得到衣物的中心线、关键点，而后算出预设折叠线。抓取点为关键区域的点位，放置点为折叠线的镜像点位。折叠过程中调用坐标转换模块，将相机坐标系下的各坐标转化为机械臂坐标系下的坐标。机械臂根据转化后的坐标，依次执行折叠作业。
[0093] 具体步骤为：
[0094] 步骤S1，构建模型训练数据，包括衣物图像信息，和衣物的关键区域标签；
[0095] 步骤S2，构建模型并训练，包括以下子步骤；
[0096] 步骤S2.1：折叠算法模型设计，模型为基于DeepLabV3+的改进的区域分割模型，如图4所示，网络整体采用了编码器和解码器的结构，编码器中使用的主干网络为Xception，提取特征得到初步图像特征。再通过加强特征提取ASPP模块进行进一步的图像特征提取，ASPP模块中有五个分支，分别为1*1普通卷积层、膨胀率系数为6、12、18的3*3膨胀卷积以及一个全局池化层ImagePooling，得到五个分支的输出特征图，通过Concat进行拼接。本发明在ASPP模块的1*1卷积层后增加两层注意力机制，以增强算法对衣物细节的感知能力，所使用的注意力机制为SE模块。在ASPP的imagepooling层后增加1*1卷积，以降低输出的featuremap数量。ASPP的输出通过1*1卷积进行特征融合，得到多尺度特征。解码器部分首先通过对加强特征提取ASPP模块提取到的多尺度特征进行双线性插值4倍上采样，再与经过1*1卷积处理后的由主干网络提取的初步图像特征进行拼接(通过1*1卷积进行拼接)、特征融合(通过3*3卷积进行融合)，最后采用双线性插值4倍上采样恢复至高层特征图，本发明在模型最后增加3层全连接网络，最后输出图片每个像素预测的标签值。
[0097] 步骤S2.2：模型训练，模型输入为RGBD图像，尺寸为256*256*4，输出为每个像素点的各标签概率。损失函数为交叉熵函数其中K为标签类别，i表示RGBD图片
的每个像素点，I表示像素点i的集合，yi表示该像素点的真实标签类别， 表示该像素点的预测标签类别。训练时的batch_size为16，使用Adam优化器，学习率为1e‑5，训练时使用数据增加技术，以百分之50的概率随机翻转、旋转、随机颜色、改变对比度、亮度、颜色增强，训练epochs为400。

[0098] 步骤S3：模型使用，通过RGBD相机获取衣物当前图片，输入到训练好的模型，模型输出关键区域。通过关键区域可得到衣物中心线的位置，衣物中心线的朝向，衣物的大小信息。根据以上信息定义折叠线如图5所示，T恤的竖向折叠线为中心线左右偏移宽度的20％，横向折叠线为T恤中间平分线。裙子和裤子的竖向折叠线为中心线，横向折叠线为三分之一和三分之二线。毛巾折叠线为水平和垂直中心线。
[0099] 步骤S4：计算折叠坐标点，折叠T恤时，首先折叠左边袖口，抓取点为袖口和下摆最左边的点,在相机坐标系下记为 和 放置点为以折叠线为中心的对称点 和 将以上四个坐标通过坐标系转换模块进行刚性变换，得
到机械臂坐标系下的抓取点和放置点
通过调用双机械臂控制单元，执行折叠作业。以此类推完成T恤的右侧折叠。最后机械臂抓取T恤的领口两侧按照横向折叠线对折，完成折叠作业。

[0100] 折叠完成单件衣物后，机器人按照衣物类别临时分类放置在工作台面。紧接着机器人识别衣物是否全部被折叠，如果还有未折叠衣物继续抓取进行铺平折叠作业。当所有衣物都被折叠完成，机器人将各临时分类的衣物按照类别收纳到指定位置。收纳的标准可以按照用户自定义，包括衣物的种类，衣物的拥有者等分类方法。从临时存放区到收纳区，机器人可以调用移动平台控制单元的自动导航模块，通过对周围环境的实时分析，以最短路径往返临时存放区和收纳区。
[0101] 所述的任务扩展模块204可以由用户在开发者模式下，对机器人修改或者增加自己的算法，执行用户的自定义任务。机器人系统是基于ROS系统开发，有良好的扩展性，可以满足用户多重作业场景和新的作业需求。
[0102] 任务规划单元的所有作业请求，都实时发送给集成控制单元，由集成控制单元实时发送给双机械臂控制单元驱动机械臂运动。
[0103] 在本发明中，双机械臂控制单元30，包括运动学模块301，左机械臂模块302，右机械臂模块303。所述的运动学模块301，实时接收从集成控制单元得到的作业请求，在笛卡尔空间下，利用逆向运动学求解得到机械臂各个关节的运动方式，所用到的运动学插件包括IKFAST、TRAC‑IK、KDL。所述的左机械臂模块302和右机械臂模块303，均为6自由度的协作机械臂，工作半径均为850mm，有效负载均为5kg，机械臂末端有电动机械夹爪可以进行夹持操作。左右机械臂模块实时接收运动学模块301的输出，驱动左右机械臂模块分别进行运动，操作目标物体。
[0104] 在本发明中，移动平台控制单元40，包括自动导航模块401，全向移动平台402，底层控制器403。所述的自动导航模块401用于规划机器人当前位置到目标位置的移动路径，所使用的算法为A*算法，根据实时视觉系统可以实现实时避障，并以最短路径达到目标点。所述的全向移动平台402采用麦克纳姆轮结构，可实现360度无死角全向运动，所述底层控制器403用于控制电机速度及移动平台的转动角度，通过CANopen总线与驱动器进行通信，从而控制机器人的移动。

[0105] 在本发明中，人机交互单元50，包括信息显示模块501，信息输入模块502。所述信息显示模块501，可以实时显示机器人当前的状态，包括机器人任务内容，机器人电量、机器人周围环境扫描显示。所述信息输入模块502，可以与机器人进行通信，指定机器人任务类型，修改机器人各类参数，也可以进入开发者模式，设定机器人作业算法，调用机器人所有硬件。
[0106] 在本发明中，供电单元60，包括插电供电模块601，电池供电模块602。所述的插电供电模块601可以使用外界电源给机器人供给电源，并且可以通过该电源进行充电。所述的电池供电模块602，可以在机器人未接通有线电源情况下，使用内置电池进行供电。当电池电量低于临界值时候，电池供电模块602可以发出充电信号给机器人，机器人调用自动导航模块401，同时启用视觉识别单元调用之前识别的插座位置坐标，驱动机器人前往插座处自助充电。
[0107] 以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

专利地区：湖北

专利申请日期：2023-05-17

专利公开日期：2024-01-05

专利公告号：CN116604555B