基于关节主动柔顺的自主助餐机器人.pdf

《基于关节主动柔顺的自主助餐机器人.pdf》由会员分享，可在线阅读，更多相关《基于关节主动柔顺的自主助餐机器人.pdf（14页完成版）》请在专利查询网上搜索。

1、(19)国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202310513952.2(22)申请日 2023.05.09(71)申请人 北京航空航天大学地址 100191 北京市海淀区学院路37号(72)发明人 陈殿生项国赵学毅潘成行秦宇库西塔尔吴黎明杨钧淏(51)Int.Cl.B25J 11/00(2006.01)(54)发明名称一种基于关节主动柔顺的自主助餐机器人(57)摘要本发明公开一种基于关节主动柔顺的自主助餐机器人，首先提供了一种可以实现力位混合控制的机构和硬件设计，包括机器人的机械臂构件、力位混合驱动单元、视觉感知系统、运动控制系统；其中，。

2、力位混合驱动单元由带行星减速器的永磁同步电机、安装在各关节电机减速器的输出轴端的力矩传感器和安装在各关节电机减速器的输出轴对侧的角度传感器组成，驱动单元的分布控制系统通过获取角度和力矩数据实现关节主动柔顺控制；通过带1自由度姿态控制的视觉感知系统获取餐食和用户人脸图像，通过人工智能算法分类餐食和计算用户口部位置，实现餐食的分类盛取、用户口部的自动跟踪；在上述功能的基础上，可以实现自主喂食功能，机器人在复位状态时如收到启动信号，摄像头拍摄餐食位置，对餐食进行识别分类后在选定的餐食所在格子内取食并刮食，摄像头拍着口部位置，助食机器人自主将食物送至嘴前，人咬住执行机构获取食物后松开口部，机器人通过力。

3、位混合驱动单元获知这一信息，在完成一次取、送餐食后自主开始下一次取、送餐食，并周而复始此状态，直到获取结束命令。权利要求书1页 说明书6页 附图6页CN 116494263 A2023.07.28CN 116494263 A1.一种基于关节主动柔顺的自主助餐机器人，其特征在于，包括：助餐机器人的机械臂构件、力位混合驱动单元、视觉感知系统、运动控制系统；所述机械臂构件为5自由度串联机械臂，包括腰部关节1个自由度、大臂关节1个自由度、小臂关节1个自由度以及腕关节2个自由度，腕关节末端固定用于取餐的餐勺，机械臂通过腰部关节安装在主体基座上，位于用户的右手侧；所述驱动单元包括：带行星减速器的永磁同步电。

4、机、安装在各关节电机减速器的输出轴端的力矩传感器和安装在各关节电机减速器的输出轴对侧的角度传感器，通过构型设计实现角度传感器与输出轴同轴且不接触；所述视觉感知系统包括1个深度相机和控制相机姿态的1自由度云台，通过支架安装在盛放餐食底座的斜上方，位于用户的对侧。2.根据权利要求1所述的系统，其特征在于，力位混合驱动单元通过角度传感器，获取驱动单元的输出角度信息，且掉电后不会丢失位置，通过力矩传感器获取驱动单元的输出力矩信息，驱动单元的分布式控制系统综合角度信息与位置信息，控制永磁同步电机的输出，实现关节主动柔顺控制。3.根据权利要求1、2所述的系统，其特征在于，通过力位混合驱动单元，实现助餐机器。

5、人系统的关节主动柔顺控制，在盛取食物时使得餐勺与碗贴合并保持接触力，将碗内食物高效盛取。4.根据权利要求1所述的系统，其特征在于，视觉感知系统的1自由度云台控制深度相机角度，朝向盛放餐食的底座时摄取餐食分布图像，通过人工智能算法识别食物种类，实现食物的分类盛取，朝向用户时摄取人脸图像，对人脸进行3维重建，计算用户口部位置，实现自主将盛取的餐食送至用户口部。5.根据权利要求2、4所述的系统，其特征在于，通过视觉感知系统和运动控制将餐食盛取并送至用户口部后，通过力位混合驱动单元感知餐勺与用户的接触力变化，判断用户用餐时咬住和松开餐勺的过程，实现完成一次取、送餐食后自主开始下一次取、送餐食，并周而复。

6、始此状态，直到获取结束命令，达到自主喂食的效果。权利要求书1/1 页2CN 116494263 A2一种基于关节主动柔顺的自主助餐机器人技术领域0001本发明涉及智能助餐机器人的控制技术领域。该技术使助餐机器人可以自主地、连贯地将食物送至人口，简化操作，易于使用；并使用关节主动柔顺控制的方式保证安全。背景技术0002随着我国人口老龄化趋势愈加显著，预计老年人口比例的不断增长将持续到2050年左右，届时老年人口将达到全国人口的三分之一，于此同时，老年残疾人亦是人口老龄化带来的严重问题之一，那么解决上肢失能老人的进食问题成了一大研究热点。在智能化趋势的带动下，这些产品常常需要体现更多的自动化、智能。

7、化的特征，需要有易于操作、安全可靠的助餐机器人。具体而言，如今助餐机器人每一次给人喂食均需要人的指令，复杂的操作亟需简化，简单操作下还需要保证人对安全的要求。发明内容0003本发明的为了实现控制技术，首先提供了一种可以实现关节主动柔顺控制的机构和硬件设计，其特征在于：包括助餐机器人的机械臂构件、力位混合驱动单元、视觉感知系统、运动控制系统；0004所述力位混合驱动单元包括带行星减速器的永磁同步电机、安装在各关节电机减速器的输出轴端的力矩传感器和安装在各关节电机减速器的输出轴对侧的角度传感器。0005所述驱动单元中，角度传感器帮助获取机器人关节角度真实信息，因此安装在与电机同轴位置；0006所述。

8、驱动单元中，在电机输出轴安装力矩传感器；0007所述助餐机器人的程序调试板结合了运动控制器、编码器模块以及电机驱动器；0008所述助餐流程为机器人在复位状态、用户选择餐食、自主取餐、自主送餐、机器人回到复位状态，并周而复始重复此流程；0009所述助餐机器人的启动和停止由两个按钮实现；0010所述按钮安装在机器人本体上，绿色为启动按钮，红色为停止按钮；0011所述脚踏板通过延长电线连接在机器人控制板上，左侧的点动脚踏板轻踩即启动，右侧的点动脚踏板轻踩即停止；0012所述控制技术中，主动柔顺控制需要力位驱动单元获取各个关节的角度和力矩信息；0013所述驱动单元中，各关节通过角度传感器实时获取驱动单。

9、元的输出角度信息，通过力矩传感器获取驱动单元的输出力矩信息，驱动单元的分布式控制系统综合角度信息与位置信息，控制永磁同步电机的输出；0014所述控制技术中通过关节主动柔顺控制在送食过程中判断与人接触是否危险，在送食至人口中时，通过算法评估力的变化决策退食的时间；0015所述控制技术中通过深度相机朝向用户时判断人口部的位姿，并根据相关信息进说明书1/6 页3CN 116494263 A3行送食；0016所述控制技术中通过深度相机朝向盛放餐食的底座时在机械臂复位的位置判断餐盘中餐食的分布；0017所述控制技术中通过分析餐盘中餐食的分布，使用数学模型判断餐食多的位置，指导自助取餐时的取餐位置；001。

10、8所述控制技术中通过分析摄像头拍摄餐食结果，进行餐食分类盛取；0019所述控制技术中在执行机构取到餐食后，防止餐食过多在送食过程中洒出，设计有一个刮食卡具，执行机构在刮食卡具下走一个弧形，刮去多余的餐食；0020本发明的优点在于：00211、本发明中助餐机械臂的驱动单元为带行星减速器的直流无刷电机和安装在各关节电机减速器的输出轴端的角度传感器模块，通过构型设计实现角度传感器模块与电机同轴，可以获取各关节的角度信息，不会因断电而丢失角度信息；00222、本发明通过选定合适于针对安全性的主动柔顺控制方案，设计关节空间阻抗控制器，实现主动柔顺控制，在机器人静止状态力交互、机器人路径跟随、机器人运动状。

11、态力交互、机器人动力学模型误差情况下的路径跟随末端精度高；00233、本发明通过1自由度云台控制深度相机角度，朝向盛放餐食的底座时摄取餐食分布图像，识别食物种类，朝向用户时摄取人脸图像，计算用户口部位置；00244、本发明在上述功能的基础上，可以实现自主喂食功能，机器人在复位状态时如收到启动信号，摄像头朝向盛放餐食的底座获取餐食分布图象，识别食物种类并分类盛取，随后朝向用户摄取人脸图像，助餐机器人自主将盛取的餐食送至用户口部，人咬住执行机构获取食物后松开口部，机器人通过关节输出力矩获知这一信息，在完成喂餐后运动至复位状态，并重复此动作序列，直到获取结束命令。附图说明0025图1为本发明助餐机器。

12、人整体结构示意图；0026图2为本发明中餐盘结构示意图；0027图3为本发明中第一关节支撑结构示意图；0028图4为本发明中末端餐勺自由度示意图；0029图5为本发明中关节传感器安装示意图；0030图6为本发明中助餐机器人的控制系统组成图；0031图7为本发明中控制板造型图；0032图8为本发明中角度传感器安装图；0033图9为本发明中口部识别机器学习模型图；0034图10为本发明中自主助餐流程图；0035图中，1助餐机器人机械臂，11机械臂支撑结构，111电机输出轴，112机械臂连杆结构，113输出轴径向支撑轴承，114电机输出联轴器，115轴承轴向紧定螺钉，116关节零位标定槽，12关节驱。

13、动系统，121关节驱动电机，122电机驱动器，123关节输出编码器，124识别人口部信息相机，125识别餐食信息相机，13喂餐执行器结构，131餐勺紧定手拧螺钉，132餐勺，2助餐机器人底座结构，21餐盘结构，211防漏碗架，212碗，213刮说明书2/6 页4CN 116494263 A4食棒，214底座紧固螺钉。具体实施方式0036下面结合附图和实施例对本发明进行详细说明。0037本发明的助餐机械臂为5自由度构型，在机器人的5个自由度中，腰部关节、大臂关节、小臂关节的3个自由度实现空间位置的三个自由度的可达，而腕关节的2个自由度实现餐勺俯仰角度以及航向的控制，可以控制执行机构餐勺送至人口部。

14、前方，并正对于人口部朝向，且保证餐勺水平。0038本发明考虑关节所需的输出力矩与控制系统的稳定性，选择了DJI的M3508和M2006系列直流减速无刷电机，配套C610和C620两种FOC电机驱动器，FOC驱动器可根据电机转子位置控制定子电流，通过调制电流调整输出磁场方向，进而可通过控制电流大小输出恒定的力矩，输出力矩与电流有很好的线性度。0039本发明五自由度串联结构机械臂，每个关节使用带行星减速器的直流无刷电机，通过减速器输出轴直接联接连杆，测量输出力矩。0040本发明关节14使用相同的支撑方将电机固联在前序连杆上，通过轴承承载前后两连杆间的轴向与径向载荷，通过电机轴输出周向力矩，联轴器与。

15、电机轴通过D型轴孔配合，使用紧定螺钉紧固；联轴器与轴承通过小间隙配合；轴承与前序连杆通过小间隙配合，通过旋合螺钉实现轴向固定。0041本发明关节5由于载荷小，直接通过关节5电机输出轴连接连杆4与连杆5，承载轴向与径向载荷，同时输出周向力矩。0042本发明考虑加工的便捷性，机械臂连杆设计通过铝合金板材拼接，螺纹连接进行紧固。0043本发明为了避免运动过程中连杆2与连杆3产生干涉，设计了连杆3的特殊形状，详见附图1。0044本发明为了实现助餐机器人的精准控制以及掉电后的位置获取，在每个关节电机输出轴的末端设计了关节角度传感器模块，以避免电机减速器回差对于控制精确度的影响和掉电后的关节位置丢失。00。

16、45本发明中助餐机器人需要使用阻抗控制器进行主动柔顺控制，而阻抗控制器对于系统动力学模型准确度有较高的要求，因此进行了机械臂两岸的强度校核，详见附图5。0046本发明为了简化助餐机器人的使用，使得用户方便携带，将用户用餐所使用的餐盘一体设计在机器人底座上。0047本发明餐盘通过卡扣方式固定在底座上，方便根据不同的用餐需求更换餐盘，以实现不同的菜品排布。0048本发明使用的勺碗设计考虑了取食过程的需求。取食过程要求餐勺和碗可以相内切，因此餐勺末端曲率半径需小于碗内沿最小的曲率半径；通过形状设计，碗内沿最小曲率半径为35mm，餐勺末端曲率半径为32mm，符合功能要求；碗上设计了横置的刮食棒，在取食。

17、过程结束时，将餐勺由刮食棒下方进行刮食动作，以防止取食量过多导致送食过程中的食物泼洒，详见附图2。0049本发明应用关节阻抗控制器，使用分布式控制系统；其次，关节阻抗控制需要实时说明书3/6 页5CN 116494263 A5获取机器人关节角度信息，各关节需要安装合适的位置传感器。0050本发明的控制系统硬件平台通过分布式的控制器，与各关节编码器通讯实时获取机器人关节角度信息，运行阻抗控制器程序，计算各关节期望的输出力，并实时输出各关节的输出力矩信息到各关节电机的控制器。0051本发明的控制系统结构，主要包括3部分：运动控制器、编码器模块以及电机驱动器，如附图6。0052本发明的控制系统中，主。

18、要有上位机、运动控制器、关节编码器以及关节电机驱动器4个模块之间需要交换数据。0053本发明的运动控制器与关节编码器之间需要通讯交换关节角度数据，除了通讯之外，运动控制器还需要给关节编码器模块供电，为了实现更简洁的硬件连接，两者之间使用CAN总线通讯，使用串联方式各个编码器模块首尾相连，CAN总线通讯带宽为1Mbps。0054本发明的运动控制器是控制系统的核心，实现机器人路径插补、正逆运动学求解、逆动力学求解、柔顺控制器计算、外部通信、电源管理等功能；运动控制器需要为各关节电机、关节编码器模块提供电源，并且需要为自身运算电路供电，在电源部分的设计上，助餐机器人使用外接的24V20A电源适配器供。

19、电，通过运动控制器进行各电压标准的电源调整与输出。0055本发明的运动控制器需要安装在助餐机器人的底座内部，由于底座内部有较多结构部件，因此考虑控制器电路板与机器人底座结构的干涉问题，进行了ECAD与MCAD的耦合设计，如附图7。0056本发明为了解决关节位置的掉电保持问题，在关节电机输出轴上加装绝对值编码器，即使完全掉电也不会失位，易于维护，关节角度获取使用了一套嵌入式系统，通过嵌入式芯片读取编码器度数，经过换算后通过CAN通信方式将关节角度实时发送给运动控制芯片。0057本发明的编码器芯片选择磁编码芯片AS5047P，其具有14位的角度分辨率，并且内置了动态角度补偿功能，角度延时在5us以。

20、内，通过该磁编码芯片与径向磁铁的配合，可以实现0.02 的角度分辨率，通过编码器校准之后，可以达到0.1 的可靠角度精度。0058本发明的角度传感器模块预留了合适的安装孔，磁编码芯片严格布置在编码器模块的中心位置，在助餐机器人机构设计中，将角度传感器模块通过安装座安装在各关节电机减速器的输出轴端，与输出轴上安装的径向磁铁留有0.5mm间隙，详见附图8。0059本发明为了实现阻抗控制对机器人进行动力学建模，在机器人控制中，动力学方程可以通过解析解方式固化在程序中，也可以通过递推法实时计算机器人的动力学参数，为了降低运动控制器的运算压力，提升控制系统的实时性，本设计选择求解出动力学方程中各参数矩阵。

21、的解析表达式，固化在控制器程序中。00600061本发明的关节阻抗控制器的控制目标是通过解耦将关节等效成一个质点弹簧阻尼的二阶系统，控制目标如式：00620063本发明得到简化后的关节柔顺控制器说明书4/6 页6CN 116494263 A600640065本发明将控制器模型反代到机器人的动力学方程中，得到控制效果为00660067本发明实现给定的弹簧力效果以及阻尼效果，但惯性力效果不受控制，为与机器人构型有关的机器人实际惯性表现。0068本发明的阻抗控制器运动跟随性能良好，机械臂在运动过程中受到外力可以表现出良好的柔顺特性。0069本发明的力矩传感器选择10mm静态扭矩传感器S4002，通过。

22、该传感器获取各关节力矩信息并发送给电机，以实现主动柔顺控制。0070本发明通过单目摄像头获取人口部的位置和姿势信息。0071本发明的口部的识别包含于面部识别之中。先识别出人脸，再根据口部特征描绘出口部，从统计的观点，寻找人脸图像分布的基本元素，即人脸图像样本集协方差矩阵的特征向量，以此近似地表征人脸图像。0072本发明考虑到在送食过程中，餐勺会遮挡口部，所以使用机器学习的方法处理遮挡的问题，使用基于Swin transformer和GCNN的人脸识别特征提取算法，可以在部分遮挡的情况下识别出面部，并拟合口部特征，详见附图9。0073本发明在测量摄像头到人口距离时，基于相似三角形的测距方式实现的。

23、。对于投影在摄像头主平面上的宽度为W的物体，当其距离摄像头主平面垂直距离为D时，通过测量拍摄图像中物体的像素宽度P，通过测量得到焦距F之后，即可通过下述公式和F和W的值推算出目标物体平面距离摄像头主平面的垂直距离D。0074F(PD)/W0075本发明使用2D到3D进行映射变换实现口部姿态的估计。0076本发明2D特征点的3D位置通用人物的3D模型获得，使用类似相机标定的坐标转换，已知相机的旋转和平移向量，即已经标定好外参，相机坐标中的点可以通过标定的内参矩阵换算到图像平面(即图像坐标系)上，由此实现3D至2D变换。0077本发明通过深度相机正视餐食获取餐食的分布信息。0078本发明通过人工智。

24、能算法分析餐食分布信息，并对餐食进行分类。0079本发明在使用结构光测量餐食三维轮廓时，因为餐食的多样性与不规则性，将餐食分类别对点云进行滤波；首先讨论黏糊状餐食，类似于蜂蜜、稠粥等具有粘性特性的液态餐食属于黏糊状餐食，其特点是可以在餐盘中摊开，表面轮廓较为平整；在对黏糊状餐食的点云滤波时，考虑将离散的点云中偏离值较大的点云剔除，保留符合较光滑平面的点云，先使用直通滤波器过滤出餐食范围，再使用统计滤波器去除明显离群点。0080本发明在使用结构光测量餐食三维轮廓时，类似于蒜苔炒肉的丁状混合餐食，它包含两种及两种以上块状食物，其中食物的不规则排布会导致结构光的多次反射，影响光的传播时间，点云中会出。

25、现很多噪声，使用欧式聚类的方法，将这些噪声有效过滤。0081本发明根据先验知识，使用做差法可以减少系统误差，即通过餐食点云与餐盘点云做差的方法，可以得到以餐盘中心为坐标系的餐食分布，实现餐食的定位，减少可能存在的误差在于相机自身的深度图误差和相机外参标定的结果。说明书5/6 页7CN 116494263 A70082本发明中预取食点根据可采集食物进行加权计分，计分的权重是以每个位置si为中心的多元高斯概率密度，食物点云构成样本的协方差矩阵c。00830084本发明中机械臂从预取食点已一条弧线开始舀取食物，舀取后在刮食棒上滑动，刮去多余食物。0085本发明考虑到在助餐机器人的应用中，老人头部可能。

26、会发生移动，设计位置伺服系统，执行机构能够跟踪口部的运动，餐勺最终能送到使用者面前。0086本发明助餐机械臂在送餐时，人口部位置发生变化时，机器人的实时轨迹规划算法以固定时间实时轨迹规划，在多段轨迹相连之中使用多项式计算。0087本发明通过判断识别的口部姿势判断人的危险状态，吃饭时人在呛咳时会不自主地将头移向侧方，避免打喷嚏使脏东西溅到饭菜；吃饭时人在快速下低头为磕头状态，均为危险状态。0088本发明根据向量之间的夹角可以得到人头部晃动的幅值，人口部朝向发生突变，将口部朝向的移动角度和变化时间做除法，即可得到变化的幅度，识别出人的快速晃动即停止机器人工作，视为危险状态的急停。0089本发明考虑。

27、到吃饭过程中多次交互的复杂性与疲劳性，本智能助餐机器人创新性地提出自动模式。0090本发明自主助餐流程如附图10所示。0091本发明的自主助餐过程启动后，准备取顺时针顺序下一个餐格中的食物，视觉识别食物的分布，识别分布后计算取食的最佳位置，以此为机械臂取食动作的起始点，规划盛取轨迹进行取食，取食后在刮食棒处刮去多于餐食；之后根据识别的口部位置将食物送至嘴前，其中机械臂执行口部位置伺服，即口部运动仍能送食至口部，但当识别为危险状态时，停止送食过程；送至口部，人咬住勺子，关节阻抗控制器判断电流变化，可以识别人松开勺子的状态，当人松开勺子后两秒，机械臂退回并回到复位状态；在自主助餐过程中，准备取顺时。

28、针顺序下一个餐格中的食物；如果结束自主助餐过程，则机械臂回到复位状态。0092本发明的助餐机器人在触碰到人，受到来自侧方的力时，通过阻抗控制器判断力的大小，超过阈值则判断为危险状态。说明书6/6 页8CN 116494263 A8图1说明书附图1/6 页9CN 116494263 A9图2图3说明书附图2/6 页10CN 116494263 A10图4图5说明书附图3/6 页11CN 116494263 A11图6图7说明书附图4/6 页12CN 116494263 A12图8图9说明书附图5/6 页13CN 116494263 A13图10说明书附图6/6 页14CN 116494263 A14。