申请号：CN202111066753.9

申请人：人工智能与数字经济广东省实验室(广州) | 西安电子科技大学广州研究院

专利权人：人工智能与数字经济广东省实验室(广州) | 西安电子科技大学广州研究院

申请日：2021-09-10

授权日：2023-10-17

专利类型：发明

法律状态：授权

发明人：石光明 | 张凡 | 李旭阳 | 谢雪梅

摘要：本发明公开了一种应用于机器人交互的多模态数据处理方法，其中方法包括获取目标视觉信息数据，并获取目标触觉信息数据；基于多模态数据融合模型对所述目标视觉信息数据和所述目标触觉信息数据进行融合处理，得到融合后的指令信息数据，其中，所述多模态数据融合模型通过对能够反映机器人动作指令的视觉信息样本数据和触觉信息样本数据进行训练得到；识别所述指令信息数据，输出所述指令信息数据至与所述指令信息数据相关联的机器人的动作构件中。本发明实施例提供的应用于机器人交互的多模态数据处理方法，通过对视觉数据和触觉数据进行多模态的融合，提高了数据处理的精度，推进了机器人的智能化进程。

摘要附图：