一、成果简介

简介：

    实验室以所提出的情感与认知大模型为理论核心，依托先进的自研精细表情识别、注意焦点分析、生理指标检测、大模型理解分析等技术，已经使机器人拥有情绪状态识别、注意认知评估、身心健康监护等能力，并正在优化智能机器人对人类进行个人性格分析、决策风格推演等任务。其中，精细表情识别技术通过识别面部动作单元实现，相关研究在IROS 2021&RAL、MULTIMEDIA、AAAI等国际会议与期刊上发表；注意焦点分析技术利用视觉信息在自由场景中识别人类注意(视线)目标、分析眼动特征、判断用户认知及注意状态，荣获ICAA 2019最佳论文，并在SMC 2023发表文章；生理指标检测技术通过视觉信号识别心率及呼吸频率，并进行细节分析，进一步计算心率变异性HRV，分析心理变化，获得ICAA 2018最佳论文；大模型理解分析技术基于大语言模型构建灵活层次化架构，目前已承接“北京大学科研GPT设计及未来应用部署”、“人工智能嵌入的慢病防治科技创新情报技术研究”等项目。实验室的模型、技术及原型产品可以应用于养老陪护、金融、安全等重要领域。

    实验室发表国际优秀论文80余篇，其中多篇论文在AAAI、IROS、ACM MM、ICAI、ECCV等国际一流会议及国际一流期刊IEEE TC、IEEE TMC、IEEE TWC、IEEE TCAD上发表；一篇论文在移动计算与无线网络领域排名第一的国际顶级学术会议MobiCom'17上获得最佳学术社区论文奖(Best Community Paper Award，表彰在该领域的学术社区做出了突出贡献)，多篇论文获得国际学术会议最佳论文奖；实验室已获授权24项发明专利、7项外观设计专利、4项实用新型专利。

   实验室在情感与认知智能系统及机器人研发初见成效，取得业界较大关注，代表北京大学在各类汇报、会议、展览中进行展示；实验室积极推进科研成果有效落地，与多家企业共建联合实验室；助力“渔省心”项目荣获浙江省数字化改革第一批“最佳应用”等；实验室已获得多封来自政府、机关的感谢信。

   实验室与国家地方共建具身智能机器人创新中心共建北大-国地共建具身智能机器人创新中心情感智能应用联合实验室，主要研发、探索、实践以及展示承载情感智能技术在人形机器人上的应用。北京具身智能机器人创新中心发布的具身智能服务机器人“天轶”，搭载了具身智能情感大模型，其中的情感模型源于ACIR实验室研发的情感与认知技术，通过该技术赋能，“天轶”可以对人类情感进行反应。

可对外演示：

   爱瑟尔是一款情感伙伴仿人机器人，搭载了生理指标检测、人脸识别、语音识别、大语言模型等算法。爱瑟尔具备视觉、语音交互和运动操作能力，能够观察、倾听、表达、行动，与人进行交互活动，可具备琴棋书画、迎宾导览、家庭服务等功能。

 小翅膀是一款高度集成的教学实验智能机器人平台，基于ROS2构建，集成了大规模语言模型技术，实现了先进的感知和认知能力。小翅膀采用多模态融合方法，结合深度学习驱动的人脸识别和声源定位技术，显著提升了人机交互的自然度。其开放式架构为人工智能、机器人学和人机交互领域的创新研究提供了理想的测试平台，同时为学生提供了一个全面的实践学习环境。

   眼神打成语小游戏展示了机器人利用摄像头精准识别用户视线方向的能力。算法首先利用普通彩色摄像头捕获的眼部外观图像进行视线方向识别，然后通过视线方向与屏幕平面的交点获取视线在屏幕上的落点，从而判定用户正在注视的字。在每一关游戏中，用户通过注视依次锁定组成成语的字。打出正确的成语，则游戏胜利。

二、应用领域和市场前景

    应用领域：具身智能机器人、情感智能机器人，心理状态分析，情感状态分析

    市场前景：在未来的生活中，情感与认知智能机器人将不可或缺，在家庭、安全、教育、商业、健康、文旅等领域中都将发挥重要的作用，成为人们的生活管家、工作助理、情感伙伴。

三、合作方式

    合作开发、技术服务及咨询、技术许可

对接方式

1.合作意向方联系北京大学计算机学院产学研合作办公室；

2.产学研合作办公室沟通了解意向方情况；

3.会同成果完成团队与意向方共同研讨合作方案。

北京大学计算机学院产学研合作办公室

邮箱：hecheng1213@pku.edu.cn

未经授权，请勿转载