多模态机器人大模型与双臂协同系统平台设备更新方案
一、更新的理由、目的、意义及效应
1.满足高校在机器人技术领域的教学和科研需求。
随着人工智能和机器人技术的快速发展，具备先进技术和多功能集成的设备已成为教育和研究的重要组成部分。该产品不仅配备了两台协作机械臂和末端深度视觉系统，还在处理器中部署了大模型，能够提供强大的计算能力和智能化功能。
2.通过直观展示机器人技术的核心原理，增强学生的理解和兴趣，提升教学质量；学生可以通过编程课程学习如何操控机械臂完成各种任务，培养实际操作技能；研究人员可以利用系统的强大计算能力和智能决策功能进行算法优化、运动规划等前沿研究，促进科研创新。
3.先进的设备和技术将促进机器人及相关领域的学术研究和发展，推动学科进步；通过高质量的教学和科研活动，培养出更多具有创新能力的人才，且有助于吸引企业参与产学研合作，共同推动技术创新。
4.提高教学效果，学生的学习积极性和动手能力显著提升，理论知识与实践技能相结合；研究人员在前沿领域取得重要进展，发表高水平论文，申请专利；研究成果应用于实际生产中，推动相关行业的技术进步和产业升级。

二、平台更新方案简述
该产品专为高校的教学和科研活动设计，由两台协作机械臂和末端深度视觉系统组成，并在处理器中部署了大模型，能够实现精准控制和智能决策。产品在教学方面可以帮助学生直观理解机器人技术的核心原理，通过编程课程学习操控机械臂完成特定任务，培养实际操作能力和创新思维。在科研领域，研究人员可以利用其强大的计算能力进行算法优化、运动规划等探索，推动机器人技术的进步。双臂协同工作模式提高了复杂任务的效率，而深度视觉系统则增强了机器人对环境的感知能力，使其适应更加灵活的工作条件。

三、平台功能及技术参数 （date202503）
1.系统由平台、机器人、视觉、语音、大模型服务器等设备组成，尺寸不超过1.6m×1.2m，方便教师开展教学实践；
2.平台底座为金属材质、封闭式结构，所有电源转换模块、IO模块，以及各类控制系统，均为内置式安装，保证教学使用安全；
3.深度视觉：深度相机：深度流输出分辨率≥1280×720；深度流输出帧速率≥30fps；RGB传感器分辨率≥1920×1080；RGB传感器帧速率≥30fps；
4.协作机械臂：轴数≥7；最大负载≥3kg；工作范围≥700 mm；重复定位精度≤±0.5mm；数量为2台；
5.深度相机：数量为2台，分别安装于协作机械臂末端；
6.协作机械臂需配套提供无线遥操作手柄，可实现不短于30m距离的远程无线控制，用于机械臂的动作示教与学习；
7.无线遥操作手柄内置陀螺仪，可实时将陀螺仪的空间姿态同步给机械臂末端，从而通过手掌的空间姿态变化对机器人进行同步控制
8.提供语音识别模块，具有如下功能：具有语音唤醒功能，能够通过语音唤醒机器人；具有语音识别功能，能够识别语音的输入及显示结果；具有语音合成功能，能够完成语音的合成并播放；具有语义理解功能，能够对输入的语义完成语义理解；具有语音交互功能，可以完成与机器人进行对话；具有语音控制机械臂抓取物体功能，可以完成通过语音输入，相机进行物体识别，控制机械臂完成物体的抓取；
9.运算单元：CPU i7以上；显卡12G以上显存；内存32G以上；硬盘1T以上；
10.需部署AI大语言模型，无需联网，支持在本地进行复杂语音和文本指令的识别和分析；
11.AI大语言模型需具备如下三种能力：深度学习能力、自然语言处理能力、自主学习能力；
12.支持多模态语境下的物体抓取，机器人可自主进行指令分解，生成动作规划，合成为需要执行的动作逻辑，并最终完成物体的抓取；
13.提供Agent智能体控制机械臂运动实践项目：通过在服务器中部署轻量化大模型，配置Agent体，可通过语音指令和智能体进行交互，并最终控制机械臂的运动。

四、配置预算
略