人工智能&具身智能实验室方案由四足机器人开发套件、灵犀X2教育版人形机器人开发套件、具身智能虚拟仿真软件组成。

【人工智能四足机器人开发套件】
系统融合了人工智能技术+具身智能技术+大模型技术+强化学习+嵌入式系统技术技术；通过丰富的基础实验和项目案例，实现从人工智能全栈基础学习到应用实践的完整过程。
“虚拟仿真+硬件”双平台创新教学模式
虚拟仿真教学优势：双平台协同发力，构建起“原理学习—虚拟调试—实物实操”的完整教学闭环，真正打通从算法理论到实际机器狗开发的全链路，让教、研、学更具针对性和实效性。
硬件端：姿态丰富的智能机器狗教学平台，可全面适配教学、科研、实训等多元教学场景，为师生提供真实可操作、可探索的实践载体，夯实实践教学基础。 
虚拟仿真端：以硬件为原型，1:1精准还原机器狗的结构形态、动力学特性及传感器参数，采用与实物完全一致的通信协议，开创性实现虚拟仿真与实物设备的无缝切换。此举将原本抽象难懂的核心原理，转化为可交互、可观察、可调试的可视化开发学习工具，让原理教学更直观、更高效，助力师生快速吃透技术核心。
一、硬件资源
1.铝合金板件1套
2.关节舵机：
1）有效旋转为-120度到120度；
2）转动速度0.19sec/60°；
3）转动扭矩19.5kg.cm。
3.嵌入式AI运算单元：
1）四核Cortex-A76处理器架构，主频2.4GHZ；
2）内存为LPDDR4X，8G；
3）支持TensorFlow/PyTorch等框架网络模型；
4）128GB 存储；
5）两路HDMI端口；
6）802.11ac2.4GHz/5GHz双频Wifi&蓝牙5.0低功耗(BLE）；
7）2xUSB3.0，2xUSB2.0。
4.AIDOG头部：
1）离在线语音模块：两路麦克风，两路2W喇叭，在线识别通信到AI运算单元，离线模块采用 RISC 并集合 DSP 指令集，实现FFT加速器。实现离线的语音唤醒，并结合大模型实现语音识别、大模型理解、语音合成等实现对话能力。
2）2.8英寸显示终端。
3）显示终端驱动板
5.驱动模组
1）DC-DC单元；
2）加速度传感器；
3）内置蜂鸣器单元；
4）ARM Cortex-M4核心板，片内1MB的 Flash，196KB的SRAM。
5）提供一键启动复位按钮。
6.双目摄像头：105度高清无畸变，USB免驱，支持手动调物距，可实现双目同步/识别/标定测距/深度检测，移动式摄像头，方便实现标定、跟踪等学习。
7.12V/3000mA动力锂电池；
8.PS2手柄：可实现按键控制以及摇杆控制四足机器人运动。
9.激光雷达：三角测距原理，360度扫描，0.92度分辨率，每秒2300次测量，扫描频率6Hz，测量半径25米。
10.嵌入式操作系统：搭载64位Ubuntu20.04，Python，TensorFlow、PyTorch、ROS。
二、实验资源
1、提供Python实验：模块与包、异常处理机制、迭代器与生成器、正则表达式、装饰器、文件操作、多进程、多线程、协程、网络的基础知识、网络编程
2、基于PyTorch人工智能开发
1）Numpy数组实验：Ndarray数组、线性代数等
2）PyTorch基础实验：PyTorch基础--Tensor张量、PyTorch基础--自动微分机制、PyTorch基础--动态计算图、PyTorch基础--神经网络介绍等；
3）数据集定义与加载实验：PyTorch内置数据集的加载、PyTorch自定义数据集加载、GPU的使用等；
4）数据预处理一图像实验：PIL的基本使用、cv2的基本使用等；
5）神经网络的搭建实验：搭建LeNet神经网络模型等；
6）训练与保存实验：初始化和导入模型、定义损失函数和优化器、启用梯度使用CUDA加速、训练过程可视化等实验；
3、基于PyTorch的机器学习算法原理与实践实验
1）机器学习算法原理实验：KNN算法、数学的方法实现KNN算法、前向传播与损失函数、反向传播的学习率与梯度下降、自求导线性回归、基于框架的线性回归、数学的方法实现线性回归、曲线拟合、激活函数及其导数、逻辑回归、基于框架的逻辑回归、支持向量机、贝叶斯分类、贝叶斯多分类、K均值聚类、数据降维、隐马尔科夫模型、决策树与随机森林等实验；
2）机器学习算法：基于线性回归预测销量、基于逻辑回归实现对鸢尾花多分类、朴素贝叶斯基于SVM完成手写数字识别、基于决策树与随机森林完成对汽车的评测、基于隐马尔科夫的股票预测、基于PCA的数据降维等实验；
4、基于PyTorch的深度学习原理与实践实验
1）深度学习算法原理：全连接与链式求导法则、优化器与优化方法、深度学习线性回归、深度学习曲线回归、深度学习分散簇分类、深度学习圆环分类、深度学习月牙分类、计算机眼中的图像、卷积为什么能识别图像、池化为什么能提取特征、多通道卷积与偏置过程等实；
2）经典神经网络：LeNet-5、AlexNet、VGGNet、GoogLeNet、ResNet、MobileNetV1、MobileNetV2、MobileNetV3等实验；
5、图像处理与计算机视觉实验：图片颜色识别、图像噪点消除、图像梯度处理、图像边缘检测、绘制图像轮廓、凸包特征检测、图像轮廓特征查找等实验；
6、自然语言处理实验：基于RNN的风电功率预测、RNN的梯度消失和梯度爆炸、Word Embeddging词嵌入、Word2Vec、Word2Vec优化、soft-attention、绝对位置编码、Layer-Normaliaztion、Attention中的mask、Transformer等实验；
7、综合项目
1）自然步态行走项目
结合加速度传感器，实现机器狗的Trot步态、Trot步态原地踏步、Walk步态、PS2手柄控制四足机器人运动；
2）语音控制
支持语音自由对话，识别用户语音输入内容，实现Agent智能体调用并执行相应的语音指令动作。
3）场景理解
通过视觉大模型，AIDOG能理解视野内的场景信息，并输出文本与语音反馈。
4）多模态大模型智能助手应用：
结合离线的语音唤醒、大模型的语音识别、LLM语义理解、语音合成等能力，实现自动的语义理解，触发对应的多Agent或VLM多模态大模型，实现机器狗的多模态对话与摄像头画面理解；
5）主人跟随
通过双目摄像头结合算法实现主人的距离检测，通过YOLO实现主人的位置检测，实现跟随任务；
6）手势理解与跟踪
根据手势的不同，机器狗可以做出不同的动作。
7）人体骨骼检测
基于人体骨骼检测算法，实现四足机器人可以做出相应的动作。

【灵犀X2教育版人形机器人开发套件】
本系统以灵犀X2全智能灵动人形机器人为核心载体，深度融合人工智能技术、具身智能技术、大模型技术、强化学习、嵌入式系统技术及物联网技术。通过机器人本体丰富的多模态硬件、开放的软件开发套件（SDK）及配套的仿真与开发工具，支持从基础教学、算法研究到复杂项目实践的全栈式学习与开发流程，实现从理论认知到具身智能应用的完整闭环。
一、硬件资源
1、机器人本体结构：
1）全尺寸人形机器人，身高约130cm，整机重量约33kg。
2）高自由度设计：全身自由度≥40 (DOF)，包含头部（2 DOF）、手臂（2 * 5-7 DOF）、腰部（1-3 DOF）、腿部（6 DOF * 2），支持复杂、灵动的拟人化动作。
3）坚固耐用：结构设计适应教学实验室、科研环境等多种应用场景。
2、嵌入式AI运算单元：
1）采用多核心处理器，处理器型号为RK3588：四核Cortex-A76+四核Cortex-A55架构，集成Mali G610 3D 四核GPU；
2）支持INT4/INT8/INT16/FP16混合运算；
3）6TOPS的NPU运算能力；支持TensorFlow/MXNet/PyTorch/Caffe等一些列的框架网络模型。
4）8GB DDR3内存；
5）32GB eMMC；
二、实验资源
1、操作系统： 预装或支持安装 Ubuntu  (64-bit)，适配机器人开发环境。
2、AI框架支持： 预装或支持 TensorFlow, PyTorch, PaddlePaddle 等主流深度学习框架。
3、机器人操作系统： 预装或支持 ROS/ROS2，便于机器人算法开发与系统集成。
4、软件开发套件 (SDK)：
5、丰富的API接口，支持对机器人的运动控制、多模态交互、感知数据获取、任务规划等进行二次开发。
6、实验案例：内置或提供上百个实验案例，包括但不限于：
1）基础交互：语音对话、表情控制、触摸反馈。
2）计算机视觉：人脸检测、物体识别、手势识别、双目测距。
3）运动控制：步态生成、舞蹈编排、机械臂（上肢）控制。
4）导航定位：SLAM建图、路径规划、自主导航。
5）多模态应用：结合视觉、语音、动作的综合任务。
6）强化学习：基于仿真环境的机械臂抓取任务。
7）大模型应用：人机对话、任务规划、知识问答。

三、其他资源
1、在线课程视频权益：包括线性代数与数据挖掘、Python数据结构、视觉项目实践、概率论与统计、机器学习算法原理与实践、深度学习基础与实践、卷积神经网络、循环神经网络原理与应用、Transformer基础与网络搭建、语音了解与基础、工业流水线产品分拣与目标检测精讲、基于人脸识别的身份验证系统、大模型的部署与应用基础、分布式与混合精度训练-训练GPT、大模型的微调与量化等。
2、题库权益：涵盖客观题、主观题、编程题。具有练习模式、背题模式，有错题集、收藏夹功能，并且可以自行根据不同的知识点组卷，进行自我测评，同时还可以分享试卷，让他人进行测评，他人测评后可查看测评记录，测评由大模型自动判卷，自动分析错误点与进行打分。