智能感知实验教学/创新开发设备构成如下:
1.传感器系统实验平台 GX-YCXC
2.智能感知综合实验平台(英伟达版) GX-AI-SP
3.FPGA综合创新电子教学实验平台 B-ICE-EDA/SOPC
4.AI多源融合感知与多模态交互实训机器人平台 GX-AI-MSMI
5.移动机器人自主导航应用开发平台 GX-AMR-BCBOT
附:前置学习实验教学平台(“感”“知”“控”)
- 电子与信号基础课程实验平台
- 控制与系统基础课程实验平台
▼产品1. 传感器系统实验平台GX-YCXS
传感器系统实验箱主要用于“传感器原理”“自动检测技术”“非电量电测技术”“工业自动化仪表与控制”“机械量电测”等课程的实验教学。采用的传感器大部分是工业结构,便于学生加强对书本知识的理解,并在实验过程中,通过信号的拾取、转换、分析,培养学生基本操作技能与动手能力。
一、产品特色
1、传感器的结构已从原理型转向工业检测传感器,传感器已由定性转向定量,有一定的精度,更便于计算机做实验的特性分析。
2、仪器配温度源等加热装置。整个仪器采用手提式箱式结构,便于运输和管理,实验完成后,便可将仪器收好封存。
3、各种公共源也可用于学生课程设计、毕业设计及进行一些开发性实验;电源及信号源设制有保护点路,确保学生在误操作后不会损坏设备并保证学生的安全。
二、实验箱组成
GX-YCXS传感器系统实验箱由主板、信号源、传感器、数据采集卡及处理软件等各部分组成。
1、主板部分
提供高稳定的±15V、+5V、±2V~±10V可调、+2V~+24V可调直流稳压电源;主控台面板上配备电压、频率、转速显示表;音频信号源(音频振荡器)1KHz~10KHz(可调);低频信号源 1Hz~30Hz(可调);气压源0-20kpa可调,计时器0~9999s,精确到0.1s;高精度温度调节仪表(控制温精度±0.5℃);RS232计算机串行接口;高精度调节仪表(控制温精度±0.5℃);支持热电偶、铂电阻等多种温度传感器输入,支持通用模拟电流/电压输入,支持频率、转速信号输入;显示精度:热电偶输入:PV 的±0.3%,铂电阻输入:PV 的±0.2%,模拟量输入:FS的±0.2%,采样周期:50ms,具有温度状态显示功能,具有独立加热和冷却 PID控制功能,具有变化的参数显示功能,显示屏亮度可设定,双显示屏:PV/SV 4位显示屏,具有电压输出控制功能,具有2路辅助报警输出,具有加热器断线控制功能。
仪表模块可向传感器外供5V、3.3V直流电压,仪表模块可设定小数点,满足测量精度,仪表模块报警设定值、功能参数设定值掉电不丢失,所测转速/频率达到报警设定值,继电器吸合或释放,仪表继续测量,多种继电器输出方式,继电器触点容量:AC250V/8A(阻性负载),继电器触点寿命:100000次,采样周期1秒;最高测量频率50KHz;采用数码管显示,显示范围:“0000”—“9999”支持万能输入(通过设置输入规格可变为热电阻、热电偶、 线性电压、 线性电流等), 输出有可控硅触发信号输出和线性电流输出(0~10mA(负载 500±200Ω), 4~20mA(负载 250±100Ω),或 0~5V(负载≥100kΩ), 1~5V(负载≥100kΩ)多种输入输出规格,具有人工智能调节以参数自整定功能;并能与 mcgs 连接和使用。
2、信号源(包括振动源、温度源、转动源)
加热源:0~220V交流电源加热,温度可控制在室温~1200℃,输出连续可调。
转动源:2~24V直流电源驱动,转速可调在0~3000转/分,输出连续可调。
振动源:振动频率1Hz~30Hz,共振频率12Hz左右,输出连续可调。
三、主要技术参数
1、传感器技术指标
应变传感器:金属应变传感器,量程0~500g,应变片阻值350Ω×4。
差动变压器:铁芯、初级线圈和次级线圈构成,量程≥5mm。
差动电容传感器:两组定片和一组动片构成,量程≥5mm。
霍尔位移传感器:线性霍尔片置于梯度磁场中,量程≥3mm。
扩散硅压力传感器:摩托罗拉集成扩散硅压力传感器,量程≥20kPa,极限压力 100kPa。
光纤位移传感器;Y 形导光型传感器,检出距离≥50mm。
电涡流传感器:多股漆包线与金属涡流片组成,量程≥3mm。
压电加速度传感器:双片压电晶体和铜质量块构成,谐振频率>10kHz。
磁电传感器;线圈和永久磁钢构成,灵敏度≥0.5v/m/s。
PT100:金属铂电阻传感器,0℃电阻值 100Ω,测温范围-200℃~850℃。
AD590:电流输出型集成温度传感器,测温范围-55℃~155℃,灵敏度≥1uA/℃。
K型热电偶:镍铬-镍硅热电偶,测温范围-50℃~1600℃。
E型热电偶:镍铬-康铜热电偶,测温范围-100℃~1000℃。
Cu50:铜热电阻,0℃电阻值50Ω,测温范围-50℃~100℃。
PN 结温度传感器:测温范围-50℃~120℃,灵敏度≥2.2mV/℃,线性误差≤1%。
气敏传感器:酒精敏感,测量范围50~2000ppm。
湿敏传感器:电容型湿度传感器,测量范围 1~99%RH。
超声波传感器: 超声波传感器TCT40-16R/T(直径16mm)标称频率(kHz)40kHz,测量范围10cm~100cm,测量精度±0.5cm
CCD传感器:线阵CCD传感器,1024像素。
2、主控单元(选配)
ARM 主控单元:
主控单元模块包括主控以 CORTEX-M3为内核的STM32F103VET6主芯片及其外围电路,3.5寸带触摸显示屏,各无线模块接口等等;15系列单片机STC15L2K60S2及其外围电路,蓝牙和ZIGBEE模块接口等。各无线数据传输模块均已接入到二者上面,包括主控单元模块上面的蓝牙模块(主机),ZIGBEE模块(A 端),和WIFI模块(与路由器连接)。数据采集单元模块上接有蓝牙模块(从机),ZIGBEE模块(B 端),分别可以和主控单元模块上的蓝牙模块(主机)和ZIGBEE模块(A 端)通信,主控单元的模块与数据采集单元的模块通过交互通信实现数据交换,最终结果可通过WIFI 发送到电脑终端。
蓝牙控制:
采用2.4GBLE 低功耗蓝牙模块,基于TI高效升级版本的8051内核,运行频率32MHz。模块内无程序,纯硬件模块可开发CC254X内部程序。最低可达1uA左右的睡眠功耗,平均工作电流最低可达 28mA。采用pcb天线,最远通信距离100米。
WiFi通信模块:
最高传输速率230400bps,TCP连接最大连接数>20,UDP连接最大连接数>20,工作温度-20~60℃,工作湿度10%-90%RH(不凝结)。
ZigBee 模块:
CC2530F256,无线频率2.4GHz,工作电压2V~3.6V,输出功率4.5dBm,使用STM32F103作为主控制器,完成传感器数据的采集与处理,利用WiFi模块可以将传感器数据上传到移动安卓等网络设备上,利用有线网、无线网等可以远程访问传感器数据;利用ZigBee模块组建无线传感网络。
无线传输模块:
可与android智能终端设备、PC互联互通,能将实验结果显示在智能终端或PC上,可通过智能终端或PC端软件进行参数设置和控制。
3、数据采集卡及处理软件
采样和控制软件:
提供labview连接数据库和提供组态连接数据驱动,两种软件都能够采集,配套检测所有传感器的信号和增强型模块输入和控制。13通道16位输入,最大钳位±20v。最小分辨率 1mv,连续最大采样频率100khz,曲线光滑。采样频率可选择1k、10k、200k,软件可配置。存储数据可以根据需要进行选择,量程自动切换。
所有传感器实验采样和控制软件用labview采集和控制。软件采集设置可分单步采样、定时采样、双向采样、与动态采样。在单步采样时可以以最小二乘法与端点法分析其最大非线性误差或最大迟滞误差,在动态实验时可以分析其输入波形的频率、振幅或转速。支持打印功能,实验结果在实验结束后即可打印出来。采集卡硬件具有程控放大功能,在测量小电压时分辨率为1mv。
传感器仿真实验软件:
利用虚拟连接导线、信号源、示波器、旋钮、智能调节仪等控件按照提示的实验步骤进行操作,仿真每个实验。在模拟实验的过程中,可以调节幅值/频率旋钮、测微头旋钮、温度/压力表按钮等来改变输出波形,也可以调节智能调节仪上的控件来改变设定值。实验过程的输出波形可在示波器上显示并保存。支持电源复位(所有的控件、按钮恢复初始状态)。软件能够完成34个传感器仿真实验。
三维传感器仿真演示软件:
产品说明:从理论上介绍传感器的原理。采用全3D虚拟仿真实现产品说明、零件展示、装配演示、原理展示,包括霍尔传感器、压电传感器、湿敏传感器、气敏传感器、电涡流传感器、磁电传感器、差动电容传感器、差动变压器等常用传感器。
四、实验项目
实验1. 金属箔式应变片单臂电桥性能实验
实验2. 金属箔式应变片半桥性能实验
实验3. 金属箔式应变片全桥性能实验
实验4. 金属箔式应变片单臂、半桥、全桥性能比较实验
实验5. 金属箔式应变片温度影响实验
实验6. 直流全桥的应用——电子秤实验
实验7. 交流全桥的应用——振动测量实验
实验8. 扩散硅压阻压力传感器的压力测量实验
实验8. 差动变压器的性能实验
实验10. 激励频率对差动变压器特性的影响实验
实验11. 差动变压器零点残余电压补偿实验
实验12. 差动变压器的应用――振动测量实验
实验13. 电容式传感器的位移特性实验
实验14. 电容传感器动态特性实验
实验15. 直流激励时霍尔式传感器的位移特性实验
实验16. 交流激励时霍尔式传感器的位移特性实验
实验17. 铜电阻温度特性实验
实验18. 磁电式转速传感器的测速实验
实验19. 用磁电式原理测量地震
实验20. 压电式传感器测振动实验
实验21. 电涡流传感器的位移特性实验
实验22. 被测体材质对电涡流传感器的特性影响实验
实验23. PN结温度特性实验
实验24. 电涡流传感器测量振动实验
实验25. 电涡流传感器测转速实验*
实验26. 光纤传感器的位移特性实验
实验27. 光纤传感器测量振动实验
实验28. 光电转速传感器的转速测量实验
实验29. 利用光电传感器测转速的其它方案*
实验30. 集成温度传感器的温度特性实验
实验31. 铂电阻温度特性实验
实验32. K型热电偶测温实验
实验33. E型热电偶测温实验
实验34. 对酒精敏感的气敏传感器的原理实验
实验35. 湿度传感器的实验
实验36. 主机监测单元
▼产品2. 智能感知综合实验平台(英伟达版)GX-AI-SP
一、产品概述
智能感知综合实验箱面向智能感知相关专业,集成了计算机视觉系统、语音处理系统、机械手臂、以及手势传感器、温湿度传感器、大气压传感器等多种嵌入式应用模块,通过搭建边缘计算终端,为智能感知以及AI相关专业的应用开发提供统一的通讯协议和接口。实验箱基于Linux操作系统,采用Python语言进行课程资源的开发,适用于智能感知、人工智能专业8门以上课程的教学和实践。
二、主要硬件参数
1、边缘计算终端
边缘计算终端采用NVIDIA公司的Jetson Orin Nano处理器,该处理器作为实验箱的核心模块,具备40Tops算力,预装Linux操作系统,部署所有智能产品模块所需的全部软件框架和SDK,并提供通用的通讯接口。
主要技术参数和特点如下:
(1)CPU:6核Arm Cortex A78AE v8.2 64位CPU 1.5MB L2 + 4MB L3;内存:8G;硬盘:256G;GPU:搭载32个TensorCore的1024核NVIDIA Ampere 架构GPU;显存:8GB 128-bit LPDDR5 102GB/s;连接:Gigabit以太网;显示:HDMI和DP;
(2)支持linux嵌入式操作系统,满足嵌入式操作系统教学;
(3)内置Python3.8以上版本的运行环境,满足Python、机器学习、深度学习的编程与AI教学;
(4)内置语音识别功能,满足语音+视觉+机器人的编程与教学;
(5)内置的AI算法库包括物体分类识别、目标检测、人脸识别、车牌识别、语音处理等,满足基础应用与开发教学;
(6)支持多种类计算机视觉、语音处理、机器人、复杂传感器与智能控制等关键技术的组合实验,可支持多种不同模块同时联动实验。
2、2D视觉系统
2D视觉系统采用一颗30万像素摄像头,可兼容ubuntu,linux和树莓派等操作系统。单独使用时,可对视野中的静态目标进行图像采集,进行基础的图像处理工作;与机器人协同使用时,通过视觉标定,可对机器人的动作进行引导,搭建机器人+视觉的执行系统,完成多种丰富的功能。
主要技术参数如下:
(1)摄像头:像素:30万;分辨率:640×480;90度广角摄像头;帧率:30fps;对焦方式:手动对焦;
(2)安装方式:支架式安装,支持折叠收纳。
3、深度视觉系统
深度视觉采用一颗100万像素深度体感摄像头,可兼容ubuntu,linux和树莓派等操作系统,兼容USB3.0接口协议,可进行深度信息感知、人脸识别与测距等。
主要技术参数和特点如下:
(1)分辨率:≥1280×720;输出帧速率:≥30fps;图像颜色:彩色;支持深度检测;
(2)支持对视野中的人脸进行识别与跟踪,并输出处理结果;
(3)支持对视野中的动态目标进行识别与跟踪,并输出处理结果;
(4)支持实时的脸部特征抽取,可对当前视野中出现的人脸进行实时分析,获取人脸的脸部特征数据。
4、语音识别单元
采用可编程式麦克风阵列模块,支持声音识别、交互智能语音识别、声源定位、波束成形等功能。麦克风阵列是由一定数目的声学传感器(麦克风)组成,可用来对声场的空间特性进行采样并处理的系统。由于在复杂的声学环境下,噪声与语音信号在时间和频谱上常常是相互交叠的,再加上回波和混响的影响,利用单麦克风捕捉相对纯净的语音非常困难,而麦克风阵列融合了语音信号的空时信息,可以同时提取声源并抑制噪声。
主要技术参数和特点如下:
(1) 即插即用,兼容win10、Linux系统;拾音距离:常规室内环境约2m,安静环境下最远可达5m;具备360°环绕拾取模式、声源定位功能;供电:5V;
(2)支持用户自定义指令,并控制机器人、视觉、传感器等组件执行指定的动作。
5、机械手臂
机械手臂采用STM32单片机进行运动控制,Open Source CV为图像处理库,主流的Jupyter Lab为开发工具,使用Python3为主要编程语言。计算机视觉系统可与机械手臂搭建“手眼合一”的机器人视觉系统,从而使得机器人更具灵活性。机器人不仅可以实现颜色识别跟踪与抓取,还能与人体特征识别互动,非常适合用于基础教学相关的应用实践。
主要技术参数和特点如下:
(1)基础参数:有效负载:≥200g;有效抓取范围:半径≥15cm;自由度:5自由度加夹持臂;
(2)支持逆运动学控制:通过分解机器人5个自由度的舵机运动控制,输入目标坐标计算各舵机的理论运动角度,结合舵机控制协议,可同时控制各个舵机运动;
(3)支持语音控制机器人运动,包括向上、向下、向左、向右、抓取物体等。
6、嵌入式传感器
嵌入式传感器主要由超声波传感器、人体检测传感器、温湿度传感器、心率传感器、气压传感器、数码管、蓝牙模块、陀螺仪、声音检测传感器、光线检测传感器等组成。每一个传感器均可与边缘计算终端连接,根据用户编辑的功能执行相应的动作。
7、显示屏
窄边框设计,屏幕尺寸≥17寸;1920×1080高清分辨率;IPS硬屏;钢化玻璃面板,99%RGB,178°广视角;接口:USB、HDMI、电源。
三、实验项目
1、Python程序设计(约64课时)
(1)数字类型、转换、运算
(2)Python运算符、内置函数、序列基本用法
(3)程序选择结构实验
(4)程序循环结构实验
(5)列表实验
(6)集合实验
(7)函数实验
(8)字符串实验
(9)正则表达式实验
(10)数据可视化
(11)Python的数据处理
(12)Python文件操作
(13)Python多进程
(14)Python多线程
(15)Python进程与线程的区别
(16)Python面向对象的理解
(17)Python类的使用与类的实例化
(18)Python实例化对象的使用
(19)Python类的继承使用
(20)基于Python的串口通讯
(21)基于Python的SocketTcp通讯
(22)基于Python的SocketUdp通讯
(23)基于Python的Modbus通讯
(24)PyQt5的环境搭建
(25)PyQt5的使用
(26)Qt Designer与PyUIC的使用
2、机器学习(约24课时)
(1)基于线性回归的波士顿房价预测
(2)基于K近邻算法的电影类型识别
(3)基于K均值算法的未知数据分类
(4)基于决策树的乳腺癌诊断
(5)AdaBoost电影数据集数据分类
(6)基于EM推理的双硬币抛掷模型验证
(7)基于朴素贝叶斯的垃圾邮件过滤
(8)基于随机森林的人脸识别系统设计
(9)基于支持向量机的动态行人检测
3、深度学习(约30课时)
(1)线性回归建模与应用——房价预测实验
(2)神经网络的模型构建与应用——服装分类实验
(3)神经网络正则化——服装分类优化实验
(4)神经网络参数优化——非线性函数极小值寻找实验
(5)基于神经网络的模型构建与测试实验
(6)基于残差网络的优化模型设计
(7)神经网络优化器——手写数字识别
(8)文本分类——京东购物分类
(9)基于LeNet手写数字体识别系统设计
(10)基于RNN歌曲自动编曲设计
(11)基于YOLOV5的目标检测模型训练
(12)基于Tensorrt加速的Yolov5模型部署(英伟达)
(13)基于ais_bench加速的om模型推理(昇腾)
4、数字图像处理(约20课时)
(1)图像之间代数运算
(2)图像操作之打码与解码
(3)图像的几何仿射变换
(4)图像空域滤波
(5)图像的频域滤波
(6)基于形态学的米粒检测
(7)基于Canny算法的图像抠图
(8)基于分水岭的图像轮廓分割
(9)基于Hu矩形状匹配
5、机器视觉(约40课时)
(1)视觉系统认知
(2)像素尺寸测量
(3)物体定位和角度测量
(4)边缘长度测量与面积检测
(5)物体颜色和形状识别
(6)条码和二维码识别
(7)OCR字符分割、训练
(8)OCR字符识别
(9)基于形态学处理的产品表面缺陷检测
(10)相机棋盘格标定
(11)基于opencv的车牌识别
(12)基于模板匹配的电子产品识别
(13)基于视觉的车牌识别
(14)基于视觉的条形码识别
(15)基于视觉的二维码识别
(16)基于视觉的物体形状颜色识别
(17)基于视觉的水果识别
(18)基于图像的NanoDet目标检测模型实践(英伟达)
(19)基于视觉的工件缺陷检测
6、深度视觉(约12课时)
(1)人脸检测与测距
(2)人脸检测与云台跟随
(3)人脸检测和识别
(4)口罩检测
(5)动态行人检测
7、嵌入式系统及应用(约24课时)
(1)智能传感系统认知
(2)Aduino编程环境的搭建
(3)oled显示实验
(4)人体雷达检测实验
(5)光照度检测实验
(6)心率检测仪实验
(7)超声波测距仪实验
(8)智能交通灯控制实验
(9)风扇调速控制实验
(10)基于陀螺仪的姿态体感云台控制
(11)基于蓝牙的智能安防系统设计
8、语音处理与传感器控制(约20课时)
(1)音频录制
(2)音频识别
(3)实时语音识别
(4)基于语音的智能传感器控制
(5)基于语音的机械臂控制
(6)基于视觉与语音的机械臂物体分类
9、基于视觉的机器人应用(约20课时)
(1)机械臂认知和基础操作
(2)机械臂示教和运动控制
(3)机械臂与视觉系统标定
(4)基于视觉的物体缺陷检测与分类
(5)基于视觉的水果种类识别与分类
(6)基于视觉的零部件尺寸测量与分类
(7)基于视觉的机械臂物体码垛
四、综合实训
1、机器人的控制
机器人主要由多路舵机和金属结构组成,通过对单个或多个舵机进行控制,运动到指定角度,即实现机器人的控制。机器人安装于底座上方,可在底座舵机的驱动下进行180°的旋转,机器人自身可在空间中执行任意点的运动,同时,机器人自带有夹爪,可完成对指定物体的抓取。实训中,通过对舵机和夹爪的控制,可操作机器人完成各种丰富的动作;
2、AI+视觉自动仓储
采用AI技术和计算机视觉技术,控制机器人进行仓库货物的自动分拣、整理。边缘计算终端中搭载深度学习算法,视觉系统对货物进行识别和分类,机器人对货物进行多个仓位间的搬运,或者对货物进行整理归位;
3、AI+语音货物分拣
利用设备集成的语音模块,用户通过语音指令控制机器人仓库货物的自动分拣、整理。边缘计算终端中集成语音识别功能,用户发出指令后,视觉系统和机器人联动,完成对货物的识别、分类、分拣的全流程动作;
4、基于AI的图象识别和抓取
基于边缘计算终端中搭载的算法模型,可进行物体识别与分类、电子产品识别、车牌识别、水果识别、OCR字符识别、产品缺陷检测等应用,并可控制机器人对不同种类的物体进行抓取和分类。
▼产品3. FPGA综合创新电子教学实验平台B-ICE-EDA/SOPC
一、产品概述
B-ICE-EDA/SOPC FPGA实验平台以其丰富底板资源与强大核心板(Cyclone V FPGA),通过完整覆盖从数字逻辑设计、IP核应用到基于软核的片上系统设计的全流程实验,使学生深度理解和掌握当前国际先进的电子设计流程与工程方法论,建立起完整的知识体系和调试技能。
基于平台配套实验,建立一个系统性训练体系,其核心建设目标分为三大能力培养层次:
夯实底层逻辑与电路设计能力:通过数字逻辑、时序电路、存储器、通用接口等基础实验项目,培养学生扎实的数字硬件描述与实现能力。
强化复杂系统综合设计能力:通过CPU设计、电子琴、自动售货机、信号发生器等综合实验项目,锻炼学生解决复杂工程问题和进行系统集成的能力。
培育高端嵌入式软硬件协同开发能力:借助平台的NIOS II软核及丰富的SOPC外设接口,通过μC/OS-II实时操作系统、DMA、高速数据采集等高级实验,重点培养学生的片上系统(SoC)设计与软硬件协同开发的核心竞争力。
二、硬件资源
1、B-ICE-EDA/SOPC平台底板资源:
- 主板采用6层板工业级标准精心设计,经过严格的EMI及信号完整性系统测试,确保主板高可靠、高速度
- 4X64Pin核心模块扩展接口:可实现SOPC、多核MPSOC、8/16/32位单片机等核心板叠加扩展
- IIC EEPROM/复位电路接口模块:板级3.3V工作电压
- 1路单脉冲正极性信号输出,1路单脉冲负极性信号输出:板级3.3V工作电压
- 4X4手机式键盘阵列接口模块
- 2x8 共16个LED 指示灯接口模块
- 10个独立按键输入接口模块
- 2x8 共16路开关信号输入接口模块
- 4个8x8点阵,构成16x16点阵动态扫描接口模块
- 8个带动态扫描共阳七段数码管接口模块
- 直流电机接口模块(16细分、测速模块)
- 4相步进电机接口模块
- PS键盘/鼠标接口模块
- RS232接口模块
- IRDA红外通讯接口模块
- USB2.0 /UART接口模块
- RS485接口模块
- VGA接口模块
- 2行x16字符LCD液晶屏接口模块
- 4.3″TFT彩色触摸液晶屏
- 1路8位高速并行PAR总线ADC,速度为50Msps,可选配8位75Msps ADC
- 2路8位高速并行PAR总线DAC,速度为125Msps
- SD卡接口模块
- CF卡接口模块
- 音频功放接口模块
- 24位立体声Audio codec接口模块:1路LINE-out、1路HP-out、1路MIC-in、1路LINE-in
- 1路扬声器接口模块
- 1路蜂鸣器接口模块
- SMBUS总线:数字温控传感电路接口模块
- Onewire总线:RTC实时时钟接口模块
- 手机摄像头接口模块:选配支持130万像素/320万像素
- 手机摄像头时钟源确省为12Mhz(可选配直插式有源晶振)
- 板级功能模块控制选择拨码开关:支持4位/8位
- 锁相环时钟输出接口模块:支持PLL/嵌入式逻辑分析仪
- 8路FPGA外扩接口模块(信号输出)I/O复用
- 8路FPGA外扩接口模块(信号输入)I/O复用
- 5寸IDE标准扩展接口模块
- 3寸/2.5寸IDE标准扩展接口模块
- 14路时钟源:0.5Hz/1Hz……24MHz接口模块
- 8/16位数字存储器扩展接口EM2模块:支持数据总线D0-D15,地址总线A0-A22,控制总线BnOE、BnWE、LOWER_BYTE、UPPER_BYTED、复位信号等,另加11个I/O用户自定义扩展电路
- 独立50个I/O用户自定义扩展板电路:支持3.3V/5V(TTL/CMOS电平),扩展板电源支持12V,5V,3.3V
2、GX-SOPC-5CEFA5 -M484核心板——硬件资源
- 核心板采用8层板精心设计
- FPGA:采用Intel(ALTERA) Cyclone V 5CEFA5,Les为77K,内嵌存储器为4460Kb,硬件乘法器为300个,最大等效门数约2300万门;新增DSP Block(150Block);也可以选择ALTERA Cyclone V 5CEFA7、5CEBA7、5CEBA5系列芯片。
- 2片x16/32Mb 16位总线FLASH芯片
- 2片x64/128Mb 16位总线SDRAM
- 2片x4/8Mb 16位总线SRAM
- 1个JTAG接口、1个AS接口
- 1个10/100/1000MB以太网口:支持RGMII接口方式
- 1个高速USB2.0接口:
支持USB to UART (RS232, RS422 or RS485)、USB to FIFO、USB to FT1248、USB to JTAG、USB to SPI、USB to I2C、USB to Bit-Bang、USB to Fast Serial Interface、USB to CPU target interface (as memory)、USB Instrumentation、USB Industrial Control、USB EPOS Control、USB MP3 Player Interface、USB FLASH Card Reader/Writers、USB Digital Camera Interface、USB Bar Code Readers、Set Top Box - USB interface
- FPGA配置模式:
串行:EPCS支持AS x1、 EPCQ支持AS x4(选配)
并行:FPPx16(fast)、FPPx16(standard)
- IIC EEPROM+专用复位芯片
- 1个配置电路:带串行EPCS16芯片或EPCS64芯片
- 4x64脚核心模块扩展接口可与其他SOPC板、ARM板、DSP板、单片机板与主板的无缝结合,并也可通过扩展口外扩存储器,既能实现数据的大容量存储,又能提高数据的存取速度
- 8个LED用户指示灯
- 1个配置按键,用于重新配置
- 1个系统复位按键,产生系统复位信号
- 4个多功能按键
- 电源电路
- 核心板可独立使用,也可上下叠加使用
三、配套实验资源、开发环境、系统支持
1、实验资源
(1)提供EDA实验教程指导书,包含数字逻辑电路设计类、时序电路设计类、存储器设计类、通用接口电路设计类、综合类实验项目,不少于50个实验。至少包含8-3优先编码器、补码生成器、十进制加减计数器、序列产生器、双口RAM、字符LCD液晶显示屏显示接口控制、彩色图形LCD液晶显示屏显示接口控制、PWM实现的DAC设计、USB通信、定制4X4键盘用户外设、I2C控制器接口的IP核应用、串行SPI控制器接口的设计、8位精简指令CPU设计、硬件FFT电路设计等基础实验,以及PS/2鼠标与VGA控制显示游戏、自动售货机、电子密码锁、数字电压表、AIC23语音采集处理系统、彩色液晶屏游戏控制等综合性实验项目。
(2)提供NIOS II基础与综合开发设计系列教程指导书,包含NIOS II开发设计基础入门教程篇(手把手学习)、NIOS II综合扩展开发设计实验教程篇(进阶学习)等。
提供构建第一个Plateform Designer “Hello World”实验系统、PIO IP核实验、PIO中断实验、串口IP核实验、定时器IP核实验、SDRAM IP核实验、EPCS IP核实验、自定义数码管IP核实验,以及创建第一个uC/OSII系统、任务管理与时间管理、信号量、消息邮箱与消息队列实验。
提供综合定制模块实验,配套每组综合模块定制操作流程,包含基础实验及各类外设实验,不少于30个。至少包含定时器实验、看门狗实验、PIO输出控制实验—流水灯控制、并行高速ADC实验、并行高速DAC实验、SMBUS总线-温度采集实验、七段数码管显示实验、SD Card接口实验、CF卡测试实验、4X4键盘实验、字符液晶显示实验、点阵LED模块显示实验、TFT液晶屏实验、触摸屏的测试实验、乐曲播放实验、步进电机控制实验等。
2、开发环境及操作系统支持
(1)操作系统:支持32位/64位WIN7、WIN10、WIN11操作系统。
(2)提供实验平台配套的软件开发环境,提供平台原理图、实验项目例程、EDA实验教程、NIOS II基础/综合开发设计实验教程。
▼产品4. AI多源融合感知与多模态交互实训机器人平台GX-AI-MSMI
一、产品概述
AI多源融合感知与多模态交互实训机器人平台是一款集成了移动机器人、视觉感知、语音识别和人机交互技术的产品,可在室内外环境中自由导航,可完成各种任务。平台拥有先进的视觉感知技术,能准确识别和跟踪人脸、物体和障碍物,确保操作的安全性和准确性。同时,它还具备强大的语音识别能力,能精准解读和理解人类语言,实现智能对话和指令执行。此外,机器人还可通过触摸屏、手势识别和语音交互等方式,与用户实现直观且自然的人机交互。
主要特色如下:
1、满足深度学习、计算机视觉、ROS操作系统、移动机器人控制、智能驾驶、自然语言处理、人机交互等课程或知识点的教学;
2、处理单元内安装ROS操作系统,支持机器人的运动控制,以及视觉、语音等各类人工智能框架的部署;
3、四轮独立悬挂,差速驱动,最大运行速度0.8m/s;最小转弯半径0.5m;
4、激光雷达测量半径30米,扫描频率8000Hz,可提供实时精准的地图构建基础数据;
5、提供深度视觉系统,可进行物体的距离测量和位姿分析,以及环境感知、行人识别、物体识别、自动视觉导航等功能;
6、强大的语音交互能力,机器人具备语音转文字、文字转语音能力;同时支持自定义专业知识库,用户可通过语音向机器人进行业务咨询;
7、交互系统具备跨模态能力,支持使用语音指令检索图像和视频信息,并对不同模态的关系进行建模。
二、主要硬件参数
1、系统性能
系统采用运动控制处理器与中央处理器构建双处理器模块,完成机器人任务规划与系统运动控制。内置Ubuntu操作系统,配置ROS机器人操作系统,通过ROS有效完成对机器人的多任务进行实时管理,同时提供通信、数据采集、人机交互以及外围传感器拓展的接口。
技术参数:
(1)硬件平台
外壳采用光固化工艺进行3D打印;尺寸:约700×550×400mm;自重:30kg;最大负载:40kg。
(2)电池及续航
锂电池容量:22.2V 20000mAh;充电时间:5小时;充电保护:过放、过充、短路、过压等多重保护;续航能力:4小时。
(3)运动特性
四轮驱动,独立悬挂,最大运行速度:0.8m/s;最小转弯半径:0.5m。
(4)车载安全防护
安装安全激光传感器:前后各1个,检测距离≥20m;转向指示灯:车体前后各2个;紧急停止按钮:2个。
2、运动控制模块
在机器人中用到很多控制器和外设,包括:处理器、激光雷达,STM32控制器,电机、编码器、双路驱动、蓝牙、PS2有线手柄、航模遥控、陀螺仪等,同时提供了串口1和CAN接口方便用户拓展控制,这些控制器与控制器,外设与控制器之间的连接如下图所示。
3、激光雷达和SLAM建图
激光雷达是一种采用非接触激光测距技术的扫描式传感器,通过发射激光光束来探测目标,并通过搜集反射回来的光束来形成点云和获取数据。这些数据经光电处理后可生成为精确的三维立体图像,能够准确的获取高精度的物理空间环境信息,测距精度可达厘米级;它犹如一双“眼睛”,让机器人拥有实时感知环境的能力。
本产品单线激光雷达,为机器人完成半径30米内的环境感知,雷达通过每秒8000次激光测距,可提供实时精准的地图构建基础数据。此外,系统采用光磁融合技术彻底解决了传统激光雷达因物理接触磨损导致电气连接失效、激光雷达寿命短的问题。
技术参数:
(1)最大测距范围:30m;扫描角度:0-360°;测量距离精度:±3cm;测量角度精度:0.36°;最大扫描频率:10Hz;
(2)支持基于ROS操作系统实现激光雷达的点云信息的输出和障碍物的检测。
4、视觉感知单元
本产品采用一台深度相机实现对环境信息的采集和分析。深度相机由于获取的信息量更多更丰富,采样周期短,受磁场和传感器相互干扰影响小,质量轻,能耗小,使用方便经济等原因,在很多移动机器人系统中受到青睐。深度相机是模拟人类视觉原理,使用计算机被动感知距离的方法,通过从两个或者多个点观察一个物体,获取在不同视角下的图像,根据图像之间像素的匹配关系,通过三角测量原理计算出像素之间的偏移来获取物体的三维信息。得到了物体的景深信息,就可以计算出物体与相机之间的实际距离、物体三维大小、两点之间实际距离。
技术参数:
(1)深度范围:0.15-10cm;深度误差:<2%(2m以内);深度图像分辨率:1280×800;深度视场角:H91°×V66°;彩色图像:200万像素;兼容ubuntu,linux和树莓派等操作系统;兼容USB3.0接口协议;
(2)支持进行视野中的动态行人识别与跟踪,并输出处理结果,或执行指定动作;
(3)支持进行视野中的交通标识识别与判断,并引导机器人执行转向、减速、停止等指定动作;
(4)支持采用深度相机进行三维地图的构建,并对环境中物体进行距离测量,并输出点云等相关信息。
5、语音识别单元
采用一对高保真音响和一个降噪麦克风,实现对语音的拾取和交互。降噪麦克风可有效屏蔽周边3米范围内的环境噪音,确保控制指令和语音交互信息的清晰拾取。
技术参数:
(1)麦克风:接口:3.5mm标准插头;供电方式:音频线携带;
(2)扬声器:喇叭规格:50mm×2;输入接口:3.5mm立体声输入;供电方式:USB DC 5V。
6、车载处理单元
车载处理单元采用体积小巧,外形紧凑的嵌入式计算机,预装Linux操作系统,集成Python、OpenCV等运行环境,以及产品运行所需的全部软件框架和SDK,支持2D视觉、深度视觉、移动机器人、协作机器人等硬件或应用的开发和学习。同时,支持大模型的本地部署。
技术参数:
(1)处理器:酷睿i7;内存:16G工控内存;硬盘:512G固态硬盘;显存:8G;网口:2个千兆网口;
(2)支持ROS系统和机器人控制算法,满足柔性控制、智能机器人系统教学;
(3)内置语音识别引擎,支持语音唤醒、语音合成、语音识别、对话系统等功能,满足语音+视觉+机器人的编程与教学;
(4)内置的AI算法库包括车道线识别、目标检测、行人识别、车牌识别、车型识别等,满足基础应用与开发教学。
三、实验(训)项目
1、ROS机器人操作系统(约24课时)
(1)ROS简介
(2)Linux系统与代码操作
(3)ROS功能包的创建及编译
(4)ROS的launch文件演示
(5)ROS话题通讯
(6)ROS服务通讯
(7)ROS参数服务器
(8)ROS激光雷达认识
(9)ROS导航的概念
(10)激光雷达SLAM建图
(11)ROS导航Navigation使用
2、移动机器人运动控制(约30课时)
(1)移动机器人认知
(2)ROS操作系统配置实验
(3)移动机器人基础操作实验
(4)激光雷达跟随运动目标实验
(5)激光雷达SLAM建图实验
(6)激光雷达SLAM导航实验
(7)利用陀螺仪进行上下坡辅助实验
(8)视觉跟随实验
(9)交通标志识别实验
(10)移动机器人自动导航实验
(11)手势控制移动机器人运动实验
(12)语音控制移动机器人运动实验
(13)移动机器人超声波避障实验
3、自然语言处理实验(约20课时)
(1)语音信号处理实验
(2)语音识别基础实验
(3)端到端语音识别实践
(4)语言模型实践
(5)语音唤醒实验
(6)语音合成前端数据处理
(7)端到端语音合成声学模型
(8)神经网络声码器
(9)词向量实验
(10)文本分析实验
(11)分词、词性分析实验
4、综合设计实验(约30课时)
(1)基于激光SLAM自主定位与导航
(2)基于深度学习算法的目标识别
(3)基于图像的目标检测实践(含车道线检测案例库、交通标志识别案例库、车辆检测案例库、行人检测案例库)
(4)车辆自动视觉导航
(5)基于深度学习的车辆安全行驶
(6)闲聊对话系统设计
(7)任务型对话系统设计
(8)车载语音交互系统设计
(9)跨模态人机交互系统设计
5、综合项目:智能驾驶 (选配)
▼产品5. 移动机器人自主导航应用开发平台GX-AMR-BCBOT
一、产品概述
以移动机器人为载体,配置视觉、激光雷达、语音、运动、超声波等各类传感器,使得机器人具备环境感知、路径规划、智能控制等多重功能。通过对该系统的应用与操作,可以帮助学生掌握机器人运动控制、姿态控制、传感器感知、自主决策等领域的相关知识与实践方法。
1.满足ROS操作系统、移动机器人控制、激光SLAM导航、传感器技术等课程或知识点的教学;
2.处理单元采用边缘计算终端,安装ROS操作系统,支持移动机器人的运动控制,以及各类人工智能框架的部署;
3.采用激光雷达,可进行SLAM地图的实时扫描,完成机器人在未知条件下的环境建模和路径规划;
4.提供视觉感知系统,可完成左转、右转、直行、停止、人行横道等多种交通标识的识别;
5.提供语音控制模块,可自定义语音指令,控制机器人根据指令内容做出相应的动作;
6.内置超声波传感器、运动传感器、温湿度传感器等多种传感器,可实现对环境信息的感知和输出。
二、主要硬件参数
1、系统性能
系统采用运动控制处理器与中央处理器构建双处理器模块,完成小车任务规划与系统运动控制。内置Ubuntu操作系统,通过ROS有效完成对机器人的多任务进行实时管理,同时提供通信、数据采集、人机交互以及外围传感器拓展的接口。
技术参数:
(1)硬件平台
尺寸:440×380×290mm;自重:5kg;最大负载:3kg。
(2)电池及续航
锂电池容量:12.6V 9000mAh;充电时间:4小时;充电保护:过放、过充、短路、过压等多重保护;续航能力:3小时。
(3)运动特性
麦克纳姆轮,全向移动底盘,最大运行速度:1m/s;最小转弯半径:0m。
2、运动控制模块
在机器人中用到很多控制器和外设,包括:处理器、激光雷达,STM32控制器,电机、编码器、双路驱动、蓝牙、PS2有线手柄、航模遥控、陀螺仪等,同时提供了串口1和CAN接口方便用户拓展控制,这些控制器与控制器,外设与控制器之间的连接如下图所示。
3、ROS操作系统
ROS操作系统内置于中央处理器内,通过RTOS完成系统任务调度与管理。具体任务调度管理流程如图所示。RTOS任务调度器根据任务的优先级决定任务的执行顺序,每个任务执行的时间很短,因此几乎等效于所有任务同时执行,期间如果发生中断则去响应中断。串口2中断用于APP蓝牙控制,串口3中断用于接收ROS传过来的信息。
4、激光雷达和SLAM建图
激光雷达是一种采用非接触激光测距技术的扫描式传感器,通过发射激光光束来探测目标,并通过搜集反射回来的光束来形成点云和获取数据。这些数据经光电处理后可生成为精确的三维立体图像,能够准确的获取高精度的物理空间环境信息,测距精度可达厘米级;它犹如一双“眼睛”,让机器人拥有实时感知环境的能力。
本系统采用国产激光雷达,为机器人完成测量半径12米内的环境感知,雷达通过每秒8000次激光测距,可提供实时精准的地图构建基础数据。此外,系统采用光磁融合技术彻底解决了传统激光雷达因物理接触磨损导致电气连接失效、激光雷达寿命短的问题。
技术参数:
(1)最大测距范围:12m;扫描角度:0-360°;测距分辨率:实际距离的1%;角度分辨率:0.9°;最大扫描频率:15Hz;测量频率:8000Hz;
(2)支持基于ROS操作系统实现激光雷达的点云信息的输出和障碍物的检测;
(3)支持基于Karto、Hector、Gmapping等几种算法进行学习,并完成高精度地图的构建;
(4)支持基于ROS导航功能包Navigation Stack下的定位与路径规划。
5、视觉识别系统
视觉识别系统采用一颗200万像素网络摄像头,可兼容ubuntu、linux和树莓派等操作系统。与移动机器人协同使用时,可实现对视野中的环境信息的成像、分析和判断,并根据判断结果对机器人的动作进行引导,如减速、转向、直行等,从而完成多种丰富的功能。
技术参数:
(1)分辨率:1920×1080;视觉范围:80.3°×50.8°;视频帧率:30fps(1280×720);
(2)支持进行视野中的动态行人识别与跟踪,并输出处理结果,或执行指定动作;
(3)支持进行视野中的交通标识识别与判断,并引导机器人执行转向、减速、停止等指定动作。
6、姿态与环境传感系统
姿态与环境传感系统主要由陀螺仪、超声波传感器、行人检测传感器、温湿度传感器、气压传感器、声音检测传感器、光线检测传感器等组成。每一个传感器均可与车载处理终端连接,根据用户编辑的功能执行相应的动作。
技术参数:
(1)配置三轴加速度传感器,可测量维度:加速度、速度、角度、角速度等,陀螺仪测量范围:±200°,加速度测量范围:16g,角度范围:X和Z轴±180°,Y轴±90°,通信:串口TTL;
(2)配置超声波传感器、行人检测传感器、温湿度传感器、气压传感器、声音检测传感器、光线检测传感器,可以对障碍物、运动目标、环境温湿度、用户的呼叫指令等多种信息检测监测,并实时响应;
(3)可以监测机器人的位姿等信息,包括行进速度、电池电量、是否侧翻、受力情况等,并输出相关信息。
7、车载处理单元
车载处理单元采用NVIDIA公司的Jetson Nano处理器,该处理器作为移动机器人的核心模块,预装Linux操作系统,部署所有智能产品模块所需的全部软件框架和SDK,并提供通用的通讯接口。
技术参数:
(1)处理器:64位四核CORTEX-A57;GPU:128核MAXWELL;内存4GB LPDDR,板载存储128GB以及USB3.0接口、Micro USB接口、HDMI接口、RJ45接口、电源接口等;
(2)支持linux嵌入式操作系统,满足嵌入式操作系统教学;
(3)支持ROS系统,满足智能机器人系统教学;
(4)内置Python3.5以上版本的运行环境,支持用Python语言进行机器人运动控制、视觉系统的图像采集和识别、传感器控制技术的的编程与教学;
(5)内置的功能应用包括机器人对环境光照度的感知、机器人避障循迹、机器人的速度和姿态等状态获取、机器人视觉识别、机器人运动控制等。
三、实验(训)项目
1、ROS机器人操作系统(约24课时)
(1)ROS简介
(2)Linux系统与代码操作
(3)ROS功能包的创建及编译
(4)ROS的launch文件演示
(5)ROS话题通讯
(6)ROS服务通讯
(7)ROS参数服务器
(8)ROS激光雷达认识
(9)ROS导航的概念
(10)激光雷达SLAM建图
(11)ROS导航Navigation使用
2、移动机器人运动控制(约30课时)
(1)移动机器人认知
(2)ROS操作系统配置实验
(3)移动机器人基础操作实验
(4)激光雷达跟随运动目标实验
(5)激光雷达SLAM建图实验
(6)激光雷达SLAM导航实验
(7)利用陀螺仪进行上下坡辅助实验
(8)视觉跟随实验
(9)交通标志识别实验
(10)移动机器人自动导航实验
(11)手势控制移动机器人运动实验
(12)语音控制移动机器人运动实验
(13)移动机器人超声波避障实验
3、移动机器人传感器感知(约20课时)
(1)智能传感系统认知
(2)Arduino编程环境的搭建
(3)OLED显示
(4)温湿度检测
(5)气压检测
(6)声音检测
(7)光照检测
(8)人体雷达检测
(9)超声波测距仪
▼附:前置学习实验教学平台(“感”“知”“控”)
实验教学设备:电路分析、模电、数电实验
作用:学习如何设计传感器外围电路、信号放大与滤波电路、ADC/DAC转换电路。
实验教学设备:信号与系统、数字信号处理课程
作用:极其重要的专业基础课。学习时域与频域分析、傅里叶变换、拉普拉斯变换。这是后续学习“数字信号处理”、“语音感知”和“通信原理”的绝对前置。
实验教学设备:电磁场与电磁波
作用:为射频传感器、微波雷达、光电传感器的学习提供理论支撑。
实验教学设备:嵌入式微控制器系统基础:
理解CPU如何工作,学习GPIO、中断、定时器以及I2C/SPI/UART等总线协议,这是后续“传感器数据采集实验”的前置。
实验教学设备:自动控制原理
作用:学习传递函数、PID控制、状态空间方程。这是后续机器人运动控制、无人机姿态控制以及导航算法的基础。