1. 机器人与机器视觉应用实训室整体规划
机器人与机器视觉应用实训室主要分为基础实验教学区和综合创新应用实训区两部分。基础教学区主要开展机器视觉基础、计算机编程、机器人编程、视觉抓取等基础知识及应用。综合创新应用实训区主要用于开展机器人与机器人视觉在3C电子、集成电路、食品医药、汽车智造、智慧物流等领域的综合应用实训及创新开发。理论基础、硬件支撑、算法架构、实践应用。
2. 机器人与机器视觉应用实训教学框架
机器人与机器视觉应用实训教学框架主要由“空间规划+一体化教学平台+基础教学+综合实训应用+课程资源+竞赛培训交流”六部分组成。
(1)空间规划
实验室环境建设设计主要包含机器视觉发展历程、机器视觉知识图谱、AI视觉行业典型应用等知识展板。
(2)一体化教学平台
机器视觉教学平台是一款兼容基础python视觉识别模块、工业视觉平台和基于开源OpenCV计算机视觉的三合一视觉教学平台,同时平台可适配多种机器人执行机构(包括三轴机器人、四轴机器人、六轴机器人)。教学平台可作为独立单元开展机器视觉相关课程教学,同时可应用于多领域场景开发,部署灵活。
(3)基础教学
基础教学内容包含python编程基础、机器人编程与控制、机器视觉基础、机器人与机器视觉坐标标定;基于工业视觉平台的视觉定位、测量、识别、检测等项目案例;基于OpenCV开源计算机视觉库的实物分拣、目标识别、视觉引导装配等项目案例。
(4)综合实训应用
综合实训应用主要包括基于机器人与机器视觉在3C电子、智慧物流、集成电路、食品医药等领域的微型桌面实训台,操作安全、部署灵活。综合实训应用可以真实再现字符识别、缺陷检测、目标分类、动态抓取、仓储入库等协同控制等应用场景,加深学生对机器视觉在行业内应用的认识。
(5)课程资源
课程资源主要包括Python视觉编程基础、机器视觉教材、机器人编程与控制基础、基于工业视觉算法平台的项目案例实验指导书、基于OpenCV的机器视觉项目案例实验指导书及综合实训工作站实验指导书。
(6)竞赛培训交流
竞赛交流是考验学习与团队协作能力的有效途径之一,机器人与机器视觉套件可参加国内及国际多项机器人与人工智能类赛项。
3. 机器人与机器视觉应用实训室建设目标
(1)为院校“五位一体”专业特色建设打造创新平台
为院校专业建设、课程建设、师资建设、实验实训建设、教材建设等“五位一体”建设提供开放创新的应用平台。促进学院专业课程建设整体水平提高。
(2)为机器视觉专业教学实训提供“部署灵活、复用性强”有力支持
为专业教学、实训、创新提供具有良好兼容性、灵活部署、开源扩展等特点的教学平台,提供丰富的配套教学资源助力学校专业课程体系建设与学生理论实践能力培养教学。
(3)为智能制造AI时代高素质创新实践人才培养提供“理论—实践”融合的实训实践、创新教学应用平台
创新型人才培养离不开理论教学,学生创新实践能力提升离不开与理论知识配套、与行业领域应用紧密结合的实训平台。
机器人与机器视觉实训方案旨在为机器人及机器视觉创新教学提供“基础知识-课程实验-综合实训-竞赛成果交流-创新开发”五位一体的开放性教学体系。
4. 机器人与机器视觉应用实训室方案建设内容
机器人与机器视觉应用实训室平台主要包含适配多机型、兼容多平台的机器视觉平台、典型桌面级机器人、综合应用实训工作站三部分组成。
4.1 机器视觉平台
4.1.1 平台概述
机器视觉平台是一款兼容工业视觉算法平台和开源OpenCV计算机视觉与机器学习库的通用机器视觉应用硬件平台,平台可兼容多种桌面机器人机型(包括桌面级四轴、六轴机器人,轻型工业机器人等)实现机器人与机器视觉结合的典型任务。
该机器视觉平台能够满足机器视觉在3C电子、半导体/集成电路、汽车制造、汽车制造、智慧物流、食品/医药等领域中的定位、测量、识别、检测等教学与科研需求。以工业机器人外形为设计参考的桌面级六轴机器人为科研开发创新提供更真实地体验,机器人提供底层控制代码,支持多种连接方式,比工业机器人具备更好的扩展性。
4.1.2 功能特点
(1)部署灵活、复用性强:开放接口适配多种机型 多视觉平台兼容
机器视觉平台采用模块化设计,可部署课堂用于专业课程实训教学;可才拆卸灵活安装用于场景应用创新开发。
平台兼容基于工业视觉算法的软件平台和基于开源OpenCV计算机视觉库,可用于机器视觉工业场景应用的同时可进行开展包括 TensorFlow、PyTorch 等机器学习框架下的学习和应用开发。
平台适配桌面级四轴、六轴等多种机器人,便于开展视觉应用中多机型学习与应用开发,包括机器人编程、机器人与机器视觉坐标标定、系统集成等。
(2)功能丰富、扩展性强:19种图像处理工具、4大典型视觉应用、7大典型场景开发
工业视觉算法平台包含19种图像处理工具,能够满足机器视觉在工业领域中定位、测量、识别、检测等需求,可应用于3C电子、锂电/光伏、物流、汽车制造、半导体/集成电路、食品/医药等多领域的教学与科研需求。
基于开源OpenCV视觉库的平台可进行机器人与机器视觉坐标转换与标定;基于OpenCV的颜色识别分拣;基于OpenCV的形状识别分拣;AR二维码、条形码识别分拣;螺钉、螺母分拣;水果分拣;目标识别(字符、车牌、证件及缺陷检测);机器人在机器视觉引导下的柔性装配应用;药片分拣等多领域开源实验项目。
(3)课程资源丰富:2套机器人与机器视觉教材、3套平台实训手册、10余项项目案例资源
平台配套机器人编程与控制基础、机器视觉教材,配套基于工业视觉的VM视觉软件算法平台提供丰富的机器视觉基础知识课件,包括镜头选型、相机选型、图像运算、图像处理及各类图像工具使用教程。
基于OpenCV的算法平台提供机器人与机器视觉坐标转换与标定;基于OpenCV的颜色识别分拣;基于OpenCV的形状识别分拣;AR二维码、条形码识别分拣;螺钉、螺母分拣;水果分拣;目标识别(字符、车牌、证件及缺陷检测);机器人在机器视觉引导下的柔性装配应用;药片分拣等多领域开源实验项目指导手册及实验源码。为机器视觉基础学习及应用创新实践提供友好平台。
4.1.3 实验项目案例
1)Python科学计算基础
2)机器人坐标变换
3)相机视频流读取
4)相机针孔成像模型与成像过程建模
5)相机标定
6)使用Radon标定板进行相机标定
7)图像畸变消除
8)OpenCV图像仿射变换
9)OpenCV图像透视变换
10)目标检测模型与评价指标
11)图像标注与数据集制作
12)手眼标定-九点法(2D相机)
13)目标物体的识别
14)目标物体的空间定位
15)机械臂视觉抓取应用案例
16)机器人与机器视觉坐标转换与标定
17)基于OpenCV的颜色识别分拣项目
18)基于OpenCV的形状识别分拣
19)AR二维码、条形码识别分拣
20)螺钉、螺母分拣
21)水果分拣
22)目标识别(字符、车牌、证件及缺陷检测)
23)机器人在机器视觉引导下的柔性装配应用
24)药片分拣
4.1.4 技术参数
机器视觉套件-----------------------
一、功能要求
1、平台看兼容
(一)工业视觉算法平台
1、功能包括:有无/正反检测、颜色/位置判断、定位、2D尺寸测量、ID识别、字符识别等;
2、提供定位功能:13个,包括快速特征匹配、高精度特征匹配、圆查找、Blob分析、卡尺工具、边缘查找、边缘交点、平行线查找等;
3、提供测量工具:12个,包括线圆测量、线线测量、圆拟合、直线拟合、像素统计、直方图工具等;
4、标定工具:6个,包括标定板标定、N点标定、畸变标定等
5、对位工具:4个,包括相机映射、点集对位等
6、图像处理工具:19个,包括图像组合、形态学处理、图像滤波、图像增强、清晰度评估、仿射变换、圆环展开等;
7、逻辑工具:12个,包括条件检测、格式化、字符比较、点集、耗时统计等;
8、识别工具:4个,包括条码识别、二维码识别等;
9、支持Modbus通信、PLC通信、IO通信等;
10、运行界面可编辑
11、配套案例资源:桌面六轴机器人坐标标定;木块分拣;字符缺陷检测分拣;直径测量;模板匹配案例;300套机器视觉题库资源(含单选题、多选题、判断题、填空题、论述题)
(二)深度学习算法
基于OpenCV软件源代码开源,支持自定义AOI,增益、曝光时间及白平衡可编程设置;配套项目案例包含机器人与机器视觉坐标标定、机器人颜色分拣、形状分拣、AR二维码识别、实物分拣、目标识别(字符、车牌)、机器视觉引导装配、药片分拣等。
1、相机参数
1.1、有效像素:500万
1.2、传感器型号:AR0521
1.3、色彩:彩色
1.4、像元尺寸:2.2 * 2.2um
1.5、帧率/分辨率:31 @2592 *1944
1.6、滤光片:650nm
1.7、信噪比:>40dB
1.8、动态范围:>60dB
1.9、快门类型:卷帘曝光
1.10、曝光时间:Bayer格式:16μs~1sec;其他格式:28μs~1sec
1.11、曝光控制:自动/手动
1.12、数据接口:USB3.0
1.13、数据格式:Mono 8/10/12,Bayer GR 8/10/10p/12/12p,YUV422_YUYV_Packed,YUV422_Packed,RGB8
1.14、镜头接口:C-Mount
1.15、外观尺寸:29 * 29 * 30mm
1.16、重量:56g
2、镜头参数
2.1、焦距:12mm
2.2、像面最大尺寸:1/1.8”(φ9mm)
2.3、光圈:F2.8~F16
2.4、视角(DHV):1/1.8”:41.2°,34.4°,23.4°
2.5、光学畸变:-0.38%
2.6、法兰后焦:17.526mm
2.7、最近摄距:0.06m
2.8、滤镜螺纹:M27 * 0.5
2.9、大小:φ29 * 35.36mm
3、光源参数
3.1、发光颜色:白色
3.2、LED数量:48颗发光二极管
3.3、照度:40000 lux
3.4、波长:455~457.5nm
3.5、工作距离:35-110mm
3.6、尺寸规格:内径40mm,外径70mm,高度25mm
3.7、灯镜筒外径:Maxφ39mm
3.8、重量:0.48kg
--------------------------------------------------------------------
4.2 桌面级工业机器人平台
机器视觉平台兼容系列四轴及六轴机器人,机器人开放底层控制指令,配套机器人编程与控制基础教材,可独立进行机器人视觉抓取开发试验,可自由设计工业应用场景实现系统集成开发调试。
4.2.1 桌面级六轴机器人
Mirobot机器人是一款以标准工业机器人外形为参考设计的六轴桌面工程教育机器人,Mirobot是工业机器人10:1缩小版桌面级机器人,旨在为机器人、智能制造、人工智能专业实训教学及科研创新提供场景真实、安全易用、价格优惠的机器人综合教学创新平台。
Mirobot具有写字画画、激光雕刻、搬运码垛、3D打印等多种扩展功能,支持蓝牙、WIFI、串口、RS485等通讯方式,可结合硬件拓展开发多种人工智能及智慧工厂教学应用场景。
Mirobot支持PC端编程软件、手机APP、蓝牙示教器、视觉等多种控制方式,自由设定动作、任意添加夹具,满足不同年龄学习需求。支持Python、C、ROS、Vrep、Matlab等多种编程及软件进行二次开发。
(1)功能特点
1)标准机器人结构-功能丰富
Mirobot采用标准工业六轴机器人结构设计,等比例缩小。具有搬运码垛、点位示教、写字绘画、轨迹规划、图形化编程、激光雕刻等功能特点,同时可与视觉、语音、智能传感器通讯实现视觉自动分拣、手势控制、语音控制等交互功能。
2)人手一机 安全可靠 操作简单
Mirobot采用一体化设计,体积精巧,与轻薄笔记本重量相当。可直接放置于日常教学课桌用于机器人编程应用教学。机器人可通过PC电脑端机器人控制软件、手机APP、蓝牙示教器等方式控制。通过图形化编程、轴角控制按钮、Python API调用可轻松实现机器人入门编程,操作简单。
3)二次开发 扩展性强
机器人开放机器人底层控制指令,提供Python SDK、ROS开发包、Matlab控制源码,预留多个扩展接口,支持蓝牙、USB串口、WIFI、RS485等通讯方式,可通过电脑端串口调试助手、PLC、单片机、VM视觉平台、AI芯片等对机器人进行编程控制,可进行各类“机器人+”行业应用场景教学开发与科研创新。
(2)技术参数-六轴机器人
1、轴数:6+1轴(第7轴为机器人行走轴);
2、极限负载:500g;
3、工作范围:315mm;
4、重复定位精度:±0.5 mm;
5、电源电压:100 -240 V, 50/60 Hz;
6、电源输入:12 V/5 A DC;
7、关节驱动类型:高精度步进减速机
8、净重(机械臂本体):1.5Kg;
9、底座安装尺寸:直径160mm;
10、材料:铝合金,ABS 工程塑料;
11、控制器:集成控制器,支持扩展轴(第7轴为扩展轴)
12、多功能控制器:配置显示屏,支持USB串口、蓝牙、WIFI、RS485等通讯方式,支持PC Studio程序下载、存储,扩展接口包含:GPIO多功能复用接口4个、PWM末端工具接口1个、步进电机控制接口2个、RS485通讯接口2个、12V电源接口1个、USB串口1个。
13、应用程序:国产自主控制软件Studio(支持点位示教、图形化、Python等编程方式),除中文外,支持多种国际化语言模式,包含英文、韩文、日文等,软件支持机械臂角度模式/坐标模式控制,支持末端工具及扩展配件(传送带、滑轨)编程控制,可与数字孪生软件实现虚实结合;
14、支持控制方式:手机APP、蓝牙示教器、PC端机器人控制软件、机器视觉、语音
16、控制软件兼容Windows,macOS,Linux
17、支持ROS、Matlab、V-rep、Arduino、C、C++、Python等二次开发,提供Python SDK、Arduino API等开发工具包
4.2.2 桌面级四轴机器人
M4桌面四轴机械臂具有写字画画、搬运码垛等多种功能,支持蓝牙、WIFI、串口、RS485 等通讯方式,可结合硬件拓展开发多种智慧工厂教学应用场景。
M4桌面四轴机械臂支持 PC 端编程软件、视觉等多种控制方式,自由设定动作、任意添加夹具,满足不同年龄学习需求。支持 Python、C 等多种编程及软件进行二次开发。
(1)功能特点
1)人手一机 操作安全
机械臂底座采用集成底座,机身主体采用 3D 打印,组件边缘做圆角处理,结构简单易组装。PC 端控制软件支持图形化编程、点位示教、Python 编程,操作简单,使用安全。
2)二次开发 扩展性强
M4桌面机械臂为机器人学习、科研提供开源的运动学、视觉等算法,支持蓝牙、WIFI、RS485 等多种通讯方式,机械臂开源底层控制指令,学生可通过调试助手,也可自主开发 PC 端控制界面对机械臂进行控制,为学生提供全新的创新学习平台。
(2)技术参数-四轴机器人
1、轴数:4+1轴;
2、负载:500 g;
3、工作范围:359mm;
4、重复定位精度:±0.2 mm;
5、轴运动参数
5.1、第一轴:-140°到+190°,最大速度:200°/s;
5.2、第二轴:-40°到+80°,最大速度:200°/s;
5.3、第三轴:-15°到+110°,最大速度:200°/s;
5.4、第四轴:-180°到+180°,最大速度:20°/s。
6、电源电压:100-240V, 50/60Hz;
7、电源输入:12V/5A DC;
8、环境温度:-20℃~70℃
9、净重(机械臂本体):1.6Kg;
10、底座尺寸:直径160mm;
11、材料:PLA,ABS塑料;
12、控制器:集成控制器
13、多功能控制器:配置显示屏,具有USB串口、蓝牙、WIFI、RS485等通讯方式,支持PC Studio程序下载、存储。扩展接口包含:
13.1、GPIO多功能复用接口 ×4;
13.2、PWM末端工具接口 ×1;
13.3、步进电机控制扩展接口 ×2;
13.4、RS485接口×2;
13.5、12V电源接口 ×1;
13.6、USB串口 ×1。
14、机器人安装方式:桌面安装;
15、应用程序:国产自主控制软件Studio(支持点位示教、图形化、Python等编程方式),除中文外,要求支持国际化语言模式,包含英文等,软件支持机械臂角度模式/坐标模式控制,支持末端工具及扩展配件(传送带、滑轨)编程控制,可与数字孪生软件实现虚实结合;
16、配件:机械夹爪、写字套件、气动套件
16.1、机械夹爪
16.1.1、工作电压:5V夹取范围:0~30mm
16.1.2、净重:37g
16.1.3、驱动方式:舵机PWM信号
16.1.4、夹持力:5N
16.2、写字套件:夹取范围7~10mm
16.3、气动套件
16.3.1、气泵工作电压:5V
16.3.2、气泵尺寸:84mm x 108mm x 48mm
16.3.3、气泵压力:正压120kPa,负压60kPa
16.3.4、单指吸盘(重量13g,吸盘直径12mm)
16.3.5、两指柔爪(重量38.5g,抓取范围:5mm~35mm)
17、支持控制方式:PC、机器视觉、语音
18、控制软件兼容Windows,MacOS,Linux
4.3 课程资源
机器人与机器视觉应用实训室包含机器人编程与控制、机器视觉基础、工业视觉算法应用及OpenCV实战课程组成。
《机器人编程与控制》-----------
1、机器人结构与电气原理
2、机器人空间坐标转换
3、机器人通讯原理
4、机器人正逆运动学
5、机器人末端工具
6、机器人图形化编程
7、机器人示教编程
8、机器人Python SDK调用
9、ROS基础
10、机器人URDF文件导入
11、机器人与ROS通讯
••••••
《机器视觉技术基础》------------------
1、机器视觉基础
2、机器视觉系统分类
3、机器视觉发展历程
4、机器视觉应用
5、图像生成与表示
6、图像转化
7、图像滤波与增强
8、相机选型
9、镜头选型
10、光源选型
••••••
《工业机器视觉应用》------------------
1、工业视觉软件介绍
2、图像采集与处理
3、图像定位-模板匹配、BLOB分析、矩形查找等
4、图像测量-线圆测量、像素统计等
5、图像识别-字符识别、二维码识别、条码识别
6、图像检测-缺陷检测等
7、机器人通讯
8、坐标标定
••••••
OpenCV项目实战------------------------
1、OpenCV运行环境搭建
2、机器人通讯
3、机器人与机器视觉坐标转换与标定
4、基于OpenCV的颜色识别分拣
5、基于OpenCV的形状识别分拣
6、AR二维码、条形码识别分拣
7、螺钉、螺母分拣
8、水果分拣案例
9、目标识别(字符、车牌、证件及缺陷检测)
10、机器人在机器视觉引导下的柔性装配应用
11、药片分拣案例
••••••
4.4 实训方案配置
(参考配置,例如50人实验室,2人/组,配置25套。)
方案配置组成:
1)视觉平台:机器视觉工业应用与开发平台 25套
2)机器人平台:四轴/六轴机器人 25套
kt如有上述需求,了解具体参数及最新报价,请随时联系革新。