一、机器视觉实验室建设整体方案——简述
机器视觉实验室教学实验平台,重点考虑高校由“重理论”向“重实践”转变的需求,针对性解决师生的复杂工程问题解决能力、创新实践能力、工程思维能力、自学能力及团队协作能力的培养问题。配套实验以演示验证型为基础,采用项目驱动式的综合设计性实验为核心。涵盖以下应用领域:
◆智能制造——智能机器人、工业4.0智能工厂、全集成自动化系统等
◆智能医疗——服务机器人、陪护机器人、药品宏、微观检测等
◆智能城市——巡航机器人、智能监控、无人驾驶、智能交通、遥感测量等
◆智能农业——智能农机、无人温棚、智能监测、农产品检测等
实验室设备配套实验教学模式——情景式教学、体验式教学、互动式教学、案例式教学、项目式教学。以工程思维,通过方案设计、制作、操作、试验、分析、研究、思考等使用户获取技能知识。实验室建设突出工程特色,强化工程训练、设计,注重综合集成,科学考核评价,涵盖以下方向:
◆机器视觉全集成实验室
◆智能机器人实验室
◆工业4.0智能工厂实验室
二、机器视觉实验室建设方案——实验室设备简介及功能特点
◆服务于各行业的机器视觉项目验证——将各行业的视觉应用需求归结为如下技术框图,然后基于各平台进行核心技术验证。
◆提供机器视觉项目评估、执行、实施方案解决思路及核心技术——各平台均搭载具体项目应用案例,提供内容包括:案例需求分析、核心方案展示、项目实施流程及解决当前项目的核心技术。
◆由浅入深、由模块到系统的机器视觉实验体系——实验室设备从“视觉成像、打光”到“图像基础特征处理”到“数据逻辑变换”到“数据通讯及标定”最后到“实际应用及反馈”,用户可以根据自己所掌握的层次及需求灵活选择相应设备。
◆完全开放式设计——实验室设备涉及到的所有PLC、HMI、机器人、通讯、工业相机及图像处理程序均提供基于其开发环境的源代码。
说明:以下设备均配套了详细使用说明书及实验例程指导书,大部分内容均包含源代码。
1、机器视觉算法研究实验平台MV-VS1000
机器视觉是“人工智能”的核心技术之一,其核心就是用“机器”代替“人眼”和“人脑”去观测和判断。机器视觉是多学科的综合应用技术:图像处理、机械工程、自动控制、光学成像、光电信息工程、传感器、模拟与数字视频、计算机软硬件、通信工程、信号处理、类人智能、深度学习等。
机器视觉算法研究实验平台MV-VS1000采用工业级的图像采集硬件设备,依托OpenCV、Matlab、Labview第三方平台,结合我公司图像历年积累的实际工业项目,开发了大量面向实际应用的实验项目——针对底层开发者的图像处理算子:Roberts(罗伯特)、Prewitt(普鲁伊特)、Sobel(索贝尔),Canny
(坎尼)等边缘检测算子,二阶微分边缘算子,LOG边缘检测算子等。针对应用开发者的图像处理平台算法案例。为适应院校的特殊需求,我们提供实验源代码、实验指导书及技术培训手册,可直接应用于院校的实际教学实验。
■采用openCV库的实验源代码:
采用openCV算子获取工业相机图像
开源openCV图像处理库的应用
OpenCV联合VS环境的编程学习
基于MFC的人机交互程序编写训练
■基于matlab环境的实验源代码:
采用matlab算子获取工业相机图像
Matlab图像预处理算子学习
基于Matlab环境的图像处理应用
■基于labview环境的VI源文件:
采用Labview获取工业相机图像
Labview vision的学习应用
基于labview的机器视觉项目应用
说明:本系统仅提供实验源代码及源文件,不含Matlab及Labview软件授权
【功能特点】
OpenCV类实验——基于VS环境提供采用OpenCV算子实现的图像处理在线实验及离线实验源代码
Matlab类实验——提供采用Matlab算子实现的图像处理在线实验及离线实验源代码Labview类实验——基于Labview环境提供采用Labview Vison模块的图像处理VI开放式系统设计——配套的工业级图像采集设备提供二次开发接口及例程源码,硬件设备支持我公司全系列相机、光源的安装使用
递进式实验设计——实验设计涵盖创新研发类、设计开发类、应用实施类,提高用户对不同行业复杂系统分析、设计、实施能力及应对复杂故障的处理能力,强调工程实施的严谨性、项目执行的可靠性
完善的课程资料——提供实验指导书及工业相机、工业镜头、光源的技术培训指导手册
【实验项目】
■OpenCV类实验
第一章 概述
第二章 OpenCV介绍
第三章 如何利用OpenCV采集图像
第四章 机器视觉基础实验
实验一 下载及安装OpenCV
实验二 用VisualStudio2010新建一个OpenCV工程
实验三 读取、显示及保存图像
实验四 图像色彩调节
实验五 图像融合
实验六 图像直方图
实验七 图像的腐蚀和膨胀
实验八 图像滤波
实验九 图像边缘提取
实验十 图像反转
实验十一 在线实验
第五章 机器视觉综合实验
实验一 特征对象检测
实验二 汽车零配件尺寸测量
实验三 基于SURF特征点的图像匹配
■Matlab类实验
第一章 概述
第二章 MATLAB简介
第三章 如何在MATLAB中应用视觉平台采集/显示图像
第四章 机器视觉基础实验
实验一 数字图像处理系统
实验二 MATLAB绘图
实验三 MATLAB图像的点运算
实验四 图像的几何变换
实验五 空间域图像增强
实验六 图像的傅立叶变换
实验七 图像增强——频域滤波
实验八 彩色图像处理
实验九 形态学图像处理
实验十 图像分割
实验十一 图像压缩
实验十二 图像融合
实验十三 在线实验
第五章 综合实验
实验一 电子元件个数统计
实验二 汽车零配件尺寸测量
实验三 印刷电路板缺陷检测
■Labview类实验
基础类
实验一 条码识别
实验二 二维码识别
实验三 OCR字符识别
实验四 目标定位
实验五 颜色分选
实验六 缺陷检测
实验七 尺寸测量
Labview
实验一 图像读取显示及保存
实验二 文件夹下图像连续读取
实验三 相机单帧图像采集
实验四 图像灰度化处理
实验五 图像二值化处理
Vison Assistant
实验一 基本介绍
实验二 像素灰度化处理
实验三 图像二值化处理
实验四 图像边缘检测
实验五 图像轮廓提取
实验六 图像形态学处理
实验七 几何形状检测
【技术参数】
■多功能实验台架
(1)可固定相机及所有配套光源
(2)底板尺寸:380×260×30mm
(3)立杆尺寸:Φ25×585mm(两根)
(4)微调范围:+60~-18
(5)光源安装尺寸:278*150*35mm
(6)支持光源安装孔间距范围:0~135mm(竖向)72~130mm(横向)
(7)外形尺寸:460*420*794
■视觉模块
(1)分辨率:2592×1944
(2)帧率:14fps
(3)CMOS芯片尺寸:1/2.5"
(4)数据位数:8/12
(5)曝光方式:行曝光
(6)颜色:彩色
(7)镜头:焦距12mm,光圈F=1:2.0~C,畸变<0.3%,像素5MP
(8)背光源:发光面积100*100mm、白色
(9)环形光源:内径48mm、外径85mm、LED低角度白色
(10)模拟光源控制器:AC220V输入、DC24V输出,2通道、支持常亮和外触发模式、亮度均匀可
■处理系统
(1)工业级母版、高性能双核心中央处理器
(2)8G RAM高速缓存
(3)1T ROM静态存储空间
(4)机器视觉专用Intel千兆网接口
(5)工业级全铝机箱
(6)功耗低于150W,节能环保
(7)HDMI或VGA显示接口输出
(8)大尺寸可视化显示界面,过程及结果输出窗口
(9)无线数据输入设备
■教学资源
OpenCV、Matlab、Labview实验代码、实验指导手册、使用手册
■多功能实验架
可固定相机及所有配套光源,含多角度粗调及微调功能
■附件
线缆、组合工具套装等
2、机器视觉教学研究创新实验平台MV-VS1200S-VB
一套完整的机器视觉检测系统,包括:图像获取、图像预处理、数据处理、通讯、执行机构等。其中图像获取是基础,图像预处理及数据处理是灵魂,执行机构是功能体现。随着机器视觉的迅速发展,工业现场中越来越多的人工检测被替代,比如皮带式流水线上人工对物料进行外观、字符、缺陷等的检测。机器视觉的发展解决了传统人工检测速度慢、劳动强度大和容易漏检的问题。为了适应市场需求,高校需要培养机器视觉相关的应用型人才。
MV-VS1200B-VB包含完整的机器视觉检测系统与运动机构,图像采集部分由工业级相机、镜头、光源构成,控制部分包含了调速电机、光电传感器等。工业级视觉系统,搭配两种运动方式,完整的模拟工业现场中皮带式的检测场景。配套我公司自主研发的VisionBank智能视觉软件,软件提供了近200种检测工具,包括尺寸测量、缺陷检测、深度学习、目标识别、条码识别、缺陷检测等多个方向。图形化开发过程和标准的通讯接口大大降低了初学者的使用门槛。
该套系统搭配大量的实际工业案例,使用手册以及实验指导手册,结合平台软硬件的操作与学习,使得学生可以快速的掌握机器视觉的系统构建、软件工程文件的编写、通讯、视觉项目的应用场景、开发流程、落地实施等。此外还可以直接在该设备上动态验证视觉项目与整个项目的开发过程、项目实施结果,满足老师研究横向课题的需求。适用于本科院校机械工程、机械电子工程、农业机械化及其自动化、人工智能等工科专业以及高职院校开设的机器视觉、图像识别、机电一体化技术等课程的教学实践,建议1-2人一台,让学生走进工业现场,项目式学习,真正的具备解决工业实际项目的能力。
【功能特点】
①工业级场景再现,让教学贴近实际
皮带式场景,皮带转速、转向可调节。可在线模拟工业生产流水线上各类产品的实际移动过程、运动轨迹等,自带暗室,解决环境光线对实际检测造成的影响。
多种触发场景,包含光电传感器外触发相机拍照场景,软件直接软触发进行拍照场景;
工业级视觉系统,包含工业级相机、镜头、光源、光源控制器、智能视觉控制器等;
方案及系统组件都经过大量的工业现场历练;
②功能强大、通用性好、简单易上手的图像处理软件
具有近200种检测工具,涵盖图像预处理、深度学习、尺寸测量、缺陷检测、特征识别、定位、条码识别、字符识别等多个方向,可解决工业现场90%的检测需求;
图形化开发,用户无需编写代码,只需调试好图像采集设备,拖拽式添加检测工具,点击运行就可以直接进行检测;
标准的通讯接口,方便与其它设备对接;
③提供丰富的教学资源、培养工程应用型人才
提供20种工业现场案例,贴合实际应用,培养学生发现问题以及解决复杂工程问题的能力;
实验设计由浅到深,包含图像采集、图像预处理、图像处理、通讯技术、实际项目实施流程等;
实验指导书包含:实验背景、实验目的、实验原理、实验方案、实验步骤、实验结论、实验报告内容及要求等;
④开放式系统设计,便于用户根据不同项目课题进行优化
相机提供OpenCV、Python、QT、C#、VC等各类语言的开发例程源码。
VisionBank智能视觉软件具有丰富的定位工具、几何工具、计数工具、计测工具、识别工具等,可以自由搭配各个工具实现不同项目的“二次开发”。
【技术参数】
■机械模块
(1)运动方式:皮带传动,速度可调
(2)运动速度:140mm/s
(3)皮带宽度:200mm
(4)皮带周长:1925mm
(5)重复运动精度:±0.2mm
(6)中心最大负载:3kg
(7)外形尺寸:950×280×740mm
(8)触发传感器:光电传感器
■视觉模块
(1)分辨率:1280*960
(2)帧率:40fps
(3)芯片:1/3英寸CCD
(4)像元尺寸:3.75um*3.75um
(5)数据位数:8/12(6)颜色:彩色
(7)镜头:焦距16mm,光圈F=1:2.0~C,
(8)环形光源:内径68mm、外径120mm、LED低角度白色
(9)模拟光源控制器:AC220V输入、DC24V输出,2通道、支持常亮和外触发频闪模式、亮度均匀可调
(10)搭载智能视觉软件VisionBank
■处理系统
(1)工业级母版、高性能双核心中央处理器
(2)8G RAM高速缓存
(3)1024G ROM静态存储空间
(4)机器视觉专用Intel千兆网接口
(5)工业级全铝机箱
(6)功耗低于150W,节能环保
(7)VGA显示接口输出
(8)大尺寸可视化显示界面,过程及结果输出窗口
(9)无线数据输入设备
■智能视觉软件
(1)图像预处理:颜色空间转换、转换为灰度图、形态学万花筒、条件旋转(边)等多个工具。
(2)定位:灰度定位、特征定位、斑块定位、边定位、圆定位等多个工具。
(3)几何:两线交点、点到线垂足、两线平分线(锐角)、圆心和圆上点生成圆、多点拟合圆、多点拟合坐标系(可用作定位)、三点顺时针方向等多个工具。
(4)有无:斑块检出、边缘点检出、圆检出、有序色块检出(仅彩色图)、自适应缺陷、线状缺陷等多个工具。。
(5)计数:灰度搜索计数、特征搜索计数、斑块计数、圆计数等多个工具。
(6)计测:距离、角度、圆直径、斑块面积或比率等多个工具。
(7)识别:字符识别检查、条码识别检查、QR码识别检查等多个工具。
(8)掩模:前序图掩模、用户图形掩模、模板掩膜、斑块掩模等多个工具。
(9)其他:功能包、数值运算、公式运算、字符串比较等多个工具。
■教学资源
(1)使用手册
(2)实验指导手册
(3)软件使用手册
(4)实验光盘
■附件
组合工具套装等
3、数字采集方案套件箱MVKB
每个行业,甚至每个项目的需求都可能不一致,这些需求也没有统一、标准的解决方案,需要用户在大量测试前提下,选出最佳的解决方案,然而大多数实验室不具备这样的“试验”环境,很难快速的得到最佳方案,没有准确测试数据,方案可靠性也不能保证,而且获取准确稳定的图像数据,是做好机器视觉系统关键的第一步,重要性不言而喻,根据实际项目需求,选择合适的工业相机、工业镜头、工业光源及相关附件是每一个机器视觉从业人员都必须掌握的基本技能,目前很多系统集成商及视觉实验室都缺少这样的相关人才。高校在机器视觉相关专业方向的教学、科研及实训工作也应当以培养这类人才为目标,可以更好的与市场需求相匹配。
为此,我公司统计了十几年来面向电子、汽车、医药、包装、太阳能光伏、农林、机械等行业的数千个案例,分析其图像采集硬件方案,针对性的推出了视觉图像采集方案套件箱。套件箱涵盖了机器视觉项目所必须的所有硬件设备类型。其丰富的品类,可以模拟各种应用场景,适用于院校的横向课题项目验证、科研,实验室基础建设(图像处理或机器视觉方向)等。
【技术参数】
■工业相机
高分辨率相机
(1)分辨率:5472*3648
(2)帧率:5fps
(3)芯片:1英寸CMOS
(4)像素尺寸:2.4um*2.4um
(5)数据位数:8
(6)颜色:彩色
(7)C接口
(8)曝光方式:滚动
高速相机
(1)分辨率:640*480
(2)帧率:240fps
(3)芯片:1/3英寸
(4)像素尺寸:8.8um*8.8um
(5)数据位数:8
(6)颜色:黑白
(7)C接口
(8)曝光方式:全局
高性能相机
(1)分辨率:1600*1200
(2)帧率:20fps*
(3)芯片:1/1.8英寸CCD
(4)像素尺寸:4.4um*4.4um
(5)数据位数:8/14
(6)颜色:黑白
(7)C接口
(8)曝光方式:帧曝光
■工业镜头
两千万级镜头(适配高分辨率相机)
(1)焦距:12mm
(2)光圈:F2.8
(3)相机接口:兼容C接口
(4)最大兼容靶面:1.1英寸
两百万级镜头(适配高速相机)
(1)焦距:16mm
(2)光圈:F1.4~F16C
(3)相机接口:兼容C接口
(4)最大兼容靶面:2/3英寸
五百万级镜头(适配高通用性相机)
(1)焦距:8mm
(2)光圈:F2.0~C
(3)相机接口:兼容C接口
(4)最大兼容靶面:1/1.8″
显微镜头
(1)倍率:x0.3~x1.2
(2)相机接口:C接口
(3)最大兼容靶面:1/2英寸
■工业光源
环形光源
(1)外径:120mm
(2)内径:68mm
(3)角度:45度
(4)颜色:白色
背光源
(1)有效发光面积:100*100mm
(2)颜色:红色
同轴光源
(1)有效发光面积:90*90mm
(2)颜色:白色
条形光源
(1)有效发光面积:154*34mm
(2)颜色:白色
■测试台架标定板
多功能实验台架(可固定相机及所有配套光源)
(1)相机安装模块
底板尺寸:380×260×30立杆尺寸:Φ25×585(两根)
微调范围:+60~-18
(2)光源安装模块
尺寸:378×150×35
支持光源安装孔间距范围:0~135(竖向)72~130(横向)
OpenCV标定板
(1)类型:棋盘格
(2)材质:光学玻璃
(3)图案阵列:13×12
(4)图案尺寸(mm):6.0×6.0
(5)尺寸精度误差(mm):<0.001
(6)外形尺寸(mm):100×100×3
Halcon标定板
(1)类型:实心圆阵列
(2)材质:光学玻璃
(3)图案阵列:7×7
(4)圆尺寸(mm):φ6.25
(5)圆心距(mm):12.5
(6)图形尺寸精度(mm):<0.001
(7)外形尺寸(mm):106×106×3
■处理系统
(1)工业级母版、高性能双核心中央处理器
(2)4G RAM高速缓存
(3)128G ROM静态存储空间
(4)机器视觉专用Intel千兆网接口
(5)工业级全铝机箱
(6)功耗低于150W,节能环保
(7)HDMI高清显示接口输出
(8)大尺寸可视化显示界面,过程及结果输出窗口
(9)无线数据输入设备
(10)搭载工程应用软件VisionBank
■图像处理平台VisionBank
(1)图像预处理工具主要包括:颜色空间转换、转换为灰度图、图像反色、移除Alpha通道、任意角度旋转、图像缩放、区域截取、直方图均衡化、直方图正则化、直方图灰度变换、Gamma校正、自适应直方图均衡、二值化增强(逐点阈值)、二值化增强(双阈值)、基准差分图像增强、均值滤波、线增强滤波、Sobel滤波、形态学填充、形态学万花筒、条件旋转(边)等工具。
(2)定位工具主要包括:灰度定位、特征定位、模板混合定位、
多模板定位、斑块定位、边定位、边定位(离散)、边定位(任意方向)、圆定位、相交线定位、自定义坐标系等工具。
(3)几何工具主要包括:用户定义点、用户定义线、用户定义圆、用户定义椭圆、线段上取点、两线交点、点到线垂足、两线平分线(锐角)点圆极值点、线圆极值点、圆线交点、圆圆交点、点到圆切点、点到椭圆最近点、欧式变换(图形平移旋转伸缩)等工具。
(4)有无工具主要包括:灰度检出(可用作定位)、特征检出(可用作定位)、斑块检出、边缘点检出、两点间边缘点检出、边检出、圆检出、圆弧检出、圆度检查、自适应缺陷、线状缺陷、边缘缺陷、角点缺陷、统计缺陷、模板检查(基于斑块)、模板检查(基于灰度)、模板检查(基于特征)等工具。
(5)计数工具主要包括:灰度搜索计数、特征搜索计数、斑块计数、圆计数、椭圆计数、多宽度测量(水平方向)、多宽度测量(垂直方向)、Pin行间距(基于斑块)等工具。
(6)计测工具主要包括:距离(任意的点线圆之间)、角度(一条线或两线夹角)、圆直径、斑块面积或比率、亮度、对比度颜色面积(仅彩色图)、位置度(参考坐标系内坐标差)等工具。
(7)识别工具主要包括:字符识别检查、条码识别检查、QR码识别检查、DataMatrix码识别检查等工具。
(8)掩模工具主要包括:前序图掩模、模板掩膜、斑块掩模、颜
色掩模(仅彩色图)、圆掩模、环形掩模、多边形掩模、掩膜后处理等工具。
(9)其他工具主要包括:功能包、数值运算、公式运算、字符串比较、字符串处理、字符串生成、数值统计、状态统合及流程触发等工具。
■配套资料
(1)软件使用手册
(2)实验光盘
■配套附件
组合工具套装等
4、三维扫描重构系统开发平台MV-3DLSSP
机器视觉是“人工智能”的核心技术之一,其核心就是用“机器”代替“人眼”和“人脑”去观测和判断。机器视觉是多学科技术的综合应用——图像处理、机械工程、自动控制、光学成像、光电信息工程、传感器、模拟与数字视频、计算机软硬件、通信工程、信号处理、类人智能、深度学习等。
采用视觉技术的三维信息检测应用需求越来越多,从原理上来说有两种解决方案——基于双相机的立体视觉技术和基于结构光的视觉扫描技术。三维扫描重构系统研究开发平台MV-3DLSSP就是采用结构光扫描技术的三维重构系统,集成了结构光技术、视觉扫描技术、运动控制技术、三维重构技术、点云处理技术等。
MV-3DLSSP采用开放式设计,即可以作为一款三维扫描仪使用,也可以作为三维扫描实验平台。
【功能特点】
扫描范围广——采用双相机同时扫描,覆盖水平方位角0~360度,可得到目标区内物体表面的离散三维点云集合,单次扫描原始盲区小于1%
解析度高——细节绝对分辨率0.02mm,形位绝对精度0.05mm,可对原始数据进行重采样、均匀化、拼接、分割、对准、孔洞修补、最佳三角剖分
通用数据格式——生成的点云数据包括XYZ格式和STL格式的三角网格模型文件,可以被第三方商业软件直接使用,如CAD/CAM(SolidWorks、Pro-e、MasterCAM)等
自主研发生产、自主知识产权——系统采用的核心器件工业相机均为我公司自主研发生产,涉及到的技术均为自有专利
开放式系统设计——MV-3DLSSP具有功能设备和试验平台的双重属性,不仅仅提供三维扫描功能,更传授三维扫描技术。由于其开放式的系统设计特点,特别提供了系统原理资料及二次开发接口
【设备基本信息】
■机器视觉算法研究实验平台MV-VS1000 (建议1-2人使用)
■机器视觉教学研究创新实验平台MV-VS1200S-VB (建议1-2人使用)
■数字采集方案套件箱MVKB (建议5-10人使用)
■三维扫描重构系统开发平台MV-3DLSSP