第二学期《机器视觉与应用》

《机器视觉与应用》课程教学大纲

课程名称：机器视觉与应用

课程代码：ME6015

学分/学时：3学分/54学时课程

开课学期：春季学期

适用专业：机械工程、热能与动力工程、工业工程、核工程

先修课程：线性代数、概率论、积分变换；数字信号处理；高级语言程序设计；测量与机电控制技术；机械电子学；计算机图形学

开课单位： 机械与动力工程学院

 

一、课程性质和教学目标（需明确各教学环节对人才培养目标的贡献，专业人才培养目标中的知识、能力和素质见附表）

       课程介绍：“机器视觉与应用”为机械工程、能源动力的非电类的专业方向课，是综合图像处理、计算机视觉和机器人对环境感知技术偏重应用实践的课程，通过介绍当今国内外机器视觉技术的发展现状，聚焦机器视觉在智能机器人上应用教学方法，讲解机器视觉的基本概念、相关图像处理的理论知识和机器视觉课题的一般求解方法。具体通过介绍MATLAB的Image processing tool使用使学生系统掌握图像处理与机器视觉技术，熟悉ROS和OpenCV开源代码平台应用，解决机器视觉对物体识别和测量、环境3D建模和机器人的视觉伺服和导航求解问题，并且进一步了解机器视觉在各领域的相关应用。

教学目标：“机器视觉与应用”以图像处理、模式分类和场景分析的基本算法为基础，采用理论教学与训练实践相结合，引入科研案例、动手实践和编程练习来加强关键内容的学习。使得学生从机器视觉应用案例介绍和编程训练过程中对图像处理的理论、机器视觉硬件和编程技术一个较为全面的了解。通过网上查阅文献和获取知识，运用网上开源代码转换成自己的工具形式的课程大作业，培养学生运用机器视觉技术解决智能化检测、物体识别和机器人控制等应用问题的初步能力。培养学生把所学知识转化为实际工程创新和实践能力，为学生以后从事模式识别与智能控制、机器人技术、智能制造等领域的研究与开发工作打下扎实的基础。

二、课程教学内容及学时分配（含实践、自学、作业、讨论等的内容及要求）

 

第一讲  机器视觉导论（3学时/理论教学）

1.     课程教学方案介绍

“机器视觉与应用”课堂教学方式介绍；课堂交流Matlab Toolbox和HANDBOOK OF MACHINE VISION AND APPLICATIONS参考的PPT交流等；作业形式和演示测验。

2.     绪论

机器人与视觉感知，图像处理与机器视觉研究意义、机器视觉任务与研究内容，机器视觉与其他科学领域的关系和最新发展现状。

3.     视觉与成像原理

环境光、成像原理与检测的基本原理与应用方法。

第二讲  图像与机器视觉系统（3学时/课堂教学）

1.    人类视觉与图像理解

人类视觉的基本原理，并理解人类视觉与图像处理及机器视觉的基本联系与区别。摄像机基本构造和成像

2.    机器视觉的基本构成

机器视觉的硬件构成，并以工程应用案例分析机器视觉在具体应用中的优缺点。

3.    视觉传感器与图像检测

亮度、透镜和成像模型，视觉传感器原理、种类和选型。视觉传感器与计算机接口等

第三讲  图像处理技术（I）（3学时/理论教学）

1.    图像预处理技术

连续图像与离散图像的区别，连续图像的量化及二值图像的生成。

2.    二值图的几何性质与拓扑性质，区域与图像分割

二值图像的处理、通用的区域处理方法、联通性处理方法、区域分割、区域的几何性质计算等，然后介绍具体的二值图像的工业应用。

3.    灰度图像的滤波方法

图像滤波的基本方法与滤波的效果，主要包括中值滤波、高斯滤波、傅里叶变换，介绍频域内与时域内的图像处理方法与技术。

第四讲  图像处理技术（II）（3学时/理论教学）

1.    图像的退化与复原

图像退化的原因与具体数学表示，并根据退化的原因进行复原的理论分析，及退化函数的估计方法：图像观察法、试验估计法与数学建模法等。

2.    图像的边缘检测

图像边缘的定义，灰度图像与颜色图像的边缘具体案例分析，并介绍图像梯度的计算方法，介绍一阶与二阶微分算子。

3.    图像的轮廓表示

图像轮廓的离散表示与连续表示方法，包括前沿的水平集的轮廓表示方法，并通过案例进行分析其应用。

第五讲  图像处理技术（III）（3学时/理论教学）

1.    图像的分割

图像分割的基本定义，主要的图像分割算法：阈值方法、区域增长算法、K均值聚类方法、均值漂移算法等。

2.    超像素分割

超像素分割的基本原理与方法，及当前主要的算法，通过Matlab案例展示超像素分割的图像处理结果。

3.    粒子滤波跟踪方法

粒子滤波的基本方法及具体的案例分析，讲解粒子跟踪算法的实施步骤。

第六讲   彩色图像处理技术（3学时/理论教学）

1.    彩色图像处理介绍

彩色图像处理中的术语、及实际应用中的彩色图像分析技术、最后从原理上分析眼睛的生理特征和彩色图像处理的联系与区别。

2.    彩色空间

几种彩色图像应用中常用的彩色空间，RGB、CMY、HSI等彩色空间及应用场景。

3.    彩色成像与处理

包括单通道借鉴的彩色图像处理与多通道处理方法、彩色图像的灰度化方法、彩色图像增强、彩色图像分割等。

第七讲  图像纹理分析（3学时/理论教学）

1.    纹理图像处理概述

现实世界中的物理图像并不呈现区域的均匀性，图像的纹理由重复的模式组成，按某种规则排列，主要包括：自然纹理、人工合成纹理与混合纹理。根据人们视觉对纹理的感知，用数学计算模型表示纹理的方向性、周期性、粗糙性以及尺度性等。

2.    纹理分析方法

图像结构分析方法、统计方法、基于模型的方法与信号处理方法。

3.    纹理特征提取与分割

通过对纹理基元进行特征分析，获得对纹理图像定量或定性的描述。建立纹理特征的度量、主成分分析等。

第八讲  图像特征检测及应用（3学时/理论教学）

1.    点的特征检测方法

结合OpenCV讲授特征检测方法，主要包括Harris corner、sift、surf等特征点的提取方法。分析不同特征点对视角、尺度与光照等不变性。

2.    特征匹配方法

介绍特征匹配的方法，交叉匹配、KNN匹配、RANSAC方法等基本原理与实现过程。

3.    特征匹配的应用

图像特征匹配在物体识别、物体位姿识别、三维重构中的应用。

第九讲  立体视觉与3D重建（3学时/理论教学）

1.    双目视觉

立体视觉的基本原理、双目视觉标定、双目视觉计算三维点的基本方法、深度图像的基本计算过程。

2.    立体感知

Kinect，Realsense和深度相机的基本原理及其工程应用，主要包括在立体视觉与SLAM中的应用。

3.    3D创建

序列图像成像的基本原理、多图像的坐标统一与优化、单视几何与多视几何的基本原理与计算过程。

第十讲 OpenCV, ROS介绍与实战（3学时/实践教学）

1.    OpenCV介绍

机器视觉开源库OpenCV的获取、OpenCV简介、安装与配置

2.    ROS介绍

机器人操作系统ROS是什么、ROS的开源资料获取、安装，ROS系统的架构与功能，ROS和机器人与机器视觉的连接。

第十一讲 深度学习与模式识别（3学时/理论教学）

1.      机器学习

机器学习的基本原理以及与模式识别。

2.      深度学习基本算法介绍

深度学习的一些基本算法，如自编码器，卷积神经网络，全卷积，残差网络等。

3.      深度学习在机器视觉方面的应用

深度学习在机器视觉方面的应用，包括视觉抓取，物体识别，姿态估计等。

第十二讲 视觉在检测中应用（3学时/理论教学）

1.      机器视觉在二维检测中的应用

二维图像处理与机器人之间的硬件架构，二维图像视觉技术在电子制造、药品检测、缺陷检测等工业中的案例分析。

2.      机器视觉在三维位姿获取中的应用

基于图像与点云的物体位姿识别，包括当前流行的Linemode方法与基于深度学习的位姿识别。

第十三讲 视觉在机械臂运动（伺服）控制中应用（3学时/理论教学）

1.      机器人视觉伺服原理

机器人离线编程技术、视觉伺服标定方法、视觉伺服的主要控制方法与当前视觉伺服的工业应用存在问题。

2.      视觉伺服的典型工业应用

机器人手眼系统应用、机器人3D测量系统、移动AGV抓取技术。

第十四讲  机器视觉在移动机器人中应用（3学时/理论教学）

1.      机器人视觉与移动机器人构成

移动机器人用视觉系统的构成、移动机器人常用的视觉传感基本原理及其在室内室外的不同场景分析。

2.      SLAM地图构建与自主导引

移动机器人携带3D传感的地图构建原理，介绍开源SLAM，机器在构建的地图中进行移动机器人路径规划。

第十五讲  学生成果发表和点评（（3学时/实践教学）

小组项目成果演示。

三、教学方法

根据课程面向非电专业和偏重应用这两个特点，本课程采用理论教与实践相结合，循序渐进的方式，根据课程进度为每一位学生布置相应课题。学生通过查阅参考文献和网上资料，独立完成课题研究并在课堂上进行综述报告。通过参与式教学法，激发学生的学习兴趣。要求每一位学生至少一次发表研究报告。完成一个研究课题，即：搭建机器视觉系统、算法的软件编程。加深学生学生对机器视觉技术理解，提高实践能力。通过合作项目形式大作业，提高学生团队协作和动手能力。

教学形式

1.     教师普通授课

2.     针对学生作业内容进行课堂演讲与讨论

3.     实习、作业和项目实践

学习形式

1.     学生PPT汇报讲演、程序演示

2.     课程项目，鼓励团队协作和课后讨论

3.     课外作业、综述报告

4.     最终项目汇报答辩和编程演示。

 

课堂实践

课程总共设置了两次课堂实践，分别是“参观实验室了零距离接触基于机器视觉的智能机器人演示”和“机器视觉软件编程实践”。通过这样的实践，能够开拓学生的思路培养其动手能力。

 

 

小组作业

每个小组要搭建一个机器视觉系统、完成对物体的识别。该作业目的是让所有学生用他们在课堂中学到的知识，通过团队合作来共同完成一个机器视觉系统。要求搭建机器视觉系统能根据老师随机提供物体进行编程实现识别演示。

 

四、考核与评估

课程得分比例如下：

 

 

课堂出席

    学生在课堂上的表现，包括出席、讨论、课堂练习和表现。课堂出席的得分，将取决于课堂中学生的讨论，以及课堂作业等等。

我们将使用的评价课堂出席情况的一些准则：

1、参加者是否很好地倾听课程？

2、参加者的表达是否简洁和明确？

3、提出的要点是否与目前的讨论相关？他们的讨论与别人的是否联系在一起？

4、是否能表达出适当的意见，以及有见地的分析案例和提供清楚的论证？

 

平时作业

平时作业分两次：一次为了帮助学生掌握机器视觉基础知识统一布置作业；另一次教师根据课程进展为每一位学生布置作业，学生根据题意进行调研，写出综述报告并且在课堂报告演讲。

 

小组作业

小组的作业的目的是通过做项目形式，巩固学到机器视觉知识，掌握机器视觉应用技巧。作业是团队协作进行，必须于截止日期前提前完成。作业答辩之前每个人对其他小组成员进行评估。评估结果供教师给项目小组每个学生的打分提供参考。

 

五、教材及参考书目

教材：自编讲义

参考书目：

1.      《机器视觉》【美】伯特霍尔德·霍恩著，王亮  蒋欣兰译，中国青年出版社

2.      《机器视觉》张广军著，科学出版社

3.      HANDBOOK OF MACHINE VISION AND APPLICATIONS，Editors Bernd Jähne，ACADEMIC PRESS, San Diego, London, Boston, New York, Sydney, Tokyo, Toronto

4.      Computer Vision: Algorithms and Applications, Richard Szeliski. Springer, New York, 2010(Free download from http://szeliski.org/Book/)

5.      Image Processing Toolbox for Use with MATLAB

6.      机器人学、机器视觉与控制——MATLAB算法基础【澳】Peter Corke 著，刘荣等译，电子工业出版社