关键词不能为空

当前您在: 主页 > 英语 >

机器视觉表面缺陷检测综述

作者:高考题库网
来源:https://www.bjmy2z.cn/gaokao
2021-02-08 07:48
tags:

-

2021年2月8日发(作者:手续费英语)


机器视觉表面缺陷检测综述



目录



机器视觉表面缺陷检测综述


............... .................................................. ................................................. 1


关键词



.


................................................. .................................................. .................................................. 2


Abstract



.

< p>
............................................ .................................................. .................................................. .. 2


Key words



.< /p>


........................................ .................................................. .................................................. ... 6


0


引言



.


................................. .................................................. .................................................. ................ 6


1


研究现状、视觉软件系统和研究平台


........... .................................................. ................................. 9


1.1


研究现状


....................... .................................................. .................................................. ............... 9


1.2


视觉软件系统


..................... .................................................. .................................................. ....... 11


1.3


视觉硬件平台


..................... .................................................. .................................................. ....... 13


2


表面缺陷检测图像处理和分析算法


............ .................................................. .................................. 14


2.1


图像预处理算法


..... .................................................. .................................................. ................... 15


2.2


图像分割算法


..................... .................................................. .................................................. ....... 15


2.2.1


基于区域的分割算法



....... .................................................. .................................................. ...... 15


2.2.2


基于边缘的分割方法



....... .................................................. .................................................. ...... 17


2.2.3


基于特定理论的分割方法



..... .................................................. .................................................. 17


2.3


特征提取及其选择算法


.................................................. .................................................. ............. 18


2.3.1


纹理特征提取



.

................................................ .................................................. .......................... 19


2.3.2


形状特征提取



.

................................................ .................................................. .......................... 26


2.3.3


颜色特征提取



.

................................................ .................................................. .......................... 27


2.3.4


特征的选择



.


................................................. .................................................. ............................. 28


2.4


表面缺陷目标识别算法


.................... .................................................. ........................................... 31


2.4.1


有监督学习的模式识别



....................................... .................................................. .................... 32


2.4.2


无监督学习的模式识别



...... .................................................. .................................................. ... 35


3


主要问题和发展趋势


.................. .................................................. .................................................. .. 40


4


结论



.


................................. .................................................. .................................................. .............. 42





目的



工业 产品的表面缺陷对产品的美观度、舒适度和使用性能等带来不良影响,所以生产


企业对产 品的表面缺陷进行检测以便及时发现并加以控制。


机器视觉的检测方法可以很大程


度上克服人工检测方法的抽检率低、准确性不高、实时性差、效率低、劳动强度大等弊端,


在现代工业中得到越来越广泛的研究和应用。



方法



以机器视觉表面缺陷检测为研究 对象,在广泛调研相关文献和发展成果的基础上,对


基于机器视觉在表面缺陷检测领域的 应用进行了综述。


分析了典型机器视觉表面缺陷检测系


统的工作 原理和基本结构,


阐述了表面缺陷视觉检测的研究现状、


现有视 觉软件和硬件平台,


综述了机器视觉检测所涉及到的图像预处理算法、

< br>图像分割算法、


图像特征提取及其选择算


法、

< p>
图像识别等相关理论和算法研究,


并对每种主要方法的基本思想、


特点和存在的局限性


进行了总结,对未来可能的发展方向进行展望。



结果



机器视觉 表面缺陷检测系统中,图像处理和分析算法是重要内容,算法各有优缺点和


其适应范围。 如何提高算法的准确性、实时性和鲁棒性,一直是研究者们努力的方向。



结论



机器视觉是对人类视觉的模拟, 机器视觉表面检测涉及众多学科和理论,如何使检测


进一步向自动化和智能化方向发展, 还需要更深入的研究。



关键词



机器视觉


;


表面缺陷


;


检测算法


;


图像处理


;


图像识别



Review of surface defect detection based on


machine vision


Tang Bo


,


Kong Jianyi


,


Wu Shiqian



School of Mechanical and Automation Engineering, Wuhan University of Science and Technology,


Wuhan 430081, China



Supported by:


Natural Science Foundation of Hubei Province, China(2016CFC752)


Abstract


Objective


Surface defects of industrial products exert adverse effects on


appearance, comfort, and service performance, and enterprises detect these


surface defects of products to control them in time. The manual detection method


is the traditional way of surface defect detection and is characterized by low


sampling rate, accuracy, and efficiency, poor real-time performance, high labor


intensity, and sensitivity to artificial experience. The detection method based on


machine vision can significantly overcome these disadvantages by manual


detection. Machine vision detection method can find a few problems existing in the


production process on the basis of the detection results to eliminate or reduce


product defects, prevent potential trade disputes, and maintain enterprise honor.


The detection method based on machine vision presents many achievements and


applications in metal, paper printing, textile, ceramic tile, glass, and wood surface


defect detection at home and abroad.


Method


The research and application of


surface defect detection based on machine vision are reviewed on the basis of


extensive research and the development results of relevant literature. The basic


structure and working principle of a typical surface defect detection system based


on machine vision are analyzed, and the research status and existing visual


software and hardware platforms of surface defect detection based on machine


vision are introduced. The relevant research of theory and image algorithm for


preprocessing, segmentation, feature extraction and optimization, and image


recognition are summarized. The main difficulties and development of visual


detection of surface defects are presented, and the development trend in this field


is concluded. The surface defect detection system based on machine vision


includes the following modules:image acquisition, image processing, image


analysis, data management, and man- machine interface. The image acquisition


module mainly consists of charge coupled device(CCD)cameras, optical lenses, and


light sources. The image processing module mainly involves image denoising,


image enhancement and restoration, defect detection, and object segmentation.


The image analysis module is mainly concerned with feature extraction, feature


selection, and image recognition. The data management and man-machine


interface module can display the defect type, position, shape, and size and can


carry out image storage, query, and statistics. Image preprocessing aims to reduce


noise and improve the quality of images and usually includes spatial and frequency


domain methods. In recent years, mathematical morphology and wavelet methods


are used in image denoising and obtain good results. Image segmentation means


dividing an image into several non- overlapping regions; each region possesses the


same or similar certain properties or characteristics, but the image features


between different regions present obvious difference. Existing image segmentation


methods are mainly divided into threshold-based, region-based, and edge-based


segmentations and specific theory methods. At present, new theories and methods


of other disciplines have been used in image segmentation. Image feature


extraction is the mapping from a high- dimensional image space to a


low- dimensional feature space. Image features can be divided into physical,


structural, and mathematical characteristics. A method that uses machine to


simulate human eye and nervous system as well as physical and structural features


does not exist; hence, mathematical characteristics are used to describe image


features in digital image processing. The commonly used image features at present


are mainly textural features, color features, and shape features. If the feature


dimension of the extracted image is too high, then redundant information will exist


in the extracted feature, thereby not only increasing the processing time but also


decreasing the accuracy of image processing. The correlation among the feature


dimensions of the extracted images can be decreased by decreasing the feature


dimension with feature selection or optimization as the processing method.


Feature selection method mainly includes principal component analysis,


independent component analysis, self- organizing map, genetic algorithm, and


Fisher, correlation analysis, relief, Tabu search, and nonlinear dimensionality


reduction methods. Theory for guiding the selection and optimization of features is


unavailable to date. Statistical and syntactic pattern recognitions are two basic


pattern recognition methods, and artificial neural networks and support vector


machines are the most widely used statistical pattern recognition


methods.


Result


Surface defect detection based on machine vision will be the main


direction in the future. Theoretical research and practical application of surface


defect detection based on machine vision have obtained encouraging results to


date, but some problems and difficulties remain to be solved. Image processing


and analysis algorithm, which include image preprocessing, segmentation of defect


regions, feature extraction and selection, and defect recognition and classification,


are important concepts. Many algorithms have appeared in each processing flow,


and each of which possesses its advantages and disadvantages and range of


adaptation. Researchers have focused mostly on improving the signal-to-noise


ratio, accuracy, efficiency, real-time performance, and robustness of the detection


system. Simulating the information processing function of the human brain to


construct an intelligent machine vision system still needs further theoretical


research.


Conclusion


Surface quality inspection based on machine vision has been


attracting much attention and application in modern automatic production. The


surface of machine vision detection is complex and involves many disciplines and


theories. Machine vision is the simulation of human vision, but the visual


mechanism of humans remains unclear. Expressing the visual process of humans by


computer is difficult. Therefore, the construction of machine vision inspection


system should be further improved through research of biological vision


mechanism. Accordingly, the detection will further develop to the direction of


automation and intelligence.


Key words


machine vision


;


surface defect


;


detection algorithm


;


image processing


;


images


recognition



0


引言



中国是一个制造大国,


每天都要生产大量的工业产品。


用户和生产企业对产品质量的要求越


来越高,除要求满足使用性能外,还要有良好的外观,即良好的表面质量。但是,在制造产< /p>


品的过程中,


表面缺陷的产生往往是不可避免的。


不同产品的表面缺陷有着不同的定义和类


型,一般而言表面缺陷是产品表面局部 物理或化学性质不均匀的区域,如金属表面的划痕、


斑点、孔洞,纸张表面的色差、压痕 ,玻璃等非金属表面的夹杂、破损、污点,等等。表面


缺陷不仅影响产品的美观和舒适度 ,


而且一般也会对其使用性能带来不良影响,


所以生产企


业对产品的表面缺陷检测非常重视,


以便及时发现,

< br>从而有效控制产品质量,


还可以根据检


测结果分析生产工 艺中存在的某些问题,


从而杜绝或减少缺陷品的产生,


同时防止 潜在的贸


易纠份,维护企业荣誉。



人 工检测是产品表面缺陷的传统检测方法,该方法抽检率低、


准确性不高、


实时性差、


效率


低、


劳动强度 大、


受人工经验和主观因素的影响大,


而基于机器视觉的检测方 法可以很大程


度上克服上述弊端。



美 国机器人工业协会


(RIA)


对机器视觉下的定义为:“机器视 觉是通过光学的装置和非接触


的传感器自动地接收和处理一个真实物体的图像,


以获得所需信息或用于控制机器人运动的


装置”


[


1


]



< /p>


机器视觉是一种无接触、


无损伤的自动检测技术,


是实现设备自动化、


智能化和精密控制的


有效手段,< /p>


具有安全可靠、


光谱响应范围宽、


可在恶 劣环境下长时间工作和生产效率高等突


出优点。机器视觉检测系统通过适当的光源和图像 传感器


(CCD


摄像机


)


获取产品的表面图


像,


利用相应的图像处理算法提取 图像的特征信息,


然后根据特征信息进行表面缺陷的定位、


识别 、分级等判别和统计、存储、查询等操作。



视觉表面缺陷检测 系统基本组成主要包括图像获取模块、


图像处理模块、


图像分析 模块、



据管理及人机接口模块。


< /p>


图像获取模块由


CCD


摄像机、光学镜头 、光源及其夹持装置等组成,其功能是完成产品表


面图像的采集。


在光源的照明下,


通过光学镜头将产品表面成像于相机传感器上,

光信号先


转换成电信号,进而转换成计算机能处理的数字信号。目前工业用相机主要 基于


CCD



CMOS(comple mentary metal oxide semiconductor)


芯片的相机 。


CCD


是目前机器视觉


最为常用的图 像传感器。



光源直接影响到图像的质量,

其作用是克服环境光干扰,


保证图像的稳定性,


获得对比度 尽


可能高的图像。


目前常用的光源有卤素灯、

< br>荧光灯和发光二级管


(LED)



LED


光源以体积小、


功耗低、响应速度快、发光单色性好、 可靠性高、光均匀稳定、易集成等优点获得了广泛的


应用。


< /p>


由光源构成的照明系统按其照射方法可分为明场照明与暗场照明、结构光照明与频闪光照< /p>


明。


明场与暗场主要描述相机与光源的位置关系,


明场照明指相机直接接收光源在目标上的


反射光,


一般 相机与光源异侧分布,


这种方式便于安装;


暗场照明指相机间接 接收光源在目


标上的散射光,


一般相机与光源同侧分布,


它的优点是能获得高对比度的图像。


结构光照明


是将光栅或线光源等投射到被测物上,根据它们产生的畸变,解调出被测物的


3


维信息。


频闪光照明是将高频率的光脉冲照射到物体上,摄像机拍摄要 求与光源同步。



图像处理模块主要涉及图像去噪、图像增强与 复原、缺陷的检测和目标分割。



由于现场环境、


CCD


图像光电转换、传输电路及电子元件都会使图像产生噪声,这些噪声< /p>


降低了图像的质量从而对图像的处理和分析带来不良影响,所以要对图像进行预处理以去< /p>


噪。


图像增强目是针对给定图像的应用场合,

有目的地强调图像的整体或局部特性,


将原来


不清晰的图像 变得清晰或强调某些感兴趣的特征,


扩大图像中不同物体特征之间的差别,



制不感兴趣的特征,


使之改善图像质量、


丰富信息量,


加强图像判读和识别效果的图像处理


方法。


图像复原是通过计算机处理,


对质量下降的图像加以重 建或复原的处理过程。


图像复


原很多时候采用与图像增强同样的 方法,


但图像增强的结果还需要下一阶段来验证;


而图像


复原试图利用退化过程的先验知识,来恢复已被退化图像的本来面目,如加性噪声的消除、


运动模糊的复原等。


图像分割的目的是把图像中目标区域分割出来,


以便进行下一步的处理。



图像分析模块主要涉及特征提取、特征选择和图像识别。



特征提取的作用是从图像像素中提取可以描述目标特性的表达量,


把 不同目标间的差异映射


到低维的特征空间,


从而有利于压缩数据 量、


提高识别率。


表面缺陷检测通常提取的特征有


纹理特征、


几何形状特征、颜色特征、变换系数特征等,

用这些多信息融合的特征向量来区


可靠地区分不同类型的缺陷;

这些特征之间一般存在冗余信息,


即并不能保证特征集是最优


的,


好的特征集应具备简约性和鲁棒性,


为此,


还需要进一步从特征集中选择更有利于分类


的特征,


即特征的选择。


图像识别主要根据提取的特征集来训练分类器,


使其对表面缺陷类


型进行正确的分类识别。


< br>数据管理及人机接口模块可在显示器上立即显示缺陷类型、位置、


形状、


大小,对图像进行


存储、查询、统计等。



机器视觉表面缺陷检测主要包括


2


维检测和


3


维检测,前者是当前的主要表面缺陷检测方

< br>式,也是本文的着重论述之处。



机器视觉在工业检测、 包装印刷、食品工业、航空航天、生物医学工程、军事科技、智能交


通、文字识别等领域 得到了广泛的应用。工业检测领域是机器视觉应用中比重最大的领域,


主要用于产品质量 检测、产品分类、产品包装等,如:零件装配完整性检测,装配尺寸精度


检测,位置


/


角度测量,零件识别,


PCB

< p>
板检测,印刷品检测,瓶盖检测,玻璃、烟草、棉


花检测,以及指纹、汽车 牌照、人脸、条码等识别。表面质量检测系统是工业检测的极其重


要的组成部分,机器视 觉表面缺陷检测在许多行业开始应用,涉及钢板


[


2

< p>
-


4


]


、玻璃

< p>
[


5


-


6


]


、印



[

< br>7


-


9


]


、电子


[


10


]

、纺织品


[


11


]


、零件


[


12


-


13


]


、水果


[

< p>
14


]


、木材


[


15


-


16


]


、瓷砖


[


17


-


19


]


、钢轨


[


20


]


等多种关系国计民生的行业和产品。



1


研究现状、视觉软件系统和研究平台



1.1


研究现状


< br>机器视觉在金属


(


特别是钢板


)


表面、纸张等印刷品、纺织品、磁砖、玻璃、木材等表面缺陷


检 测国内外有较多的研究成果,不乏成功应用系统和案例。



在钢 板表面缺陷检测领域,


美国


Westinghouse


公司采用线阵


CCD


摄像机和高强度的线光


源检测钢板表面缺陷,并提出了将明域、暗域及微光域


3

< p>
种照明光路形式组合应用于检测


系统的思路


[


21


]


。这些系统可识别的缺陷种类相对较 少,并且不具备对周期性缺陷的识别能


力。美国


Cognex< /p>


公司研制成功了


iS-2000


自动检测 系统和


iLearn


自学习分类器软件系统

[


22


]


。这两套系统配合有效改 善了传统自学习分类方法在算法执行速度、数据实时吞吐量、


样本训练集规模及模式特征 自动选择等方面的不足;


Parsytec


公司为韩国浦项制铁 公司研


制了冷轧钢板表面缺陷检测系统


HTS

< br>,该系统能对高速运动的热轧钢板表面缺陷进行在线


自动检测和分级的系统,在连 轧机和


CSP


生产线上取得了良好的效果


[


23


]


;英国

European


Electronic System


公司研制的


EES


系统也成功地应用于热连轧环境下的钢板质量 自动检测


[


24


]


EES


系统实时地提供高清晰度、高可靠性的钢板上下表 面的缺陷图像,最终交由操作


员进行缺陷类型的分类判别。


国内


北京


科技大学的高效轧制国家工程研究中心也在进行钢板


表面质量检测系统的研制,对其常见缺陷类型进行了检测与识别,取得了一定的研究成果


[


25


]


,东北大学 、上海宝钢集团公司、武汉科技大学等科研院所研究了冷轧钢板表面缺陷的


检测系统


[


26


-


28


]


,重庆大学对高温连铸坯表面缺陷进行了研究

[


29


]




在其他领域,


视觉表面缺陷检测也得到了广泛的研究和应用 。


文献


[


30


]


对规则纹理表面


(


天然


木材、机械加工表面、纺织面料


)


的表面缺陷采用傅 里叶变换进行图像的复原,高频的傅里


叶分量对应表面纹理线型,而低频的傅里叶分量对 应表面缺陷区域。文献


[


31


]


研究了铝带连


铸生产中的表面缺陷检测,


通过 红外检测提供铝带表面温度的分布情况以评估铝带质量,



集铝 带图像,进行表面缺陷检测和分类。文献


[


32


]


将机器视觉应用于集成电路晶片表面缺陷


检测,使用 模糊逻辑对表面凹坑缺陷的不同形状进行分析处理。文献


[


33


]


利用图像对铁轨的


表面质量进行自动 检测,车载检测系统对铁轨的表面质量进行实时检测和分类。文献


[

34


]



于机器视觉系统对鸡肉包 装前的质量检测,


根据鸡肉图像的颜色信息,


采用数学形态学方 法


对潜在的问题区域进行特征提取,然后按预定义的质量问题列表进行分类。文献


[


35


]


针对随


机纹理的彩色图像提出了一种利于分水岭变换的颜色相似性度量,


提 取了图像的颜色和纹理


特征,实现了随机纹理表面缺陷的自动分割和检测。文献


[


36


]


采用双目立体 视觉,基于特征


立体匹配算法对扫描电镜图像研究了物体的表面深度信息。


文献


[


37


]


介绍了一种皮革表面缺


陷检测的方法,采用


OTSU


方法进行缺陷分割,利用欧式距离聚类法进行缺陷分类,在分


类 聚类时使用形态学算子进行腐蚀运算,实验结果表明了该方法的有效性。文献


[


38


]


对玻璃


缺陷进行 了识别,


把采集到的缺陷图像缩放到


10


×


10


的大小,


然后把这个


100


个像素值作


为特征向量,分别运用径向基


(RBF)


神经网络和决策树进行识别;该方法的缺点是不同缺 陷


缩放后造成部分信息的丢失。文献


[


39


]


研究了一种玻璃缺陷识别的专家系统

(ES)


,首先需要


电子显微技术和等离子射线获得缺陷信 息作为知识库,


对未知的玻璃缺陷通过搜索知识库对


缺陷信息进 行匹配,


选择最相近的类别作为输出;


该方法的缺点是分类采用 贪婪搜索法,



配速度慢。文献


[


40


]


针对机器视觉在产品表面粗糙度的检 测方法作了描述,首先建立粗糙度


的模型,


然后以表面的累加偏 差作为特征通过神经网络


(ANN)


进行等级划分,

< p>
并阐述了不同



ANN


模 型对识别结果的影响。



1.2


视觉软件系统



机器视觉软件系统除具 有图像处理和分析功能外,


还应具有界面友好、


操作简单、


扩展性好、


与图像处理专用硬件兼容等优点。


国外视觉检测技术研究开展的较早,


已涌现了许多较为成


熟的 商业化软件,


应该比较多的有


HALCON


HexSight



Visio n Pro



LEADTOOLS


等< /p>


[


41


]




HALCON


是德国

MVtec


公司开发的一套完善的标准的机器视觉算法包,拥有应用广泛的


机器视觉集成开发环境维视图像开发定制软件,


在欧洲以及日本的工业界 已经是公认具有最


佳效能的


Machine Vision


软件。


HALCON


image processing library


,由一千多个各


自独立的函数和底层的数据管理核心构成,其函数库可以用


C



C++



C#



Visual basic


Delphi


等多种普通编程语言访问。


HALCON


百余种工业相机和图像采集卡提供接口,


包括


GenlCam



GigE



IIDC 1394



HALCO

< p>
还具有强大的


3


维视觉处理能力,另外,自


动算子并行处理


(AOP)


技术是

< p>
HALCON


的一个独特性能。


HALCON


应用范围涵盖自动化


检测、医学和生命科学,遥感探测,通讯和监控 等众多领域。



Adept


公司出品的


HexSight


是一款高性能的、综合性的视觉软件开发包, 它提供了稳定、


可靠及准确定位和检测零件的机器视觉底层函数。


HexSight


的定位工具是根据几何特征、


采用轮廓检测 技术来识别对象和模式。


在图像凌乱、


亮度波动、


图像模糊和对象重叠等方面


有显著效果。


HexSi ght


能处理自由形状的对象,并具有功能强大的去模糊算法。


HexSight


软件包含一个完整的底层机器视觉函数库,


可 用来建构完整的高性能


2D


机器视觉系统,


利用


Visual Basic



Visual C++



Borland Dephi


平台方便地进行二次开发。其运算速度


快,在一台


2 GHz


的处理器上寻找和定位一般的零部件不超过


10 ms< /p>


;具有


1/40


亚像素

< br>平移重复精度和


0.05


度旋转重复精度。


此外,


内置的标定模块能矫正畸变、


投影误差和


X-Y


像素比误差,


完整的检测工具包含硬 件接口、


图像采集、


图像标定、


图像预 处理、


几何定位、


颜色检测、几何测量、


Blob


分析、清晰度评价


(


自动对 焦


)


、模式匹配、边缘探测等多种多


样 ,开放式体系结构,支持


DirectShow



DCam



GigE vision


等多种通用协议,几乎与


市面上所有商业图像采集卡,以及各种


USB



1394


以及


GigE


接口的摄像机兼容。



Cognex


公司的


VisionPro

< p>
是一套基于


.Net


的视觉工具,适用于包括


FireWire



CameraLink


在内的所有硬件平台,


利用


Activ eX


控制可快速完成视觉应用项目程序的原模


型开发,可使用相 应的


Visual Basic





C#



C++< /p>


搭建出更具个性化的应用程序。



LEA DTOOLS


在数码图像开发工具领域中已成为全球领导者之一,是目前功能强大的优秀


的图形、图像处理开发包,它可以处理各种格式的文件,


并包含 所有图形、


图像的处理和转


换功能,支持图形、图像、多媒体、 条形码、


OCR



Internet< /p>



DICOM


等等,具有各种软


硬件平台下的开发包。



此外,


还有


Dalsa


公司的


She rlock


检测软件,


日本的


OMRO N



Keyence



德国


SIEMENS


等,这些机器视觉软件都能提供完 整的表面缺陷检测方法。



国内机器视觉检测系统开发较晚,< /p>


相关的企业主要是代理国外同类产品,


提供视觉检测方案


和系统集成,其中具有代表性的企业有凌华科技、大恒图像、视觉龙、凌云光子、康视达、


OPT


、三姆森和微视图像等。



1.3


视觉硬件平台



机器视觉表面质量检测,


特别是实时检测,


图像采集 的数据量大,


所以如何提高图像处理速


度显得十分重要。


提高图像处理速度主要有两种手段,


一是改善和优化图像处理算法,< /p>


算法


既要简单快速,


又要兼顾实际效果;


二是改善和优化实现算法的手段。


目前,实时图像处理


采集方案主要为下面几个方面


[


42

< p>
]




1)

< p>
通用计算机网络并行处理。这种处理结构采用“多客户机


+


服务器”的方式,一个图像


传感器对应一台客户机,


服 务器实现信息的合成,


图像处理的大部分工作由软件来完成。



结构虽然比较庞大,但升级维护方便、实时性较好。



2)


数字信号处理器


(DSP)



DSP


是一种独特的微处理器,是以数字 信号来处理大量信息的


器件。其工作原理是将接收到的模拟信号转换为“


0


”或“


1


”的数字信号,再 对数字信号


进行修改、删除和强化,并在其他系统芯片中把数字数据解译回模拟数据或实 际环境格式,


其实时运行速度远远超过通用微处理器。但是,


D SP


的体系仍是串行指令执行系统,而且


只是对某些固定的运算 进行硬件优化,故不能满足众多的算法要求。



3)


专用集成电路


(ASIC)


< br>ASIC


是针对于某一固定算法或应用而专门设计的硬件芯片,

< br>有很


强的实时性。但在实际应用中存在开发周期相对较长、成本高、适应性和灵活 性差等缺点。



4)


现场可编程门阵 列


(FPGA)



FPGA

< p>
由多个可编程的基本逻辑单元组成的一个


2


维矩阵 ,


逻辑单元之间以及逻辑单元与


I/O


单元之间通过可编程连线进行连接。


FPGA


能在设计上具


有很强的灵活性,集成度、工作速度也在不断提高,可实现的功能也越来越强;同时其开发< /p>


周期短,系统易于维护和扩展,能够大大地提高图像数据的处理速度。


实时图像处理系统中,


底层的信号数据量大,

< p>
对处理速度的要求高,


但运算结构相对比较简


单, 适合采用


FPGA


以硬件方式来实现;高层处理算法的特点是处 理的数据量相对较少,


但算法和控制结构复杂,可使用


DSP< /p>


来实现。所以,可以把二者的优点结合在一起以兼顾


实时性和灵活 性。



USB


、串口、并口是计算机和 外设进行通讯的常用接口,但对于数据量大的图像来说,串行


RS-232


协议难于达到图像采集实时性要求。


USB


口即使能 满足所需速度,


但要求外设必须


支持


U SB


协议,而


USB


协议与常用工程软 件的接口还不普及。


IEEE-1394


接口具有廉价,


速度快,支持热拔插,数据传输速率可扩展,


标准开放等特点,在众多 领域得到了广泛的应


用。但随着数字图像采集速度的提高、数据量的增大,原有的标准渐 难以满足需求。为了简


化数据的连接,实现高速、高精度、灵活、简单的连接,在


National Semiconductor


< br>司等多家相机制造商共同制定推出了


Camera Link


标准。


Camera Link


是专门为数字摄像


机的数据传输提出的接口标准,


专为数字相 机制定的一种图像数据、


视频数据控制信号及相


机控制信号传输 的总线接口,其最主要特点是采用了低压差分信号


(LVDS)


技术,使摄像机


的数据传输速率大大提高。



2


表面缺陷检测图像处理和分析算法



2.1


图像预处理算法


< p>
工业现场采集的图像通常包含噪声,


图像预处理主要目的是减少噪声,


改善图像的质量,


使


之更适合人眼的观察或 机器的处理。


图像的预处理通常包括空域方法和频域方法,


其算 法有


灰度变换、


直方图均衡、


基于空域 和频域的各种滤波算法等,


其中直观的方法是根据噪声能


量一般 集中于高频,


而图像频谱则分布于一个有限区间的这一特点,


采 用低通滤波方式进行


去噪,例如滑动平均窗滤波器、


Wiene r


线性滤噪器等。上述各种滤波方法中,频域变换复


杂,


运算代价较高;


空域滤波算法采用各种模板对图像进行卷积运算。


直接灰度变换法通过


对图像每一个像素按照某种函数进行变换后得到 增强图像,变换函数一般多采用线性函数、


分段线性函数、


指数 函数、


对数函数等,


运算简单,


在满足 处理功能的前提下实时性也较高。


近年来,数学形态学方法


[< /p>


43


-


44


]< /p>


、小波方法


[


45


-


47


]


用于图像的去噪,取得了较 好的效果。



2.2


图像分割算法



图像的分割是把图像阵 列分解成若干个互不交迭的区域,


每一个区域内部的某种特性或特征

相同或接近,


而不同区域间的图像特征则有明显差别。


它是 由图像处理到图像分析的关键步


骤。


现有的图像分割方法主要分 为基于阈值的分割方法、


基于区域的分割方法、


基于边缘的


分割方法以及基于特定理论的分割方法等。


近年来,


研究者不断改进原有的图像分割方法并


把其他学科的一些新理论和新方法用于图 像分割,


提出了不少新的分割方法。


图像分割后提


取出的目标可以用于图像语义识别、图像搜索等领域。



2.2.1


基于区域的分割算法


< /p>


基于区域的分割算法包括阈值分割法、区域生长法和聚类分割法等。



阈值分割法是一种传统的图像分割方法,


其基本原理是:< /p>


通过设定不同的灰度阈值,


把图像


像素点 分为若干类。


因其实现简单、


计算量小、


性能较稳定而成为图像分割中最基本和应用


最广泛的分割方法,其中阈值的选取是图像 阈值分割方法中的关键。



关于阈值的确定方法,目前比较常用 的有固定阈值法、自适应阈值法、


多区域阈值法等。固


定阈值分 割算法实时性强,


适用于图像背景和目标灰度值区别明显的情况;


自适应阈值分割


算法,


适用于目标与背景的灰度值区别不明显 的情况;


多区域阈值法,


适用于目标与背景在

< br>不同区域区别较大的情况。



Otsu

< br>提出了动态门限方法


[


48


]< /p>



它以目标和背景之间的方差最大来动态地确定图像分割门限


值,但当目标的相对面积较小时,此方法性能不佳。


Pun



Kapur


等人提出了利用最大先

< p>
验熵选取阈值的方法


[


49


-


50


]



从信息论的角度选择阈值,


在一定程度上克服了上述算法的缺


点 ,但当图像背景复杂时分割时容易丧失部分信息,且计算量较大。


Yen


等人提出了利用最大相关性原则取代常用的最大熵原则来选取阈值的方法


[


51


]


,以及基


于一维或


2


维直方图的阈值方法


[


52


-


54


]


、最小误判概率准则下的最佳阈值方法


[< /p>


55


]


在其后也


被提出。



区域生长法的基本思想是依据一定的生长准则,


将若干个


“相似”


子区域聚合成较大的区域 。


它首先对每个需要分割的区域找到一个种子像素作为生长的起点,

再将种子像素邻域中与其


具有相同或相似性质的像素根据某种事先确定的准则合并到 种子像素所在的区域中;


将这些


新像素当作新的种子像素继续像 上面的操作,


直到再没有满足条件的像素可包括进来。


此法


原理简单,


对于较均匀的连通目标有较好的分割效果;


缺点是依赖于初始条件的选取,


计算


量较大,不适用 于实时检测。



分裂—合并法也是一种基于区域的分割算法,其 基本思想是:根据图像和各区域的不均匀


性,


将图像或区域分裂 成新的子区域,


再将包含相同内容的区域合并成新的较大区域,


最后


得到分割图像。四叉树分解是一种常用的分裂—合并法,其具体过程是:将图像分成


4



大小相等的方块,判断每个小块是 否满足一致性标准


(


如两区域参数统计特征结果相同,等



)


。若满足,则不再分解;若不满足,则再 细分成四块,再用细分块进行一致性标准检查,


直到满足一致性标准,结果可能包含大小 不同的块。



聚类法进行图像分割是根据图像在特征空间的聚集 对特征空间进行分割,


再映射到原图像空


间得到分割结果,


K


均值聚类算法、模糊


C

< br>均值聚类


(FCM)


算法


[


56


-


57


]


是常用的聚类算法。



2.2.2


基于边缘的分割方法



基于边缘的分割 方法其实就是根据图像中局部特性的不连续性而采用某种算法来提取出图


像中的对象与背 景间的交界线。



边缘处像素的灰度值不连续,


这种不连续性可通过求导来检测。


经典的边缘检测算法一般采

< br>用微分的方法进行计算,


常用的一阶微分边缘检测算子有


Robert


算子、


Sobel


算子、


Prewitt


算子、


Kirsch< /p>


算子等几种。一阶微分算子方法计算简便、速度快,但定位不准确。二阶微


分算子主要有


Canny


算子、


Log


算子、


Laplacian


算 子,这类算子基于一阶导数的局部最


大值对应二阶导数的零交叉点这一性质,

< p>
通过寻找图像灰度的二阶导数的零交叉点从而定位


边缘。

< br>二阶微分算子方法边缘定位准确,


但对噪声敏感。


对于噪 声污染的图像,在进行微分


算子边缘检测前一般先要滤波,但滤波的同时也使图像边缘产 生一定程度的模糊。


Marr



子将噪 声滤波与边缘提取相结合,但当模板较小时抗噪性能不良,模板较大时计算费时。



2.2.3


基于特定理论的分割方法



随着数学和人工智能的发展,


出现了一些新的边缘检测方法,< /p>


如数学形态学法、


小波变换法、


人工神经 网络法、遗传算法、基于模糊理论的算法等。



20

< p>
世纪


90


年代初,


Mal lat


在图像多分辨分析理论的基础上,提出了小波变换局部模极大

值边缘检测方法


[


58


-


59


]


,在噪声图像中取得了较好的边缘检测效 果。后来,人们在


Mallat


理论框架下,提出了多尺度边缘 检测方法


[


60


]

。多尺度边缘检测方法主要思想在较大的尺度


下能对边缘精确检测,


而在较小的尺度下能对边缘点精确定位。


小波变换的突出优点是其多

< p>
分辨率,


图像的每个尺度的小波变换都提供了一定的边缘信息。

< p>
小波分析在时域和频域都具


有良好的局部化性质,


可聚焦到对象的任意细节,


是图像处理领域的热点。


虽然人们提 出了


多种的边缘检测方法


[


61


-


62


]



但边缘检测时抗噪性和检测精度的矛盾仍然是要研究的重点内


容之一。< /p>



基于数学形态学边缘检测方法


[


63


-


64


]


的基本思想是用具有一定形态的结构元素提取图像中


的对应形状,


以达到对图像分析和识别的目的。


采用多结构元素的数学形态学算法 ,


既能提


取细小边缘,


又能很好的抑制 噪声,


结构元素选取灵活,


但在灵活的同时也导致算法的适应< /p>


性变差。



近年来有一些新的研究手段如 神经网络、


遗传算法和小波方法等被引入到图像分割的阈值选


取 中


[


65


-


6 9


]


,其效果仍在探索之中。



虽然有许多图像分割的方法,


这些算法的共性问题在于分割精度与抗噪 性的矛盾,


同时,



实时性处理算法的 研究远远滞后于通用图像处理算法的研究,


应用于实际生产中的一些算法


在准确性、


实时性和可操作性上也还存在较大的困难。


至今,


图像分割算法大都是针对具体


问题所提出的,

< p>
虽然每年都有新的图像分割算法提出,


但是并没有一种通用的算法能适用于


所有的图像分割处理。



2.3


特征提取及其选择算法



图像的特征提 取可理解为从高维图像空间到低维特征空间的映射,


是基于机器视觉的表面缺

< p>
陷检测的重要一环,


其有效性对后续缺陷目标识别精度、

< br>计算复杂度、


鲁棒性等均有重大影


响。

< br>特征提取的基本思想是使目标在得到的子空间中具有较小的类内聚散度和较大的类间聚

散度。目前常用的图像特征主要有纹理特征、颜色特征、形状特征等。



2.3.1


纹理特征提取



纹理是表达图像的一种重要特征,


它不依赖于颜色或亮度而反映图像的同 质现象,


反映了表


面结构组织排列的重要信息以及它们与周围环 境的联系。


与颜色特征和灰度特征不同,


纹理

< br>特征不是基于像素点的特征,它需要在包含多个像素点的区域中进行统计计算,即局部性;


同时,


局部纹理信息也存在不同程度的重复性,即全局性。纹理特征常具有旋转 不变性,并


且对于噪声有较强的抵抗能力。


< br>根据


Tuceryan



Jai n


的分类,基于的纹理特征提取方法有统计法、信号分析法、模型法、

< br>结构法和几何法。



1)


统计 法。统计方法将纹理看用随机现象,从统计学的角度来分析随机变量的分布,从而


实现对 图像纹理的描述。


直方图特征是最简单的统计特征,


但它只反映 了图像灰度出现的概


率,没有反映像素的空间分布信息;灰度共生矩

(GLCM)


是基于像素的空间分布信息的常用


统计方法; 局部二值模式


(LBP)


具有旋转不变性和多尺度性、计算简单 ;此外,还有行程长


度统计法、灰度差分统计法等,因计算量大、效果不突出而限制了其 应用。



(1)


直方图特征。


图像的直方图提供了图像的许多信息和特征,


常用的直方图特征有最大 值、


最小值、均值、中值、值域、熵、方差和熵等。此外,直方图对比统计特征,如


L1


范数、


L2


范 数、


Bhattacharyya


距离、


Matusita


距离、


归一化相关系统等,


亦常用作统计特征


[


70


]< /p>




直方图特征方法计算简单、具有平移 和旋转不变性、对颜色像素的精确空间分布不敏感等,


所以在表面检测、缺陷识别得到不 少应用。



(2)


灰度共生矩。


Haralick


等人


[

< br>71


]


提出的灰度共生矩是一种广泛应用的使用统计特征 来描


述纹理的方法。


灰度共生矩阵就是从图像灰度级为的像素出 发,


统计与其距离为、


灰度级为


的像素 同时出现的概率。一般取


0


°、


45< /p>


°、


90


°和


1 35


°这


4


个方向。灰度共生矩阵反映 了图


像灰度关于方向、


相邻间隔、


变化 幅度的综合信息,


所以可以作为分析图像基元和排列结构


的信息 。



GLCM


共有

14


种纹理特征,文献


[


72


-


74


]


研究了< /p>


GLCM


统计量的相关性并提出了更有效的


纹理特征量,但是文献


[


75


]


认为仅有


4


个特征,即对比度、相关性、能 量


(


和同质性是不相


关的,

< p>
所以,


为减少计算量,


提高特征分类精度,


常取这


4


个特征作为


GLCM


特征。


GLCM


在图像的纹理 分析中占有重要的地位,在特征提取和缺陷检测等方面有着广泛的应用。



(3)


局部二值模式


(LBP)


。局部二值模式最早由


Ojala


提出,它 引入了纹理基元的思想,是


一个简单但非常有效的纹理运算符。


LBP


将各个像素与其附近的像素进行比较,


并把结果保


存为二进制数,


即它用二进制位表达局部邻域点与中心点的关系,


所有邻域点的二进制位用


来描述局部结构信息的模式。



LBP


对诸如光照变化等造成的图像灰度变化具有 较强的鲁棒性,


所以局部二值模式算法已广


泛应用于表面缺陷检 测,


同时,


在指纹识别、


光学字符识别 、


人脸识别及车牌识别等领域也


有应用。由于

< br>LBP


计算简单,也可以用于实时检测。



目前出现了一些改进的


LBP


算法。


Tan


等人


[


76

< p>
]


提出了局部三值模式


(LTP)


,即通过设定阈


值将邻域与中心相似的状态作为中间状态,

从而将扩展局部邻域关系为三种状态。


在此基础


上,


Nanni


等人


[


7 7


]


将局部关系扩展到四种状态。


也有 学者将


LBP


由传统的


2


维特征改进到


3


维特征主要用于视频分析

< p>
[


78


-


80

< p>
]



此外,


有学者将


LBP


表达的局部信息与其他信息或算法


结 合构成联合特征量,如


Tan


等人


[< /p>


81


]


联合


LB P


特征和


Gabor


小波特征进行人脸 的识别,


Huang


等人


[

< p>
82


]



LBP



SIFT


算法结合用于人脸的


3


维识别。贺永刚


[


83


]


提出了一种多结


构的局部二值模式,


该算法结合各向同性采样和各向异性采样对局部二值模式进行扩展,



用图像金字塔提取纹理图像的微结构和宏结构信息。



(4)


自相关函数法。自相关函数法从图像的自相关函数提取 纹理特征,即通过对图像的能量


谱函数的计算,


提取纹理的粗细 度及方向性等特征参数。


对于规则纹理图像,


因其自相关函


数具有波峰和波谷,故可用其进行表面检测,但自相关函数法不适用于不规则纹理图像。



2)


信号处理法。将图像当作


2


维分布的信号,从而可从信号滤波器设计的角度对纹理进行

< p>
分析。信号处理方法也称滤波方法,即用某种线性变换、滤波器


(



)


将纹理转到变换域,然

后应用相应的能量准则提取纹理特征。基于信号处理的方法主要有傅里叶变换、


Ga bor



波器、小波变换、


Laws< /p>


纹理、


LBP


纹理等。

< br>


(1)


傅里叶变换方法。傅里叶变换是基于频率的分 析方法,


20


世纪


70


年代以来,有学者提


出通过傅里叶滤波器来描述纹理。


傅里叶变换将图像变换到频率域上使用频谱能量或频谱熵


等特征来表达纹理。

< p>
Rao



Lohse


开展 了基于人的感知的纹理研究,指出周期性、方向性


以及随机性是表征纹理的


3


个重要因素


[


84


]


。纹理图像在空间分布上具有一定的周期性,其

功率谱具有离散性和规律性;


对于方向性纹理,


方向性会在 傅里叶频谱中很好的保持;


对于


随机性纹理,频谱的响应分布并 不限制到某些特定的方向。



根据相对于频率中心位置距离的频 谱分布情况,


可以大致判断纹理图像的相对粗糙程度。



于粗糙纹理,


其纹理基元尺寸较大,


图像的低 频信号较多,


功率谱的能量主要集中在离频率


中心位置较近的低 频区域;


相反,


对于基元尺寸较小的细致纹理,


图像含有的高频信息较多,


功率谱的能量分布较为分散,


主要集中在距离频率中心位置较远的高频区域。


但是,


傅里叶

-


-


-


-


-


-


-


-



本文更新与2021-02-08 07:48,由作者提供,不代表本网站立场,转载请注明出处:https://www.bjmy2z.cn/gaokao/613095.html

机器视觉表面缺陷检测综述的相关文章