-
给出了缺陷的定义、分类及缺陷检测的一般步骤,阐述传统方法、机器学习、深度学习,并比较和分析了优缺点。
-
传统图像处理:分割和特征提取
-
机器学习:
有监督学习和无监督学习
-
深度学习:
检测、分割及分类
-
最后指出缺陷检测目前存在的问题及展望
-
传统方式一般步骤为图像采集、图像预处理(去噪增强等)、图像分割、特整提取及分类识别。
-
本文主要概括了
图像分割
和
特征提取
-
图像分割:阈值分割、边缘检测、区域生长
-
特征提取:从颜色、纹理、形状
(由于作者仅研究深度学习方向,故此部分暂不深入研究,读者感兴趣可根据下图或原文献做进一步研究)
不借助任何人工成本的情况下,根据相似性自行分类
无监督特征学习、聚类和概率密度
从
⽆标签的数据
中,挖掘出有效的数据特征或表示
主要⽅法有
主成分分析、稀疏编码法、⾃编码器
等
-
主成分分析(principal componnents analysis,PCA)
可用于
降维
。去除特征数据间的关联性,保留缺陷的必要信息(31-32)
1
-
稀疏编码法(sparse coding,SC)
是根据哺乳动物的视觉系统设计出的
⼈⼯神经网络(artificial neural network,ANN)
(33-37)
-
自编码器(auto-encoder,AE)
使⽤表征形式来
重建数据
,除了特征学习外,AE还可
分割图像
(38-40)
-
⽆监督特征学习可⽤于
降维且鲁棒性好
。由于
PCA
的每个主分量都是原始变量的线性组合,主成分的解释通常带有⼀定的
模糊性
,所以可稀结合
稀疏性与主成分分析法
进⾏缺陷检测
聚类是按照⼀定的规则对样本进⾏划分,是⼀种
分类问题
(41-43)
-密度估计通过
样本的分布
来估量其与各个分组之间的相似性
-表面缺陷检测主要有4种:
深度信念网络、生成对抗网、变分自编码器、玻尔兹曼机
-
深度信念网络(deep belief network,DBN)
是⼀种
概率有向图
模型。既可⽤于⽆监督学习和有监督学习,此处应⽤均为⽆监督学习(43)
-
生成对抗网络(deep adversarial network, GAN)
通过特殊的训练方式生成接近真实数据分布的框架(44-46)
-
变分自编码器(variatonal auto encoder,VAE)
包含推断⽹路和⽣成⽹络,可将推断⽹络看作“编码器(encoder)”,⽣成⽹络看作“解码器(decoder)”(47)
-
玻尔兹曼机(Boltzmann machine,BM)
是⼀种
随机神经⽹路
,在实际应⽤中,使⽤较⼴泛的是
受限玻尔兹曼机(restricted Boltzmann machine,RBM)
(48)
-
GAN和VAE多用于解决数据不平衡;BM结构复杂且效率低,故未大量使用
-
⽆监督学习并没有像有监督学习那样获得⼴泛的成功,其主要原因在于
无监督学习难以衡量其好坏
,因为缺少有效的客观评价⽅法
3类:非概率模型、概率判别模型、生成模型
此方法解决途径比较直接,关键在于最优化的求解。
表面缺陷检测有3种:
多层感知机、支持向量机、K近邻
-
多层感知机(multilayer perception,MLP)
是⼀种前ANN,可以处理
⾮线性可分
的问题(49-52)
-
K近邻(K-nearest nerghbor, KNN)
是在
某⼀范围内
找到与样本
相似
的⽬标(53-57)
-
支持向量机(support vector machine,SVM)
是⼀种经典的
⼆分类
的⼴义线性分类器;关键在于
核函数
的选择;为
提高分类精度
可与其他算法相结合(55.56.58.59)
-
在使⽤
非概率模型
进⾏表⾯缺陷检测时,⼤部分模型都是⽤来对缺陷进⾏
分类
,其中
多层感知机
除了⽤于分类,还可⽤于
表征缺陷[60]、分割[52]、及定位[61]
。对于⽀持向量机的优化主要在于结合其他⽅法以提升分类性能;⾮概率模型中,
SVM
的性能较其他⽅法
性能更佳
概率判别模型间接的
使用条件概率
进⾏判别
在表⾯缺陷检测中有4种:
决策树、逻辑回归、最大熵模型、条件随机
-
决策树(decision tree,DT)
直接通过
概率
进⾏分类(62)
-
逻辑回归(
Logistic Regression,LR
)
是一种线性回归模型;
分类模型
,常用于
二分类
(63)
-
最大熵模型(maximum entropy,ME)
是按照模型
熵最大
的原则来选择;缺陷检测中常用与
分割
-
条件随机场(conditional random field,CRF)
是一种直接建模的
条件概率无向图
模型;能充分利用图像特征上下文信息(67.68)
-
使⽤
决策树
对缺陷进⾏分类时需注意
树结构冗余、树剪枝复杂
,在处理较⼤的特征时效率低等问题,可与KNN、SVM等结合解决上述问题。
条件随机场
可以在早期检测到基于传统图像处理⽅式⽆法检测到的
不清晰的微裂纹
⽣成模型与上述⾮概率模型!概率判别模型相⽐,解决问题的途径相对间接;先求解,然后利⽤
⻉叶斯定理
进⾏判别
在表⾯缺陷检测中有3种:
朴素⻉叶斯、受限玻尔兹曼机、隐马尔可夫模型
-
朴素贝叶斯(naive Bayes,NB) 是在
特征条件独⽴
假设下运⽤⻉叶斯定理进⾏分类的⽅法 (69)
-
受限玻尔兹曼机(restricted Boltzmann machine,RBM)是⼀种随机⽣成的**ANN[70]**除了⽤于⽆监督学习,也可⽤于有监督学习(70-72)
-
隐⻢尔可夫模型(hidden Markov model,HMM)是结构最简单的
⻉叶斯⽹
(73)
-
综上,从⽂献的年代可以看出,使⽤
有监督学习
的⽅法是表⾯缺陷检测近年来的
研究热点
,还具有很⼤的发展空间
本文主要总结缺陷检测中的DNN。是基于端到端的网络,将特征提取、选择和分类融合在一起[74]。
有4种:分类、检测、分割和轻量化DNN
下图为部分网络的对比
基于深度学习的表⾯缺陷检测⽹络⼤都使⽤
VGG、GoogleNet、ResNet
等作为“Backbone”,其通常被⽤于
特征提取和分类
-
VGG
结构简洁
具有很强的
实用性
;缺陷分类和定位方面有较高的可靠性和鲁棒性(75-77)
-
GoogleNet
采用的是
模块化
的结构(78.79)
-
ResNet
是
VGG-16
的延申,添加了
残差单元
,解决了DNN退化问题(80-82)
-
其他:AlexNet、DenseNet
根据网络中是否有候选框,分为:单阶段和双阶段
单阶段
:输入图像、输出备选框和分类一体化完成
双阶段
:一半选择备选框,一半对备选框进行判断
-
双阶段网络:
Faster R-CNN
是双阶段⽹络中的代表,
检测速度
较前两代有很⼤的提升(83-91)
-
单阶段网络:包含
SSD(single shot multiBox detector)
和
YOLO(you only look once)
两种。两者都是只用一个网络同时区域检测和输出(92-97)
主要是区分缺陷与非缺陷
实例分割在语义分割的基础上,还可对缺陷进行
定位、分类
FCN、SegNet、DeepLab系列、U-Net
-
全卷积网络(Fully Connvolutional Networks,FCN)
是最初提出的语义分割网络,可以
融合多层信息
(98-103)
-
SegNet
在FCN的基础上增添了
解码器
,是由卷积层组成的语义分割网络(104.105)
-
DeepLab系列
解决了FCN分割结果粗糙的问题,更注重
细节
(106)
-
U-Net
是一种具有编码-解码结构的U型网络(107-110)
在语义分割的基础上,区分出同类的不同实例
-
Mask-R-CNN 是实例分割中最常见,最具有代表性的网络(111.112)
-
使用语义分割时,将缺陷检测看作二分类问题;
实例分割
处理
多种类
的缺陷
-
分割网络相比于分类和检测网络,缺陷信息特征提取上有优势,但需大量数据
保证精度
的情况下,
提高精度和减小体积
此方法在缺陷检测中的应用还不是很多
-
MobileNet系列
其核心是
深度可分离卷积
,有3个类型V1、V2、V3(95-97.113)
-
SqueezeNet
结合GoogLeNet与VGG,提出Fire模块并堆叠使用(114.115)
-
EfficientNet
结合MobileNetV2与SENet,可同时对网络宽度、深度和图像尺寸调整(116-118)
-
其他轻量级:分类网络ShuffleNet;检测网络Liight-Head R-CNN、ThunderNet、YOLO-Fastest、CSPNet;分割网络:BiSeNet、DFANet
-
百度飞浆
有大量开源数据集
-
下图是原论文总结的30个工业表面缺陷常用数据集
导读:
机器视觉
技术在
表面
缺陷检测
方面的发展趋势如何?很多人都不了解,据悉,目前工业中应用的
机器视觉
检测绝大部分执行的是二维检测任务,三维
机器视觉
检测仍处于理论研究和试验阶段。除此之外,
机器视觉
检测的精度、智能化和检测速度还有待提高。
机器视觉
技术在
表面
缺陷检测
方面的发展趋势: 一、实现在线实时检测;
二、实现智能化检测;
三、实现高精...
IEEE TIE2021 | 用于
缺陷检测
的双向注意力特征金字塔网络
BAF-Detector: An Efficient CNN-Based Detector for Photovoltaic Cell Defect Detection
Binyi Su, Haiyong Chen, and Zhong Zhou
为了解决随着
深度学习
网络的加深,网络出现的feature vanishment问题,本文提出了一种名为的双向注意力特征融合检测器BAF-Detector,旨在提升多尺度光伏电池
根据现代铁路自动检测技术对实时检测和适应性的要求,铁路
表面
缺陷的检测是铁路日常检查的重要组成部分。 本文提出了一种基于
机器视觉
的铁路
表面
缺陷实时检测
方法
。 根据
机器视觉
的基本原理,设计了装有LED辅助光源和遮光箱的图像采集装置,并设计了便携式测试模型进行现场实验。 考虑到实时性要求,无需进行图像预处理就可以实现从原始图像中提取目标区域的
方法
。 基于形态学过程对钢轨的
表面
缺陷进行了优化,并通过跟踪方向链代码获得了缺陷的特征。 结果表明,该
方法
的最大定位时间为4.65 ms,最大定位失败率为5%。 该
方法
的实时检测速度可以达到2 m / s,可以对人工步行进行实时检测,每张图片的处理时间高达245.61 ms,保证了图像的实时性能。便携式轨道缺陷视觉检查系统。 该系统在一定程度上可以代替人工检查,并对轨道缺陷进行数字化管理。
[1] Autonomous Structural Visual Inspection Using Region-Based Deep Learning for Detecting Multiple Damage Types
2018年的一篇杂志文章。文章使用Faster R-CNN用于土木建筑领域的混凝土。钢裂纹等损伤检测,文章主要是把Faster R-CNN迁移到行业检测,算是Faster ...