基于机器视觉的产品表面缺陷检测关键算法研究_视觉缺陷检测常用算法资源-CSDN文库

版权申诉

5星 · 超过95%的资源 150 浏览量 2022-05-01 12:22:20 上传评论 23 收藏 5.5MB PDF 举报

基于机器视觉的产品表面缺陷检测关键算法研究基于机器视觉的产品表面缺陷检测关键算法研究基于机器视觉的产品表面缺陷检测关键算法研究基于机器视觉的产品表面缺陷检测关键算法研究基于机器视觉的产品表面缺陷检测关键算法研究基于机器视觉的产品表面缺陷检测关键算法研究基于机器视觉的产品表面缺陷检测关键算法研究基于机器视觉的产品表面缺陷检测关键算法研究基于机器视觉的产品表面缺陷检测关键算法研究基于机器视觉的产品表面缺陷检测关键算法研究基于机器视觉的产品表面缺陷检测关键算法研究基于机器视觉的产品表面缺陷检测关键算法研究基于机器视觉的产品表面缺陷检测关键算法研究基于机器视觉的产品表面缺陷检测关键算法研究基于机器视觉的产品表面缺陷检测关键算法研究基于机器视觉的产品表面缺陷检测关键算法研究基于机器视觉的产品表面缺陷检测关键算法研究基于机器视觉的产品表面缺陷检测关键算法研究基于机器视觉的产品表面缺陷检测关键算法研究基于机器视觉的产品表面缺陷检测关键算法研究基于机器视觉的产品表面缺陷检测关键算法研究基于机器视觉的产品表面缺陷检测关键《基于机器视觉的产品表面缺陷检测关键算法研究》在当今高度自动化的制造业中，产品表面缺陷检测是一项至关重要的任务，关系到企业的竞争力和产品质量。随着德国工业4.0的推进，中国提出的中国制造2025战略也强调了提升产品质量的重要性。机器视觉技术，结合机器学习和深度学习算法，为实现这一目标提供了强大的工具。本研究主要围绕三个核心算法展开： 1. 区域特征聚类显著性检测的表面缺陷分割算法：针对传统机器学习算法在检测准确性和鲁棒性上的不足，提出了利用GPU加速的超像素分割，计算每个超像素区域的特征向量，并运用多带宽无参聚类算法生成显著性图。通过神经网络融合这些图，最终得到高精度的缺陷分割图。实验结果显示，此算法在效果、准确率、召回率、F值和MAE等方面均有所提升。 2. 基于U-net和迁移学习的表面缺陷检测算法：为解决深度学习图像分割算法的精度和计算量问题，采用了数据扩充和EfficientNet作为主干网络提取特征，结合U-net进行多尺度特征融合。通过一层卷积得到四类缺陷的映射，平均Dice系数高达0.905，表现出优越的精度和鲁棒性。 3. 迁移学习与多尺度特征融合的表面缺陷检测算法：该深度学习模型包括高效网络主干、特征金字塔网络和反卷积网络的多尺度融合，使用Mish激活函数增强模型的泛化能力。实验结果显示，平均Dice系数为0.912，对于钢材表面缺陷检测具有出色性能。 4. 结合分类与目标检测的表面缺陷检测算法：为了解决深度学习分类算法无法定位缺陷的问题，该方法结合了分类和目标检测模型，如Faster R-CNN，通过引入FPN和SPP改善麻点缺陷的识别，调整锚点大小以提升裂缝缺陷的检测精度。在ResNet50-vd基础上应用DCN和改进Cutout数据增强，提高了对各种形状缺陷的检测能力，整体模型精度达到了0.982。这些算法的提出和优化，不仅提升了产品表面缺陷检测的自动化水平，还大大提高了检测的精确度和速度，为智能制造和工业4.0时代的质量控制提供了有力的技术支持。未来，随着算法的不断迭代和硬件性能的提升，产品表面缺陷检测的效率和准确度将进一步提高，助力制造业向更高层次的自动化和智能化迈进。

资源推荐

资源详情

资源评论

摘要

近年来，发达国家相继开始了对制造业进行产业升级，其中主要以德国的工

业 4.0 为代表。制造业在我国既是国民社会经济中的支柱产业，而且也是我国推

动创新以及产业升级的主战场。在中国制造 2025 这个战略中指出要更快的提高

产品的质量，制定提升产品质量的实施计划。对于一个企业来说，产品质量是企

业发展和竞争的基石。提高产品的质量对于企业十分重要。因此，在众多的工业

领域，产品表面缺陷检测已经吸引了大量的研究人员对其进行深入的研究。

为了进一步提升产品表面缺陷检测的自动化程度，研究人员使用机器学习

或者深度学习算法来进行检测。这类方法已经成为了新的发展方向。在工业生产

过程中，由人工来做测量和判断会因为疲劳、操作人员个体差异等产生误差和

错误，通过视觉显著性的方法来模拟人来进行产品的缺陷检测能够增加效率和

准确率，能够很方便的区分出有缺陷的区域和没有缺陷的区域。因此研究基于

机器视觉的产品缺陷检测算法对发展智能生产线有着至关重要的作用，也是我

国工业生产智能制造的关键一步。因此，本课题研究机器视觉算法用于产品缺

陷检测的有着重要的现实意义，对实现智能制造具有重要的理论意义及实际价值。

具体研究内容如下：

1. 提出了一种基于区域特征聚类显著性检测的表面缺陷分割算法。针对传

统的基于机器学习的表面缺陷检测算法中准确率低、鲁棒性弱的问题。本文提出

了一种基于区域特征聚类显著性检测的表面缺陷分割算法。首先使用由 GPU 加

速的超像素分割算法对图像进行分割，接着对分割的每个超像素区域求取特征向

量。再使用多带宽无参聚类算法对特征向量聚类，得到十个不同带宽下的显著性

图。通过神经网络对显著性图进行合并。把最后得到的显著性图作为一个新的特

征再次重复以上过程。重复十次后得到最终的缺陷图像分割图。通过实验表明，

本算法和其他算法比较，在效果、准确率、召回率、F 值以及 MAE 上都有提高。

2. 提出了基于 U-net 和迁移学习的表面缺陷检测算法。针对当前的深度学习

图像分割算法在提高精度和减少计算量方面仍有很大的空间。采用迁移学习或改

进算法，可以提高学习精度，取得较好的效果。将批归一化（BN）层合并到卷积

层中，可以减少计算量。首先，使用数据扩充扩展数据集。然后使用 EfficientNet

作为主干网络来提取特征。使用 U-net 在多个尺度上对特征进行融合。最后，通

基于机器视觉的产品表面缺陷检测关键算法研究

过一层卷积得到大小为 512×512×4 的四类缺陷的映射。实验表明，该算法比其他

算法具有更高的精度和鲁棒性。平均 Dice 系数达到 0.905。

3.提出了一种基于迁移学习和多尺度特征融合的表面缺陷检测算法。这种深

度学习模型是一种端到端的表面缺陷检测算法。它由基于高效网络的主干网、自

顶向下的特征金字塔网络（BiFPN）和基于反卷积网络的多尺度特征融合组成，

以产生最终的输出。最终输出是四个与输入大小相同的分割图，表示四类缺陷。

由于 Mish 激活函数能够获得更好的梯度并且不出现饱和现象，因此本文中的激

活函数使用了 Mish，进而使得模型更准确泛化性更好。实验结果表明，该算法的

平均 Dice 系数为 0.912。优于其他深度学习算法的钢材表面缺陷检测。

4. 提出了一种将分类与目标检测模型相结合的表面缺陷检测算法。基于深

度学习的分类算法只能对图像进行分类，不能确定缺陷的位置和大小。这对以后

的数据分析有很大的影响。基于 GAN 和强化学习，很难训练出一个稳定、准确

的模型。本章实现了钢板表面缺陷的自动检测和定位，进一步提高了算法的精度

和稳定性，减少了算法的平均运行时间。通过分析发现，麻点表面缺陷较小不明

显，该类缺陷准确度不高。通过在 Faster R-CNN 的特征提取部分加入 FPN 和

SPP，提高了这类缺陷的识别精度。裂缝缺陷又窄又长检测的准确性不高。通过

改变 Faster R-CNN 的默认锚的大小，提高了定位精度。在分类模型和目标识别

模型的主干网络 ResNet50-vd 改进模型中，通过加入 DCN 和改进的 Cutout 数据

增强，可以更好地检测出各种形状的缺陷，具有更高的精度和鲁棒性。最后对分

类模型和目标检测模型的精度进行了分析，整个模型的精度为 0.982。

关键词：产品表面缺陷检测，机器视觉，深度学习，图像分割，物体检测

目  录 
VII 
目  录 
摘要 ............................................................................................................. I 
Abstract ..................................................................................................... III 
第 1 章  绪论 ............................................................................................. 1 
1    研究背景及意义 ............................................................................................... 1 
2    国内外现状 ....................................................................................................... 2 
3    课题研究内容 ................................................................................................... 6 
4    论文组织结构 ................................................................................................... 6 
5    本章小结 ........................................................................................................... 7 
第 2 章  表面缺陷检测算法基础 ............................................................ 8 
1    引言 ................................................................................................................... 8 
2    表面缺陷检测系统 ........................................................................................... 8 
2.1    表面缺陷图像采集 .................................................................................... 8 
2.2    挑战 ............................................................................................................ 9 
2.3    发展趋势 .................................................................................................. 10 
2.4    图像预处理 .............................................................................................. 10 
2.5    感兴趣区域检测 ...................................................................................... 11 
3    显著性物体检测算法用于表面缺陷检测 ..................................................... 12 
4    深度学习基础 ................................................................................................. 13 
4.1    卷积神经网络 .......................................................................................... 13 
4.2    图像分类 .................................................................................................. 15 
4.3    物体识别 .................................................................................................. 17 
4.4    语义分割 .................................................................................................. 21 
5    本章小结 ......................................................................................................... 25 
第 3 章  基于区域特征聚类显著性检测的表面缺陷分割算法 .......... 26 
1    引言 ................................................................................................................. 26 
2    算法 ................................................................................................................. 26 
2.1    基于改进的 SLIC 图像超像素分割 ....................................................... 27 
2.2    特征提取 .................................................................................................. 29 
2.3    Mean Shift 聚类 ....................................................................................... 30 
2.4    EBC 计算每个聚类的显著图 ................................................................. 31 
2.5    循环 .......................................................................................................... 32 
3    实验结果与分析 ............................................................................................. 32 
3.1    数据集和实验环境 .................................................................................. 32 
3.2    结果与分析 .............................................................................................. 32 
4    本章小结 ......................................................................................................... 36 
第 4 章  基于迁移学习和图像分割的表面缺陷检测算法 .................. 37 
1    引言 ................................................................................................................. 37 
2    算法 ................................................................................................................. 37 
2.1    基于迁移学习和多尺度特征融合的表面缺陷检测算法 ...................... 38 
2.2    基于迁移学习和 U-net 的表面缺陷检测算法 ...................................... 46 

基于机器视觉的产品表面缺陷检测关键算法研究 
VIII 
2.3    迁移学习 .................................................................................................. 48 
2.4    数据增强 .................................................................................................. 48 
2.5    后处理 ...................................................................................................... 49 
2.6    融合批标准化和卷积层 .......................................................................... 49 
3    实验结果与分析 ............................................................................................. 51 
3.1    数据集 ...................................................................................................... 51 
3.2    评价指标 .................................................................................................. 52 
3.3    实验环境 .................................................................................................. 53 
3.4    效果与分析 .............................................................................................. 53 
4    本章小结 ......................................................................................................... 55 
第 5 章  融合分类和物体检测的表面缺陷检测算法 .......................... 57 
1    引言 ................................................................................................................. 57 
2    算法 ................................................................................................................. 57 
2.1    分类模型-改进的 ResNet50 ................................................................... 58 
2.2    物体检测模型-增强的 Faster R-CNN .................................................... 62 
2.3    focal 损失函数 ......................................................................................... 65 
2.4    数据增强 .................................................................................................. 66 
2.5    k-means++聚类算法 ............................................................................... 67 
3    实验结果与分析 ............................................................................................. 68 
3.1  数据集 ...................................................................................................... 68 
3.2  训练 .......................................................................................................... 72 
3.3  评价指标 .................................................................................................. 74 
3.4  分类模型结果分析 .................................................................................. 76 
3.5  物体检测模型结果分析 .......................................................................... 78 
3.6  整体模型结果分析 .................................................................................. 80 
4    本章小结 ......................................................................................................... 80 
第 6 章  结束语....................................................................................... 82 
1    全文总结 ......................................................................................................... 82 
2    展望 ................................................................................................................. 84 
参考文献 ................................................................................................... 85 
致  谢 ....................................................................................................... 95 
作者简历及攻读学位期间发表的学术论文与研究成果 ...................... 97 
 
 

图表目录 
 
IX 
图表目录 
图 2.1    表面缺陷检测系统结构图 .............................................................................. 8 
图 2.2    表面缺陷感兴趣区域 .................................................................................... 12 
图 2.3    LeNet 模型 ..................................................................................................... 15 
图 2.4  R-CNN 模型 .................................................................................................. 18 
图 2.5  Fast-RCNN 模型架构 ................................................................................... 18 
图 2.6  YOLO 物体检测模型架构 ........................................................................... 19 
图 2.7  Single Shot MultiBox Detector（SSD）模型架构 ...................................... 20 
图 2.8  FCN 整体架构简图 ....................................................................................... 22 
图 2.9  空洞卷积示意图 ............................................................................................ 23 
图 2.10  DeepLabV3+整体架构 ................................................................................ 25 
图 2.11  PSPNet 模型 ................................................................................................ 25 
图 3.1    算法流程图 .................................................................................................... 27 
图 3.2    缺陷图片例子 ................................................................................................ 32 
图 3.3    P-R 曲线 ........................................................................................................ 34 
图 3.4    P-R-F 柱状图 ................................................................................................. 35 
图 3.5    MAE 柱状图 .................................................................................................. 35 
图 4.1    算法流程图 .................................................................................................... 38 
图 4.2    模型框架 ........................................................................................................ 39 
图 4.3    深度可分离卷积 ............................................................................................ 42 
图 4.4    MBConv 模块图 ............................................................................................ 42 
图 4.5    FPN 结构 ....................................................................................................... 43 
图 4.6    Mish 激活函数图像 ...................................................................................... 45 
图 4.7    网络架构 ........................................................................................................ 46 
图 4.8    输入和它的四个分割结果图 ........................................................................ 48 
图 4.9    数据增强示例 ................................................................................................ 49 
图 4.10    每个缺陷类别有多少个图片 ...................................................................... 51 
图 4.11    每个图片包含的缺陷种类数 ...................................................................... 51 
图 4.12    数据集的数据样本 ...................................................................................... 52 
图 4.13    原始图像和最终输出 .................................................................................. 54 
图 4.14    原始图像和缺陷 .......................................................................................... 54 
图 5.1    总体算法框架 ................................................................................................ 58 
图 5.2    ResNet 的残差模块 ....................................................................................... 59 
图 5.3    ResNet 和 ResNet-vd 对比 ............................................................................ 60 
图 5.4    ResNet-50-vd 网络结构图 ............................................................................ 61 
图 5.5    可变形卷积网络 ............................................................................................ 62 
图 5.6    faster R-CNN ................................................................................................. 62 
图 5.7    9 个候选框（anchor）示意图 ...................................................................... 63 
图 5.8    改进的 faster R-CNN 的架构 ....................................................................... 64 
图 5.9    空间金字塔池化 ............................................................................................ 65 
图 5.10    数据增强 ...................................................................................................... 66 
图 5.11    多个类别的表面缺陷样本例子 .................................................................. 69 
图 5.12    各种缺陷面积大小的统计结果 .................................................................. 70 