智能视觉检测系统
中科创达软件股份有限公司
——应用概述——
智能视觉检测系统主要是针对目前生产制造过程中，人工检测效率低、一致性差，而传统机器视觉方法灵活度不高、不够智能的问题。本系统通过将计算机视觉和深度学习相结合的技术提取缺陷图像特征，从而突破自学习和自适应各类图像的识别和分类等关键技术，实现可检测、识别复杂环境下的产品未知缺陷，并且准确率高、通用性好，提升了生产制造过程中产品缺陷检测的准确率、品质和效率等核心能力，为研制更为通用智能的缺陷检测分类解决方案奠定坚实的技术基础。
——技术突破——
本系统集合了计算机视觉、人工智能及大数据等关键技术。
——重要意义——
本系统提高了产品缺陷检测的准确率和效率，节省了人力成本，改善了产品质量，助力我国工业智能化的转型升级。
——研究机构——
中科创达软件股份有限公司
——技术与应用详细介绍——
一、系统架构
智能视觉检测系统由深度学习基础层、深度学习管理层以及智能视觉检测和分类服务层构成，实现了算法模型开发训练的状态监控、深度优化和定制服务等功能。其中，深度学习基础层不仅适配和集成了基础框架和算法库，同时包含数据存储、网络通信、运算控制和计算加速等基础服务。深度学习管理层包含图像预处理算法、数据标注与数据增强、数据集、训练任务以及深度学习模型等功能模块的管理。智能视觉检测和分类服务层包含图像的特征定位、检测和分类，同时支持图像数据的输入和识别结果的导出等功能服务。
同时，本系统设计并实现了一个“基础型”@@“定制化”算法模型训练架构，“基础型”算法模型通过包含不同类型未知缺陷的大量图像数据样本训练生成，它可以根据缺陷的视觉形态和区域位置自动生成缺陷特征表示向量值，该向量值通过空间欧几里得距离来区分不同的缺陷类型以及缺陷与非缺陷图像。而“定制化”算法模型是客户采用极少数据量或单一图像数据来基于“基础型”算法模型进行训练和优化的，算法模型可以智能地匹配或生成该检测识别任务专有的缺陷特征表示向量值，进而通过精细化模型参数调整和优化得出“定制化”的算法模型。
总体来说，整个智能视觉检测系统实现了以下核心技术功能模块。
1.模块化的通用AI平台功能单元；
2.支持算法模型的迁移学习；
3.支持缺陷特征的强化学习；
4.预置了相关的图像预处理算子；
5.具有可定制化的交互模块；
6.支持可视化的调试工具；
7.支持算法模型的计算加速（训练和推理）；
8.支持结构化的数据输出。
二、主要业务功能
本系统主要实现4类智能视觉缺陷检测和分类功能，如图1-5所示。
图1-5 智能视觉检测主要功能
1.异常/缺陷“检测”：本系统可检测异常和外观缺陷，通过学习外观正常和包含一些明显但可容忍的缺陷的物体图像，来进行视觉检测。
2.缺陷/特征“定位”：本系统可通过深度学习标注的图像数据样本来定位和识别单个或多个复杂特征或物体。
3.缺陷/特征“分割”：本系统可分割检测的瑕疵区域或其他感兴趣的区域，通过学习多种目标区域的外观来检测所有感兴趣的区域，实现缺陷的准确分割。
4.缺陷/物体“分类”：本系统可通过学习一系列标注过且不同类的缺陷图像来分类，仅需要提供一些标注好类别的数据样本来进行训练。
三、技术和产品特点
1.平台化的智能缺陷检测开发服务：本系统实现了一个适合智能视觉检测的工作流，将所有的智能视觉检测开发和应用所需的全部功能进行了模块化封装，实现复用和快速迭代，以满足客户多变的需求。
2.出色的检测性能：本系统胜任目前视觉产品无法或难以解决的复杂缺陷检测和分类任务，针对所有图片中缺陷部位特定的图像特征学习和提取，检测精度极高，实现对缺陷的准确、高效检测。
3.强大的学习功能：本系统不需要手动标注缺陷数据，属于非监督学习，使用方法极其方便简单；系统通过学习少量图像样本自动生成算法模型，算法模型训练速度快，一个模型仅需一小时，而增量训练一个模型仅需几分钟，具有开发周期短和无须编程等优点。
4.灵活、快速的部署：本系统很好地兼容标准工业相机，实现与产线自动化执行机构的联动以及工厂信息系统的融合。
四、典型应用场景举例
1.平板显示器FPD的缺陷检测与分类；
2.手机等3C电子产品的外观瑕疵检测；
3.太阳能板裂纹、瑕疵检测；
4.纺织行业的布匹花纹检测。
五、成功应用案例
本智能视觉检测系统目前已成功应用于国内大型柔性OLED面板生产企业，帮助客户实现了面板生产过程中缺陷图像的自动准确分类，如图1-6所示。
图1-6 智能视觉检测系统应用——缺陷捕手
在传统的液晶面板生产过程中，由于设备、参数、操作、环境干扰等环节存在问题，会产出不良产品。生产企业在每段工艺后利用光学（AOI）检测，产生对应的图像，然后需要按照工艺要求把不良图像进行检测、识别和按照要求进行分类，其主要过程需要对产品的不良种类、不良大小、不良与背景之间的空间位置关系等信息计算出来，利用信息对工艺操作提供指导，提高效率，同时降低整个系统不良品的概率以及及时减少Rework和Repair的工作量。当前这一烦琐的检测和分类工作仍然以人工识别为主，存在人工检测速度慢、准确率和检出率低以及稳定性差等问题。
本智能视觉检测系统利用人工智能技术对现有业务流程进行升级改造，解决不良缺陷检测、分类、识别等重大难题，最终提升生产、质检效率和准确率，同时间接提升整体产品的良率，为企业的智能化升级转型打下了坚实的基础。
该缺陷自动识别分类系统（以下简称“ADC系统”，如图1-7所示）上线后，受到了客户业务部门的一致好评：“ADC系统解决了我们长期以来的因招工难、培训成本高、人员不稳定所带来的产品质检效率低、品质不佳的重大难题，提升了生产和质检流程的效率和准确率，同时间接提升了整体产品的良率。”目前ADC系统已为客户节省了80%的质检时间，缩短了产品的交付周期，提高了产能效率；减少了65%的人力检测和培训成本，大大改善了缺陷检测分类的准确性和一致性，并显著提高了产品的良率。ADC系统帮助客户获取了更多的质检结构化数据，助力企业实现缺陷根本原因的大数据分析，增强了产品和技术核心竞争力。
图1-7 智能视觉检测系统应用——缺陷自动识别分类系统
——特邀点评——
当前我国的工业仍处于半自动化阶段，尤其是在质检领域，仍以人工检测为主，存在效率低、成本高、漏检/误检等缺点。随着AI技术的发展，基于深度学习的智能视觉检测系统将逐步应用到工业领域。
中科创达提供的智能视觉检测系统解决了制造业长期以来的因招工难、培训成本高、人员不稳定所带来的产品质检效率低、品质不佳的重大难题，提升了生产和质检流程的效率和准确率，同时间接提升了产品的整体良率。我们很高兴看到中科创达推出的智能视觉检测系统正在广泛地应用于不同行业，它为制造企业的智能化升级转型提供了先进、高效的支持和服务，同时对我国工业的智能化升级起到了良好的推动作用。
——邓仰东 清华大学软件学院副教授
基于深度学习的智能视觉检测系统相比人工检测，具备一定的自学习性和自适应性，克服了人工检测在效率和检测结果的准确性上的缺陷；相比传统机器视觉技术，一方面它能够处理一些较为复杂的场景，如非标物体的识别，克服了传统机器视觉定制化严重的问题；另一方面也可以解决传统机器视觉难以应对的不确定性问题，能够在一定程度上实现跨行业的通用视觉检测。它在现代工业和智能制造检测中将得到越来越广泛的应用。
——孙力 中科创达软件股份有限公司副总裁