代码全开源、一键运行的工业视觉检测案例教程
责任编辑:沐小月     时间:2021-10-28     来源:CAE仿真空间
责任编辑:沐小月
时间:2021-10-28  来源:CAE仿真空间
分类: 技术分享
浏览量: 899

随着深度学习技术的不断突破和产业应用门槛的不断降低,越来越多企业希望通过AI技术实现产业升级。但是在AI落地过程中往往会遇到如下问题:

 为了帮助企业解决AI产业应用的难题,加快推进AI应用节奏,近期百度飞桨与企业伙伴合作,联合开发了产业实践教程。实践教程内容覆盖AI落地全流程,包括:数据处理、模型选择、模型优化的详细代码和和图形化的模型部署demo,手把手指导用户操作,是不是超级棒!

 

此外,案例教程的覆盖场景与真实的AI产业应用紧密结合,根据目前企业AI落地高频需求选取,包括:板缺陷检测、钢筋计数、2D视觉辅助机械手抓取、表计检测。

感兴趣的小伙伴可以直接访问github链接:

https://github.com/PaddlePaddle/awesome-DeepLearning/tree/master/Paddle_Enterprise_CaseBook

1. 钢板缺陷检测(合作企业:中国机械总院)

作为生产制造过程中必不可少的一步,表面缺陷检测广泛应用于工业领域,如:3C、半导体及电子、汽车、化工、医药、轻工、军工等行业。而钢材作为基础的工业材料,在出厂之前的检测更加严格。

 

机械总院根据在以往项目的经验,在钢板缺陷检测的场景中,设计了相应的解决方案。

结合不同工厂的生产节拍和部署硬件的情况,设计了轻量化和高精度两种模型选择方式,提供了UNet和HRNet的模型优化方式,满足不同场景需求。

 

根据数据分布情况给出了优化方式,提供了可视化的脚本,更直观的观察数据变化情况。

 

提供了工业级别的部署Demo,支持用户输入单帧、文件夹、视频流的输入,满足工业级别部署需求。

 

2. 钢筋计数(合作企业:上海天覆科技)

商品出库或者到货后都会进行盘点计数,防止因遗漏造成的财产损失。传统盘点方式无非是手工逐一数,应用深度学习的目标检测技术,可以自动化的实现如:药品计数、工件计数、钢筋、圆木计数、牛羊计数等。目前“XX串串香”已经应用此方案实现自动『数签签』。

 

 

在工业生产中,钢筋、圆木计数的场景非常多见,它们有个共性特点:产品密集、环境不固定、模型端侧部署。

 

 

为了解决如上诉求,飞桨与企业伙伴合作,联合设计和实施了如下方案。

项目中应用了模型错误分析法则(paddlex.det.coco_error_analysis),可以直观了解到当前模型的精度,进而指导模型优化方向。如下图中黄色区域表示漏检,该处面积越大,漏检越严重,指导用户从漏检方向(如增强主干网络)优化模型。

 

 

在本次与企业伙伴联合开发案例时,不仅总结了成功经验,同时也把项目落地时常遇到的问题和解决方案进行了总结,帮助大家对优化方式有更全面的了解。

 

 

提供手机端部署Demo(通过Paddle Lite推理),满足移动端部署需求。

 

 

3. 2D视觉辅助机械手定位(合作企业:遨博机器人)

随着制造业的产线自动化、智能化需求的不断提升,机器人和AI视觉技术的结合越来越广泛,如:视觉引导的涂装、焊接或机械手抓取等。在项目落地中,目标物体轮廓的精准定位非常关键。在视觉定位过程中,需要通过对相机的标定,来求取相机和实际物体的坐标关系,进而转化成机械手可以识别的坐标空间。但在实际场景中,目标所处的环境非常复杂,遨博机器人公司结合自身经验,总结出了一套深度学习抓取方案。

 

在方案中给出了深度学习进行机械手视觉定位的方式,提供了基于实例分割获取目标坐标的处理方式,极大的简化了视觉导视流程。

 

4. 工业表计读数(合作企业:苏州中兴克拉)

在电力能源厂区需要定期监测表计读数,以保证设备正常运行及厂区安全。但厂区分布分散,人工巡检耗时长,无法实时监测表计,且部分工作环境危险导致人工巡检无法触达。针对上述问题,希望通过摄像头拍照+智能读数的方式高效地完成此任务。

 

 

针对这样复杂的场景,苏州中兴克拉公司工程师,提供了新的解决思路,针对复杂场景,提供了模型串联的方案,利用目标检测的方式对表盘进行检测,并从图片截取出来,在对表盘利用语义分割模型将指针和刻度分割,结合传统图像处理算法,实现表计读数的获取。

 


来源:CAE仿真空间

点赞人: 木头  Eileen  粥粥  王王木木 

宇宙最帅靓仔  回复 2021-11-07 22:33:03
涨知识了!
Eileen  回复 2021-11-02 07:55:53
学到了
回复:

Copyright © 2021 .长沙麦涛网络科技有限公司 All rights reserved. 湘ICP备20015126号-2
联系我们