本书首先对机器视觉中的不同参数相机、样本照明光源进行参数化理论建模,充分考虑了样本的几何与物理特性,以计算机虚拟的方式构建最佳的视觉成像方案。介绍了基于双向反射分布函数描述的表面疵病的成因,利用光线追迹仿真疵病成像,排除光源干扰从而优化视觉检测布局。利用对划痕进行有限时域二维电磁场散射成像的仿真基础,探讨针对不同属性如光滑面、散射面和复杂纹理表面的多种机器视觉新颖照明模式及光学成像系统选择。针对机器视觉中曲面照明及成像难点,全面探讨了球面、非球面的缺陷检测的照明及子孔径扫描规划及缺陷提取方法。介绍了深度学习在工业化智能检测应用中的目标识别、语义分割网络模型及实际案例分析。最后对光学表面疵病的各种评价标准、定量评价方法及尺度溯源进行了详细的论述。
表面缺陷(划痕、麻点及气泡类瑕疵)的数字化定量检测是先进光学制造和超精密加工技术可持续发展的重要环节,在国民经济领域为了保持产品质量和竞争力,制造业广泛采用机器视觉技术实现机器换人将是必然趋势。各类精密元件的表面质量评价参数主要有表面面形、粗糙度、表面缺陷等。然而表面缺陷的数字化检测至今尚无成熟标准化的商用仪器。虽然先进光学制造超精密加工技术在20世纪得到了飞速发展,但直至21世纪初,才有越来越多的科学工作者发现: 在表面面形及粗糙度得到良好控制时,表面缺陷越来越成为制约先进光学制造超精密加工工艺和水平的主要因素。并且表面缺陷的影响在很多光学相关的超高精度领域都是致命的,如惯性约束聚变系统、超大规模集成电路领域、高端制造业的质量管控等,而这些领域恰恰是各个国家综合国力的重要体现。
作者团队的研究工作源于惯性约束聚变对大口径超光滑元件表面缺陷的定量评价,对几百毫米口径的全表面检测出亚微米量级的缺陷,任何孤立的微观缺陷都可能对系统带来灾难性的损伤。为此20余年来,作者团队专注于利用机器视觉的方法实现划痕麻点类瑕疵的评价。与大多数机器视觉多关注于图像处理算法类的书不同,本书的重点在于: 在理论上,对于微观亚微米量级瑕疵在强光照射下,建立基于有限时域(FDTD)的高次曲面光学元件的表面微观缺陷显微散射暗场成像模型,通过建立表面微观缺陷散射光近场、远场场分布逆向识别数据库,实现微观缺陷的逆向标定和检测。提出了基于光线追迹的机器视觉成像仿真理论、基于辐度学的散射场表征方法,分析各类缺陷的散射特性; 建立了直接光照场景建模,即把实际的表面机器视觉检测系统进行参数化和虚拟化的过程,提倡研究人员使用计算机模拟缺陷成像、计算相机的视场景深限制、调整器件空间位置以完善表面扫描路径等,取代实验上繁琐的调整、测量和验证工作。同时本书的特点更注重于光学方向对微观缺陷深层次的光学照明、光学成像系统布局的理论探讨作为瑕疵的定量评价的依据。作者在表面缺陷数字化定量检测领域探索多年,一直致力于各种材料及表面缺陷的定量评价研究,历经多年科研,建立了完整的表面缺陷数字化定量评价体系。
本书内容基于国家自然科学基金委员会项目基于散射光电磁场分布逆向识别数据库的高次曲面表面缺陷定量检测仪(重大科研仪器研制项目,项目号: 61627825),精密表面缺陷的数字化评价系统研究 (项目号: 10476026)。
感谢庄松林院士一直以来对作者团队光学元件表面疵病数字化检测工作给予的指导、鼓励和大力支持!感谢白剑教授、沈亦兵教授、许乔所长的大力支持!我们一起努力圆满完成了重大科研仪器研制项目。感谢国家标准化管理委员会、全国光学和光子学标准化技术委员会光学材料和元件分技术委员会给予的支持!作者团队因此将科研成果撰写成了新国家标准GB/T 418052022《光学元件表面疵病定量检测方法显微散射暗场成像法》,并得以在2023年5月正式实施,为光学元件表面疵病的数字化评价提供了可靠的定量检测方法。感谢中国工程物理研究院激光聚变研究中心领导和专家们一直以来给予的研究项目的支持!使得所有的理论及研究得以实施和论证。
本书由浙江大学光电学院杨甬英教授著述第1、2、3、6章,由曹频博士著述第4章,江佳斌博士著述第5章。浙江大学光电学院楼伟民、张鹏飞博士参与了大量的资料收集、整理及编撰等工作。感谢团队所有参与了书中研究及项目研发的王世通、张毅辉、柴惠婷、李晨、高鑫、吴凡、王凡祎、陈晓钰等博士及硕士研究生的倾情贡献!感谢同行胡殿浒为本书所做的图文整理工作。由于作者水平有限,本书如有不足之处,敬请指正!
我们一起努力在机器视觉研究的科研道路上善于创新、勤于钻研,才有了所有的研究成果。在此对所有为本书的撰写和出版做出贡献的人表示最衷心的感谢!
杨甬英曹频江佳斌
2024年7月于求是园
杨甬英 博士 浙江大学光电学院教授、博士生导师。博士毕业于浙江大学光学工程专业。现为中国光学学会光学测试专业委员会副主任委员、中国计量测试学会计量仪器专业委员会常委、全国光学和光子学标准化技术委员会光学材料和元件分委会委员。近年来作为项目负责人承担了多项国家自然科学基金重大科学仪器专项、国家自然科学基金面上项目、国防973、国家863配套等项目。多年来从事精密干涉测试技术及机器视觉方向的研究工作,第一作者出版先进干涉检测技术及应用(2017年)、新型共路干涉仪(2020年)教材和专著各一本。2000年以来,专业致力于基于机器视觉的表面缺陷智能化数字化检测研究。作为负责人,带领团队研发完成了多项科研任务,承担多个机器视觉的国家自然基金及国防项目,项目成果于2013年、2016年受到国家重大专项惯性约束聚变专项组长张维岩院士、军委张又侠上将的专场视察和表扬,在大口径光学元件缺陷数字化检测领域已处于国际领先水平,为国家重大专项做出了贡献。科研成果曾获国家科技进步三等奖、国家自然基金及联合基金特优奖、宝钢优秀教师奖等、发表论文200余篇、其中 SCI 收录 100余篇,获国家发明专利50余项。
第1章机器视觉光学成像理论基础
1.1引言
1.2表面缺陷散射电磁理论
1.2.1FDTD方法基本原理
1.2.2基于FDTD方法的表面缺陷电磁散射仿真模型
1.2.3表面缺陷远场电磁分布求解方法
1.3表面缺陷电磁散射数值模拟
1.3.1表面缺陷散射仿真建模
1.3.2表面缺陷散射仿真结果分析
1.3.3基于散射光强分布特征的缺陷尺寸逆向识别原理
1.4表面缺陷散射辐度学理论
1.4.1基于辐度学的散射场表征方法
1.4.2典型缺陷散射模型
1.4.3有限孔径内的散射强度
1.4.4表面缺陷暗场散射仿真分析
1.5光线追迹成像原理
1.5.1光学元件表面面型的数学表征
1.5.2像函数与光线追迹路线
1.5.3基于蒙特卡罗数值积分的辐度学参数求解
1.6光线追迹成像建模与求解
1.6.1小孔相机成像模型
1.6.2有限口径相机成像模型
1.6.3光线追迹成像模型的求解方法
1.6.4基于光线追迹的机器视觉成像仿真
参考文献
第2章不同属性表面的照明及光学成像系统选型
2.1基于缺陷散射特性的显微散射暗场照明系统研究
2.1.1光学表面的散射源
2.1.2划痕的散射特性及信息收集
2.1.3显微散射暗场成像照明光源相关参数研究
2.1.4基于柯拉照明的均匀照明光源设计方法
2.2大口径光滑表面显微散射暗场系统布局
2.2.1光学显微散射暗场成像检测技术
2.2.2双倍率检测方案与子孔径扫描拼接技术
2.2.3标准缺陷数字化标定技术
2.3复杂属性的光学元件表面的微弱缺陷的照明及检测
2.3.1单面抛光的光学元件表面属性分析和成像分析
2.3.2同轴入射远心明场成像系统组成及成像特征分析
2.3.3基于视觉差励与双次离散傅里叶变换的微弱缺陷提取算法研究
2.3.4蓝宝石衬底基片微弱划痕的检测技术应用
2.4复杂纹理的金属圆弧表面的微弱缺陷的照明及检测
2.4.1复杂纹理的金属圆弧表面属性分析和成像分析
2.4.2多角度入射远心明场成像系统组成及系统成像特征分析
2.4.3复杂金属弧面中微弱缺陷的检测技术应用
参考文献
第3章光泽表面、光滑表面的光照场景建模和像函数求解
3.1光泽表面成像建模
3.1.1全自动漆面质量检测建模
3.1.2条纹光扫描疵病检测原理
3.1.3场景建模和像函数求解
3.1.4基于图像融合的疵病检测方法
3.1.5仿真场景示例
3.1.6光学反射面条纹光融合成像实验
3.2光滑表面成像建模
3.2.1自动化曲面表面检测设备
3.2.2暗场检测原理
3.2.3暗场检测布局建模
3.2.4光滑单透镜暗场成像仿真
3.2.5光滑单孔径无盲区融合检测
3.2.6球面透镜单孔径无盲区暗场融合成像实验
参考文献
第4章球面光学元件表面缺陷检测方法研究
4.1球面子孔径规划
4.1.1球面孔径成像过程分析
4.1.2三维子孔径扫描
4.1.3经纬线扫描轨迹
4.1.4球面子孔径规划
4.2子孔径规划仿真
4.2.1SOM子孔径规划仿真
4.2.2SOP子孔径规划仿真
4.2.3SOM与SOP规划结果评估
4.3基于投影变换的大口径球面子孔径拼接方法
4.3.1基于小孔成像的子孔径三维矫正
4.3.2球面子孔径全局坐标变换
4.3.3三维子孔径在投影平面上的全口径拼接
4.3.4球面表面缺陷全景图像生成
4.3.5球面表面缺陷定量化评价
4.4球面子孔径拼接误差分析
4.4.1转动机构转角误差的影响
4.4.2平移导轨定位误差的影响
4.5多轴扫描系统运动及误差的分析与建模
4.5.1多体系统理论概述
4.5.2理想运动的变换矩阵
4.5.3实际运动中的变换矩阵
4.5.4拓扑结构、低序体阵列
4.5.5特征矩阵、理想运动矩阵与实际运动矩阵
4.5.6误差项物理意义辨识及实际运动特征矩阵简化
4.5.7球面子孔径扫描误差模型
4.5.8理想扫描轨迹曲线
4.5.9各误差项对扫描轨迹及拼接影响分析
4.5.10实际扫描轨迹仿真及误差优化
4.6高次曲面表面疵病检测仪
4.6.1高次曲面表面疵病检测仪原理
4.6.2检测系统机构布局组成
4.6.3非球面检测示例
参考文献
第5章深度学习在工业化智能检测中的应用
5.1应用于机器视觉中图像识别的深度学习模型
5.1.1基于机器视觉的光学元件表面缺陷智能检测应用的研究现状
5.1.2经典深度学习模型: 目标识别网络模型及语义分割网络模型
5.2深度学习在光学玻璃表面缺陷检测中的在线智能检测应用
5.2.1基于多种成像场的玻璃表面缺陷光学成像
5.2.2基于并联平衡残差网络结构的光学玻璃面板缺陷识别及分类的应用
5.2.3基于并联平衡残差网络结构的光学玻璃表面缺陷识别及分类的检测结果
5.2.4基于轻量级网络的缺陷像素级分割及定量计算方法
5.2.5基于轻量级网络的缺陷像素级分割及定量计算检测结果
5.3深度学习在复杂装配件智能检测中的应用
5.3.1装配体异常检测的前向照明成像
5.3.2基于类别不平衡半监督学习的装配体异常分类算法
5.3.3基于类别不平衡半监督学习的装配体异常检测结果
参考文献
第6章光学表面缺陷成像的定量评估
6.1光学表面缺陷的测量和量化
6.1.1光学表面缺陷的可见度测量及量化
6.1.2光学表面缺陷的面积测量及量化
6.1.3光学表面缺陷标准评价方法
6.2基于数字化标定技术的缺陷尺寸识别方法
6.2.1典型光学畸变
6.2.2典型光学畸变的标定方法
6.2.3缺陷尺寸数字化标定与识别
6.3基于散射光强分布特征的缺陷精密尺寸识别方法
6.3.1缺陷实际散射光强分布修正方法
6.3.2基于LASSO-DRT的缺陷尺寸识别算法
6.3.3基于极端随机树的缺陷尺寸识别算法
6.4表面缺陷密集度数字化计算方法
6.4.1表面缺陷密集度计算原理
6.4.2划痕密集度计算方法
6.4.3麻点密集度计算方法
6.4.4表面缺陷检测评估实例
参考文献