|
引文格式：
Na J, Kim S J, Kim H, et al. A unified microstructure segmentation approach via human-in-the-loop machine learning[J]. Acta Materialia, 2023: 119086.
Na, Juwon, et al. "A unified microstructure segmentation approach via human-in-the-loop machine learning." Acta Materialia (2023): 119086.
Na, J., Kim, S. J., Kim, H., Kang, S. H., & Lee, S. (2023). A unified microstructure segmentation approach via human-in-the-loop machine learning. Acta Materialia, 119086.
背景简介
由于材料的宏观性质与微观结构密切相关，随着结构表征和量化技术的发展，研究者试图为结构-性能关系建立理论和经验模型。其中结构量化是结构-性能关系的基石，结构关系通常通过光学显微镜（OM）、扫描电子显微镜（SEM）或透射电子显微镜（TEM）等显微成像技术获得微观图像，然后通过图像处理进行定量分析。然而，由于微观图像中结构成分的复杂性和多样性，在处理复杂的微观图像时，微观结构分割仍具有挑战性。
近年来，机器学习在图像分析领域备受关注，最先进的算法已被应用于微观结构系统的分析。虽然现有的工作已经证明了应用于微观结构分割的可行性，但是实际应用中仍存在解析成本高和决策不可靠等问题，现有的研究不仅无法评估模型预测的可靠性，而且无法理解或纠正模型如何进行预测。因此，本研究提出了一种用于统一微观结构分割的机器学习方法，通过弱监督学习（领域专家的涂鸦注释被视为弱监督）和主动学习技术，实现不同材料类别、结构成分和显微成像模式可靠的微观结构分割。
成果介绍
（1）图1显示了超高碳钢（UHCSs）SEM图像的微观结构分割结果（图中的列分别代表输入的显微图像、涂鸦注释、分割图和分割叠加图，其中不同的结构成分以不同的颜色显示）。结果表明，尽管只有部分涂鸦注释进行了监督学习，但构建的模型在所有分割任务中仍有效地将显微图像划分为相关的结构成分区域。该模型不仅能够识别粗粒微观结构，如共析渗碳体（红色），还能够识别细晶微观结构，如小渗碳体颗粒（紫色）和魏氏体组织渗碳体（蓝色）。此外，还能够有效识别出铁素体基体（黄色）和珠光体（绿色）等重要的组织。
.png)
图1 SEM显微图像中超高碳钢的微观结构分割结果
（2）图2显示了低碳钢OM显微图像的晶粒分割结果（OM显微图像的分割任务主要集中在多晶金属和合金中的晶界检测），并与大津法（OTSU，确定图像二值化分割阈值法）、Canny边缘检测和分水岭分割三种标准方法进行比较。光学显微镜中出现的缺陷，如模糊或缺失的边界、划痕和噪声，在每个图像中均被放大显示。涂鸦注释中模糊或缺失的边界像素属于晶界类（蓝色），而划痕和噪声像素属于晶粒类（红色）。结果表明，与标准方法相比，提出的方法表现出优异的性能，能够更加清晰的描绘出完整的晶界。表1中定量性能分析印证了上述定性分析结果。此外，输入的显微图像中的缺陷并未对提出的分割方法结果造成影响，合理的对应关系意味着涂鸦注释能够使提出的方法更好的融入领域专家的主观性。
.png)
图2 OM显微图像中低碳钢的微观结构分割结果
表1 低碳钢OM显微图像的晶粒分割性能
.png)
（3）图3展示了对纳米颗粒TEM图像进行分割的结果（纳米颗粒TEM图像在分割任务中被划分为晶体和背景区域）。提出的模型仅通过涂鸦注释的简单训练就能定位晶体（红色）和背景（蓝色）区域之间的边界。此外，表2中的定量结果显示，通过本研究的弱监督学习方法在性能上优于近期应用的监督学习模型。
.png)
图3 TEM显微图像中纳米颗粒的微观结构分割结果。列分别表示输入显微图像、涂鸦注释、分割图和分割叠加图，结晶区域由红色涂鸦表示，背景区域由蓝色涂鸦表示
表2 纳米颗粒TEM显微图像分割性能
.png)
（4）研究采用主动学习方法，以交互方式查询领域专家知识以标记新数据，提高模型的性能增益和可靠性。经过几次主动学习迭代后，提出的方法实现了更精准的微观结构分割，并且整个迭代过程中，分割性能与不确定性量化间密切相关。表明通过主动学习迭代后，模型不仅可以提高分割性能，还可以缓解每个像素的不确定性（图4）。
.png)
图4 用于微观结构分割的主动学习结果。列分别表示涂鸦注释、分割图和不确定性图，行描述迭代优化过程，其中UHCS的不同结构成分以不同的颜色显示，不确定性图在分割图上可视化每个像素的不确定性
（5）本研究以单个显微图像作为参考进行预训练，验证训练的模型能否对不同部位拍摄且未经训练的显微图像进行分割。结果表明，预训练模型不仅有效分割了参考显微图像，对于未经训练但在统计上与参考图像类似的显微图像同样表现出良好的分割性能。预测的粒径分布与真实结果的比较证实了以上观点，表明提出的方法能够扩展到统计中等效的未经训练的微观图像（图5）。
.png)
图5 未经训练的显微图像分割结果。列描述了预训练模型的参考显微图像和三种未经训练的显微图像；行分别表示输入显微图像、分割叠加图和粒径分布图
致谢：
本研究获得了韩国国家研究基金会（批准号2020R1A2C1009744），大韩民国贸易、工业和能源部（批准号20012378）以及韩国材料科学研究所的基础研究计划（批准号PNK9130）的资助。本文通讯作者：Juwon Na（Department of Mechanical Engineering, Pohang University of Science and Technology, 77 Cheongam-ro, Pohang, Republic of Korea）。
本期小编：程 航（整理）
徐浩波（校对）
王康康（审核）
高 欣（发布）
|