综述：机器学习加速材料发现
随着现代实验和计算技术的发展产生的大数据越来越容易获取，基于机器学习的材料设计方法为材料科学研究开辟了新的范式。机器学习凭借其自动解决复杂任务的能力，正被用作一种新方法，以帮助加速材料发现。本文首先介绍了材料科学中机器学习的一般过程。然后，机器学习在材料预测、分类和识别、辅助微尺度表征、相变研究和相图构建、过程优化、服务行为评估中的应用，加速了计算模拟技术的发展，综述了材料的多目标优化和逆向设计。最后，我们讨论了机器学习中的主要挑战和可能的解决方案，并预测了潜在的研究方向。
传统的新材料开发过程采用试错法，实验步骤繁琐。长周期和高成本的限制使得加速材料的开发变得困难。作为一种替代方案，计算模拟的兴起已经成为发现新材料的有力工具。基于DFT的电子结构计算、蒙特卡罗模拟、分子动力学模拟、相场法和有限元分析等高精度计算方法广泛应用于新材料的发现。然而，它通常仅适用于特定系统，复杂系统的计算是无法负担的，并且理论方法的发展不符合材料定量表征的要求。因此，有必要开发新的方法来指导新材料的设计和开发。随着实验研究和材料理论的发展，上述实验和计算模拟产生了大量数据。如图1所示，当材料科学研究范式经历了实验科学、理论科学和模拟三个阶段时，这些大数据增加了对计算科学第四范式的需求。大数据和人工智能的结合被称为“科学的第四范式”或“第四次工业革命”。机器学习是材料信息学的核心技术之一。机器学习以材料数据库为基础，快速实现材料的预测，有望加快新材料的设计，缩短材料的开发周期。由于它能够在不了解潜在物理机制的情况下从现有数据中学习行为和趋势，因此它已开始在材料科学中发挥重要作用。
图1 科学的四种范式
机器学习流程解析
机器学习在材料科学中的开创性应用可以追溯到20世纪90年代。Rao等人在研究陶瓷复合材料时，提出了一种人工神经网络（ANN）方法来模拟陶瓷基复合材料（CMC）的宏观力学行为，并证明了ANN学习各种微观结构参数之间复杂的多参数相互作用的能力。随后，机器学习被用于解决材料科学中的各种问题。
图2展示了基于ML的材料发现和设计的一般工作流程。它涉及四个主要步骤：（I）数据收集和预处理，（II）特征工程，（III）模型选择和训练，以及（IV）模型评估和优化。第一步是从开放共享的数据库或自行生成的数据中获得合适的目标数据，并将数据预处理成所需的格式。第二步是通过收集或构建与预测目标相关的特征来构建目标数据的描述符或特征集。第三步是基于统计方法，如简单线性回归、非线性回归、高度复杂的核脊回归和神经网络，构建描述符和目标属性之间的已知数据映射模型。在最后一步中，通过基于计算的测试来评估模型的泛化误差，并根据评估结果对模型进行优化。
图2 材料科学中机器学习的一般流程
数据收集和预处理
数据可以从出版的文献或参考书中收集，从模拟和计算中获得，通过高通量实验技术在实验室实验中获得，引用高质量数据库中的数据，或上述方法的组合。例如，有各种基于实验和模拟的材料特性数据（例如，物理、化学、电子、热力学、机械）、工艺参数数据（铸造、热处理、热加工）、图像数据（电子背散射、相类型、相分布、界面），结构化数据（晶体结构、电子衍射、结构演化）和文本数据（文献、参考书）。当然，这些类型的数据中的几种通常是耦合在一起的。随着计算模拟、实验表征和计算机性能的进步，越来越多的材料数据库可供公众使用。例如：AMCSD、CSD、COD、ICSD和Pauling文件数据库，这些都是在实验研究的基础上获得的。此外，CMR、OQMD、ESP、HCEP和AFLOW都是基于理论模拟的。基于这些材料数据库，可以建立特定材料特性的学习模型，快速预测材料性质，有望加快新材料的设计，缩短材料的开发周期。
通过对数据进行预处理，可以提高数据的质量，有助于提高后续学习过程的准确性和性能。预处理方法通常包括数据清洗、数据集成、数据转换和数据规范化，其中最常用的是数据清洗和数据集成。(1)数据清洗是一项艰巨的任务，需要平滑噪声、填充缺失值、纠正不一致和识别数据中的异常值。其中，缺失值的常见填充方法有:删除包含缺失值的样本、手动填充缺失值、用全局常量填充缺失值、用属性的平均值填充缺失值、用与给定元组相同类型的属性的平均值填充相应的缺失值、用最有可能的值填充缺失值。常用的平滑噪声方法有分形、回归和聚类。(2)随着大数据的出现，需要多源数据集成，数据集成需要考虑许多问题，如实体识别，主要是匹配来自多个不同信息源的真实实体。冗余是另一个关键问题。如果一个属性可以被另一个属性集“导出”，那么它就是冗余的。常用的冗余相关分析方法包括pearson相关系数、卡方检验、数值属性协方差。(3)数据转换，根据需要将数据转换为适合处理的形式，以发现隐藏的潜在模式和规律。常用的数据转换方法有属性构造、数据泛化、数据聚类、数据归一化、数据平滑等。(4)大数据的出现使得基于传统无监督学习的数据分析变得非常耗时和复杂。数据约简技术用于实现数据集的约简表示，这大大减少了数据集的大小，同时保持了原始数据的完整性。常用的数据约简方法包括概念层次生成、数值约简、数据属性子集选择、离散化、降维和数据立方体聚类。
采集到的数据通常维度较高，如果直接用于构建机器学习预测模型，不容易获得理想的效果。一方面，样本的高维会造成信息冗余，增加计算量，严重时甚至会造成“维数诅咒”;另一方面，一些数据(噪声)是目标干扰因素，会对模型的精度产生不利影响。因此，构建机器学习模型的首要任务是从原始数据中提取信息特征。特征工程是将原始数据转换为更好地表示问题本质的特征的过程，因此将这些特征应用于预测模型可以减少建模中的冗余并增强模型的可解释性。材料特征包括多种形式:(1)材料成分、微观结构、结构、工艺参数和其他决定材料性能或使用行为的特征;(2)材料的物理、化学特性或者元素的电子、原子特性;(3)根据物质理论或先验知识，上述(1)和(2)中的特征通过数学运算构造新的特征。正确构建与目标相关的材料特征是构建高精度机器学习预测模型的基础。根据研究问题或目标的需要，上述功能一般单独使用或组合使用。例如，对于工艺参数优化和服务行为评价等应用场景，通常直接使用材料特性的第一种形式作为模型输入。如Zhang等研究了切削速度、进给速度和切削深度对可生物降解镁合金AZ31在干燥条件下铣削时表面粗糙度的影响。采用萤火虫和粒子群算法对表面粗糙度进行优化。人工神经网络模型生成这些算法的目标函数。如果预测目标要求极高的精度(如相结构、原子尺寸或电子-声子耦合常数)，则描述符必须足够精确。Li et al基于322铸态高熵合金的数据，选取了混合熵、混合焓、熔化温度和原子尺寸差等对电子浓度进行分类，建立了支持向量机分类模型。该模型对高熵合金体心立方单相、面心立方单相和无单相固溶体的分类准确率均在90%以上。在性能预测、材料成分优化设计等场景中，为了增强机器学习模型的泛化能力，材料特征的第三种形式将是更好的选择。例如，Zhang等人对高熵合金的两相进行了分类和识别，并使用28个本征物理和化学参数(如有效电荷、电离能和熔化温度)构建了56个材料特征，这些参数按材料成分加权，并通过摩尔平均和偏差计算。此外，从文献中获得了14个经验材料描述。采用遗传算法从70种材料特征和大量机器学习算法中有效选择最佳ML模型和材料特征组合，并证明了其在高熵合金两相形成中的有效性。对于非固溶体和固溶体HEAs的识别，优化后的分类模型准确率达到88.7%，对于面心立方、体心和双相HEAs的进一步识别准确率达到91.3%。
模型选择与训练
根据数据类型的不同，机器学习算法可以分为有监督学习算法、无监督学习算法和强化学习算法。监督式学习要求每个训练数据集都有明确的标签，监督式学习通常用于处理分类和回归问题。如果目标特性是连续量(如超导转变温度、电阻率)，则该过程称为回归。典型的回归算法有支持向量机(SVM)、高斯过程回归或Kriging回归和人工神经网络(ANN)。如果输出是一个离散的目标(例如，是否发生相变或是否发生断裂)，则该过程称为分类。决策树、随机森林、朴素贝叶斯和k -最近邻算法是常用的几种分类算法。
图3总结了重要的ML方法。以上三段简要介绍了如何对机器学习算法进行分类以及每种分类的典型算法。每种算法的工作原理和使用场景都可以在这三本经典著作中详细查看。在过去的几年中，已经开发了许多开源软件或工具，如Chainer， TensorFlow和Scikit-learn，它们使非专业人员能够实现机器学习方法。许多ML算法也被集成到商业MATLAB软件中的工具箱中(如统计工具箱、机器学习工具箱和深度学习工具箱)。作为神经网络构建的强大工具，Chainer旨在弥合算法和实现之间的差距。TensorFlow是一个用于高性能数值计算的软件库，提供强大的机器学习和深度学习支持。
Scikit-learn是一个Python包，它集成了各种无监督和有监督的ML算法。此外，机器学习方法通常结合各种智能优化算法来优化模型参数，如粒子群优化、遗传算法或模拟退火算法。此外，这些优化算法还可以执行其他困难的优化任务，如空间构型和材料性能的优化。此外，每种算法都有自己的特点，目前还没有适合所有问题的最佳算法。这个问题也被称为“免费午餐定理”。图4的流程图是sklearn官网对算法进行粗略选择的依据。可以根据下面的图片和用户的实际情况选择合适的算法。
图3 各种机器学习算法的示意图
图4 选择正确的模型
模型评估与超参数优化
模型的选择存在于机器学习领域，无论是在工业还是在学术界。如何选择一个好的模型需要一套标准来评估模型，以便我们进行选择。本文主要介绍了该模型的评价方法和评价指标，具有一定的参考价值。当只有一个数据集D且包含M个样本时，我们可以将D分为训练数据集S和测试数据集T，而训练集S则精确地分为训练集和验证集。机器学习包括训练集和验证集来构建最优模型。最优模型评估测试集的测试误差，并通过测试误差评估学习方法的泛化能力。泛化能力是评估机器学习模型性能的金标准。即泛化能力越强，对应的学习模型越好。
本文讨论了机器学习模型的三种评估方法。虽然保留和交叉验证的方法并没有通过分层抽样改变初始数据集中正类比和负类比的比例，但训练数据集中的样本数量少于原始数据集，并且训练数据集的概率分布与原始数据集的概率分布不同。因此，两种方法在构建模型时都存在估计偏差。虽然bootstrapping方法的总样本量与初始数据集相同，但它改变了初始数据集的分布以及正负类别的比例。用自举抽样数据集的分布代替初始数据集的分布也有估计偏差。因此，对于小样本数据集，建议使用自举抽样方法，然后使用鲁棒训练分类器构建模型。对于较大样本数据集，建议使用交叉验证方法，对于超大样本数据集，建议使用hold-out方法构建模型。
在评价算法时，应根据分析问题的类型选择合适的评价指标。采用相关系数(R2)、平均绝对百分比误差(MAPE)和均方根误差(RMSE)对模型进行评价，解决回归问题。分类模型准确性的评价指标包括分类准确率(CA)、召回率(Recall rate)、准确率(accuracy)、ROC曲线、Coen kappa值、Hinge损失、Logistic回归损失、Jaccard相似系数、混淆矩阵和ranking loss。Rand指数、轮廓系数和互信息(MI)是聚类问题中用于模型评价的指标。
超参数优化又称超参数调整。机器学习算法通常包含数以百万计的参数，主要包括模型参数和超参数。超参数不同于一般模型参数。模型参数是模型根据训练数据的分布学习到的参数，不需要先验经验。但是，超参数是在学习过程之前设置的参数，而不是通过训练获得的参数数据。SVM等机器学习算法具有gamma、kernel和ceof等超参数可调整，而神经网络模型具有更多的超参数，如学习率、优化器和L1/L2归一化。超参数优化主要有两个难点:(1)超参数优化是一个组合优化问题，不能像一般参数那样用梯度下降法进行优化。(2)评估一组超参数构型(Configuration)的时间成本非常高，这使得一些优化方法(深度神经网络)难以应用于超参数优化。一组超参数意味着深度神经网络需要训练一次，这将大大增加成本。
机器学习在材料科学与工程领域的应用，带来了与传统实验和仿真方法完全不同的研究视角，并以其在处理复杂系统时的灵活性、准确性和良好的泛化能力显示出巨大的潜力。机器学习的应用是高度跨学科的，机器学习在材料科学中的应用对象很多。由于篇幅限制，本文主要关注机器学习在金属材料中的应用，并总结了机器学习在材料设计与优化方面的研究进展。各种相关研究表明，机器学习可以作为材料科学领域快速准确的工具。理论和方法的进一步发展将导致机器学习在材料科学领域的更深入和广泛的应用。
材料数据的积累、标准化和共享将推动机器学习在材料领域的应用，大规模数据库的建设将推动材料研发进入大数据时代。因此，研究大数据背景下机器学习在材料科学中的应用是未来一个重要的研究方向。此外，鉴于机器学习理论中的“天下没有免费的午餐”定理，满足不同材料设计需求的集成学习或通用算法的发展，将推动机器学习在材料领域的广泛应用;制定“小数据样本”+“大成分空间”背景下的机器学习策略，将克服现阶段材料科学领域实验数据稀疏、获取困难、速度慢的问题，有助于提高有限数据下的学习效率和准确性;特征工具和自动化机器学习(AutoML)框架的发展将降低机器学习的入门门槛，并帮助不熟悉数据科学的材料领域专家以很少的精力、时间和成本快速从数据中提取价值;开发按需设计的逆设计策略，结合材料的具体性能要求，充分发挥机器学习使用的主动性，最终加速新材料的开发;开发可解释的机器学习算法和模型，有助于深入理解材料数据与机器学习模型之间的映射关系，消除解释结果与模型真实行为之间的不一致，从而保证解释结果的可靠性和安全性。
总之，基于机器学习的材料研发是材料研究的新范式，它将加速材料的开发效率，降低成本。这个新的研究兴趣结合了材料科学、数据科学、计算机科学和人工智能。它是一个多学科的研究领域，需要材料领域和计算机领域的专家相互协作，才能进一步促进其快速发展。
DOI：https://doi.org/10.1016/j.mtcomm.2022.104900
注：推送内容以交流学习为目的，并非商业用途，如有侵权，请联系协商处理。欢迎各位专家学者投稿，分享Ai+材料最新科研成果！
投稿邮箱：zyj1047587695@qq.com
群聊：材料与人工智能-学习交流群
加群方式：添加编辑微信：zyj1047587695，请备注：单位-姓名-研究方向，由编辑审核后邀请入群
材料与人工智能
斗转星移，光阴飞逝，AI使世界变化之快，如过隙白驹，让我们目不暇接。一种难以厘清的压迫感隐约而至。科学研究方式与生态是否处于大变革前夜？我们冥思，我们求索，为此创办此公众号，与大家分享和讨论AI在材料科学领域的最新进展、问题和挑战。