微新创想（idea2003.com）9月8日 消息：CatBERTa 是一种基于 Transformer 的人工智能模型，专为通过文本输入进行能量预测而设计。该模型建立在预训练的 Transformer 编码器之上，这种深度学习模型在自然语言处理任务中表现出色。CatBERTa 的独特之处在于它能够处理人类可理解的文本数据，并添加用于吸附能量预测的目标特征。这一创新使得研究人员能够以简单易懂的格式提供数据，显著提高了模型预测的可用性和可解释性。论文地址：https://arxiv.org/abs/2309.00563
研究发现，CatBERTa 倾向于集中关注输入文本中的特定标记。这些指标与吸附物（附着在表面上的物质）、催化剂的整体组成以及这些元素之间的相互作用密切相关。CatBERTa 似乎能够识别并重视影响吸附能量的催化系统的关键因素。研究还强调了相互作用原子作为描述吸附排列的有用术语的重要性。吸附剂中的原子与块体材料中的原子相互作用对于催化至关重要。
有趣的是，研究发现链接长度和这些相互作用原子的原子组成与吸附能量的准确预测几乎没有关系。这一结果表明，CatBERTa 能够优先考虑任务的重要内容，并从文本输入中提取最相关的信息。在准确性方面，CatBERTa 在吸附能量预测中显示出 0.75 电子伏特的平均绝对误差（MAE）。这一精度水平与广泛使用的图神经网络（GNNs）相当，用于进行此类预测。
CatBERTa 还具有一项额外优势：对于化学上相同的系统，从 CatBERTa 估计的能量可以通过彼此相减有效地消除系统误差，达到 19.3%。这表明，CatBERTa 有潜力大大减少催化剂筛选和反应性评估中预测能量差异的错误，这是催化剂研究中至关重要的一部分。
总之，CatBERTa 提供了一种可能的替代传统 GNNs 的方法。它展示了提高能量差异预测精度的可能性，为更有效和精确的催化剂筛选程序打开了大门。