AI爱好者
近日，在arXiv预印版上发表了题为”Evaluation of GPT and BERT-based models on identifying protein-protien interactions in biomedical text”的文献。
作者使用手动设计的164个PPI基准预料库，评估了各种GPT和BERT模型的PPI识别性能。
测试结果显示：基于BERT模型的整体性能最好，其中PubMedBERT达到最高精度(85.17%)和F1分数(86.47%)和BioM-ALBERT实现了最高召回率(93.83%)。
GPT-4也取得了可比的成绩83.34%准确率、76.57%召回率和79.18%F1分数。这些发现表明，GPT模型可以有效的从文本数据中检测PPI，并具有用于生物医药文献挖掘任务的潜力。目前，没有研究评估过GPT模型用于从生物医学文本中提取PPI的效果，以及给出最好的应用建议。作者对多个GPT的PPI识别性能进行了全面评估，以及在关系抽取层面与最先进的基于BERT的NLP模型进行了比较。
||语言模型
作者评估了3种自回归语言模型(GPT-3、GPT-3.5 via ChatGPT和GPT4 via ChatGPT)，每个都有3个变体和7个掩码语言模型(Bioo_ClinicalBERT, BioBERT, BioM-ALBERT-xxlarge, BioM-BERT-PubMed-PMC-Large, PubMedBERT, SciBERT_scivocab_cased, and SciBERT_scivocab_uncased)。
||自回归模型
下图展示了GPT系列模型开发时间、对应的架构和参数信息。
||掩码语言模型
BioBERT：在PubMed摘要和PubMed Central(PMC)上预训练的BERT模型，BioBERT v1.1版本使用>1M PubMed摘要进行了微调。
SciBERT：在随机语义引用(random Semantic Scholar articles)全文章上预训练的BERT模型。
Bio-ClinicalBERT：在MIMIC-III v1.4中的所有注释，电子健康记录数据库，包含880M个单词上对BioBERT v1.0模型(PubMed 200K+PMC 270K)进行了微调。
PubMedBERT：一种在BLURB(生物医学语言理解和推理的基准)训练的BERT模型。
BioM-ALBERTLarge：一个在PubMed摘要上预训练的BERT模型，与ALBERTLarge框架相同。
BioM-BERTLarge：与BERTLarge具有相同架构的BERT模型，这是BERT的ELECTRA实现。
||PPI识别性能
下表总结了16个模型的PPI识别性能，包括3个及其每个GPT版本的变体。基于BERT的模型优于GPT-4，但当提供蛋白质名称时，特别是GPT-4，表现出与性能最佳的基于BERT的模型相当的性能。
总体而言，GPT-4在所有版本的GPT模型中表现最好，无论是否提供了蛋白质名称。但在精度(Precision)方面，GPT-3.5取得了更高的性能优于GPT-4，得分为79.11%，而GPT-4得分为73.97%。
最初，基于GPT模型的Precision低于大多数基于BERT的模型。然而，当提供蛋白质名称时，GPT模型的Precision提高了，显著接近表现最佳的PubMedBERT模型，该模型实现了85.17%的Precision。具体来说，提供蛋白质名称的GPT-4模型达到了83.71% Precision。
在F1-Score层面，PubMedBERT得分最高(1.46%高于GPT-4），在Recall层面，BioALBERT实现了最高的Recall。
基于BERT模型的表现出令人深刻的性能，但是它们需要通过监督学习微调，这需要大量的时间和技术支持。相比下，GPT-3、ChatGPT和GPT-4等零样本学习模型不需要如此广泛的微调，使它们在特定用例中更易于访问和适用。
尽管GPT-3主要是为文本生成而设计的，但它表现出了从生物医学文献中识别相互作用的惊人的能力，比如蛋白蛋白相互作用和关系抽取。
使用PubMed和PMC等生物医学语料库改善GPT-4进行PPI鉴定是有保障的。通过字典等附加信息，GPT已经显示出不错的性能，并且可以证明与基于BERT的模型相比，性能大幅提高，这表明GPT可用于这些NLP任务。
未来研究的一个潜在领域是探索使用本体来改善文献挖掘PPI鉴定。例如，以前的工作已经利用相互作用网络本体(Interaction Network Ontology, INO)来促进基因-基因或蛋白质-蛋白质相互作用的挖掘和准确性。此外，INO的层次结构和不同相互作用之间的语义关系为更深入的分析挖掘的交互提供了基础。
参考文献：[1] Evaluation of GPT and BERT-based models on identifying protein-protien interactions in biomedical text.
——— End ———
欢迎免费使用GPT对话，感受ChatGPT的魅力！AI爱好者 – 最具实力的中文AI交流社区平台 (aiahz.com)
长按扫描二维码进群领资源
