药物设计强化对抗神经网络模型在设计全新分子上的应用

Posted 2021-04-07 DeDrug

背景

过去的十年中，深度学习(deep learning, DL)方法广泛应用于各个领域，与传统的机器学习（machine learning, ML）算法相比，DL方法在小分子药物发现和开发方面还有很长的路要走。今天分享的是人工智能公司Insilico Medicine发表在 Journal of Chemical Information and Modeling杂志上的文章。作者提出了一种深度神经网络结构，称为增强对抗神经网络（RANC），该网络可利用生成对抗网络（GAN）和强化学习（RL）的方法从头设计新型小分子结构，有利于扩大现有小分子的化学空间。

RANC模型流程图

在分享RANC模型之前，首先了解一下生成对抗网络（GAN）是如何实现一个动态的“博弈过程”。以生成分子为例进行说明：假设我们有两个网络，G是一个生成分子的网络，通过学习表征分子结构的序列信息，进而生成分子，记做G(z)；D是一个判别网络，判别一个分子是不是“真实的”。它的输入参数是x，x代表一个分子，输出D（x）代表x为真实分子的概率。在训练过程中，生成网络G的目标就是尽量生成真实的分子去欺骗判别网络D。而D的目标就是尽量把G生成的分子和真实的分子分别开来。在最理想的状态下，G可以生成足以“以假乱真”的分子G(z)。对于D来说，它难以判定G生成的分子究竟是不是真实的，因此D(G(z))=0.5。这样我们就得到了一个生成模型G，它可以用来生成分子。

图1：RANC模型示意图（图片来自原文）

本文中的模型则是利用生成对抗网络以及强化训练结合可微分神经计算机DNC(图1)形成一个更强大的生成模型网络来生成更好样本，防止判别模型在训练过程直接打败生成模型而造成模式崩塌。主要步骤如下：首先生成器通过训练生成样本集，然后此生成样本集与真实样本集作为输入训练判别器，判别的概率分布再通过强化学习反馈给生成器，优化参数使其生成更优分子继续训练，直到生成器生成的分子能够以假乱真。

RANC算法实现

对于生成器来说，模型训练主要通过最大似然函数训练相关参数，然后通过判别器概率以及目标奖励方程所得的奖励值对其进行优化，最终生成器DNC的参数通过无偏估计更新。

对于判别器来说，则是为了最小化真实样本与生成样本之间的交叉熵。当生成器参数被更新，判别器则会再次通过模型训练，继而再反馈给生成器。算法框架如图2，具体算法可参见原文。

图2：RANC算法框架图（图片来自原文）

RANC结果分析

文章中将此模型与2017年提出的GAN代表模型ORGANIC进行对比。首先利用来自ChemDiv （CD）和ZINC（Drugs）两个数据库的数据集对两个模型进行完美判别器分析。生成器分别迭代50，100次，鉴别器迭代100次，比较其精确度和奖励中值(图3.A)与ORGANIC对比，由于ORGANIC生成的有效SMILES较少，导致了判别器很容易辨别出阴性样本,而RANC模型一直处于对抗学习及优化，直至达到收敛，由此可判定其解决了完美判别器这一问题。接着，通过比较ORGANIC模型与RANC模型生成的分子与原始数据集各项分子特征的分布包括分子量、脂水分配系数等（图3.B），也可以看出RANC模型可以生成与训练集分子性质相近的SMILES字符串。此外，通过计算模型生成分子与原始数据集分子的类药性打分发现两个模型均能改善数据的初始分布，但RANC模型在分值高的部分占比更大。最后，文章还评估了训练后生成分子的质量，图中阴影表示分子相似性分布，无色表示未通过药物化学性质过滤的生成分子比例，进一步表明了RANC模型可生成即独特又具有多样性的分子结构。

图3 A.模型的精确度与奖励中值；B.生成分子的分子特征分布；C.分子的类药性打分分布；D.生成分子与原始数据间的相似性分布（图片来自原文）

小结

在这项工作中，作者介绍了强化对抗神经网络模型的架构, 以及其在设计全新药物候选分子上的应用。相较于传统方法，该架构可以产生更多既独特又具有多样化的分子结构。与训练样本相比，生成的结构具备相似的字符串长度，从而保证它们在关键的分子结构参数上与训练样本一致，这种方法可以为针对单个或多个靶点生成完美化学分子的程序提供思路。

---

参考文献：

[1] Putin E, Asadulaev A, Ivanenkov Y, et al. Reinforced Adversarial Neural Computer for De Novo Molecular Design[J]. Journal of Chemical Information and Modeling, 2018, 58, 1194-1204.

Li's Lab

地址:上海市梅陇路130号 

邮编:200237 

电话：[phone]

长按扫码可关注