题目： HyperAttentionDTI: improving drug–protein interaction prediction by sequence-based deep learning with attention mechanism
- 单位： 中南大学 计算机科学与工程学院
- paper链接： https://pubmed.ncbi.nlm.nih.gov/34664614/
- Code 链接：https://github.com/zhaoqichang/HpyerAttentionDTI
- 发表时间： 2021 年 10 月 19 日
- 发表期刊： 《Bioinformatics》
HyperAttentionDTI：基于注意机制的序列深度学习改进药物-蛋白质相互作用预测
摘要
动机：
识别 药物-靶点相互作用(DTI)是药物再利用和药物发现的关键步骤。准确识别Silico中的DTI可以显著缩短开发时间，降低成本。近年来，许多基于序列的方法被提出用于DTI预测，并通过引入注意机制来提高性能。然而，这些方法只模拟药物和蛋白质之间的单一非共价分子间相互作用，而忽略了 原子和氨基酸之间的复杂相互作用。
结果： 本文提出了一种基于 卷积神经网络(CNN)和 注意机制的 端到端生物启发模型，称为 HyperAttentionDTI，用于 预测DTI。我们使用深度CNN来学习 药物和蛋白质的 特征矩阵。为了模拟原子和氨基酸之间复杂的非共价分子间相互作用，我们利用特征矩阵上的 注意力机制，并为每个原子或氨基酸分配一个注意力向量。我们在 三个基准数据集上对HpyerAttentionDTI进行了评估，结果表明，与最新的基准相比，我们的模型取得了 显著的性能改善。此外，对人类γ-氨基丁酸受体的案例研究证实，我们的模型可以作为预测DTI的有力工具。
可用性： 我们模型的代码可在https://github.com/zhaoqichang/HpyerAttentionDTI和https://zenodo.org/record/5039589.上获得。
1 Introduction
药物发现和药物再利用在当前生物医学领域受到高度重视。识别药物-靶相互作用(DTI)是药物发现和药物再利用的关键一步。然而，由于化学空间庞大，在湿实验室中识别DTI是极其昂贵和耗时的。为了有效地缩短时间和降低成本，已经开发了虚拟筛选(VS)来帮助在Silico中进行实验性药物发现研究。一些经典的VS方法，如基于结构的VS和基于配体的VS，已经被研究了几十年，在药物发现方面取得了巨大的成功。然而，这些VS方法的应用非常有限。例如，当蛋白质的3D结构未知时，不能执行基于结构的VS方法。由于准确重建蛋白质的结构仍然是一个挑战，构建无结构的方法正在获得吸引力。
近年来，深度学习在计算机视觉和自然语言处理等许多领域都取得了优于经典方法的性能。近年来，随着大量生物活性数据的产生，利用深度学习技术预测DTI成为研究热点。在深度学习应用于DTI预测的早期阶段，研究人员使用手工制作的描述符来表示药物和蛋白质，并设计完全连接的神经网络(FCNN)来制作预测。由于描述子是从特定角度设计的，并且在训练过程中是固定的，因此基于描述符的方法不能提取与任务相关的特征。为此，人们提出了许多端到端的模型。Lee等人。提出了一个名为DeepConv-DTI的模型来预测DTI。该模型利用多尺度一维CNN(1D-CNN)层来获取蛋白质特征，并以此作为输入得到药物的扩展连接指纹(ECFP)。为了捕捉序列中原子之间的任何关系，Shin等人提出了一个基于Transformer的DTI模型，它使用多层双向Transformer编码器从简化的分子输入线输入系统(SMILES)字符串中学习分子的高维结构。郑等人提出了一个框架，通过用2D距离图表示蛋白质和用微笑字符串表示药物来预测DTI。从另一个处理化合物或蛋白质的图形结构的角度，GraphCPI，Graph-CNN以及Lim等人。使用图形神经网络(GNN)来学习化合物和蛋白质的表示。
深度学习推动了药物靶向亲和力(DTA)预测的快速发展。Oztürk等人的研究成果提出了一个预测DTAS的模型，该模型通过CNN块处理微笑串和氨基酸序列。为了提取药物的拓扑结构信息，Nguyen et al提出了用图形表示药物的DTA预测的GraphDTA。GraphDTA使用各种GNN来捕捉药物的结构信息，使用CNN来学习蛋白质特征。此外，Abdel-Bassetet et al提出了一个异构图注意模型来学习药物的拓扑信息，并提出了Bi-ConvLSTM层来模拟微笑串中的空间序列信息。他们使用密集的CNN和SE-Block进行蛋白质序列测定。上述方法试图探索更强的模块来提取药物或蛋白质的特征，但忽略了一个重要的事实，即只有蛋白质的某些部分或药物的几个原子参与了分子间的相互作用，而不是整个结构。
为了模拟氨基酸与原子之间的分子间相互作用，在DTI和DTA预测中引入了注意机制。Tsubakiet等人提出了一个基于注意力的DTI预测模型。这个模型将药物编码到一个固定长度的载体上，并使用单边注意机制来计算蛋白质中的哪些子序列对分子更重要。该模型是由Chen等人提出的和Wang等人也利用了这种注意力机制。此外，Gao et al在DTI预测中应用了双边注意机制，使药物和蛋白质能够相互感知。双边注意机制不仅可以定位蛋白质上的结合位点，还可以探索药物上原子的重要性，并被应用于DTA预测。受到Transformer在捕捉两个序列之间的特征方面的巨大能力的启发，Chen等人将药物和蛋白质视为两类序列，提出了一种基于Transformer的模型，称为TransformerCPI，用于预测DTI。黄等人还提出了一种基于Transformer的模型MolTrans，该模型在特征提取过程中引入Transformer编码器，以捕捉药物或蛋白质中子结构之间的语义关系。这些方法将注意力机制引入到药物和蛋白质之间的单个非共价分子间相互作用模型中，取得了比没有注意力机制的模型更好的性能。但是，他们忽略了这样一个事实，即药物和蛋白质之间有几种非共价相互作用类型(例如，疏水相互作用、氢键和π-Stackings)。
受以往基于注意力的模型的启发，我们提出了一种受生物启发的端到端方法，称为HpyerAttentionDTI，用于预测DTI。该模型的输入是药物的微笑序列和蛋白质的氨基酸序列。我们使用堆叠的1D-CNN层来从输入中学习特征矩阵。与以往基于注意力的模型不同，我们的模型为每个氨基酸-原子对推断一个注意力向量。这些注意向量不仅呈现氨基酸和原子之间的相互作用，而且还控制通道上特征的表征。注意力阻断后，将修正后的药物-蛋白质特征向量输入全连接神经网络进行DTI预测。我们在四种不同的药物发现环境下，在三个广泛使用的数据集上将我们的模型与最先进的深度学习基线进行了比较。结果表明，HpyerAttentionDTI在所有设置下都具有与基线相当的性能。我们对人类γ-氨基丁酸受体进行了案例研究，以评估我们的模型预测现有DTI的能力。此外，我们进一步可视化了HpyerAttentionDTI学习到的注意力得分，结果表明，该模型的注意力块对于减少结合位点的搜索空间是有用的。
2 Materials and methods
2.1 Benchmark Datasets
我们从DrugBank数据库中提取药物和靶数据以建立实验数据集。本研究使用的数据于2020年1月3日发布(版本5.1.5)。我们手动丢弃这些药物，它们是无机化合物、非常小的分子化合物(例如铁(DB01592)和锌(DB01593))或RDKit python包无法识别的那些微笑串。最终共获得6655种药物、4294种蛋白质和17511种阳性DTI。按照惯例，我们从未标记的药物-蛋白质对中采样，生成负样本，并获得正负样本相等的平衡数据集。此外，我们还构建了两个不平衡的基准数据集，Davis和Kiba。Davis和Kiba记录了测量药物和蛋白质之间结合亲和力的湿实验室化验值。在早期工作之后，分别为Davis和Kiba数据集设置阈值5.0和12.1，以构建二进制分类数据集。由于Davis数据集中有一些氨基酸序列相同的蛋白质，我们删除了重复的药物-蛋白质对，以避免标签混淆。表1汇总了DrugBank数据集、Davis数据集和Kiba数据集。
2.2 Proposed model
HyperAttentionDTI由三部分组成：CNN模块、关注模块和输出模块。给出药物的微笑串和蛋白质的氨基酸序列，CNN从药物和蛋白质序列中提取特征矩阵。然后将特征矩阵送入注意力机制块，得到决策向量。最后，输出块根据判决向量进行预测。图1描述了所提议的HyperAttentionDTI的概述。
2.2.1 Embedding layer
蛋白质的氨基酸序列和药物的微笑序列是HyperAttentionDTI的输入。药物的微笑串由64个不同的字符组成，蛋白质中有20种不同的氨基酸。HyperAttentionDTI从两个嵌入层开始，将每个氨基酸和微笑字符转换为相应的嵌入向量。在嵌入层后，得到蛋白质和药物的嵌入矩阵 P e ∈ R M × e p P_{e} \in \mathbb{R}^{M \times e p} Pe?∈RM×ep 和 D e ∈ R N × e d D_{e} \in \mathbb{R}^{N \times e d} De?∈RN×ed ，其中M和N分别为蛋白质和药物串的长度，ep和ed分别为蛋白质和药物串的嵌入量。
2.2.2 CNN block
在我们的模型中有两个独立的CNN模块，一个用于药物，另一个用于蛋白质。CNN块包含三个连续的1D-CNN层，可以有效地提取序列语义信息。1D-CNN能够从整个空间捕捉重要的局部模式。当卷积滤波器在蛋白质或微笑串上滑动时，捕捉药物的氨基酸或亚结构的不同组合，得到包含它们之间化学关系的潜在特征向量。给定嵌入矩阵Pe和De嵌入层，CNN块生成潜在特征矩阵 P c n n ∈ R M × f ( 蛋 白 质 ) 和 P_{cnn} \in \mathbb{R}^{M \times f}(蛋白质)和 Pcnn?∈RM×f(蛋白质)和 D c n n ∈ R N × f D_{cnn} \in \mathbb{R}^{N \times f} Dcnn?∈RN×f(药物)，其中f是最后一维CNN层的滤波器数。
2.2.3 Attention block
我们设计了一个特殊的注意模块，称为超级注意。与早期工作中的注意机制不同，HyperAttenment不仅在空间维度上模拟了药物子序列和蛋白质子序列之间的语义相互依赖，而且在通道维度上对药物子序列和蛋白质子序列之间的语义相互依赖进行了建模。给定来自CNN块的药物潜在特征矩阵Dcnn和蛋白质潜在特征矩阵 P c n n = { p 1 , p 2 , … , p M } P_{c n n}=\left\{p_{1}, p_{2}, \ldots, p_{M}\right\} Pcnn?={p1?,p2?,…,pM?}和，我们生成了一个关注矩阵 A ∈ R N × M × f A \in\mathbb{R}^{N \times M \times f} A∈RN×M×f，它包含了药物和蛋白质在空间和通道维度上的相互作用。
更准确地说，在给定 d i 和 p j d_{i}和p_j di?和pj?的情况下，我们首先通过多层感知器(MLP)将它们转换成注意向量 d a i d_{ai} dai?和 p a j p_{aj} paj?，以分离特征提取和注意建模。
d a i = F ( W d ? d i + b ) p a j = F ( W p ? p j + b ) \begin{aligned} &d a_{i}=F\left(W_{d} \cdot d_{i}+b\right) \\ &p a_{j}=F\left(W_{p} \cdot p_{j}+b\right) \end{aligned} ?dai?=F(Wd??di?+b)paj?=F(Wp??pj?+b)?
其中，F是非线性激活函数(例如，REU)，
W
d
∈
R
f
×
f
W_{d} \in \mathbb{R}^{f \times f}
Wd?∈Rf×f 和
W
p
∈
R
f
×
f
W_{p} \in \mathbb{R}^{f \times f}
Wp?∈Rf×f表示权重矩阵，b是偏置向量。然后,注意向量
A
i
，
j
∈
R
f
A_{i，j}∈\mathbb R ^{f}
Ai，j?∈Rf计算如下：
A
i
,
j
=
F
(
W
a
?
(
d
a
i
+
p
a
j
)
+
b
)
A_{i, j}=F\left(W_{a} \cdot\left(d a_{i}+p a_{j}\right)+b\right)
Ai,j?=F(Wa??(dai?+paj?)+b)
其中 W a ∈ R 2 f × f W_{a} \in \mathbb{R}^{2 f \times f} Wa?∈R2f×f是权重矩阵.
经过这些操作，我们得到了关注矩阵 A ∈ R N × M × f A\in \mathbb R^{N×M×f} A∈RN×M×f，通过对不同维度进行均值运算，得到了药物的关注矩阵 A d ∈ R N × f A_{d} \in \mathbb{R}^{N \times f} Ad?∈RN×f和蛋白质的关注矩阵 A p ∈ R N × M × f A_p \in \mathbb{R}^{N \times M \times f} Ap?∈RN×M×f。
A
d
=
Sigmoid
?
(
M
E
A
N
(
A
,
2
)
)
A
p
=
Sigmoid
?
(
M
E
A
N
(
A
,
1
)
)
\begin{aligned} &A_{d}=\operatorname{Sigmoid}(M E A N(A, 2)) \\ &A_{p}=\operatorname{Sigmoid}(M E A N(A, 1)) \end{aligned}
?Ad?=Sigmoid(MEAN(A,2))Ap?=Sigmoid(MEAN(A,1))?
其中，MEAN(INPUT，DIM)是返回给定维度DIM中每行输入的平均值的平均运算，Sigmoid是将任何注意力得分映射到范围(0，1)的激活函数。潜在特征矩阵Da 和Pa 更新：
D
a
=
D
c
n
n
?
0.5
+
D
c
n
n
⊙
A
d
P
a
=
P
c
n
n
?
0.5
+
D
c
n
n
⊙
A
p
\begin{aligned} &D_{a}=D_{c n n} \cdot 0.5+D_{c n n} \odot A_{d} \\ &P_{a}=P_{c n n} \cdot 0.5+D_{c n n} \odot A_{p} \end{aligned}
?Da?=Dcnn??0.5+Dcnn?⊙Ad?Pa?=Pcnn??0.5+Dcnn?⊙Ap??
其中
⊙
\odot
⊙表示基于元素的乘积。然后，我们对Da和Pa.进行全局最大合并操作，以获得特征向量
v
drug?
v_{\text {drug }}
vdrug??和
v
protein?
v_{\text {protein }}
vprotein??，这些特征向量连接在一起并馈送到输出块中。
2.2.4 Output block
输出块由多层全连接神经网络(FCNNs)组成。FCNN的激活函数是Leaky Relu，负斜率为0.01。每个FCNN后面都有一个Dropout层，以防止过度拟合。最后一层输出表示相互作用可能性的概率?。作为一个二进制分类任务，我们使用二进制交叉熵损失来训练我们的模型： loss ? = ? [ y log ? ( y ^ ) + ( 1 ? y ) log ? ( 1 ? ( y ^ ) ) ] \operatorname{loss}=-[y \log (\hat{y})+(1-y) \log (1-(\hat{y}))] loss=?[ylog(y^?)+(1?y)log(1?(y^?))]
其中y是基本事实标签。
2.3 Implementation
HyperAttentionDTI在PyTorch中实现。对于优化参数，我们使用AdamW优化器，默认学习率为1e-4，权重衰减系数为1e-4。输入嵌入的大小为64，这意味着我们用一个64维的密集向量来表示微笑或氨基酸序列中的每个字符。每个CNN块由三个堆叠的1D-CNN层组成，分别具有32、64和96个滤波器。CNN区块的窗口大小分别为药物的4、6、8和蛋白质的4、6、12。输出块由四个完全连通的层组成，其中神经元的数量分别为1024、1024、512和2个。dropout为0.1。我们将批量设置为32。我们早停以解决过度贴合的问题。如果验证集上的模型丢失没有在20个epoch内减少，则训练将停止。
3 Experiments and results
3.1 Experimental setup
指标： 由于DTI预测是一项分类任务，我们使用准确率、精确度、召回率、AUC和AUPR作为衡量模型性能的指标。
评估策略：假设P和D是训练集中的蛋白质和药物集合。当预测测试集中的药物d和蛋白p之间的相互作用时，有四种不同的实验设置来进行综合比较：
- E1 d和p都出现在训练集中： d ∈ D t r a i n d∈D_{train} d∈Dtrain?训练和 p ∈ P t r a i n p∈P_{train} p∈Ptrain?训练。
- E2 在训练集中没有药物d的相互作用，而在训练集中存在蛋白质p的相互作用： d ? D t r a i n 和 p ∈ t r a i n d\notin D_{train}和p∈_{train} d∈/?Dtrain?和p∈train?。
- E3 在训练集中没有蛋白质p的相互作用，而在训练集中有药物d的相互作用： d ∈ D t r a i n d∈D_{train} d∈Dtrain?和 p ? P t r a i n p \notin P_{train} p∈/?Ptrain?。
- E4 D和p都没有出现在训练数据集中： d ? D t r a i n d \notin D_{train} d∈/?Dtrain?和 p ? P t r a i n p\notin P_{train} p∈/?Ptrain?。
我们执行10次重复的5次交叉验证来评估模型的预测能力。对于每一次，我们在不同的随机种子下对数据集进行不同的随机分割。
超参数的搜索：我们的模型中有四个重要的超参数，即学习率、权重衰减系数、批次大小和辍学率。这些超参数是通过对DrugBank数据集进行网格搜索来确定的。在网格搜索中，学习速率在[1e-1，1e-2，1e-3，1e-4，1e-5，1e-6，1e-7]，批次大小在[8，16，32，64,128,256,512]，权重衰减系数在[1e-1，1e-2，1e-3，1e-4，1e-5，1e-6，1e-7]，退出率在[1e-1，1e-2，1e-3，1e-4，1e-5，1e-6，1e-7]。一般来说，学习率直接决定性能，批次大小与学习率相关。因此，我们首先确定网格搜索中的学习率和批次大小。在学习速率和批次大小固定后，我们选择权值衰减系数和丢失率来提高模型的稳健性。优化后的学习率为1e-4，重量衰减系数为1e-4，批次大小为32，丢失率为0.1。
3.2 Baselines
GNN-CPI：GNN-CPI分别通过图神经网络和1D-CNN编码药物和蛋白质，并使用单边注意机制来考虑蛋白质中的哪些子序列对药物重要。将药物和蛋白质的特征向量拼接后送入FCNN进行DTI预测。
GNN-PT ：GNN-PT利用GNN提取药物载体，Transformer和CNN用于蛋白质表示。采用单侧注意机制来获得蛋白质载体。然后将其与药物载体连接，并送入FCNN进行最终预测。
DeepEmbedding-DTI：DeepEmbedding-DTI分别通过GNN和BiLSTM编码药物和蛋白质，并使用基于Transformer的模型学习蛋白质序列的嵌入向量。
GraphDTA ：GraphDTA分别将GNN和CNN应用于药物和蛋白质表示。根据Nguyen等人提供的报告。在后面的实验比较中，我们选择GA T_GCN作为t提取器。我们在最后一层之后增加了Sigmoid激活函数来改变它以进行DTI预测。
DeepConv-DTI ：DeepConv-DTI利用FCNNs处理药物的ECFP指纹，并应用多尺度1D-CNN和全局最大池层来提取蛋白质序列中不同长度的局部模式。然后将药物和蛋白质的抽象特征向量连接起来，输入到模糊神经网络中进行DTI预测。
TransformerCPI ：TransformerCPI基于Transformer架构，该架构将药物和蛋白质视为两种序列。TransformerCPI分别从CNN和GCN生成蛋白质序列表示和原子表示后，通过Transformer的解码器获取相互作用特征，并使用线性层次输出相互作用概率。
MolTrans ：MolTrans也基于Transformer架构。MolTrans使用频繁连续的子序列挖掘模块将药物和蛋白质分解成一组显式的子结构序列。然后利用Transformer嵌入模块实现药物和蛋白质的上下文嵌入。接下来，MolTrans通过点积对交互地图进行建模，并在交互地图上应用CNN和FCNN来预测DTI。
我们遵循基线论文中描述的相同的超参数设置。
3.3 Performance evaluation under the setting E1
我们首先将我们的模型与设置E1下的DrugBank数据集上的基线进行比较。我们将DrugBank数据集按16：4：5的比例分为训练集、验证集和测试集。当每个模型的性能在验证集上不再提高时，将在测试集上对其进行评估。表2显示了各种基线和建议方法在DrugBank数据集上的准确性、精确度、召回率、AUC和AUPR结果。从表2中，我们的方法在准确率、精确度、召回率、AuC和aupr方面分别比基线的最佳性能分别提高了0.023、0.007、0.012、0.028和0.018。
为了减少随机产生的负DTI的偏差和噪声，我们将我们的模型与设置E1下的Davis和Kiba数据集上的基线进行了比较。这两个数据集是不平衡的。表3和表4分别显示了这些模型在Davis和Kiba数据集上的结果。在Davis和Kiba上，MolTrans和GNN-CPI获得了最高的精确度，但我们的模型在其他指标上远远超过基线。在Davis数据集上，我们的模型在准确率、召回率、AuC和aupr方面分别比基线的最佳性能分别提高了0.024、0.074、0.02%和0.055。在KIBA数据集上，我们的模型在准确率、召回率、AuC和AUPR方面分别比基线的最佳性能分别提高了0.004、0.149、0.021和0.041。
3.4 Performance evaluation under de novo setting
为了测试模型的健壮性，我们在DrugBank数据集上评估了设置为E2、E3和E4的模型和基线。设置E2和E3比设置E1更符合药物发现的情况。为了在E2/E3环境下测试这些模型，我们随机选择了20%的药物/蛋白，并将所有与这些药物/蛋白相关的DTI作为测试集。其他DTI作为训练集和验证集，比例为4：1。E2和E3设置下的结果分别见表5和表6。这些结果表明，HpyerAttentionDTI在最先进的基线上取得了卓越的性能，有能力处理药物发现的现实情况。
在最具挑战性的环境E4中，我们随机选择了20%的药物和20%的蛋白质，并将所有由这些药物和蛋白质组成的DTI作为测试集。与这些药物和蛋白质无关的DTI被用作训练集和验证集，比例为4：1。在设置E4下的结果如表7所示。我们可以看到，所有模型的性能都有显著的下降，但我们的模型的性能仍然是最好的。
我们还在Davis和Kiba数据集上将我们的模型与这些新设置下的基线进行了比较，得到了类似的结果(结果可在补充材料的表S2至S7中获得)。总体而言，我们的模型在所有设置下都实现了与最先进的深度学习基线相比具有竞争力或更高的性能。这是因为我们的模型使用注意机制来动态调整药物和蛋白质在不同组合中的特征，而不是药物和蛋白质的提取特征是固定的基线。
3.5 The effectiveness of Attention block
为了评估注意块的重要性，我们提出了三个子模型。第一个是No_Attribute_DTI，其中没有注意模块。我们直接对CNN块的输出进行全局最大值合并操作，以获得药物和蛋白质特征向量。我们将向量连接起来，并将它们送入输出块进行预测。第二子模型基于双边注意机制，称为Attention_DTI。给定药物特征矩阵
D
c
n
n
D_{cnn}
Dcnn?和蛋白质特征矩阵
P
c
n
n
P_{cnn}
Pcnn?，生成关注权重
A
i
=
Sigmoid
?
(
D
c
n
n
?
P
c
n
n
T
)
A_{i}=\operatorname{Sigmoid}\left(D_{c n n} \cdot P_{c n n}^{T}\right)
Ai?=Sigmoid(Dcnn??PcnnT?)
第三种是基于多头注意机制的多头注意机制，称为Multi-Head_DTI。对于每个头部i，生成关注度权重，使得
D
a
i
=
F
(
W
d
i
?
D
c
n
n
+
b
)
P
a
i
=
F
(
W
p
i
?
P
c
n
n
+
b
)
A
i
=
Sigmoid
?
(
D
a
i
?
P
a
i
T
)
\begin{gathered} D a_{i}=F\left(W d_{i} \cdot D_{c n n}+b\right) \\ P a_{i}=F\left(W p_{i} \cdot P_{c n n}+b\right) \\ A_{i}=\operatorname{Sigmoid}\left(D a_{i} \cdot P a_{i}^{T}\right) \end{gathered}
Dai?=F(Wdi??Dcnn?+b)Pai?=F(Wpi??Pcnn?+b)Ai?=Sigmoid(Dai??PaiT?)?
其中 W d i ∈ R f × d W d_{i} \in \mathbb{R}^{f \times d} Wdi?∈Rf×d和 W p i ∈ R f × d W p_{i} \in \mathbb{R}^{f \times d} Wpi?∈Rf×d是权重矩阵，T是转置运算。最后的关注权重 A ∈ N M × f A \in \mathbb{N}^{M \times f} A∈NM×f 由下式生成
A
=
1
K
?
∑
i
=
0
K
A
i
A=\frac{1}{K} \cdot \sum_{i=0}^{K} A_{i}
A=K1??i=0∑K?Ai?
其中K是头数。根据定义，多头注意机制还具有模拟原子和氨基酸之间复杂相互作用的能力。然而，该机制引入了大量的模型参数，这些参数的数量取决于超参数K。经验上，我们将K设为8。
表8显示了这些模型在DrugBank数据集上的预测性能。结果表明，通过比较有无注意机制的模型，发现利用注意机制确实有一定的改进作用。这表明在DTI推断过程中有必要建立药物特征和蛋白质特征之间的相关性。此外，HyperAttentionDTI的性能最好，这表明我们提出的注意机制比传统的注意机制更适合应用于基于CNN的模型。值得一提的是，我们在注意块中尝试了不同的激活函数，发现RELU函数效果最好。我们推测这与提取的药物和蛋白质特征矩阵有关。
3.6 Case studies
为了评估我们模型的可靠性，我们使用FDA批准的针对特定蛋白的实际药物进行了案例研究，即人类γ-氨基丁酸受体(GABARs)。之所以选择GABAR进行案例研究，是因为它们是中枢神经系统中最重要的抑制性氯离子通道，也是多种药物的主要靶标。GABARs有7个亚基和16个靶蛋白。我们从DrugBank数据库的最新版本5.1.8下载了11,172种化合物。我们按照第2.1节的描述过滤掉化合物。因此，这个案例研究使用了6708种药物。我们在第2.1节描述的DrugBank数据集上训练了我们的模型。我们计算了16种GABAR蛋白与6708种药物的相互作用概率，并根据概率对它们进行了排序。表9描述了在训练和测试集中划分的药物数量。表9的最后一列显示了在前10名列表中预测的药物数量。结果表明，我们的模型提供了对潜在的DTI的洞察力，并在药物重新定位方面有潜在的应用。关于GABAR蛋白的前10个候选结果的更多细节列在补充材料的表S9中。
此外，为了探索排名靠前的候选药物与批准的药物之间的结构相似性，我们可视化了化合物的ECFP。我们进行了t分布随机邻居嵌入(t-SNE)降维，并将批准的药物、排名靠前的候选药物和低相互作用概率的化合物可视化。显然，如补充材料中的图S1所示，排名靠前的候选药物比相互作用概率低的化合物更类似于批准的药物。
3.7 Model interpretation
为了证明注意机制不仅提高了模型的性能，还导致了更多的可解释性，我们进行了两个案例研究，即与GW0385结合的HIV蛋白酶D545701的晶体结构(PDB：2fdd)和无乳链球菌2型PDF与抑制剂A T018的复合物的晶体结构(PDB：5JF3)。我们首先将药物微笑和氨基酸序列输入到我们的模型中，然后得到蛋白质注意矩阵 A P ∈ R m × f A_P\in \mathbb R^{ m\times f} AP?∈Rm×f，将均值算子应用于 A P A_P AP?，得到反映氨基酸序列关注值分布的蛋白质关注度矢量 A p ∈ R M A_p \in \mathbb R^M Ap?∈RM。然后，我们将注意力向量 A P A_P AP?映射到复合体的3D结构，以可视化蛋白质中哪些区域对相互作用具有更有效的作用。
2fdd和5JF3的注意权重如图2所示。在三维结构可视化中，蛋白质中获得高关注权重的氨基酸以红色突出显示。如图2A所示，12个结合位点中的两个，ALA 28和PRO 81获得了很高的注意力得分，特别是PRO 81，得分最高。5HF3有10个结合位点。如图2B所示，LEU 132获得第四分，V AL 71获得最高分。这些结果表明，我们的模型可以帮助研究人员缩小结合位点的搜索空间。同时，我们也注意到许多非结合位点被突出显示。
4 Conclusion
在这项工作中，我们引入了一种端到端的基于生物启发的深度学习模型，HyperAttentionDTI，用于DTI预测。我们设计了一种新的药物和蛋白质之间的注意机制来模拟原子和氨基酸之间的复杂相互作用。为了验证模型的有效性，我们在四种不同的设置下，将我们的模型与三个基准数据集上的最新基线进行了比较。结果表明，在所有设置下，我们的模型在AUC和AUPR上都取得了显著的改善。此外，对人类γ-氨基丁酸受体的案例研究表明，我们的模型能够改进药物发现的虚拟筛选。最后，我们将注意力权重映射到蛋白质序列，这可以帮助我们缩小结合位点的搜索空间，并进一步探索药物未来如何与其目标蛋白质结合。
虽然HyperAttentionDTI在预测DTI方面已显示出有效的性能，但仍有改进的空间。首先，1D-CNN提取的笑脸串特征抽象，难以分析。因此，我们将利用比微笑串更自然的药物图形结构，设计分子图形神经网络，以实现未来的先进性能。其次，我们的模型不能精确定位结合位点。引入结合位点的标签信息和利用多任务学习有可能进一步突破HyperAttentionDTI的极限。