前面的几节 你已经学习了如何用DeepChem 训练模型解决不同的问题。但是我们还没有真正的学习模型的可解释性问题。

建模时我们通常要问一些问题—模型工作得好不好 我们为什么要相信模型 我作为一个数据科学家的回答是 “因为我们有明显的证据证实模型对于手头的测试集是切合实际的“。但通常这不足于说服领域专家。

LIME 是一个能帮助你解决这一问题的工具。它用局部的特征空间扰动来确定特征的重要性。本教程 你将学习如何使用LIME和DeepChem来解释我们的模型学习到了什么。

如果这个工具以人类可理解的方式来处理图像那它可以处理分子吗 本教程我们将学习如何用LIME解释固定长度的特征化模型。

创建模型

我们加载ECFP特征化的Tox21数据集。回顾一下特征化是如何工作的。它识别分子中的小片断 然后设置输出向为1以表示分子中某个片断的存在。

In [1]:

import deepchem as dc

n_features 1024

tasks, datasets, transformers dc.molnet.load_tox21(featurization ecfp )

train_dataset, valid_dataset, test_dataset datasets

我们现在用这个数据集来训练模型。如前面的教程 我们用MultitaskClassifier 它是多个全链接的简单堆叠。

In [2]:

n_tasks len(tasks)

n_features train_dataset.get_data_shape()[0]

model dc.models.MultitaskClassifier(n_tasks, n_features)

model.fit(train_dataset, nb_epoch 50)

Out[2]:

0.1333492088317871

我们用训练集和测试集评估模型以理解它的准确度。我们用ROC-AUC作为量度。

In [3]:

import numpy as np

metric dc.metrics.Metric(dc.metrics.roc_auc_score, np.mean)

print( Train scores )

print(model.evaluate(train_dataset, [metric], transformers))

print( Validation scores )

print(model.evaluate(valid_dataset, [metric], transformers))

Train scores

{ mean-roc_auc_score : 0.9911206354520975}

Validation scores

{ mean-roc_auc_score : 0.699686047497269}

使用LIME

模型看来对于预测那个分子有毒性很合理 但是到底如何工作 当它预没分子有毒或无毒时 是分子的哪个方面导致它那样预测的呢 这就是explainability的关键 学习为什以输入会导致一个预测。

LIME是解决这个问题的工具。它是 Local Interpretable Model-Agnostic Explanations 的缩写。它可以对固定大小输入向量解决任何问题。它为不同的特征计算概率分布以及特征间的协方差。这允许它在样本的近邻构建局部线性模型 描述输入的哪个局部对输出影响最大。即增加或去除这个片断将改变有毒还是无毒的预测。

首先我们需要安装LIME。幸运的是 LIME可以方便的从pip获得。所以你可以安装它。

In [ ]:

!pip install lime

现在我们已安装LIME 我们想要为LIME创建Explainer对象。这个对象会输入训练集并为特征命名。我们使用圆形指纹作为我们的特征。我们不想要给我们的特征取自然名称 所以我们给它们数字。另一方面 我们有自然名字作为标签。记得Tox21是用于毒性测量的 所以我们设0 为无毒1为有毒。

In [4]:

from lime import lime_tabular

feature_names [ fp_%s   % x for x in range(1024)]

explainer lime_tabular.LimeTabularExplainer(train_dataset.X,

                                              feature_names feature_names,

                                              categorical_features feature_names,

                                              class_names [ not toxic , toxic ],

                                              discretize_continuous True)

我们试图解释为什么模型为NR-AR分子预测为有毒。具体的测定细节见这里。 here.

In [5]:

# We need a function which takes a 2d numpy array (samples, features) and returns predictions (samples,)

def eval_model(my_model):

    def eval_closure(x):

        ds dc.data.NumpyDataset(x, n_tasks 12)

        # The 0th task is NR-AR

        predictions my_model.predict(ds)[:,0]

        return predictions

    return eval_closure

model_fn eval_model(model)

对于具体的分子我们试图用这个评估函数。我们拿测试集中被准确地预测为有毒的分子来看一下。 即是分子是有毒而且模型也预测它有毒 。

In [6]:

from rdkit import Chem

active_id np.where((test_dataset.y[:,0] 1) * (model.predict(test_dataset)[:,0,1] 0.8))[0][0]

Chem.MolFromSmiles(test_dataset.ids[active_id])

Out[6]:

现在我们有一个模型和一个分子。我们让Explainer指出为什么分子被预测为有毒。我们让它列出100个对预测最敏感觉的特征。 即 指纹中的元素 每个元素与一个或多个片断对应 。

In [7]:

exp explainer.explain_instance(test_dataset.X[active_id], model_fn, num_features 100, top_labels 1)

返回的值是Explanation对象。你可以调用它的方法来追踪返回值到不同的形式。处理相互作用的一个便利的形式是show_in_notebook() 提供了图形化的表示。

In [8]:

exp.show_in_notebook(show_table True, show_all False)

这个输出需要解释。左边表示分子预测为有毒。这个我们已知道的。这就是为什么我们选它。右边它列出了100个对预测最有影响的指纹元素。对于每一个 值一列提示相应的片断是否存在(1.00表示存在 0.00表示不存在)于分子。中间表示每个索引对预测为有毒 蓝色 还是无毒 橙色 作贡献。

大部分片断都不存在。它告诉我们 如果片断存在 将会移位预测。我们对此不太感兴趣。我们想要知道分子中存在的片断对预测的贡献。让我们将些结果变为更有用的形式。

开始 指纹中的索引并不很有用。我们写一些函数来转换特征 映射片断到激活它的索引。

In [9]:

def fp_mol(mol, fp_length 1024):

    returns: dict of int:list of string

        dictionary mapping fingerprint index

        to list of SMILES strings that activated that fingerprint

    d {}

    feat dc.feat.CircularFingerprint(sparse True, smiles True, size 1024)

    retval feat._featurize(mol)

    for k, v in retval.items():

        index k % fp_length

        if index not in d:

            d[index] set()

        d[index].add(v[ smiles ])

    return d

# What fragments activated what fingerprints in our active molecule?

my_fragments fp_mol(Chem.MolFromSmiles(test_dataset.ids[active_id]))

我们想要查询 Explanation看哪些片断对于预测有贡献。我们用as_map()方法来获得更适用于处理的信息。

In [10]:

print(exp.as_map())

{1: [(907, -0.23405879109145938), (261, -0.22799151209374974), (257, -0.2127115416006204), (411, -0.2032938542566075), (445, -0.201101199543193), (999, -0.19683277633182114), (505, -0.17598335551311955), (845, -0.16124562050855068), (306, -0.15779431345857292), (326, -0.15729134284912463), (742, -0.15426792127439848), (774, -0.1541352665863784), (648, -0.15240513095212335), (282, -0.15075378351457727), (918, -0.147036129283227), (531, -0.1458139691488669), (279, -0.14390785978173085), (269, -0.13989282701617642), (37, -0.1369273010593831), (530, -0.13566064574462358), (827, -0.1336099559901393), (28, -0.12819498508086055), (889, -0.12482816439354927), (84, 0.123345144700625), (712, -0.12260023102545663), (529, 0.12194683881762106), (513, -0.12144767300189488), (830, -0.11926958219652685), (111, -0.11793890523628446), (434, -0.11598961154307276), (247, 0.11346755135862246), (296, -0.11315257272809631), (394, -0.11054396729966792), (1022, -0.10845154388715085), (850, 0.10819488336102767), (92, -0.10725270764168865), (788, -0.10693252879326674), (565, -0.10619572780884631), (901, -0.10597769712341058), (854, -0.10261187607809283), (632, -0.10165075780263935), (381, -0.10083233541195123), (717, -0.10024949898626785), (431, 0.09886188592649868), (1003, -0.09854835359816157), (646, -0.09821601927382569), (312, 0.09718167861314402), (539, -0.09639497333637208), (693, -0.0960269720546286), (822, 0.09584637471513191), (1005, -0.09441597700147854), (584, -0.09422611177476213), (405, 0.09371804599009508), (594, -0.09361942073302025), (519, 0.09315063287813262), (613, -0.0920180464426831), (151, -0.09125548867464624), (995, 0.09122957856534511), (555, 0.09105473925802852), (619, 0.09045652379413677), (372, 0.09008810465661844), (617, 0.08854326235599133), (517, 0.0876472124639829), (409, -0.08722349514303968), (744, 0.08646480736070905), (470, -0.0861786962874964), (930, 0.08444082349628013), (493, 0.08389172822676175), (429, -0.08368146493327351), (135, 0.08346782897055312), (27, -0.08332078333604556), (923, 0.0827630767476166), (977, -0.0803740639477386), (174, -0.07985778475171695), (204, 0.07748814547746291), (459, 0.07722411480464215), (377, 0.07544148127726504), (274, -0.07528620889379731), (665, -0.07517229225403155), (321, 0.07387303741377259), (733, 0.07313092778231371), (538, -0.07260889806354165), (760, -0.07216344039899467), (751, -0.07086876393200622), (523, 0.07067337687463775), (467, 0.06911819793695931), (172, 0.06779708514374157), (131, 0.06747370559195916), (732, 0.06727167331565105), (344, 0.06123528076874165), (155, -0.06080053839396983), (384, 0.05715795555565539), (614, 0.053775300985781746), (900, -0.050104647498526), (52, 0.047430623988994364), (460, 0.045920906298128734), (800, 0.04169171427687711), (316, 0.0391090952059404), (388, 0.0334174485302755), (752, -0.01827203770682766)]}

这个图的关键是标签 我们只有一个。这个值是元组的列表 形式为(fingerprint_index, weight)。我们将它转换到字典 映射索引到权重。

In [11]:

fragment_weight dict(exp.as_map()[1])

我们知道那个片断存在于我们感兴趣的分子中(my_fragments) 我们也知道那个片断对预测有贡献。我们循环它们并输出它们。

In [12]:

for index in my_fragments:

    if index in fragment_weight:

        print(index, my_fragments[index], fragment_weight[index])

555 { C[C ](C)(C)CCC } 0.09105473925802852

84 { C CC } 0.123345144700625

519 { C[C H](C)C } 0.09315063287813262

274 { C[C H](C)C(C C)[C H](C)C } -0.07528620889379731

529 { CCC[C H](C)C } 0.12194683881762106

下载全文请到www.data-vision.net,技术联系电话13712566524