2021SC@SDUSC

代码分析

Hugging Face pytorch版本-bert模型代码
1.BertPooler类
first_token_tensor = hidden_states[:, 0]取第一个token也就是[CLS]对应的输出
然后经过全连接层，并选用Tanh激活函数。

class BertPooler(nn.Module):
    def __init__(self, config):
        super().__init__()
        self.dense = nn.Linear(config.hidden_size, config.hidden_size)
        self.activation = nn.Tanh()

    def forward(self, hidden_states):
        # We "pool" the model by simply taking the hidden state corresponding
        # to the first token.
        first_token_tensor = hidden_states[:, 0]
        pooled_output = self.dense(first_token_tensor)
        pooled_output = self.activation(pooled_output)
        return pooled_output

加载数据

利用dataset、dataloader加载自己的数据集
torch.utils.data.Dataset类是一个抽象类，需要我们重写__init__、getitem、_ len_方法
假如数据集在csv文件中，第1列为标签，第2列为序列数据

class Dataset(torch.utils.data.Dataset):
    def __init__(self, isTrainSet=True):
        filename='data/training.csv' if isTrainSet else 'data/test.csv'
        with open(filename, 'rt') as f:
            reader = csv.reader(f)
            next(reader, None)#跳过第一行列标签
            rows=list(reader)
        self.label=[row[0] for row in rows]
        self.input=[row[1] for row in rows]
        self.dataLen = len(self.label)

    def __getitem__(self, index):
        return self.label[index], self.input[index]

    def __len__(self):
        return self.dataLen

__getitem__函数需要支持下标访问，__len__函数需要能返回数据集长度
利用dataloader加载
首先实例化Dataset、DataLoader对象

dataset=Dataset()
train_data = DataLoader(dataset, batch_size=4, shuffle=True)

在之后的训练过程中，可以以如下方式取出每个batch的数据


for i, data in enumerate(train_data, 0): 
        # enumerate既获得索引也获得数据
        # get the inputs
    labels,inputs = data# data是从enumerate返回的data，包含数据和标签信息，分别赋值给inputs和labels