[开发工具]nn.DataParallel中出现输入为NoneType的问题

具体问题：

在Pytorch某次的forward运算中，出现了输入为None的情况。利用VSCode的调试功能可以看到，问题与代码中的DataParallel相关。

解决方法：

方法1：

首先的解决思路是将多个GPU改为单个GPU训练，问题立刻可以解决。

方法2：

方法1肯定不是最好的方法，因为它限制了GPU的使用数量。因此我利用VSCode的调试功能，查看进一步信息。

具体操作为：在forward出错的地方打下断点，当断点触发时，VSCode能够同时看到并行运算中所有线程的输入。可以看到，并行运算共有8个线程，其中前6个输入均不是None，但后两个线程的输入为None。

因此猜测可能是batch_size比较小，使得每个GPU上不能至少分配一个tensor。因此便将原来的batch_size调大，便没有此问题。