https://zhuanlan.zhihu.com/p/144815822
这个链接的确帮到我了，开心！！！！
简单描述下，一般的分布式训练的命令行长这样：
python3 -m torch.distributed.launch \ --nproc_per_node=4 \ --nnodes=1 \ --node_rank=0 \ --master_addr="localhost" \ --master_port=12346 \ --use_env main.py --data-path --epochs 1 --batch-size 8 那么就可以把它看成两部分：
1.运行分布式训练对torch.distributed.launch.py，并设置具体运行参数：
torch.distributed.launch \ --nproc_per_node=4 \ --nnodes=1 \ --node_rank=0 \ --master_addr="localhost" \ --master_port=12346 \
2.网络自己的参数设置，并运行网络main.py,也许你是train.py，总之就是正常需要运行的文件名。
?--use_env main.py --data-path --epochs 1 --batch-size 8
首先建立软连接：
ln -s /home/lmk/.conda/envs/imgnetmodel/lib/python3.8/site-packages/torch/distributed/ yourprogram
?
以上命令没有直接链接launch.py而是它的父目录distributed，是因为这样比较容易知道launch.py是一个软链接，不与项目中的其他文件混淆。
设置Pycharm运行参数
打开Pycharm，依次点击Run->Edit Configurations?进入参数配置界面
?
只需要配置Script path为launch.py路径；Parameters为launch.py运行参数，参考命令行调用的方法，具体如下。
python3 -m torch.distributed.launch（删去）
\ --nproc_per_node=4 \ --nnodes=1 \ --node_rank=0 \ --master_addr="localhost" \ --master_port=12346 \ --use_env main.py --data-path --epochs 1 --batch-size 8
好了~~~可以愉快哒玩耍啦~~~
?