此博文为自己使用的总结，如有不对之处望指出，以便他人避坑，THX！
一、环境安装（CPU版）
1.1 docker安装
1、根据系统选择相应的版本，并链接中的提示进行安装，一直到安装好docker engine：
https://docs.docker.com/get-docker/
若官网镜像用不了可以参考以下链接使用国内镜像：https://yeasy.gitbook.io/docker_practice/install/ubuntu
章节：使用APT安装、安装Docker、启动docker、建立docker用户组、测试docker是否安装正确。
如果出现如下错误：docker: Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Post “http://%2Fvar%2Frun%2Fdocker.sock/v1.24/containers/create”: dial unix /var/run/docker.sock: connect: permission denied. See ‘docker run --help’.
则：sudo chmod 666 /var/run/docker.sock
1.2安装TorchServe & torch-model-archiver (忽略)
#法一：https://github.com/pytorch/serve/tree/master/docker
git clone https://github.com/pytorch/serve.git
cd serve/docker
./build_image.sh（ -bt dev）
#法二：https://github.com/pytorch/serve#install-torchserve-and-torch-model-archiver
git clone https://github.com/pytorch/serve.git
cd serve/
python ./ts_scripts/install_dependencies.py
pip install torchserve torch-model-archiver torch-workflow-archiver
其中，build_image.sh的参数如下：
build_image.sh运行结果：
1.3 docker image及container安装运行
#1、拉取已有images
docker pull [image_name]#可以拉取的镜像可以从https://hub.docker.com/search?image_filter=official&type=image中进行查看
补充：镜像名字格式可以为：ID/name:tag。其中，ID指docker hub中存在的账户ID；name为镜像名称，可自定义；tag为image版本（因为同一个image可以同时存在多个版本）。一般来说，常用的镜像只指定name即可。
#2、查看已有images
docker images
#3、选择一个image id启动一个容器container
#方法一：
docker run -itd --name test image_ID#启动容器(image_id or image_name)，并放入后台运行，返回一个唯一的container id。 其中，--name test可以不写，会自动分配一个名字
docker exec -it container_ID /bin/bash#进入容器
#方法二：
docker run -it image_ID /bin/bash
方法一参考：https://blog.csdn.net/lvsehaiyang1993/article/details/113814396
注意：使用方法一的时候，即使用-d，一定要加-it，不然该容器马上会退出，并且docker logs <container_id> 也没有任何东西。导致这个原因是因为使用的image是ubuntu，具体原因可参见：https://www.tutorialworks.com/why-containers-stop/
参数解析：如:docker run -it --rm --name custom_name -d image_ID
（1）-i：交互式操作； -t终端；
（2）–rm代表容器退出后就会被删除，所以可以不写，之后用docker rm删除；
（3）–name代表要给启动的容器取个名字(custom_name)；（4）-d代表让docker在后台运行（守护态运行），此时执行命令的输出结果（STDOUT）不会打印到宿主机上，可以使用docker logs 或者 docker container logs [container ID or Names]查看。使用-d参数启动后会返回一个唯一的id，可以通过docker container ls命令查看容器信息。
（5）image_ID也可以直接写成REPOSITORY:TAG
其他docker使用可以参见：https://yeasy.gitbook.io/docker_practice/container/attach_exec
二、非docker安装
1、（HOST）解决proxy导致的问题
#如果机器装了代理，pip报错的话，先这样出处理https://blog.csdn.net/whatday/article/details/109287343
$ unset all_proxy && unset ALL_PROXY # 取消所有 socks 代理
$ pip install pysocks
2、（容器）安装python3、pip3、vim
apt-get update
apt-get install python3
apt-get install python3-pip
apt-get install vim
参考：https://blog.csdn.net/lvsehaiyang1993/article/details/113814396
3、（容器）安装torchserve、torch-model-archiver
sudo pip install torchserve
sudo pip install torch-model-archiver
三、torchserve部署 fine-tuned BERT
参考：（1）https://github.com/pytorch/serve/tree/master/examples/Huggingface_Transformers
（2）自定义handler编写参考
3.1 安装pytorch、transformers
sudo pip install torch==1.4.0
sudo pip install transformers==3.5.0 //可选其他版本
注意：指定版本的话要保证版本兼容，比如pytorch1.9.0, transformers 3.5.0就会报如下图所示的错：
若版本不兼容，可以卸载torch重新安装：pip uninstall torch
3.2 将fine-tuning之后的文件拷贝到container中，并生成额外需要的文件
（1）将 config.json、vocab.txt、pytorch_model.bin三个文件拷贝到容器中的Transformer_model文件夹下：
docker cp <host_file_path> <container_name>:<container_file_path>
（2）设置setup_config.json文件
{
"model_name":"bert-base-uncased",
"mode":"token_classification",
"do_lower_case":false,
"num_labels":"2",
"save_mode":"pretrained",
"max_length":"512",
"captum_explanation":false,
"embedding_name": "bert",
"FasterTransformer":false
}
（3）index_to_name.json: maps predictions to labels
{"label_list":"[N-Logging, Logging]"}
（4）sample_text.txt: input text for inference
（5）很关键的一个文件：handler.py
可参考：https://github.com/pytorch/serve/blob/master/examples/Huggingface_Transformers/Transformer_handler_generalized.py
3.3 模型归档、模型注册
首先可以先在python里import文件handler中调用的库，没有的先pip（也可以写脚本判断install）,如
pip install captum
然后模型归档（Create model archive eager mode）：
torch-model-archiver --model-name BERTClassificationTest --version 1.0 --serialized-file Transformer_model/pytorch_model.bin --handler ./handler.py --extra-files "Transformer_model/config.json,./setup_config.json,./index_to_name.json"
最后注册模型：
mkdir model_store
mv BERTClassificationTest.mar model_store/
torchserve --start --model-store model_store --models my_tc=BERTClassificationTest.mar --ncs
1、此时可能报错：java not found, please make sure JAVA_HOME is set properly.
解决办法：（1）dockerfile。。。待补充
（2）直接改当前容器的环境：
apt-get update
apt-get install -y curl \ wget \ openjdk-8-jdkapt-get install
vi /etc/profile
export JAVA_HOME="/usr/lib/jvm/java-11-openjdk-amd64/"//在末尾添加这一句
source /etc/profile
2、仍可能报错：
java.lang.NoSuchMethodError: java.nio.file.Files.readString(Ljava/nio/file/Path;)Ljava/lang/String;
at org.pytorch.serve.util.ConfigManager.readFile(ConfigManager.java:229)
at org.pytorch.serve.util.ConfigManager.(ConfigManager.java:133)
at org.pytorch.serve.util.ConfigManager.init(ConfigManager.java:279)
at org.pytorch.serve.ModelServer.main(ModelServer.java:83)
说明版本不符合，要安装java11:issue里有问这个的
（1）卸载原先的java8：apt-get purge openjdk*
apt-get purge icedtea-* openjdk-*
（2）安装最新的java(java11):apt install default-jdk
3.4 推理
curl -X POST http://127.0.0.1:8080/predictions/my_tc -T ./sample_text.txt
备注：暂停服务：torchserve --stop
参考来源：
1、Start with docker
2、Serving quick start
3、官方手册
4、Docker从入门到实践