无话不谈|用PyTorch部署模型( 二 ) 作者：FrancescoZuppichini编译：rongh

把所有的东西打包到一起，我们的handler是这样的：
因为所有的处理逻辑都封装在一个类中，所以你可以轻松地对它进行单元测试！
导出你的模型官方文档：#creating-a-model-archive
Torchserve 需要提供一个.mar文件，简而言之，该文件只是把你的模型和所有依赖打包在一起。要进行打包，首先需要导出经过训练的模型。
导出模型
有三种方法可以导出torchserve的模型。到目前为止，我发现的最好的方法是trace模型并存储结果。这样我们就不需要向torchserve添加任何额外的文件。
让我们来看一个例子，我们将部署一个经过充分训练的ResNet34模型。
按照顺序，我们：

加载模型
创建一个dummy输入
使用torch.jit.trace来trace模型的输入
保存模型

创建 .mar 文件
官方文档：
你需要安装torch-model-archiver
git clone cd serve/model-archiverpip install .然后，我们准备好通过使用下面的命令来创建.mar文件。

torch-model-archiver --model-name resnet34 \--version 1.0 \--serialized-file resnet34.pt \--extra-files ./index_to_name.json,./MyHandler.py \--handler my_handler.py\--export-path model-store -f

按照顺序。变量--model-name定义了模型的最终名称。这是非常重要的，因为它将是endpoint的名称空间，负责进行预测。你还可以指定一个--version 。 --serialized-file指向我们之前创建的存储的 .pt模型。 --handler 是一个python文件，我们在其中调用我们的自定义handler 。一般来说，是这样的：

my_handler.py
它暴露了一个handle函数，我们从该函数调用自定义handler中的方法。你可以使用默认名称来使用默认handler(例如， --handler image_classifier) 。
在--extra-files中，你需要将路径传递给你的handlers正在使用的所有文件。在本例中，我们必须向.json文件中添加路径。使用所有人类可读标签名称，并在MyHandler.py 中定义每个类别。
如果你传递一个index_to_name.json文件，它将自动加载到handler，并通过self.mapping访问。
--export-path就是 .mar存放的地方，我还添加了-f来覆盖原有的文件。
如果一切顺利的话，你可以看到resnet34.mar存放在./model-store路径中。
用模型进行服务这是一个简单的步骤，我们可以运行带有所有必需参数的torchserve docker容器。

docker run --rm -it \-p 3000:8080 -p 3001:8081 \-v $(pwd)/model-store:/home/model-server/model-store pytorch/torchserve:0.1-cpu \torchserve --start --model-store model-store --models resnet34=resnet34.mar

我将容器端口8080和8081分别绑定到3000和3001(8080/8081已经在我的机器中使用) 。然后，我从./model-store 创建一个volume 。最后，我通过padding model-store并通过key-value列表的方式指定模型的名称来调用torchserve 。