构建和公开机器学习模型RESTAPI的最佳方法是什么？

Question

我一直致力于设计REST api使用spring框架，并将它们部署在像Tomcat这样的Web服务器上。我还致力于构建机器学习模型，并使用该模型在Python中使用skLearning进行预测。现在我有一个用例，在这个用例中，我想公开一个构建机器学习模型的REST api和另一个进行预测的REST api。什么样的建筑应该帮助我实现同样的目标。（同样的例子可能是亚马逊机器学习。他们已经公开了用于生成模型和进行预测的REST api）

我在互联网上搜索，发现了以下方法：

1. 用JavaML模型REST api编写整个事情
2. 用Python-ML模型REST api编写整个事情

但是，使用机器学习，它的模型和预测实际上更容易，在python中更受支持，使用像sklearn这样的库，而不是Java。我真的很想把python用于机器学习部分。

我在考虑和方法，其中我写REST api使用JAVA，但使用子进程使python ML调用。那会起作用吗？

有人能帮我了解我可以采取的可能的建筑方法吗？也请提出最可行的解决方案。

提前感谢。

Answer 1

根据我过去所做的，我提出了两个选择（也许还有更多，但这就是我已经实施的）

1. 如果您可以访问云服务并有预算，那么Azure ML将是您的最佳选择，它将是一个伟大的ML框架和环境，要创建您的rest API，您只需单击两下即可公开它，然后使用任何语言的JSON使用它
2. 使用scikit学习并用python编写REST API，但可以从任何语言使用，此选项不像Azure ML那样简单且用户友好，因为您必须手动编写所有代码并使用scikit的模型持久性函数，但一旦公开，您可以在java（或任何其他语言）中使用它。我将此作为参考：https://loads.pickle.me.uk/2016/04/04/deploying-a-scikit-learn-classifier-to-production/
3. Spark MLlib：我还没有尝试过这个选项，但我在stack overflow中问了自己一个问题，得到了一些有趣的答案：如何为Spark MLlib模型服务

Answer 2

BentoML是一个专门为此设计的开源框架。这使得构建RESTAPI服务器非常容易，以便为应用程序公开机器学习模型。

从JAVA API服务器对python进行子进程调用是可能的，但是由于每次启动进程的延迟和成本，它可能会遇到性能问题。BentoML有一个用python asynio实现的高性能通用API前端，并在该层中进行自适应微批处理。然后将预测请求分组为小批量，并将其发送到托管模型的Python进程，以便进行模型推理。

前面的一个答案建议以标准格式序列化模型，然后从其他语言使用它。有一些框架采用这种方法，例如，PMML格式、用于深度学习模型的ONNX格式，以及可以从scikit学习模型转换的Apple Core ML的mlmodel格式。这种方法有两个缺点：1。将模型转换为在不同的运行时运行时，通常会出现不一致的情况。您将需要一个单独的工作流程来处理预处理和后处理代码，这些代码通常是用Python编写的。当您处理大量模型或非常频繁地更新模型时，额外的工作流通常容易出错，并且很难维护。其中，像BentoML这样的框架使数据科学家能够用Python编写前/后处理逻辑，并将它们与模型捆绑在一起，以便在生产中提供服务。

免责声明：我是BentoML项目的作者

Answer 3

正如其他人提到的那样，

>

另一个选项是将python ML模型存储为。pkl文件，并使用Flask/DJango rest框架部署模型。客户端应用程序可以使用rest服务。这里是youtube上的一个优秀教程。https://www.youtube.com/watch?v=s-i6nzXQF3g