如何将机器学习模型部署到现有网站

Question

我熟悉算法实现，对机器学习不熟悉，但我在学术和生产之间有差距。

我正在实施推荐系统，学习模型取得了良好的效果，然后我停下来问下一步该怎么办？如何在现有网站上部署它

在学习过程中，我使用了CSV数据集和本地机器，但在线将是拥有数十万用户和数千用户的数据库。所以我认为不可能加载所有数据并向用户推荐东西。

问题是：我将如何在生产中使用我训练过的模型？

Answer 1

我真的不明白你的意思。通常，使用一组特定的训练数据来训练模型。然后，使用一组特定的测试数据验证模型。如果模型显示出有希望的结果（例如，“训练良好”），它就会进入生产环境。

以购物共性为例。你已训练一个模型，以根据以前的产品建议下一个产品。现在，在生产中，如果您的客户购买/查看新产品，您可以使用该产品为您的算法提供，它为您提供一组您可能选择的其他产品。这与训练/验证数据相同。

数据的来源通常是不相关的。但也许我真的不明白你的问题。你能详细说明一下吗？

Answer 2

您可以通过创建 API 并将其部署到至少几个与负载均衡器连接的实例上，自行将训练的模型部署到生产环境。

另一种方法是使用为您处理该问题的服务。我的服务 mlrequest 使创建和部署高可用性、低延迟模型变得非常简单。

您可以使用非常适合提出建议的强化学习模型。下面是一个电影推荐人的例子。

from mlrequest import RL
rl = RL('your-api-key')
features = {'favorite-genre': 'action', 'last-movie-watched': 'die-hard'}
r = rl.predict(features=features, model_name='movie-recommender', session_id='the-user-session-id', negative_reward=0, action_count=3)
best_movie = r.predict_result[0]

当模型做得很好时(例如，用户点击或开始观看预测的电影)，您应该通过给它一个正值(在本例中为1)来奖励模型。

r = rl.reward(model_name='movie-recommender', session_id='the-user-session-id', reward=1)

每当模型因其正确的行为而获得奖励时，它就会学会在这种情况下更频繁地执行这些行为。因此，模型可以从自己的环境中实时学习，并调整其行为以提供更好的建议。无需人工干预。

Answer 3

当你说“数十万用户和数千用户的数据库”我猜你是指“数十万用户和数千项目”。你有用户协同过滤还是项目-项目过滤？

如果是这样，我想那些数字（10K*1K）对于任何像样的关系html" target="_blank">数据库来说都不会是问题。基本上，你创建了一个表，比如说“Rattings”，你在其中存储： UserId、ItemId和Ratting（如果你的“功能”是二进制文件，你可以省略这个Rattting文件，例如：项目购买与否）。

如果您的用户项矩阵是稀疏的，则此表将很小。您还可以创建一个“用户”表，在“Rattings”表中插入任何内容后，您可以预先计算，例如，如果您需要标准化预测和您可能需要的其他数据，则可以预先计算用户平均评分。根据经验，在插入时不要进行非常复杂的微积分，包括扫描其他表，而是进行简单的数学运算，如果这有助于避免在检索数据以计算预测/建议时在其他表中进行复杂的扫描。

你可以从这里得到一些想法：http://lemire.me/fr/documents/publications/webpaper.pdf

考虑到关系数据库是一个存储，即使它可以使用Sql计算几乎所有内容，常规场景是使用关系数据库进行过滤和连接，然后在其他层/trier中进行数学运算。