增量学习-为Spark 2.0中ML算法的先前模型中的参数设置初始权重或值

Question

我正在尝试为Spark 2.x中的机器学习(分类)算法设置初始权重或参数。不幸的是，除了多层感知器算法，没有其他算法提供设置初始权重/参数值的方法。

我正在尝试使用火花解决增量学习。在这里，我需要加载旧模型，使用系统中的新数据重新训练旧模型。我该怎么做？

我如何为其他算法执行此操作，例如：

< li >决策树 < li >随机森林 <李> SVM < li >逻辑回归

我需要试验多种算法，然后选择一种性能最好的算法。

Answer 1

它不是基于火花，但有一个C增量决策树。
见盖纳里。

可以插入和更新连续的分块数据，如果概念漂移降低了准确性，则可以运行重建。

Answer 2

我如何为其他算法执行此操作，例如：

• 决策树
• 随机森林

你不能。基于树的算法不太适合增量学习，因为它们查看数据的全局属性，并且没有可用于引导该过程的“初始权重或值”。

• 逻辑回归

您可以使用< code > StreamingLogisticRegressionWithSGD ，它精确地实现所需的过程，包括使用< code>setInitialWeights设置初始权重。

<李> SVM

理论上，它可以通过扩展StreamingLinearAlgorithm来实现类似于流回归StreamingLogisticRegressionWithSGD或StreamingLinearRegressionWithSGD，但是没有内置这样的实现，因为org.apache.spark.mllib处于维护模式，所以不会有。