streamDM，是由华为诺亚方舟实验室开源的使用 Spark Streaming 挖掘大数据的开源软件。
大数据流学习
大数据流学习（Big Data stream learning）比批量或离线学习更富有挑战性，因为数据在流动的过程中不太可能保持同一种分布。而且，数据流中的每一个样本只能被处理一次，否则它们就需要占用内存进行总结，同时该学习算法也必须非常高效。
Spark Streaming
Spark Streaming 是核心 Spark API 的一个扩展，它能让多个源的数据流处理成为可能。Spark 是一个可扩展可编程的框架，用于大规模分布式数据集（也称为弹性分布式数据集（RDD））处理。Spark Streaming 接收输入的数据流后将数据分批，再由 Spark 引擎处理，生成结果。
Spark Streaming 数据被编成一个 DStreams 序列，内在地表示成一个 RDD 序列。
包含以下方法：
在第一次开放的 StreamDM 中，我们部署了：
我们部署了以下数据生成器：
HyperplaneGenerator
RandomTreeGenerator
RandomRBFGenerator
RandomRBFEventsGenerator
我们部署了 SampleDataWriter：
它可以调取数据生成器创建样本数据用于模拟和测试。后面我们将计划开放：
分类：随机森林
回归：Hoeffding 回归树，Bagging，随机森林
聚类：Clustree, DenStream
Frequent Itemset Miner：IncMine, IncSecMine
下一步
为了快速介绍一下 StreamDM 的运行，请打开 Getting Started 文件。StreamDM Programming Guide 展示了 StreamDM 的细节。完整的 API 文档，可以参考这里：http://huawei-noah.github.io/streamDM/api/index.html。
部分内容转载自机器之心
-
我在这里把所有的之前的关于StreamDM博客总归起来，构成一个完整的运行StreamDM的完整博客 根据如下链接，可以完整的实现StreamDM中的Quick Start中的代码： https://blog.csdn.net/it_neu_lee/article/details/79863310 https://blog.csdn.net/it_neu_lee/article/details/7
-
bash ./spark.sh "EvaluatePrequential -l meta.Bagging -s (FileReader -k 100 -d 60 -f ../data/electNormNew.arff)" 1> ../result 2>../log 注意这个Bagging在meta目录下 所以需要加上meta
-
./spark.sh "EvaluatePrequential -l trees.HoeffdingTree -s (FileReader -k 100 -d 60 -f ../data/hyperplanesampledata)" 1> ../result 2>../log 这里和SGDLearner中有不同的是调用Hoeffding时候需要在前面加trees 因为Hoeffding源码在
-
1.1 KNN 1.1.1 思想 计算离待分类点距离最近的 K 个已分类点，K 个点中出现最多点种类为待分类点的种类。 1.1.2 距离 常见距离有欧式距离和余弦距离。余弦距离可以消除量纲的影响。相关系数 2. 聚类算法 2.1 K-means 2.1.1 思想 2.1.1.1 模型训练 根据类别个数 N，初始化 N 个点，作为该类别的中点。 遍历其他点，计算距离最近的中心点，该中心点的类别为当前
-
数据挖掘 18 大算法实现以及其他相关经典 DM 算法，BIRCH 算法本身上属于一种聚类算法，不过他克服了一些 K-Means 算法的缺点。
-
一位挖掘专家 tom khabaza 提出了挖掘九律，挺好的东西，特别是九这个数字，深得中华文化精髓，有点独孤九剑的意思： 第一，目标律。 数据挖掘是一个业务过程，必须得有业务目标。无目的，无过程。 第二，知识律。 业务知识贯穿在挖掘这个业务过程的各环节。 第三，准备律。 数据获取、数据准备等数据处理耗时占整个挖掘过程的一半。 第四，NFL律。 NFL，没有免费的午餐。没有一个固定的算法适用所有的
-
前面都是选择，一些机器学习和概统的题。 就一道编程，是剑指offer里面的滑动窗口最大值，hard。 做的时候也是用C++做的。。然后一运行发现不能运行，才看到限python语言 结果就是python不怎么熟悉，尝试了一下直接溜了 已经寄了 #美的笔试#
-
15号面的都过了好几天，还没有结果 项目深挖+基础算法题+（HR？） 1.项目基本上就是深挖实习经历 2.基础算法题就问了个bert 3.接着就是问自己存在的优缺点啥的 然后反问 （问了具体业务巴拉巴拉） 总共30分钟左右的面试时间 许愿许愿
-
字节跳动 (1h) 1.自我面试 2.挑一个你认为比较成功的项目进行介绍？ 3.介绍你做过的特征工程 4.你都有过哪些算法？介绍下随机森林、XGB、GBDT的差异 5.对模型进行评估时候选取的方法 携程控股(45min) 1.自我介绍 2.选择一个项目进行介绍 3.你建模的时候都用到哪些方法 4.项目细节 5.模型评估 腾讯科技(1个小时) 1.自我介绍 2.直接问项目 3.解释下随机森林和GBD