Word2Vec ： 阿帕奇火花和张量流实现

Question

阅读 https://github.com/apache/spark/blob/master/mllib/src/main/scala/org/apache/spark/mllib/feature/Word2Vec.scala 这种实现的文字是谷歌Word2Vec的一个端口 https://code.google.com/archive/p/word2vec/

这是“向量空间中单词表示的有效估计”一文的实现吗https://arxiv.org/abs/1301.3781 ?

张量流Word2Vec确实参考了论文“向量空间中单词表示的高效估计”。

那么，阿帕奇火花和张量流Word2Vec的实现之间有什么区别，每种实现应该在什么条件下使用？

Answer 1

1. 有不同的方法来实现word2vec，但是根据pyspark的说法，他们是通过跳过克（https://spark.apache.org/docs/2.1.0/mllib-feature-extraction.html#word2vec）来实现的。Tensorflow文档说他们也使用跳过克模型（https://www.tensorflow.org/tutorials/word2vec）。仅仅看一眼这两个文档，似乎他们的计算方式也是一样的。
2. Spark在分布式环境中表现得非常好，据我所知，随着数据变得越来越大，Tensorflow分布式是相当新的。