java - Spark MLlib -将字符串转换为TF-IDF标签点rdd

Question

我正在尝试使用火花 MLlib 实现一个简单的 SVM 分类算法。

我有一堆字符串和它们的标签，现在我想对它们执行TF-IDF，并将结果反馈给SVM算法。

所以我要找的是从字符串的转换-

我按照这个例子:http://spark . Apache . org/docs/latest/ml lib-feature-extraction . html # TF-IDF

还有这个https://github . com/Apache/spark/blob/master/ml lib/src/test/Java/org/Apache/spark/ml lib/feature/javatfidfsuite . Java

它不起作用，因为transform()不在rdd上工作，而是在数据帧上工作。

于是我按照这个教程:https://spark . Apache . org/docs/latest/ml-features . html # TF-IDF-hashing TF-and-IDF

它工作得很好。但是现在我被困在数据帧中，不知道如何将其转换为JavaRDD。

我尝试了这个scala解决方案从DataFrame到RDD[LabeledPoint]

但是它不起作用，因为我使用的是java。

我尝试了这个火花MLLib TFIDF实现的物流递归

但惊喜变换（） 不适用于爪哇RDD。

这是我从教程中得到的代码。我就像只寻找放置问号的函数……

    JavaRDD<Row> jrdd = documents.map(f -> RowFactory.create(0, f.getText()));

    StructType schema = new StructType(new StructField[]{
      new StructField("label", DataTypes.DoubleType, false, Metadata.empty()),
      new StructField("sentence", DataTypes.StringType, false, Metadata.empty())
    });
    SQLContext sqlContext = new SQLContext(sc);
    DataFrame sentenceData = sqlContext.createDataFrame(jrdd, schema);
    Tokenizer tokenizer = new Tokenizer().setInputCol("sentence").setOutputCol("words");
    DataFrame wordsData = tokenizer.transform(sentenceData);
    int numFeatures = 20;
    HashingTF hashingTF = new HashingTF()
      .setInputCol("words")
      .setOutputCol("rawFeatures")
      .setNumFeatures(numFeatures);
    DataFrame featurizedData = hashingTF.transform(wordsData);
    IDF idf = new IDF().setInputCol("rawFeatures").setOutputCol("features");
    IDFModel idfModel = idf.fit(featurizedData);
    DataFrame rescaledData = idfModel.transform(featurizedData);
    JavaRDD<LabeledPoint> labeled = rescaledData.map(????????????????????????);

那么我做错了什么？我该怎么做？我快疯了。

先谢谢你。

Answer 1

我用以下方法解决了这个问题。很容易，只是需要一些。

    JavaRDD<Row> jrdd = preprocessedDocuments.map(f-> RowFactory.create(f.getLabel(), f.getText()));

    StructType schema = new StructType(new StructField[]{
      new StructField("label", DataTypes.DoubleType, false, Metadata.empty()),
      new StructField("sentence", DataTypes.StringType, false, Metadata.empty())
    });
    SQLContext sqlContext = new SQLContext(sc);
    DataFrame sentenceData = sqlContext.createDataFrame(jrdd, schema);
    Tokenizer tokenizer = new Tokenizer().setInputCol("sentence").setOutputCol("words");
    DataFrame wordsData = tokenizer.transform(sentenceData);
    int numFeatures = 20;
    HashingTF hashingTF = new HashingTF()
      .setInputCol("words")
      .setOutputCol("rawFeatures")
      .setNumFeatures(numFeatures);
    DataFrame featurizedData = hashingTF.transform(wordsData);
    DataFrame rescaledData = idfModel.transform(featurizedData);
    JavaRDD<Row> rows = rescaledData.rdd().toJavaRDD();
    JavaRDD<LabeledPoint>  data = rows.map(f -> new LabeledPoint(f.getDouble(0), f.getAs(4)));