情感分析专家

Question

使用mahout，我能够对数据的情绪进行分类。但我被一个混乱矩阵所困扰。

我正在使用mahout 0.7 naive bayes算法对推特的情绪进行分类。我使用trainnb和testnb朴素贝叶斯分类器来训练分类器，并将tweet的情绪分类为“积极”、“消极”或“中性”。

样本阳性训练集

      'positive','i love my i phone'
      'positive' , it's pleasure to have i phone'  

同样，我准备了阴性和中性的训练样本，这是一个庞大的数据集。

我提供的示例测试数据推文不包括情绪。

  'it is nice model'
  'simply fantastic ' 

我能够运行mahout分类算法，它将分类实例的输出作为混淆矩阵。

下一步，我需要找出哪些推文显示积极的情绪，哪些是消极的。使用分类的预期输出：用情绪标记文本。

       'negative','very bad btr life time'
      'positive' , 'i phone has excellent design features' 

在mahout中，我需要实现哪种算法才能获得上述格式的输出。或者需要任何自定义源实现。

为了“友好地”显示数据，请向我推荐ApacheMahout提供的算法，这些算法将适用于我的twitter数据情绪分析。

Answer 1

我不确定我是否能完全帮助你，但我希望我能给你一些切入点。一般来说，我给您的建议是下载Mahout的源代码，看看示例和目标类是如何实现的。这不是那么容易，但你应该准备好，Mahout没有容易进入的门。但一旦你们进入他们的学习曲线将很快。

首先，这取决于您使用的Mahout版本。我自己使用0.7，所以我的解释将是关于0.7。

public void classify(String modelLocation, RawEntry unclassifiedInstanceRaw) throws IOException {

    Configuration conf = new Configuration();

    NaiveBayesModel model = NaiveBayesModel.materialize(new Path(modelLocation), conf);
    AbstractNaiveBayesClassifier classifier = new StandardNaiveBayesClassifier(model);

    String unclassifiedInstanceFeatures = RawEntry.toNaiveBayesTrainingFormat(unclassifiedInstanceRaw);

    FeatureVectorEncoder vectorEncoder = new AdaptiveWordValueEncoder("features");
    vectorEncoder.setProbes(1); // my features vectors are tiny

    Vector unclassifiedInstanceVector = new RandomAccessSparseVector(unclassifiedInstanceFeatures.split(" ").length());

    for (String feature: unclassifiedInstanceFeatures) {
        vectorEncoder.addToVector(feature, unclassifiedInstanceVector);
    }

    Vector classificationResult = classifier.classifyFull(unclassifiedInstanceVector);

    System.out.println(classificationResult.asFormatString());

}

这里发生了什么：

1） 首先，加载通过trainnb得到的模型。调用trainnb时，使用-o参数将此模型保存在指定的位置。模型是。bin文件。

2）使用您的模型创建标准朴素贝叶斯分类器

3） RawEntry是我的自定义类，它只是数据原始字符串的包装器。toNaiveBayesTrainingFormar获取我想要分类的字符串，根据我的需要从中移除噪声，并简单地返回一个功能字符串“word1 word2 word3 word4”。因此，我的未分类原始字符串被转换为适用的分类格式。

4）现在需要将特征串编码为Mahout的向量，因为分类器输入仅在向量中

5） 将向量传递给分类器-magic。

这是第一部分。现在，分类器返回向量，该向量包含带有概率的类（在您的例子中是情绪）。您需要特定的输出。最直接的实现（但我认为不是最有效和最时尚的）是下一步：

1） 创建map reduce作业，该作业将遍历所有要分类的数据

2）对于你调用分类方法的每个实例（别忘了做一些改变，不要为每个实例创建标准朴素贝叶斯分类器）

3） 有了分类结果向量，您可以在地图缩小作业中以任何格式输出数据

4） 这里有用的设置是jC。设置（“mapreduce.textoutputformat.separator”，”；其中jC是JobConf。这允许您从mapreduce作业中为输出文件选择分隔符。在您的情况下，这是“，”。

同样，这些都适用于Mahout 0.7。不保证它会按原样为您工作。不过这对我很管用。

总的来说，我从来没有在命令行中使用过Mahout，对我来说，JavaMahout是一条路。

Answer 2

一般来说，要对一些文本进行分类，你需要运行具有不同前科（在你的情况下是正面和负面）的朴素贝叶斯，然后选择一个导致更大价值的文本。

这本摘录自Mahout的书有一些例子。请参见清单2：

Parameters p = new Parameters();
p.set("basePath", modelDir.getCanonicalPath());9
Datastore ds = new InMemoryBayesDatastore(p);
Algorithm a = new BayesAlgorithm();
ClassifierContext ctx = new ClassifierContext(a,ds);
ctx.initialize();

....

ClassifierResult result = ctx.classifyDocument(tokens, defaultCategory);

这里的结果应该有“积极”或“消极”的标签。