使用Weka J48和朴素贝叶斯多项式分类器改进分类结果

Question

我一直在使用Weka的J48和Naive Bayes多项式（NBM）分类器对RSS提要中的关键字频率进行html" target="_blank">分类，以将提要分类为目标类别。

例如，我的一个。arff文件包含以下数据提取：

@attribute Keyword_1_nasa_Frequency numeric
@attribute Keyword_2_fish_Frequency numeric
@attribute Keyword_3_kill_Frequency numeric
@attribute Keyword_4_show_Frequency numeric
…
@attribute RSSFeedCategoryDescription {BFE,FCL,F,M, NCA, SNT,S}

@data
0,0,0,34,0,0,0,0,0,40,0,0,0,0,0,0,0,0,0,0,24,0,0,0,0,13,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,BFE
0,0,0,12,0,0,0,0,0,20,0,0,0,0,0,0,0,0,0,0,25,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,BFE
0,0,0,10,0,0,0,0,0,11,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,BFE
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,BFE
…
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,FCL
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,F
…
20,0,64,19,0,162,0,0,36,72,179,24,24,47,24,40,0,48,0,0,0,97,24,0,48,205,143,62,7
8,0,0,216,0,36,24,24,0,0,24,0,0,0,0,140,24,0,0,0,0,72,176,0,0,144,48,0,38,0,284,
221,72,0,72,0,SNT
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,SNT
0,0,0,0,0,0,11,0,0,0,0,0,0,0,19,0,0,0,0,0,0,0,0,0,0,10,0,0,0,0,0,0,0,0,0,0,0,0,0
,0,0,0,0,0,0,0,0,0,17,0,0,0,0,0,0,0,0,0,0,0,0,0,20,0,S

以此类推：总共有570行，每行都包含一天的提要中关键字的频率。在这种情况下，10天内有57条feed，总共有570条记录需要分类。每个关键字都以代理项编号作为前缀，并以“频率”作为后缀。

我在“黑盒”的基础上对J48s和NBM分类器使用10倍x验证。使用的其他参数也是默认值，即J48s的置信度为0.25，最小对象数为2。

到目前为止，我对一个不同天数、日期范围和实际关键字频率的实例的分类率，J28和NBM结果在50-60%的范围内保持一致。但是，如果可能的话，我想对此进行改进。

我降低了决策树置信度，有时低至0.1，但改进非常有限。

有人能提出其他方法来改善我的成绩吗？

为了提供更多信息，这里的基本过程涉及各种RSS提要的集合，其中每个提要都属于一个类别。

对于给定的日期范围，例如2011年9月1日至10日，每个提要的项目元素的文本被组合。然后验证文本以删除带有数字、重音等的单词和停用词（使用MySQL中的500个停用词列表）。然后在Lucene中索引剩余的文本以计算出最流行的64个单词。

然后，在给定日期范围内的每一天，在提要的描述元素中搜索这64个单词中的每一个。作为其中的一部分，描述文本也以与标题文本相同的方式进行验证，并再次由Lucene索引。因此，标题中的流行关键字（例如“decines”）被词干为“declin”：然后，如果在描述元素中发现任何类似的词也来源于“declin”，例如“拒绝”，则“declin”的频率取自Lucene对描述元素中单词的索引。

中显示的频率。arff文件在此基础上进行匹配，即在上面的第一行，“nasa”、“fish”、“kill”未在当天BFE类特定饲料的描述项目中找到，但“show”找到了34次。每一行代表一天中所有64个关键字在提要描述项中的出现次数。

所以我认为低频不是因为词干。相反，我认为这是一些关键字在一个类别的提要中流行但在其他提要中根本不出现的必然结果。因此结果中显示的稀疏性。通用关键字在这里也可能是相关的。

其他可能性是每个类别的提要数量不同，其中NCA等类别的提要多于S，或者关键字选择过程本身存在故障。

Answer 1

尝试完全关闭词干分析。斯坦福大学IR简介的作者提供了一个粗略的理由，说明为什么在文本分类上下文中，词干会造成伤害，至少不会有帮助。

我在一个定制的多项式朴素贝叶斯文本分类工具上测试了自己的词干（准确率为85%）。我尝试了org提供的3个Lucene词干分析器。阿帕奇。lucene。分析en版本4.4.0，即EnglishMinimalStemFilter、KStemFilter和PorterStemFilter，并且没有词干，我在小型和大型培训文档语料库上进行了测试。当训练语料库较小时，词干显著降低了分类准确率，而对于较大的语料库，词干的准确率保持不变，这与IR简介的说法一致。

还有一些事情需要尝试：

• 为什么只有64个字？我会把这个数字增加很多，但最好你根本没有限制
• 尝试tf idf（术语频率，反向文档频率）。你现在使用的只是tf。如果将其乘以idf，则可以缓解由常见和非信息性词语（如“show”）引起的问题。这一点尤其重要，因为你使用的热门词汇太少了
• 增加训练语料库的大小
• 试着把木瓦做成双克、三克等，以及不同N克的组合（你现在只使用单克）

你还可以转动很多其他的旋钮，但我会从这些开始。你应该能做得比60%好得多。80%到90%或更高是常见的。

Answer 2

你没有提到任何关于词干的内容。在我看来，如果您执行单词词干分析，并且WEKA评估基于关键字词干，您可能会有更好的结果。

例如，假设您的WEKA模型是在给定关键字surfing的情况下构建的，并且新的rss提要包含单词surf。这两个词之间应该有一个匹配。

有许多免费的词干器可用于多种语言。

对于英语，词干分析的一些可用选项包括：

• 搬运工的茎干器
• 基于WordNet字典的词干分析

如果您想使用WordNet的字典执行词干划分，有一些库

下面你可以找到其中的一些：

• MITJavaWordNet接口（JWI）
• 丽塔
• JavaWornet库（JWNL）

提供更多信息后编辑

我相信指定案例中的关键点是“最受欢迎的64个单词”的选择。选择的单词或短语应该是关键字或关键短语。所以这里的挑战是关键字或关键短语的提取。

有几本关于关键字/关键字提取的书籍、论文和算法。怀卡托大学在JAVA中实现了一种著名的算法，称为关键字提取算法（KEA）。KEA从文本文档中提取关键字，可用于自由索引或使用受控词汇表进行索引。该实现在GNU通用公共许可证下分发。

另一个需要考虑的问题是（词性）词性标注。名词比其他词性标记包含更多的信息。因此，如果您检查POS标记，并且所选的64个单词主要是名词，那么您可能会有更好的结果。

此外，根据阿内特·赫斯（Anette Hulth）发表的论文《改进自动关键词提取——赋予更多语言知识》，她的实验表明，关键词/关键短语大多具有或包含以下五种模式之一：

• 形容词-名词（单数或质量）

总之，我认为可以改进结果的一个简单操作是找到每个单词的POS标记，并选择大部分名词，以便评估新的RSS提要。您可以使用WordNet来查找每个单词的词性标记，正如我前面提到的，web上有许多库可以与WordNet的字典进行集成。当然，词干分析对于分类过程也是必不可少的，必须加以维护。

我希望这有帮助。