在Sklearn机器学习中，有没有方法在没有目标标签的情况下对文本进行分类？

Question

我想知道是否有任何方法可以使用Python和Sklearn机器学习的组合，根据文本中的单词将文本数据划分为不同的组/类别？

例如：

text = [["request approval for access", "request approval to enter premises", "Laptop not working"], ["completed bw table loading"]]

因此，我可以得到如下类别：

category_label = [[0,0,2], [1]]
categories = [["approval request", "approval request", "Laptop working"], ["bw table"]]

哪里

      0 = approval request
      2 = laptop working
      1 = bw table

基本上，上述情况意味着没有标记的训练数据或目标标签。

Answer 1

@用户1452759

您的问题比一般的机器学习更具体，您应该使用包NLTK而不是sklearn。看看用nltk对文本进行分类http://www.nltk.org/book/ch06.html

Answer 2

你可以尝试一种聚类方法，但是不能保证你得到的聚类会与你想要的类别相对应，因为你没有清楚地解释你想要的算法。

我要做的是手动标记一些数据（标记300个样本需要多长时间？）然后进行训练，这样你的算法就可以学习与每门课相关的单词。

如果这是不可能的，那么最好的办法是计算一个样本和每个类描述之间的余弦相似性，对它们进行排序，然后指定最接近的类。但是在我看来，当你完成这个代码的时候，你可以手动标记一些样本，并训练出一个精度更高的标准算法。

Answer 3

这在Scikit Learn和NLTK中都很容易实现。

您列出的功能包括：

0 = approval request
2 = laptop working
1 = bw table

不是聚类算法自然会选择的，值得提醒您注意的是，使用启发式算法可能会给统计学习算法蒙上阴影。我建议你先尝试一些聚类和分类，然后考虑半监督学习方法，这样你就可以标记你的集群并传播那些标签。