对微信公众号文章做样本标注与特征提取

优质

小牛编辑

136浏览

2023-12-01

多类分类问题解法

解法一：通过一系列两类分类问器并将它们组合到一起形成多类分类器

解法二：将多个分类面的参数求解合并到一个最优化问题中

我们利用解法一，通过多个两类分类问题分别计算

人工标注

这部分工作完全是基于个人的判断，逐个文章进行标注，如果判断文章属于纯技术类，则把isTec标记为yes，如果判断为鸡汤文，则把isSoup标记为yes，其他两类也一样

经过我耗时近一小时的纯手工标注，最终每类文章数为：

select sum(isTec), sum(isSoup), sum(isMR), sum(isNews) from CrawlPage;
sum(isTec)    sum(isSoup)    sum(isMR)    sum(isNews)
31    98    69    240

切词并保存

下面我要把这四个类别的所有文章做切词，为了调试需要，我们把切词之后的中间结果保存在数据库中，以便重复调试不用每次都做切词操作，所以我们在php的CrawlPage实体中增加如下变量：

/**
 * @var text
 * @ORM\Column(name="segment", type="text", nullable=true)
 */
private $segment;

执行

php app/console doctrine:schema:update --force

后数据库会多处一列

  `segment` longtext COLLATE utf8_unicode_ci,

创建我们的feature_extract.py，内容如下：

# coding:utf-8
import sys
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfTransformer
import jieba
from jieba import analyse
import MySQLdb
conn = MySQLdb.connect(host="127.0.0.1",user="myuser",passwd="mypasswd",db="mydatabase",charset="utf8")
def get_segment():
    cursor = conn.cursor()
    sql = "select id, content from CrawlPage"
    cursor.execute(sql)
    jieba.analyse.set_stop_words("stopwords.txt")
    for result in cursor.fetchall():
        id = result[0]
        content = result[1]
        seg_list = jieba.cut(content)
        line = ""
        for str in seg_list:
            line = line + " " + str
        line = line.replace('\'', ' ')
        sql = "update CrawlPage set segment='%s' where id=%d" % (line, id)
        try:
            cursor.execute(sql)
            conn.commit()
        except Exception,e:
            print line
            print e
            sys.exit(-1)
    conn.close()
if __name__ == '__main__':
    get_segment();

这里我们对每一篇文章做切词，并且把切词后的结果存储到segment列中

注意：为了避免sql的语法问题，需要把文章里的单引号'\''去掉，这里我替换成了空格，方便切词识别

计算tf-idf

继续编辑feature_extract.py，增加如下内容：

def feature_extract():
    cursor = conn.cursor()
    category={}
    category[0] = 'isTec'
    category[1] = 'isSoup'
    category[2] = 'isMR'
    category[3] = 'isMath'
    category[4] = 'isNews'
    corpus=[]
    for index in range(0, 5):
        sql = "select segment from CrawlPage where " + category[index] + "=1"
        cursor.execute(sql)
        line = ""
        for result in cursor.fetchall():
            segment = result[0]
            line = line + " " + segment
        corpus.append(line)
    conn.commit()
    conn.close()
    vectorizer=CountVectorizer()
    csr_mat = vectorizer.fit_transform(corpus)
    transformer=TfidfTransformer()
    tfidf=transformer.fit_transform(csr_mat)
    word=vectorizer.get_feature_names()
    print tfidf.toarray()
if __name__ == '__main__':
    #get_segment();
    feature_extract();

执行后输出：

[[ 0.          0.          0.         ...,  0.          0.          0.        ]
 [ 0.          0.          0.         ...,  0.          0.          0.        ]
 [ 0.00670495  0.00101195  0.00453306 ...,  0.          0.          0.        ]
 [ 0.          0.00164081  0.         ...,  0.          0.          0.        ]
 [ 0.01350698  0.0035783   0.         ...,  0.0003562   0.0003562  0.00071241]]

特征提取

我们采取分别对每一类看做一个两类分类问题来求解，所以对这5大类别分别做特征提取，提取的方式就是提取每一类中tf-idf最大的n个特征，首先我们先把全部特征输出出来

    for index in range(0, 5):
        f = file("tfidf_%d" % index, "wb+")
        for i in np.argsort(-tfidf.toarray()[index]):
            if tfidf.toarray()[index][i] > 0:
                f.write("%f %s\n" % (tfidf.toarray()[index][i], word[i]))
        f.close()

这已经按照tf-idf从大到小排序了，所以从生成的5个文件里前n行就能拿到我们需要的n个特征啦

下一节我们将通过提取出来的特征来对测试样本进行测试