NLP算法-关键词提取补充知识-停用词表

引入

书接上回，我们讲这个关键词提取的时候没有说停用词；

那啥是停用词呢？当一个词语出现频率很高但是这个词并不是你所需要的信息，这个时候就会用到停用词表这个概念

什么是停用词表？

停用词是指在信息检索中，为节省存储空间和提高搜索效率，在处理自然语言数据（或文本）之前或之后会自动过滤掉某些字或词，这些字或词即被称为 Stop Words（停用词）。
这些停用词都是人工输入、非自动化生成的，生成后的停用词会形成一个停用词表。

但是，并没有一个明确的停用词表能够适用于所有的工具。甚至有一些工具是明确地避免使用停用词来支持短语搜索的。

停用词的类别

对于一个给定的目的，任何一类的词语都可以被选作停用词。通常意义上，停用词大致分为两类：

1. 人类语言中包含的功能词：这些功能词极其普遍，与其他词相比，功能词没有什么实际含义，比如 the、is、at、which、on 等。但是对于搜索引擎来说，当所要搜索的短语包含功能词，特别是像 The Who、Take That 等复合名词时，停用词的使用就会导致问题。

2. 词汇词：比如 want 等，这些词应用十分广泛，但是对这样的词搜索引擎无法保证能够给出真正相关的搜索结果，难以帮助缩小搜索范围，同时还会降低搜索的效率，所以通常会把这些词从问题中移去，从而提高搜索性能。

停用词的功能

文档中如果大量使用 Stop words 容易对页面中的有效信息造成噪音干扰，所以搜索引擎在运算之前都要对所索引的信息进行消除噪音的处理。了解了 Stop Words ，在网页内容中适当地减少停用词出现的频率，可以有效地帮助我们提高关键词密度，在网页标题标签中避免出现停用词能够让所优化的关键词更集中、更突出。

因此，我们在进行自然语言处理的过程中，经常会使用停用词表去除文本中的停用词，以提高文本处理效率。常见步骤有：

1. 找到一个合适的停用词表；
2. 对文本内容进行遍历，去除文本中的停用词并保存。