在python中使用NLTK标记文本
给定一个字符序列和一个定义的文档单元，令牌化就是将其切成碎片（称为令牌）的任务，也许同时丢掉某些字符（例如标点符号）。在nltk和python的上下文中，这仅仅是将每个标记放入列表的过程，因此我们可以遍历一个标记，而不是一次遍历每个字母。
例如，给定输入字符串-
Hi man, how have you been?
我们应该得到输出-
['Hi', 'man', ',', 'how', 'have', 'you', 'been', '?']
我们可以使用NLTK中的word_tokenize方法对此文本进行标记。例如，
示例
from nltk.corpus import stopwords from nltk.tokenize import word_tokenize my_sent = "Hi man, how have you been?" tokens = word_tokenize(my_sent) print(tokens)
输出结果
这将给出输出-
['Hi', 'man', ',', 'how', 'have', 'you', 'been', '?']
-
问题内容： 我正在尝试创建一种类似于英语的小型语言来指定任务。基本思想是将陈述分为动词和名词短语，这些动词应适用于它们。我正在使用nltk，但未获得我希望的结果，例如： 在每种情况下，它都未能意识到第一个单词（选择，移动和复制）被用作动词。我知道我可以创建自定义标签和语法来解决此问题，但是与此同时，当很多此类东西不在我的支持范围内时，我犹豫要重新发明轮子。我特别希望可以同时处理非英语语言的解决方案
-
本文向大家介绍在Python中使用NLTK删除停用词，包括了在Python中使用NLTK删除停用词的使用技巧和注意事项，需要的朋友参考一下 当计算机处理自然语言时，某些极端通用的单词似乎在帮助选择符合用户需求的文档方面几乎没有值，因此完全从词汇表中排除了。这些单词称为停用词。 例如，如果您输入的句子为- 停止单词删除后，您将获得输出- NLTK收集了这些停用词，我们可以将其从任何给定的句子中删除。
-
问题内容： 我正在学习使用NLTK的自然语言处理。我遇到了使用给定代码无法理解其实际用途的代码。代码给出： 所以，为什么我们要使用PunktSentenceTokenizer。以及标记为A和B的行中发生的情况。我的意思是，有一个训练文本，另一个为示例文本，但是需要两个数据集来获取语音部分标记。 我无法理解的标记为和的行。 PS：我确实尝试看过NLTK书，但无法理解PunktSentenceToke
-
问题内容： 我正在使用nltk，因此我想创建自己的自定义文本，就像nltk.books上的默认文本一样。但是，我只是想起像 我想发现任何输入“文本”的方式： python或nltk的哪种方法允许我执行此操作。更重要的是，我如何消除标点符号？ 问题答案： 这实际上是在nltk.org的主页上：
-
我有一个包含数万个XML文件（小文件）的语料库，我正在尝试使用Python并提取其中一个XML标记中包含的文本，例如，body标记之间的所有内容，例如： 然后编写一个包含此字符串的文本文档，然后向下移动XML文件列表。 我正在使用effbot的ELementTree，但找不到正确的命令/语法来做到这一点。我找到了一个使用迷你DOM的dom.getElementsByTagName的网站，但我不确定
-
问题内容： 我试图将整个段落输入到我的文字处理器中，然后先分成句子，然后再分成单词。 我尝试了以下代码，但它不起作用， 但是，这不起作用，并给我错误。那么，如何将段落标记为句子，然后再标记为单词？ 一个示例段落： 这东西似乎使那只黑褐色的小狗感到吃惊和震惊，使他伤心。 他绝望地沉在孩子的脚下。当重击一声再加上幼稚的训诫时，他转过身来，用独特的方式握住了爪子。同时，他用耳朵和眼睛向孩子祈祷。 警告：