当前位置: 首页 > 知识库问答 >
问题:

使用自然语言处理或机器学习从句子中提取关键词

昌琪
2023-03-14

我是ML / NLP领域的新手,所以我的问题是哪种技术最适合实现以下目标:

我们有一个短句——“去哪里吃饭?”或“你最喜欢的酒吧是什么?”

有没有一种技术可以让我训练它提供以下数据集:

  • “去哪里吃饭?”-

因此,下次我们对未知活动提出类似的问题时,例如,“您最喜欢的昂贵[无论如何]是什么”,它将能够提取“昂贵”和[其他]?

我们的目标是,如果我们可以用数百个(或数千个)不同的问题和预期的相关输出数据来训练它,那么它就可以使用日常语言。

如果我们有酒吧、餐厅、游泳池等预期术语的字典,我知道如何使它即使没有NLP/ML,但我们也希望它与未知术语一起工作。

我见过Rake和Scikit-learn对“事物”进行分类的例子,但我不确定如何将文本输入这些例子,所有这些例子都有预定义的训练输出。

我还尝试了谷歌的NLP API、亚马逊Lex和Wit,看看它们在提取实体方面有多好,但至少可以说,结果令人失望。

读到关于摘要技术的文章,我留下的印象是,它不适用于小的单句文本,所以我没有深入研究它。

共有2个答案

劳昊明
2023-03-14

因为“数百到数千”听起来您几乎没有从头开始训练模型的数据。您可能需要考虑训练(技术上微调)一个DialogFlow代理来匹配句子(“去哪里吃饭?”)和意图(“晚餐”),然后通过API调用进行集成。

或者,您可以投入时间微调一个小型的预训练模型,如“HuggingFace”中的“Distilled BERT分类器”,因为您不需要训练一个有生产价值的模型所需的1000到数十亿个数据样本。这也可以离线评估,并使您能够在未来解决其他NLP问题,而无需对基本统计数据有太低的理解。

郁明诚
2023-03-14

正如@polm23提到的简单内容,您可以使用POS标签进行提取。你提到的服务,如 LUIS、对话流等。,使用所谓的自然语言理解。他们利用意图

使用RASA可以做的事情:

    < li >实体提取和句子分类。通过用各种句子标记单词位置来说明要从句子中提取哪个特定术语。因此,如果出现任何不同于您在训练集中给出的单词,它都会被检测出来。 < li >使用基于规则的学习和LSTM进行检测。 < li >与在线服务相比,一个缺点是您必须手动标记JSON文件中的位置编号以进行培训,这与在线服务中的点击和标记功能不同。

你可以在这里找到教程。

我的腿疼

例如,我用各种句子来训练RASA识别身体部位和症状(我只限于2个实体,你可以添加更多),然后当一个未知的句子(如上所示)出现时,它将正确地识别“疼痛”为“症状”,而“腿”为“身体部位”。

希望这能回答你的问题!

 类似资料:
  • 本书延续了前作的理念,但关注的应用领域不同:前作的内容以卷积神经网络和图像识别为主,而本书则侧重于循环神经网络和自然语言处理。本书详细介绍了单词向量、LSTM、seq2seq 和 Attention 等自然语言处理中重要的深度学习技术。

  • 主要内容 前言 课程列表 推荐学习路线 数学基础初级 程序语言能力 机器学习简介 自然语言学习初级 数学和机器学习知识补充 自然语言处理中级 自然语言处理专项领域学习 前言 我们要求把这些课程的所有Notes,Slides以及作者强烈推荐的论文看懂看明白,并完成所有的老师布置的习题,而推荐的书籍是不做要求的,如果有些书籍是需要看完的,我们会进行额外的说明。 课程列表 课程 机构 参考书 Notes

  • 知识图谱 接口: nlp_ownthink 目标地址: https://ownthink.com/ 描述: 获取思知-知识图谱的接口, 以此来查询知识图谱数据 限量: 单次返回查询的数据结果 输入参数 名称 类型 必选 描述 word str Y word="人工智能" indicator str Y indicator="entity"; Please refer Indicator Info

  • PyTorch 自然语言处理(Natural Language Processing with PyTorch 中文版)

  • 这是一本关于自然语言处理的书。所谓“自然语言”,是指人们日常交流使用的语言,如英语,印地语,葡萄牙语等。

  • 我正在启动一个以情绪分析为中心的项目。具体来说,我们将对Twitter、Facebook、YouTube和其他社交网络数据进行情绪分析。 我知道Apache的OpenNLP。它看起来很棒,但我认为它对于我想做的事情来说有点重量级,除了它对Hadoop等的依赖。我以前没有使用过它,我对它的评估可能是错误的。 我在这个网站的其他地方看到过斯坦福NLP。我似乎无法从这个图书馆得到一个好的起点;一种教程。

  • 自然语言处理怎么学? 先学会倒着学,倒回去看上面那句话:不管三七二十一先用起来,然后再系统地学习 nltk是最经典的自然语言处理的python库,不知道怎么用的看前几篇文章吧,先把它用起来,最起码做出来一个词性标注的小工具 自然语言处理学什么? 这门学科的知识可是相当的广泛,广泛到你不需要掌握任何知识就可以直接学,因为你不可能掌握它依赖的全部知识,所以就直接冲过去吧。。。 话说回来,它到底包括哪些

  • 自然语言处理之序列模型 - 小象学院 解决 NLP 问题的一般思路 这个问题人类可以做好么? - 可以 -> 记录自己的思路 -> 设计流程让机器完成你的思路 - 很难 -> 尝试从计算机的角度来思考问题 NLP 的历史进程 规则系统 正则表达式/自动机 规则是固定的 搜索引擎 “豆瓣酱用英语怎么说?” 规则:“xx用英语怎么说?” => translate(XX, English)