当前位置: 首页 > 软件库 > 大数据 > 数据处理 >

Txtai

人工智能驱动的搜索引擎
授权协议 Apache-2.0
开发语言 Python
所属分类 大数据、 数据处理
软件类型 开源软件
地区 不详
投 递 者 鲁辉
操作系统 Windows
开源组织
适用人群 未知
 软件概览

Txtai 是一个人工智能驱动的搜索引擎,可以在文本的各个部分上建立了一个 AI 驱动的索引。 txtai 支持构建文本索引以执行相似性搜索并创建基于问-答的系统。此外,txtai 还具有用于 zero-shot 分类的功能。

示例应用:

  • paperai - 人工智能驱动的医学/科学论文文献发现和审阅引擎
  • tldrstory - 人工智能驱动的标题和故事文本理解
  • neuspo - 事实驱动的实时体育赛事和新闻网站
  • codequestion - 直接从终端询问编码问题

构建依赖

已经支持绑定的语言

  • txtai 4.0 已正式发布,这是一个具有大量新特性的重要版本,同时也会兼容旧版本,增加了诸如内容存储、对象存储、使用 SQL 查询、索引压缩、重新索引(reindexing)、外部向量等功能。 数据方面,新版发布之后,代码量增加了 50%,解决了 36 个问题,据称是迄今为止最大的版本。 新特性 支持存储文本内容(#168) 添加选项以索引内容字典(#169) 添加 SQL 支持以生成结合嵌入

  • txtai初识 本教程系列将涵盖txtai的主要用例,这是一个 AI 驱动的语义搜索平台。该系列的每章都有相关代码,可也可以在colab 中使用。 colab 地址 本文概述了 txtai 以及如何运行相似性搜索。 安装依赖 安装txtai和所有依赖项。 pip install txtai 创建一个嵌入实例 Embeddings 实例是 txtai 的主要入口点。Embeddings 实例定义了

  • txtai API 库 本教程系列将涵盖txtai的主要用例,这是一个 AI 驱动的语义搜索平台。该系列的每章都有相关代码,可也可以在colab 中使用。 colab 地址 txtai API 是由FastAPI支持的基于 Web 的服务。所有 txtai 功能,包括相似性搜索、提取 QA 和零样本标记都可以通过 API 获得。 本文安装了 txtai API 并展示了一个使用 txtai 支持的

  • 使用 txtai 进行抽取式 QA 本教程系列将涵盖txtai的主要用例,这是一个 AI 驱动的语义搜索平台。该系列的每章都有相关代码,可也可以在colab 中使用。 colab 本文在之前介绍的基础上,扩展到构建提取式问答系统。 安装依赖 安装txtai和所有依赖项。 pip install txtai 创建 Embeddings 和 Extractor 实例 Embeddings 实例是 t

  • txtai 与数据存储无关,该库分析文本集。以下示例展示了如何在 Elasticsearch 系统之上添加提取式问答。 安装依赖 安装txtai和Elasticsearch。 Install txtai and elasticsearch python client pip install txtai elasticsearch Download and extract elasticsearch

  • txtai API 是由FastAPI支持的基于 Web 的服务。所有 txtai 功能,包括相似性搜索、提取 QA 和零样本标记,都可以通过 API 获得。 本文安装 txtai API 并展示了一个使用 txtai 支持的每种语言绑定的示例。 安装依赖 安装txtai和所有依赖项。由于本文使用了API,所以我们需要安装api extras包。 pip install txtai[api] Py

  • 本教程系列将涵盖txtai的主要用例,txtai 是一个开源平台,用于由语言模型提供支持的语义搜索和工作流。系列中的每一部分都有对应的笔记本,可以完整再现每篇文章。 介绍txtai txtai是一个开源平台,用于由语言模型提供支持的语义搜索和工作流。 传统的搜索系统使用关键字来查找数据。语义搜索具有对自然语言的理解,并识别具有相同含义的结果,不一定是相同的关键字。 txtai 构建嵌入数据库,它是

  • 本文检查了 txtai 嵌入索引的文件系统并给出了结构的概述。 安装依赖 安装txtai和所有依赖项。 pip install txtai 创建索引 让我们首先创建一个索引来检查。我们将使用经典的 txtai 示例。 from txtai.embeddings import Embeddings data = [“US tops 5 million confirmed virus cases”,

  • txtai 目前有两种主要的执行方法:Python 或通过 HTTP API。有针对JavaScript、Java、Rust和Go的 API 绑定。 本文介绍了一种使用Python C API将 txtai 作为本机可执行文件的一部分运行的方法。我们将在 C 中运行一个示例,甚至从汇编代码中调用 txtai! 在深入本文之前,有必要强调通过 HTTP API 连接到 txtai 具有许多主要优势。

  • txtai 4.0 带来了许多主要的功能增强,最重要的是能够在 txtai 中存储完整的文档内容和文本。本文将通过示例涵盖所有更改。 安装依赖 安装txtai和所有依赖项。 pip install txtai 内容存储 到目前为止,使用 txtai,一旦文本被矢量化,就无法再追溯到输入文本。仅存储文档 ID 和向量。结果由 ID 和分数组成。开发人员有责任解决与外部数据存储的匹配问题。 txtai

  • 安装依赖 安装txtai和所有依赖项。由于本文使用的是可选管道,因此我们需要安装管道附加包。 pip install txtai[pipeline] Get test data wget -N https://github.com/neuml/txtai/releases/download/v3.5.0/tests.tar.gz tar -xvzf tests.tar.gz Install NLT

  • 在第 1 部分到第 4 部分中,我们对 txtai 进行了总体概述、支持技术以及如何使用它进行相似性搜索的示例。本文以此为基础并扩展到构建提取式问答系统。 安装依赖 安装txtai和所有依赖项。 pip install txtai 创建一个 Embeddings 和 Extractor 实例 Embeddings 实例是 txtai 的主要入口点。Embeddings 实例定义了用于标记化一段文本

  • 在第 1 部分中,我们概述了 txtai、支持技术以及如何使用它进行相似性搜索的示例。第 2 部分介绍了具有更大数据集的嵌入索引。 对于现实世界的大规模用例,数据通常存储在数据库中(Elasticsearch、SQL、MongoDB、文件等)。在这里,我们将展示如何从 SQLite 读取数据,构建一个由词嵌入支持的嵌入索引,以及如何对生成的嵌入索引运行查询。 此示例涵盖了paperai库中的功能。

 相关资料
  • 主要内容:解决问题的代理,搜索算法术语,搜索算法的属性,搜索算法的类型搜索算法是人工智能最重要的领域之一。本主题将解释有关AI中搜索算法的所有信息。 解决问题的代理 在人工智能中,搜索技术是普遍的问题解决方法。AI中的合理代理或问题解决代理主要使用这些搜索策略或算法来解决特定问题并提供最佳结果。解决问题的代理是基于目标的代理并使用原子表示。在本主题中,我们将学习各种解决问题的搜索算法。 搜索算法术语 搜索:搜索是一个一步一步的过程,用于解决给定搜索空间中的搜索问题。

  • Kubernetes 在人工智能领域的应用。 TBD kubeflow - Kubernetes 机器学习工具箱

  • 人工智能是机器所展示的智能,与人类展示的智能形成鲜明对比。本教程介绍了人工智能等各个领域的基本概念,如人工神经网络,自然语言处理,机器学习,深度学习,遗传算法等,以及它在 Python 中的实现。

  • 主要内容:AI类型 - 1:基于功能,人工智能类型-2:基于功能人工智能可以分为多种类型,主要有两种类型的主要分类,它们基于能力并基于AI的功能。以下是解释AI类型的流程图。 AI类型 - 1:基于功能 基于能力的人工智能的类型如下 - 1. 弱AI或狭隘AI 狭隘AI是一种能够执行智能专用任务的AI。最常见和当前可用的AI是人工智能领域的狭隘AI。 狭隘的AI不能超出其领域或限制,因为它只针对一项特定任务进行培训。因此它也被称为弱AI。如果超出限制,缩小的A

  • 人工智能在当今社会中具有各种应用。它已成为当今时代的必要条件,因为它可以在多个行业中以有效的方式解决复杂问题,例如医疗保健,娱乐,金融,教育等。AI使我们的日常生活更加舒适和快速。 以下是一些应用人工智能的领域: 1. AI在天文学中应用 人工智能对于解决复杂的宇宙问题非常有用。人工智能技术有助于理解宇宙,例如它的工作原理,起源等。 2. AI在医疗保健领域应用 在过去的五到十年中,人工智能对医疗

  • 人工智能包括机器和特殊计算机系统对人类智能的模拟过程。人工智能的例子包括学习,推理和自我纠正。AI的应用包括语音识别,专家系统,图像识别和机器视觉。 机器学习是人工智能的一个分支,它处理可以学习任何新数据和数据模式的系统和算法。 让我们关注下面提到的维恩图,以了解机器学习和深度学习概念。 机器学习包括机器学习的一部分,深度学习是机器学习的一部分。遵循机器学习概念的程序的能力是改善其观察数据的性能。

  • 主要内容:什么是代理?,智能代理,理性代理:,AI代理的结构,PEAS代表AI系统可以定义为理性代理及其环境的研究。代理通过传感器感知环境并通过执行器对其环境起作用。AI代理可以具有知识,信仰,意图等心理属性。 什么是代理? 代理可以是通过传感器感知环境并通过执行器对该环境起作用的任何事物。代理在感知,思考和行动的循环中运行。代理可以是: 人体代理:人类代理人的眼睛,耳朵和其他器官,用于传感器和手,腿,致动器的声道工作。 机器人代理:机器人代理可以是摄像头,红外测距仪,

  • 主要内容:人工智能的成熟(1943-1952),人工智能的诞生(1952-1956),黄金岁月 - 早期的热情(1956-1974),第一个AI寒冬(1974-1980),AI的热潮(1980-1987),第二次AI寒冬(1987-1993),智能代理的出现(1993-2011),深度学习,大数据和人工智能(2011年至今),以下是纠正/补充内容:人工智能不是一个新词,也不是研究人员的新技术。这项技术比想象的要老很多。甚至在古希腊和埃及神话中也有机械人的神话。以下是AI历史上的一些里程碑,它定义