LocalAI

OpenAI 的直接替代品
授权协议 MIT
开发语言 Google Go
所属分类 神经网络/人工智能、 机器学习/深度学习
软件类型 开源软件
地区 不详
投 递 者 呼延俊良
操作系统 跨平台
开源组织
适用人群 未知
 软件概览

LocalAI 是一种自主的、社区驱动的、简单的 local OpenAI-compatible API,用go编写。可以作为OpenAI的直接替代品,在消费级硬件的CPU上运行。支持ggml兼容模型,例如: LLaMA, alpaca, gpt4all, vicuna, koala, gpt4all-j, cerebras。

  • OpenAI compatible API
  • 支持多机型
  • 第一次加载后,它会将模型加载到内存中以进行更快的推理
  • 支持提示模板
  • 不 shell-out,但使用 C 绑定来实现更快的推理和更好的性能。使用 go-llama.cpp 和 go-gpt4all-j.cpp

它与 llama.cpp 支持的模型兼容,还支持 GPT4ALL-J 和 cerebras-GPT with ggml

已测试:

它还应该与 StableLM 和 GPTNeoX ggml 模型兼容(未经测试)

Note:你可能需要将旧模型转换为新格式,参见此处以运行gpt4all.

 相关资料
  • 问题内容: 问题 在解决这个问题之后,似乎基于文件或磁盘的实现可能是解决我在此处提到的问题的正确解决方案。精简版: 目前,我已将实施为。 条目以相当固定的速率连续添加到其中。稍后对此进行详细说明。 最终,无论如何,这意味着JVM耗尽了堆空间。 在工作中,(强烈)建议我使用SQLite解决此问题,但是在问了上一个问题之后,我认为数据库不是适合此工作的合适工具。所以- 让我知道这听起来是否疯狂 -我认

  • 本文向大家介绍SAP .NET连接器的替代,包括了SAP .NET连接器的替代的使用技巧和注意事项,需要的朋友参考一下 有多种方法(对于JAVA和其他方法并不多)可以完成任务。一种方法是使用现有的远程函数调用库来建立连接。可以免费使用围绕RFC编写的包装器来完成任务。 另一个可用且最常用的库是ERPConnect。它易于使用,并提供了一种简单的机制来调用BAPI,函数和表调用。 但是最好的使用方式

  • 问题内容: 这是一个从来没有一个正确答案的问题,我已经在网上搜索了很多次,却找不到解决方案。 它适用于Firefox,Chrome。我的responseText将像Réunion这样返回char,它将显示为奇怪的符号。 我尝试了许多方法,例如编码和解码,在响应文件中设置标头都无效。我没主意了。请帮助某人。 在主文件中,确保设置了内容类型和字符集。 在您的AJAX加载页面中,确保您位于顶部。 问题解

  • 问题内容: 一个(很久以前),我写了一个网络蜘蛛,我对该线程进行了多线程处理,以使并发请求能够同时发生。那是我的Python青年时代,在我了解GIL及其为多线程代码造成的相关麻烦之前(IE,大多数时候,这些东西最终都被序列化了!)… 我想对这段代码进行重做,以使其更健壮并性能更好。基本上有两种方法可以执行此操作:我可以使用2.6+中的新多处理模块,也可以使用某种基于反应堆/事件的模型。我宁愿以后再

  • 6.9.1.2.直接修改XML代码 另一种办法是直接修改XML代码。记住,所有用Eclipse工具所做的事情,在纯文本编辑器内也能做。要切换到XML代码视图,选择窗口底部的标签页status.xml,在Layout标签页后。这将会用标准XML编辑器打开文件。 第二种办法是直接修改XML代码。记住,凡是Eclipse工具能做的事情,纯文本编辑器也都能做。在窗口底部,Layout标签之右,就是stat

  • 我有这个程序: 我期望看到的是在年轻一代中创建整数对象,其中一些对象添加到转移到老一代的链表中。所以我希望年轻一代的GC能够始终如一地发生,对象被移动到生存空间,然后再从那里移动到老一代。但我发现的是,老一代的GC一直在发生,年轻一代的GC根本没有发生。这是JVM正在做的某种优化吗?在旧代中直接创建对象的地方?正如您在下图中看到的,年轻的gc只发生了两次,而老的gc发生了41次。仅旧代GC 接下来

  • 问题内容: 我执行了一个程序包管理器命令,将我们的项目更新为最新的二进制文件。我几乎发布了它,因为它通过了所有测试,直到幸运的是,我发现了一个需要更多调试的问题。 当我突然看到以下异常消息时,我的嘴张开了: 已达到“每小时6000个Redis请求”的免费配额限制。请访问https://servicestack.net升级到商业许可证。 如果我发布了该网站怎么办?这些做法简直令人反感!没有控制台警告

  • 问题内容: 我要求对当前使用JFileChooser的小程序进行一些更改。 主要的抱怨之一是文件选择器的使用很麻烦,因为它的行为与本机窗口小部件不同,特别是在向上导航到根级别时。 因此,知道JFileChooser以及所有其他问题(例如Windows上的zip文件缓存…)遭受苦难后,我想知道Java世界中是否存在可行的替代方案。 当然,有SWT使用本机窗口小部件,但是将applet大小增加25并不