LLaVA 是一个面向多模态 GPT-4 级别功能构建的大型语言和视觉助手。代表了一种端到端训练的大型多模态模型，连接视觉编码器和 LLM 以实现通用视觉和语言理解。
早期实验表明，LLaVA 展示了优秀的多模型聊天能力，有时在看不见的图像/指令上表现出多模型 GPT-4 的行为，与GPT-4相比，在合成的多模态指令跟随数据集中产生了 85.1% 的相对得分。当在 Science QA 上进行微调时，LLaVA 和 GPT-4 的协同作用达到了 92.53% 的新的最先进的准确率。LLaVA 团队公开了 GPT-4 生成的视觉指令调整数据、以及其模型和代码库。
更多详情可查看论文。
使用和许可声明：数据、代码和 checkpoin 仅供研究使用并获得许可。它们也仅限于遵循 LLaMA、Vicuna 和 GPT-4 许可协议的用途。该数据集是 CC BY NC 4.0（仅允许非商业用途），使用该数据集训练的模型不应用于研究目的之外。
相关内容：
Data Donwnload
| Data file name | Size |
|---|---|
| conversation_58k.json | 126 MB |
| detail_23k.json | 20.5 MB |
| complex_reasoning_77k.json | 79.6 MB |
要下载语言图像多模态指令遵循数据集LLaVA-Instruct-150K，可运行以下脚本：
sh download_data.sh
LLaVA Weights
开发团队发布了 LLaVA weights 作为 delta weights 以符合 LLaMA 模型许可。用户可以将其 delta 添加到原始 LLaMA weights 以获得 LLaVA weights。说明：
- 按照此处的说明获取 huggingface 格式的原始 LLaMA weights。
- 使用以下脚本通过应用该 delta 来获取 LLaVA weights。它会自动从 LLaVA 的 Hugging Face 帐户下载 delta weights。
LLaVA-13B
此转换命令需要大约 60 GB 的 CPU RAM。
python3 -m llava.model.apply_delta \
--base /path/to/llama-13b \
--target /output/path/to/LLaVA-13B-v0 \
--delta liuhaotian/LLaVA-13b-delta-v0
LLaVA-7B
即将推出。
-
在之前的描述中，我们通常把机器学习模型和训练算法当作黑箱子来处理。如果你实践过前几章的一些示例，你惊奇的发现你可以优化回归系统，改进数字图像的分类器，你甚至可以零基础搭建一个垃圾邮件的分类器，但是你却对它们内部的工作流程一无所知。事实上，许多场合你都不需要知道这些黑箱子的内部有什么，干了什么。 然而，如果你对其内部的工作流程有一定了解的话，当面对一个机器学习任务时候，这些理论可以帮助你快速的找到恰
-
在之前的描述中，我们通常把机器学习模型和训练算法当作黑箱子来处理。如果你实践过前几章的一些示例，你惊奇的发现你可以优化回归系统，改进数字图像的分类器，你甚至可以零基础搭建一个垃圾邮件的分类器，但是你却对它们内部的工作流程一无所知。事实上，许多场合你都不需要知道这些黑箱子的内部有什么，干了什么。 然而，如果你对其内部的工作流程有一定了解的话，当面对一个机器学习任务时候，这些理论可以帮助你快速的找到恰
-
我可以在AWS Sagemaker中通过评估模型来训练多个模型train.py脚本，以及如何从多个模型中获取多个指标？ 任何链接、文档或视频都很有用。
-
大家已经提到了这个，这个，这个和这个，但是仍然发现很难建立一个自定义的名字查找器模型。。以下是代码： 我在尝试执行命令行时不断出现错误： 让我把论点1改为 然后我收到一个运行时错误，说你不能强制转换这个。这是我在线程“main”中强制转换 第二个问题是： 给出一个语法错误。不确定这里出了什么问题。如果有任何帮助，我将不胜感激，因为我已经尝试了上述链接上的所有代码片段。 祝好
-
我试图用下面的代码训练模型，但我一直在方法上收到错误，它告诉我将更改为。为什么？
-
问题内容： 我想知道是否有可能保存经过部分训练的Keras模型并在再次加载模型后继续进行训练。 这样做的原因是，将来我将拥有更多的训练数据，并且我不想再次对整个模型进行训练。 我正在使用的功能是： 编辑1：添加了完全正常的示例 对于10个纪元后的第一个数据集，最后一个纪元的损失将为0.0748，精度为0.9863。 保存，删除和重新加载模型后，第二个数据集上训练的模型的损失和准确性分别为0.171
-
我正在使用Spacy来训练我的NER模型和新实体，我正在使用模型作为我的基础模型，因为我还想检测基本实体（，，，等等）。我在未标记的句子上运行了model，并将它们的注释添加到我的训练集中。 完成之后，现在我想为新实体创建训练数据。例如，我想添加一个名为的新实体。我有一大堆句子（除了那些之前用注释的句子）要注释。例如： “詹姆斯喜欢吃苹果”。 我的问题是：我是否仍然需要将“James”注释为，以及
-
我发现很难创建自己的openNLP模型。谁能告诉我，如何拥有自己的模型。培训应该如何进行。 输入应该是什么，输出模型文件将存储在哪里。