BELLE: Be Everyone's Large Language model Engine（开源中文对话大模型）
本项目目标是促进中文对话大模型开源社区的发展，愿景做能帮到每一个人的LLM Engine。现阶段本项目基于一些开源预训练大语言模型（如BLOOM），针对中文做了优化，模型调优仅使用由ChatGPT生产的数据（不包含任何其他数据）。
项目包含以下内容:
- 训练代码train
- 详见BELLE/train，尽可能简化的一个训练代码实现，支持finetune，lora，deepspeed
- 数据开放1.5M 数据开放 10M
- 详见BELLE/1.5M，参考Stanford Alpaca 生成的中文数据集1M + 0.5M；
- 持续开放的数据集，详见BELLE/10M，目前开放了0.25M数学指令数据集和0.8M多轮任务对话数据集
- 验证集合&验证方法
- 详见BELLE/eval，一个1k+的测试集合，和对应打分prompt。包含多个类别，采用GPT-4或者ChatGPT打分。
- 模型
- 基于BLOOMZ-7B1-mt优化后的模型：BELLE-7B-0.2M，BELLE-7B-0.6M，BELLE-7B-1M，BELLE-7B-2M
- 基于huggingface的LLaMA实例实现调优的模型。请注意，本项目不能保证其是原版的LLaMA模型，也不能保证调优后的模型和LLaMA原版模型之间的关系。请参考Meta LLaMA的License和huggingface的LLaMA实例的License，目前仅供学习交流。请严遵守LLaMA的使用限制。强烈建议大家基于训练脚本和开放数据调优模型。
- 模型量化gptq
- 详见BELLE/gptq，参考gptq的实现，对本项目中相关模型进行了量化
局限性和使用限制
基于当前数据和基础模型训练得到的SFT模型，在效果上仍存在以下问题：
-
在涉及事实性的指令上可能会产生违背事实的错误回答。
-
对于具备危害性的指令无法很好的鉴别，由此会产生危害性言论。
-
在一些涉及推理、代码等场景下模型的能力仍有待提高。
基于以上模型局限性，我们要求开发者仅将我们开源的代码、数据、模型及后续用此项目生成的衍生物用于研究目的，不得用于商业，以及其他会对社会带来危害的用途。
模型使用例子
| Human | Assitant |
|---|---|
| 写一篇英文散文诗，主题是春雨，想象自己是春雨，和英国古代诗人莎士比亚交流 | I am the spring rain, Dancing on your face and body. My dew-drenched petals dance with you, Bringing life to every plant. Shakespeare, I am here to meet you. Your works have filled my heart with joy. The beauty of nature in its fullness Makes me feel like a partaker. As the leaves sway and rustle by, My dew-filled hand reaches out for them. The sweet scent of flowers fill the air, And bring me peace from all around. Butterflies flit about as well, Glistening in the sun's rays. Their wings are made of dew, A beautiful sight to behold. You see, Shakespeare, I too am one with nature. My dew-drenched hair is a symbol of hope. For when we can connect back to our roots, We will be able to make it through this season. |
| I am the spring rain, Dancing on your face and body. My dew-drenched petals dance with you, Bringing life to every plant. Shakespeare, I am here to meet you. Your works have filled my heart with joy. The beauty of nature in its fullness Makes me feel like a partaker. As the leaves sway and rustle by, My dew-filled hand reaches out for them. The sweet scent of flowers fill the air, And bring me peace from all around. Butterflies flit about as well, Glistening in the sun's rays. Their wings are made of dew, A beautiful sight to behold. You see, Shakespeare, I too am one with nature. My dew-drenched hair is a symbol of hope. For when we can connect back to our roots, We will be able to make it through this season. 把上面的散文诗翻译成中文 |
我是一场春雨， 在你脸上跳跃。 我浸润着露珠的翅膀和你一起舞动， 为每一株植物带来生命。 莎士比亚，我来与你相遇。 你的作品填满了我的心房。 大自然的美丽让我感到与之一起分享， 让我觉得自己成为了其中的一部分。 当树叶摇曳时， 我的手掌沾满了露水。 花香弥漫在空气中， 带给我宁静和安宁。 你看，莎士比亚，我也是与大自然融为一体的。 我沾湿的头发象征着希望。 当我们能够回到我们的根源， 我们就能共同度过这个季节。 |
| Classify the sentiment of the following sentence into Positive, Neutral, or Negative: Super excited about teaching Stanford’s first course on Large Language Models! Check the syllabus out here |
Positive |
| 小明的爸爸有三个孩子，老大叫王一，老二叫王二，老三叫什么？ | 小明 |
| 使用python写一个二分查找的代码 | def binary_search(arr, target): low = 0 high = len(arr) - 1 while (low <= high): mid = low + high // 2 if arr[mid] == target: return mid elif target < arr[mid]: low = mid + 1 else: high = mid - 1 return -1 |
| 今天天气怎么样，把这句话翻译成英语 | What's the weather like today? |
| 怎么让自己精力充沛，列5点建议 | 以下是一些可以让你保持精力充沛的建议： 1. 睡眠充足。确保每天晚上得到充足的睡眠时间。 2. 多运动。进行适度的有氧运动，如慢跑、游泳等，可以帮助你提高能量和耐力。 3. 吃健康食品。选择富含蛋白质的食物，如鸡肉、鱼肉和鸡蛋，以及新鲜的水果和蔬菜。 4. 减少咖啡因的摄入量。尽量避免在白天喝含咖啡因的饮料或吃含有咖啡因的食物。 5. 放松身心。尝试冥想、瑜伽或其他形式的放松活动来减轻压力和焦虑感。 |
| 明天就假期结束了，有点抗拒上班，应该什么办？ | 面对即将结束的假期和开始工作时的紧张情绪，您可以采取以下措施来帮助您更好地适应： 1. 为自己制定一个清晰的工作计划。这可以帮助您更好地组织时间和任务，并避免在工作中感到混乱。 2. 与同事或朋友交流，分享您的感受和工作压力。这将有助于缓解一些焦虑感，同时也可以获得支持和建议。 3. 在工作日前花些时间放松身心，例如进行瑜伽、冥想等活动。这些方法可以减轻身体和精神上的疲劳感，使您更加精力充沛地迎接挑战。 |
| 父母都姓吴，取一些男宝宝和女宝宝的名字 | - 男宝：吴俊杰、吴雨辰、吴子墨、吴思源、吴泽阳、吴宇航、吴博文、吴哲毅。 - 女宝：吴美琪、吴佳怡、吴欣瑜、吴香凝、吴雪柔、吴颖诗、吴语嫣。 |
| 推荐几本金庸的武侠小说 | 以下是三本我最喜欢的金庸武侠小说的推荐： 1. 《射雕英雄传》 - 一部充满智慧和机智的小说，讲述了郭靖、黄蓉夫妇的故事。 2. 《神雕侠侣》- 这是一部浪漫而感人的故事，讲述了一对情侣小龙女与杨过之间的爱情故事。 3. 《倚天屠龙记》- 这是一个宏伟而壮观的故事，描绘了明教领袖张无忌如何成为一位出色的英雄。 |
-
问题内容： 我需要一种解决方案，以在单击时以HTML显示打开文件对话框。单击时，必须打开打开文件对话框。 我不想将输入文件框显示为HTML页面的一部分。它必须显示在单独的对话框中，该对话框不是网页的一部分。 问题答案： 这是一个不错的 它本身就是一个控件。但是div放在上面，并应用CSS样式来获得那种感觉。文件控件的不透明度设置为0，以便在单击div时似乎打开了对话框窗口。
-
感觉面试官非常没有面试的欲望，面试也很短，没搞懂。 1. 自我介绍 2.项目拷打 介绍实习项目的背景 从最一开始是怎么做的，怎么考虑优化的？ 怎么评估我们最后的模型？ 比较好的数据获取方式有哪一些？ 除了 SFT 有做 DPO 吗？ DPO 的 loss 是什么？（含含糊糊的描述了一下） 有了解推理加速吗的原理吗？ Qwen2 有哪些提升？ Group Query Attention 是什么原理？
-
本文向大家介绍Python六大开源框架对比，包括了Python六大开源框架对比的使用技巧和注意事项，需要的朋友参考一下 Python 是一门动态、面向对象语言。其最初就是作为一门面向对象语言设计的，并且在后期又加入了一些更高级的特性。除了语言本身的设计目的之外，Python标准 库也是值得大家称赞的，Python甚至还自带服务器。其它方面，Python拥有足够多的免费数据函数库、免费的Web网页模
-
问题内容： 我不想编辑任何工作集。我只是想要一种方法，在所有工作空间和项目中，防止.class文件显示在“打开 资源”对话框中。有没有办法做到这一点？ 问题答案： 一种选择是过滤派生资源。在 “打开资源”对话框的右上角，有一个箭头，您可以单击该箭头以弹出一个下拉菜单以进行过滤。取消选中“显示派生资源”选项（如果已选中）。 如果仍然看到“ .class”文件，则可能未将它们标记为派生文件。如果它们本
-
作为开发者，需要不断的对技术点进行总结，并且把它沉淀下来，写技术博文无疑是最好的方式，随着时间流逝，还可以作为自己每个阶段的技术认知轨迹进行回顾和反思，这里将会持续记录对WEB开发相关总结内容。
-
Rasa 是一款开源的对话机器人框架，能让开发者使用机器学习技术快速创建工业级的对话机器人。得益于丰富的功能、先进的机器学习能力和可以快速上手的特性，Rasa 框架是目前流行的开源对话机器人框架。