ChatDoctor

医学聊天模型
授权协议 Apache 2.0
开发语言 Python
所属分类 神经网络/人工智能、 自然语言处理
软件类型 开源软件
地区 不详
投 递 者 魏勇军
操作系统 跨平台
开源组织
适用人群 未知
 软件概览

ChatDoctor 是一个使用医学领域知识在 LLaMA 模型上微调的医学聊天模型。

注意:该模型尚未达到100%的准确输出,请不要将其应用到真实的临床场景中。

Demo Page: https://huggingface.co/spaces/ChatDoctor/ChatDoctor 

训练资源清单

创作成员来自以下四个学校

  • 德克萨斯大学西南医学中心,达拉斯,美国
  • 伊利诺伊大学香槟分校,厄巴纳,美国
  • 俄亥俄州立大学,哥伦布,美国
  • 杭州电子科技大学,杭州,中国

运行指引

在带有 pytorch 的 conda 环境中,运行:

pip install -r requirements.txt

如何微调

torchrun --nproc_per_node=4 --master_port=<your_random_port> train.py \
   --model_name_or_path <your_path_to_hf_converted_llama_ckpt_and_tokenizer> \
   --data_path ./HealthCareMagic-200k.json \
   --bf16 True \
   --output_dir pretrained \
   --num_train_epochs 3 \
   --per_device_train_batch_size 4 \
   --per_device_eval_batch_size 4 \
   --gradient_accumulation_steps 8 \
   --evaluation_strategy "no" \
   --save_strategy "steps" \
   --save_steps 2000 \
   --save_total_limit 1 \
   --learning_rate 2e-5 \
   --weight_decay 0. \
   --warmup_ratio 0.03 \
   --lr_scheduler_type "cosine" \
   --logging_steps 1 \
   --fsdp "full_shard auto_wrap" \
   --fsdp_transformer_layer_cls_to_wrap 'LLaMADecoderLayer' \
   --tf32 True

 

 相关资料
  • 问题内容: 我需要将聊天对话存储在数据库模式中。我将使用此数据库的方式是在网站上发布聊天记录。每次聊天最多不会超过20个回复。有人可以建议一个方案吗? 问题答案: 这是使用MySQL Workbench的开始 ERD的PNG出口 和创建脚本 也欢迎您从我的保管箱下载MWB文件。

  • 即时聊天是工作沟通中必不可少的工具。钉钉的即时聊天具有消息一触即达、身份和信息双重安全保障、群聊可精细化管理等特性,帮助你的企业实现工作沟通与生活聊天分离,让工作重回专注。 全员群管理 全员群开启 ● 团队创建完成后,默认会开启全员群。 全员群设置 ● 管理员可以登录管理员后台,对全员群进行设置。 登录管理员后台,点击通讯录中企业名称右侧的设置 查看全员群信息 设置全员群群主(默认是管理员) 修改

  • 我已经创建了一个聊天应用程序,为了完成它,我必须实现一些加密算法来保护服务器-客户端之间的消息。 我的实现是: 1.客户端创建kaypair(公钥和私钥)并将公钥发送到服务器 2.服务器获取公钥并创建用公钥加密的对称密钥 3.服务器将加密密钥发送给客户端 4.客户端使用私钥解锁对称密钥 5.客户端和服务器使用对称密钥进行通信。 这部分代码是服务器获取公钥并发送加密的对称密钥的地方 密钥加密方法:

  • 本文向大家介绍JavaScript仿聊天室聊天记录,包括了JavaScript仿聊天室聊天记录的使用技巧和注意事项,需要的朋友参考一下 本文实例为大家分享了js仿聊天室聊天记录的具体代码,供大家参考,具体内容如下 参考样式(css自定义聊天窗口样式):http://xiazai.jb51.net/201612/yuanma/css3chatstyle(jb51.net).rar 功能描述: 1.

  • null 使用服务,从源传入的“聊天”从ResourcePool中获取“ChatAgent”[with resourceUnit“ChatAgent”]。在这个模型中,一个“chatagent”只接受服务块内的一个“chat”。 抓取上的资源池:Unit.TotalCapability--;发布时:Unit.TotalCapability++; 但是我不能像在一个真正的聊天呼叫中心那样,建立一个“

  • 聊天插件为聊天组件提供了简单的功能。 用法 该插件可以作为 jQuery 插件或使用数据 API 激活。 数据 API 将 data-widget="chat-pane-toggle" 添加到按钮上以激活插件。 <button class="btn btn-primary" data-widget="chat-pane-toggle">切换聊天面板</button> jQuery jQuery