PaddlePALM

NLP 大规模预训练和多任务学习框架
授权协议 Apache-2.0
开发语言 Python
所属分类 神经网络/人工智能、 机器学习/深度学习
软件类型 开源软件
地区 国产
投 递 者 龙高歌
操作系统 跨平台
开源组织 百度
适用人群 未知
 软件概览

PaddlePALM (PArallel Learning from Multi-tasks) 是一个灵活,通用且易于使用的 NLP 大规模预训练和多任务学习框架。 PALM 是一个旨在快速开发高性能 NLP 模型的上层框架。

## CPU版本安装命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle

## GPU版本安装命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu

使用 PaddlePALM,可以非常轻松灵活地探索具有多种任务辅助训练的“高鲁棒性”阅读理解模型。

除了降低 NLP 研究成本以外,PaddlePALM 已被应用于“百度搜索引擎”,有效的提高了用户查询的理解准确度和挖掘出的答案质量,具备高可靠性和高训练/推理性能。

特点:

  • 易于使用:使用 PALM, 8 个步骤即可实现一个典型的 NLP 任务。此外,模型主干网络、数据集读取工具和任务输出层已经解耦,只需对代码进行相当小的更改,就可以将任何组件替换为其他候选组件。
  • 支持多任务学习:6 个步骤即可实现多任务学习任务。
  • 支持大规模任务和预训练:可自动利用多 gpu 加速训练和推理。集群上的分布式训练需要较少代码。
  • 流行的NLP骨架和预训练模型:内置多种最先进的通用模型架构和预训练模型(如 BERT、ERNIE、RoBERTa 等)。
  • 易于定制:支持任何组件的定制开发(e.g 主干网络,任务头,读取工具和优化器)与预定义组件的复用,这给了开发人员高度的灵活性和效率,以适应不同的 NLP 场景。

你可以很容易地用较小的代码重新得到很好的结果,涵盖了大多数 NLP 任务,如分类、匹配、序列标记、阅读理解、对话理解等等。

 相关资料
  • 我只是用TensorFlow训练了一个三层的softmax神经网络。它来自吴恩达的课程,3.11TensorFlow。我修改代码是为了查看每个历元的测试和训练精度。 当我增加学习率时,成本在1.9左右,而准确率保持1.66...7不变。我发现学习率越高,它发生的频率就越高。当learing_rate在0.001左右时,有时会出现这种情况。当learing_rate在0.0001附近时,这种情况不会

  • 您可以在 Polar Flow 网络服务或 Polar Flow 应用程式中规划您的训练并创建个人训练目标。 使用季度规划工具,创建训练计划 Flow 网络服务中的 Season Planner (季度规划工具)是度身打造年度训练计划的理想工具。无论训练目标如何,Polar Flow 都可以帮助您创建达成的综合计划。您可以在 Polar Flow 网络服务中的程序选项卡中找到季度规划工具。 Pol

  • Trainjob 基本组件和训练流程 下图是使用 Cloud-ML Trainjob 的基本组件和训练流程。其中1,2,3为用户操作步骤,a,b,c 为平台处理流程。 Cloud-ML Trainjob 的运行依赖两个外部基础设施,Docker Registry 和 FDS,其中 Docker Registry 管理 Docker 镜像。Cloud-ML 平台已经预先定义的许多深度学习框架的镜像存

  • 有了能做出惊人预测的模型之后,要做什么呢?当然是部署生产了。这只要用模型运行一批数据就成,可能需要写一个脚本让模型每夜都跑着。但是,现实通常会更复杂。系统基础组件都可能需要这个模型用于实时数据,这种情况需要将模型包装成网络服务:这样的话,任何组件都可以通过 REST API 询问模型。随着时间的推移,你需要用新数据重新训练模型,更新生产版本。必须处理好模型版本,平稳地过渡到新版本,碰到问题的话需要

  • 尝试一周,能改变一些旧习 一个一个练,反复的使用即可 不求多,以下练熟悉即可 practice makes prefect~ 放弃鼠标 全键盘和触摸板,你可以么? 从熟悉快捷键开始 全屏 专心写代码,减少干扰 ctrl + command + f 放大到全屏 设置Workbench主菜单快捷键,快速切换 设置Workbench主菜单快捷键,然后就有了command + 1到4的快捷键,快速切换,效

  • 您可以在 Polar Flow 网络服务或 Polar Flow 应用程式中规划您的训练并创建个人训练目标。 使用季度规划工具,创建训练计划 Flow 网络服务中的 Season Planner (季度规划工具)是度身打造年度训练计划的理想工具。无论训练目标如何,Polar Flow 都可以帮助您创建达成的综合计划。您可以在 Polar Flow 网络服务中的 Programs(程序)选项卡中找到

  • 要规划您的训练,您可以在 Flow 网络服务中创建详细的训练目标,并利用 Flowsync 软件或 Flow 应用程式将其同步至 A370。在训练期间,A370 将指导您实现您的目标。请注意,A370 采用在 Flow 网络服务规划的训练中的心率区——EnergyPointer 功能不可用。 快捷目标:选择训练的时长、或卡路里目标。例如,您可以选择消耗 500 千卡路里、跑 30 分钟。 阶段性目

  • 您可以在 Polar Flow 网络服务或 Polar Flow 应用程式中规划您的训练并创建个人训练目标。 使用季度规划工具,创建训练计划 Flow 网络服务中的 Season Planner (季度规划工具)是度身打造年度训练计划的理想工具。无论训练目标如何,Polar Flow 都可以帮助您创建达成的综合计划。您可以在 Polar Flow 网络服务中的 程序 选项卡中找到季度规划工具。 P