GPT2

GPT-2 训练实现
授权协议 MIT
开发语言 Python
所属分类 神经网络/人工智能、 自然语言处理
软件类型 开源软件
地区 不详
投 递 者 申昌勋
操作系统 跨平台
开源组织
适用人群 未知
 软件概览

非官方 GPT-2 训练实现,支持 GPU 和 TPU。

GPT-2 是一种基于  transformer 的大型语言模型,具有 15 亿个参数,在 800 万网页数据集上进行训练。

依赖:

GPU

pip3 install tensorflow-gpu regex

TPU

pip3 install tensorflow regex google-api-python-client oauth2client

下载模型

pip3 install requests tqdm

生成数据集

pip3 install ftfy tqdm newspaper3k

 相关资料
  • 本文向大家介绍TensorFlow实现随机训练和批量训练的方法,包括了TensorFlow实现随机训练和批量训练的方法的使用技巧和注意事项,需要的朋友参考一下 TensorFlow更新模型变量。它能一次操作一个数据点,也可以一次操作大量数据。一个训练例子上的操作可能导致比较“古怪”的学习过程,但使用大批量的训练会造成计算成本昂贵。到底选用哪种训练类型对机器学习算法的收敛非常关键。 为了Tensor

  • 利用 Polar 应用程式、Polar Flow 应用程式以及 Polar Flow 网络服务获得有关您的训练的即时分析,深入了解您的训练。 M600 上的训练总结 在每次训练后,您将在您的手表上收到您的即时训练总结。 总结中显示的信息取决于运动内容。可提供的细节包括: 时间长度:训练时长 距离(如适用于您的运动):指训练中已完成的距离。 平均心率:指训练期间您的平均心率。 最大心率:指训练期间您

  • 训练视图 浏览训练视图 上下滑动屏幕。 或 将手腕向内再向外轻快移动。 观看如何在训练期间使用 Polar 应用程式的相关视频教程。 您在训练视图上看到的信息取决于您对所选的运动内容的编辑。您可以在 Polar Flow 应用程式或 Polar Flow 网络服务中对每项运动内容进行设置。 例如,训练视图可提供以下信息: 您的当前心率 心率 ZonePointer 训练时长 训练期间到目前为止完成

  • 尝试一周,能改变一些旧习 一个一个练,反复的使用即可 不求多,以下练熟悉即可 practice makes prefect~ 放弃鼠标 全键盘和触摸板,你可以么? 从熟悉快捷键开始 全屏 专心写代码,减少干扰 ctrl + command + f 放大到全屏 设置Workbench主菜单快捷键,快速切换 设置Workbench主菜单快捷键,然后就有了command + 1到4的快捷键,快速切换,效

  • 您可以在 Polar Flow 网络服务或 Polar Flow 应用程式中规划您的训练并创建个人训练目标。 使用季度规划工具,创建训练计划 Flow 网络服务中的 Season Planner (季度规划工具)是度身打造年度训练计划的理想工具。无论训练目标如何,Polar Flow 都可以帮助您创建达成的综合计划。您可以在 Polar Flow 网络服务中的程序选项卡中找到季度规划工具。 Pol

  • 训练效益为您提供每次训练效果的文字反馈信息,帮您更好地了解训练的有效性。您可以在 Flow 应用程式与 Flow 网络服务上查看反馈信息。要获得反馈信息,您需要在心率区中一共至少训练 10 分钟。 训练效益反馈信息是基于心率区。它反映了您在每个心率区花费的时间与消耗的卡路里数。 下表列出了不同训练效益选项的描述。 评估信息 效益 Maximum training+(最强训练+) 非常棒的训练!您的

  • 训练后 在您停止训练后,您将在手表上立即获得训练总结。在 Polar Flow 应用程式或在 Polar Flow 网络服务中获得更详细的图示分析。 总结中显示的信息取决于运动内容和收集的数据。例如,训练总结可以包含以下信息: 开始时间和日期 训练持续时间 训练已完成的距离 心率 训练期间的平均和最大心率 训练中的心肺负荷 心率区  不同心率区付出的训练时间 所耗能量 训练课期间所耗能量 碳水化合

  • 浏览训练视图 在训练期间您可利用向上/向下按钮浏览训练视图。请注意,可显示的训练视图与信息取决于您所选择的运动和您对所选运动内容的编辑。 在手表 Polar Flow 应用和网络服务中,您可添加运动内容以及针对每项运动内容进行具体设置。您可以为各项运动创建自定义训练视图,并选择训练期间想要看到的数据。有关更多信息,请参见 Flow 中的运动内容。 例如,训练视图可以显示以下信息: Your hea