当前位置: 首页 > 知识库问答 >
问题:

使用tensorflow估计器api进行混合精度训练

司国源
2023-03-14

有人有使用tensorflow estimator API进行混合精度训练的经验吗?

我尝试将输入转换为tf.float16,并将网络结果转换回tf.float32。为了扩展损失,我使用了tf.contrib.mixed_precision.LossScaleOptimizer。

共有1个答案

栾越
2023-03-14

我发现了问题:我使用tf.get_variable来存储学习速率。这个变量没有梯度。普通的优化器不关心,但是tf.contrib.mixed_precision.LossScaleOptimizer崩溃了。因此,请确保这些变量没有添加到tf.graphkeys.trainable_variables中。

 类似资料:
  • 我在java中遇到了ScheduledExecutorService的问题(几天前我没有遇到这个问题,这让我觉得很奇怪)。请找到下面的代码和控制台输出。重复执行任务之间的延迟是1毫秒,所以理想情况下我应该达到每秒1000的计数(几毫秒),但这只是没有发生。请帮帮忙.. 代码: 控制台输出 1000-2013年3月13日14:43:54.477 200-2013年3月13日14:44:10.296

  • 我正在谷歌 colab 环境中的 tensorflow 中训练一个 DNN,代码直到昨天都运行良好,但现在当我运行代码的估计器训练部分时,它给出了一个错误。 我不知道到底是什么原因,谷歌colab是否使用任何更新版本的tensorflow,其中某些函数与旧版本不兼容?因为我之前的代码没有问题,我没有改变它。似乎其他代码也存在此问题,例如,斯坦福大学的此示例代码之前运行没有任何错误,https://

  • 数据丢失:不是sstable(错误的幻数):可能您的文件格式不同,您需要使用不同的还原运算符? 我看过这篇文章,但是tf。火车导出元图不起任何作用。另外,如果我尝试在新的终端选项卡中生成输出,如下所示: 我得到这个错误,基本上说我不能生成输出,因为训练数据还没有保存。如何保存并完成培训?

  • 问题内容: 我正在安排一些事情,这些事情我不能只是冗长的循环。而且我需要给它们计时以了解完成它们需要多长时间,但是看来计时器在Java中的精度为15-16毫秒?我该如何解决? 问题答案: 您是否尝试过使用System.nanoTime()? 从Javadoc: 返回最精确的可用系统计时器的当前值,以纳秒为单位。 此方法只能用于测量经过的时间,与系统或挂钟时间的任何其他概念无关。返回的值表示自某个固

  • 校验者: @不将就 翻译者: @Xi 密度估计在无监督学习,特征工程和数据建模之间划分了界线。一些最流行和最有用的密度估计方法是混合模型,如高斯混合( sklearn.mixture.GaussianMixture ), 和基于邻近的方法( sklearn.neighbors.KernelDensity ),如核密度估计。 clustering 一节中更充分地讨论了高斯混合,因为此方法也用作为一种

  • 本文向大家介绍如何使用 Tensorflow 对使用 Python 的 stackoverflow 问题数据集进行模型训练?,包括了如何使用 Tensorflow 对使用 Python 的 stackoverflow 问题数据集进行模型训练?的使用技巧和注意事项,需要的朋友参考一下 Tensorflow是Google提供的一种机器学习框架。它是一个开放源代码框架,与Python结合使用以实现算法,