当前位置: 首页 > 知识库问答 >
问题:

批量归一化量化Tensorflow 1。x没有最小最大值信息

亢嘉茂
2023-03-14

作为生成输出阵列模型/re_lu_1/Relu的Conv运算符的输入的层(...)缺乏量化所必需的最小/最大数据。如果准确性很重要,可以选择非量化输出格式,或者从浮点检查点使用模型运行量化训练,将输入图更改为包含最小/最大信息。如果您不关心准确性,您可以通过-default_ranges_min=和-default_ranges_max=进行简单的实验。

共有1个答案

麻阳
2023-03-14

对于张量流1。x、 如果要量化,必须将其与伪量化节点一起放置,以激活模型的量化。量化有3个阶段:

  1. 培训部分:将模型加载到图形中=

然而,最重要的因素是模型中batch_normalization的配置。在尝试了多种配置之后,最好的配置是使用batch_normalization而不使用来自tensorflow.keras.layers的融合选项。其原因是因为Tensorflow希望避免折叠结果被量化。因此,batchNorm后面的激活不会起作用。详情载于[此处][1]

简言之,该层应仅附着在tensorflow下。克拉斯。层。Conv2D带有解析的激活参数,即Relu/Relu6/Identity

如果执行上述过程:Conv2d=

层不会产生错误没有MinMax信息

 类似资料:
  • 本节我们介绍批量归一化(batch normalization)层,它能让较深的神经网络的训练变得更加容易 [1]。在 “实战Kaggle比赛:预测房价” 一节里,我们对输入数据做了标准化处理:处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近:这往往更容易训练出有效的模型。 通常来说,数据标准化预处理对于浅层模型就足够有效了。随着模型训练的进行

  • 给定一个正整数的矩阵(非正方形),其中同一行上的所有元素都是可置换的,问题是最小化列的最大和和最小和之间的差异。 例如 答案是2。 我试着天真地对它进行分类(合并)

  • 我有一个数据集,它有4列/属性和150行。我想用最小最大规范化来规范化这个数据。到目前为止,我的代码是: 这里,和返回全局最小值和最大值。因此,这段代码实际上对2D矩阵中的所有值应用最小-最大规范化,以便全局最小值为0,全局最大值为1。 然而,我想对每一列分别执行相同的操作。具体来说,2D矩阵的每一列都应该独立于其他列进行最小-最大规格化。 我尝试使用只是使用和,但得到的错误说矩阵维度必须一致。

  • 问题内容: 半向量的公式为(Hv)=(Lv + Vv)/ | Lv + Vv |,其中Lv是光向量,Vv是视点向量。 我在Python代码中这样做正确吗? 问题答案: 这是错误的名称。您所写的是两个向量的简单向量加法,结果是归一化的单位向量。 这是我的处理方式:

  • 嗨,我有一个带有chartjs的图表,它插入最小值,最大值,平均值之间,带有条形图表。到目前为止,一切都很好,输入了值,我想做的是图形的条形从y轴上的最小值开始定位到y轴上的最大值,我不希望柱线从值0开始。

  • 我正在尝试实现批处理规范化(http://arxiv.org/pdf/1502.03167.pdf)在我的卷积神经网络中,我真的很困惑,我应该围绕什么轴来计算均值和方差。 如果conv层的输入为3*224*224*32的形状,其中: 3-输入通道 224*224-单通道形状 32-小批量大小 以下公式中的轴应该是多少?平均值=numpy。平均值(输入层,轴=?) 并且,如果完全连接层的输入为100