Masked Label

本文的作者来自河北工业大学，天大以及北大。 半监督中有一种方法是在图上传播标签，也就是Label Propagation；还有就是咱们熟悉的GCN了。前者传播的是标签，也就是邻近的节点在直觉上应该具有相同的标签；后者传递的是属性。本文首先将半监督方法分为对称与非对称的传播方法两类，然后指出，在属性传播的过程中，GCN把所有的邻居节点的特征都考虑在内了；实际上有些属性是不应该传播的。举个例子，大V的

label Smoothing 解决什么问题 在使用cross-entropy 时，会使得模型向预测正负标签差值无限大的方向学习；但过大的logit差值会使得模型缺乏适应性。实际上有些标注数据不一定准确，在训练数据不足的情况下，影响更大。可以用labelsmoothing做缓解处理。 实现1- torch.nn.functional.cross_entropy pytorch官方文档 import

masked_fill_(mask, value) 掩码操作 用value填充tensor中与mask中值为1位置相对应的元素。mask的形状必须与要填充的tensor形状一致。 a = torch.randn(5,6) x = [5,4,3,2,1] mask = torch.zeros(5,6,dtype=torch.float) for e_id, src_len in enumerate

有时，需要对某些 label 做 mask #!/usr/bin/env python # coding=utf-8 """ tf version: 1.15.0 """ import tensorflow as tf # 维度 [batch_size, 1] label1 = tf.constant([[0.0], [1.0],