具有实值特征的Stanford分类器

Question

我想使用斯坦福分类器进行文本分类。我的特征主要是文本特征，但也有一些数字特征（例如句子的长度）。

我从ClassifierExample开始，并用一个简单的实值特性F替换当前特性，如果停止灯Breaked，则值100，否则0.1，这将导致以下代码（除了第10-16行的MakeStopLights()函数之外，这只是原始ClassifierExample类的代码）：

public class ClassifierExample {

    protected static final String GREEN = "green";
    protected static final String RED = "red";
    protected static final String WORKING = "working";
    protected static final String BROKEN = "broken";

    private ClassifierExample() {} // not instantiable

    // the definition of this function was changed!!
    protected static Datum<String,String> makeStopLights(String ns, String ew) {
        String label = (ns.equals(ew) ? BROKEN : WORKING);
        Counter<String> counter = new ClassicCounter<>();
        counter.setCount("F", (label.equals(BROKEN)) ? 100 : 0.1);
        return new RVFDatum<>(counter, label);
    }


    public static void main(String[] args) {
        // Create a training set
        List<Datum<String,String>> trainingData = new ArrayList<>();
        trainingData.add(makeStopLights(GREEN, RED));
        trainingData.add(makeStopLights(GREEN, RED));
        trainingData.add(makeStopLights(GREEN, RED));
        trainingData.add(makeStopLights(RED, GREEN));
        trainingData.add(makeStopLights(RED, GREEN));
        trainingData.add(makeStopLights(RED, GREEN));
        trainingData.add(makeStopLights(RED, RED));
        // Create a test set
        Datum<String,String> workingLights = makeStopLights(GREEN, RED);
        Datum<String,String> brokenLights = makeStopLights(RED, RED);
        // Build a classifier factory
        LinearClassifierFactory<String,String> factory = new LinearClassifierFactory<>();
        factory.useConjugateGradientAscent();
        // Turn on per-iteration convergence updates
        factory.setVerbose(true);
        //Small amount of smoothing
        factory.setSigma(10.0);
        // Build a classifier
        LinearClassifier<String,String> classifier = factory.trainClassifier(trainingData);
        // Check out the learned weights
        classifier.dump();
        // Test the classifier
        System.out.println("Working instance got: " + classifier.classOf(workingLights));
        classifier.justificationOf(workingLights);
        System.out.println("Broken instance got: " + classifier.classOf(brokenLights));
        classifier.justificationOf(brokenLights);
    }

}

根据我对线性分类器的理解，特性f应该使分类任务变得非常容易--毕竟，我们只需要检查f的值是否大于某个阈值。但是，分类器对测试集中的每个实例返回working。

现在我的问题是：我犯了什么错误吗？我是否需要修改代码的其他部分来使实值特征工作？还是我对线性分类器的理解有问题？

Answer 1

你的代码看起来很好。注意，通常使用最大熵分类器提供二进制值特征（1或0）。

以下是更多关于最大熵分类器的阅读:http://web.stanford.edu/class/cs124/lec/maximal_entropy_classifiers

请看题为“基于特征的线性分类器”的幻灯片，了解最大熵分类器的具体概率计算。

w1是“工作”的学习权重，w2是“破碎”的学习权重

分类器选择较高的概率。请注意，f1=(100或0.1）您的特征值。

如果您考虑您的具体示例数据，因为您有（2个类，1个特征，特征总是正的），所以不可能构建一个最大熵分类器来分离这些数据，它总是以这样或那样的方式猜测。

为了参数起见，请说w1>w2。

假设v>0是特征值（100或0.1）。

然后w1*v>w2*v，因此exp(w1*v)>exp(w2*v)，因此无论v是什么值，您都将为class1分配更多的概率。