如何训练Stanford NLP情感分析工具

Question

链接到斯坦福情绪分析页面

“使用PTB格式的数据集，可以使用以下命令重新训练模型：”

java -mx8g edu.stanford.nlp.sentiment.SentimentTraining -numHid 25 -trainPath train.txt -devPath     dev.txt -train -model model.ser.gz

来自dev.txt的示例（前导的4代表5...4/5正极性）

(4 (4 (2 A) (4 (3 (3 warm) (2 ,)) (3 funny))) (3 (2 ,) (3 (4 (4 engaging) (2 film)) (2 .))))

(3 (3 (2 If) (3 (2 you) (3 (2 sometimes) (2 (2 like) (3 (2 to) (3 (3 (2 go) (2 (2 to) (2 (2 the) (2 movies)))) (3 (2 to) (3 (2 have) (4 fun))))))))) (2 (2 ,) (2 (2 Wasabi) (3 (3 (2 is) (2 (2 a) (2 (3 good) (2 (2 place) (2 (2 to) (2 start)))))) (2 .)))))

(3 (2 (2 The) (2 Rock)) (4 (3 (2 is) (4 (2 destined) (2 (2 (2 (2 (2 to) (2 (2 be) (2 (2 the) (2 (2 21st) (2 (2 (2 Century) (2 's)) (2 (3 new) (2 (2 ``) (2 Conan)))))))) (2 '')) (2 and)) (3 (2 that) (3 (2 he) (3 (2 's) (3 (2 going) (3 (2 to) (4 (3 (2 make) (3 (3 (2 a) (3 splash)) (2 (2 even) (3 greater)))) (2 (2 than) (2 (2 (2 (2 (1 (2 Arnold) (2 Schwarzenegger)) (2 ,)) (2 (2 Jean-Claud) (2 (2 Van) (2 Damme)))) (2 or)) (2 (2 Steven) (2 Segal))))))))))))) (2 .)))

Answer 1

每个文件之间的意义和区别是什么？txt/dev.txt/test.txt？

这是标准的机器学习术语。火车套是用来（出其不意地）训练一个模型的。开发集用于优化模型可能具有的任何参数。您通常要做的是选择一个参数值，在训练集上训练一个模型，然后检查训练的模型在开发集上的表现如何。然后选择另一个参数值并重复。此过程帮助您为模型找到合理的参数值。

完成后，您将继续测试模型在测试集上的表现。这是看不见的--您的模型以前从未遇到过任何这样的数据。测试集与培训和开发集是分开的，这一点很重要，否则您将根据以前看到的数据有效地评估模型。这将是错误的，因为它不会给你一个模型有多好的想法。

(4 
    (4 
        (2 A) 
        (4 
            (3 (3 warm) (2 ,)) (3 funny)
        )
    ) 
    (3 
        (2 ,) 
        (3 
            (4 (4 engaging) (2 film)) (2 .)
        )
    )
)