word2vec使用过程（Java版）

这里只介绍如何使用，不介绍原理（想要了解原理的看这里）

1.下载Word2Vec（Java版地址）

2.根据自己情况准备语料库（搜狗2012全网新闻数据）

3.处理语料库。
以搜狗2012全网新闻数据为例：
(1)首先处理掉HTML标签并转为utf8编码格式：cat news_tensite_xml.dat | iconv -f gb18030 -t utf-8 -c | grep "<content>" > corpus.txt
(2)进行分词处理，这里使用的ANSJ（jar包下载地址）：

public class Test {  
    public static final String TAG_START_CONTENT = "<content>";  
    public static final String TAG_END_CONTENT = "</content>";  

    public static void main(String[] args) {  
        String temp = null ;  

        BufferedReader reader = null;  
        PrintWriter pw = null;  
        System.out.println("开始分词...");
        try {  
            //分词之前的文件路径
            File file = new File("C:/users/xxx/Desktop/xxx");
            InputStreamReader read = new InputStreamReader(new FileInputStream(file), "UTF-8");
            reader = new BufferedReader(read);
            //分词之后的文件路径
            pw = new PrintWriter("C:/users/xxx/Desktop/xxx");  
            long start = System.currentTimeMillis()  ;  
            int allCount =0 ;  
            int termcnt = 0;  
            Set<String> set = new HashSet<String>();  
            while((temp=reader.readLine())!=null){  
                temp = temp.trim();  
                if (temp.startsWith(TAG_START_CONTENT)) {  
                    int end = temp.indexOf(TAG_END_CONTENT);  
                    String content = temp.substring(TAG_START_CONTENT.length(), end);  
                    if (content.length() > 0) {  
                        allCount += content.length() ;  
                        List<Term> result = ToAnalysis.parse(content);  
                        for (Term term: result) {  
                            String item = term.getName().trim();  
                            if (item.length() > 0) {  
                                termcnt++;  
                                pw.print(item.trim() + " ");  
                                set.add(item);  
                            }  
                        }  
                        pw.println();  
                    }  
                }  
            }  
            long end = System.currentTimeMillis() ;  
            System.out.println("已完成！");
            System.out.println("共" + termcnt + "个term，" + set.size() + "个不同的词，共 "  
                    +allCount+" 个字符，每秒处理了:"+(allCount*1000.0/(end-start)));  
        } catch (IOException e) {   
            e.printStackTrace();  
        } finally {  
            if (null != reader) {  
                try {  
                    reader.close();  
                } catch (IOException e) {  
                    e.printStackTrace();  
                }  
            }  
            if (null != pw) {  
                pw.close();  
            }  
        }  
    }  
}  

4.开始训练
使用刚刚下载的Word2Vec，其中有一个Learn类，改一下里面的路径，开始训练就好。
时间可能比较长，另外，需要改一下分配给jvm的最大内存大小，不然会out of memory。
eclipse这样修改：Run->Run Configurations->Arguments，在VM arguments里面添加-Xmx3072m。这里的3072m是分配给jvm的内存的大小，根据自己需要填写数值就好。
这里有一份我训练好的模型（使用搜狗2012全网新闻数据）：
链接：http://pan.baidu.com/s/1geEyJnH 密码：wbu7

5.最后就可以直接使用训练出来的模型了：

Word2VEC vec = new Word2VEC();
//训练出来的模型的路径
vec.loadJavaModel("C:/xxx/xxx");  
String str = "哈哈";
System.out.println(vec.distance(str));