Python下如何调用NLPIR(ICTCLAS2013)分词系统
严誉
NLPIR汉语分词系统-Python下如何调用NLPIR(ICTCLAS2013)
在国内研究自然语言处理的人大概都知道ICTCLAS分词系统的大名。该系统是由张华平博士开发的基于层叠隐性马可夫链的分词系统，在中文分词领域具有领先的优势。今年一月张华平博士已经放出了最新的ICTCLAS2013分词系统，并更名为NLPIR，加入了新词发现，微博分词等功能。
在官方网站上，提供了C，Java，C#等语言的绑定。本文将介绍把最新的NLPIR分词系统与Python绑定的方法。
首先下载swig，swig可以帮助我们将C或者C++编写的DLL或者SO文件绑定到包括Python在内的多种语言。Windows下将安装包下载到一定目录下将该目录加入环境变量的path中即可使用swig（当然也可以输入完整的路径来使用swig）。可以打开命令行窗口，在里面输入swig，如果出现“Must specify an input file. Use -help for available options.”则表示一切顺利。
下面通过swig来讲NLPIR系统封装成Python的扩展。新建一个空白的目录，取名为nlpirpy_ext。首先要写的是swig的接口文件，可以参考swig文档的写法，下面就简单介绍一下：
%module NLPIR
%{
#define SWIG_FILE_WITH_INIT
#include "NLPIR.h"
%}
/*封装所有头文件中的api*/
#define POS_MAP_NUMBER 4
#define ICT_POS_MAP_FIRST 1
#define ICT_POS_MAP_SECOND 0
#define PKU_POS_MAP_SECOND 2
#define PKU_POS_MAP_FIRST 3
#define POS_SIZE 40
#define GBK_CODE 0
#define UTF8_CODE GBK_CODE+1
#define BIG5_CODE GBK_CODE+2
#define GBK_FANTI_CODE GBK_CODE+3
bool NLPIR_Init(const char * sDataPath=0,int encode=GBK_CODE);
bool NLPIR_Exit();
const char * NLPIR_ParagraphProcess(const char *sParagraph,int bPOStagged=1);
const result_t * NLPIR_ParagraphProcessA(const char *sParagraph,int *pResultCount,bool bUserDict=true);
int NLPIR_GetParagraphProcessAWordCount(const char *sParagraph);
void NLPIR_ParagraphProcessAW(int nCount,result_t * result);
double NLPIR_FileProcess(const char *sSourceFilename,const char *sResultFilename,int bPOStagged=1);
unsigned int NLPIR_ImportUserDict(const char *sFilename);
int NLPIR_AddUserWord(const char *sWord);//add by qp 2008.11.10
int NLPIR_SaveTheUsrDic();
int NLPIR_DelUsrWord(const char *sWord);
double NLPIR_GetUniProb(const char *sWord);
bool NLPIR_IsWord(const char *sWord);
const char * NLPIR_GetKeyWords(const char *sLine,int nMaxKeyLimit=50,bool bWeightOut=false);
const char * NLPIR_GetFileKeyWords(const char *sFilename,int nMaxKeyLimit=50,bool bWeightOut=false);
const char * NLPIR_GetNewWords(const char *sLine,int nMaxKeyLimit=50,bool bWeightOut=false);
const char * NLPIR_GetFileNewWords(const char *sFilename,int nMaxKeyLimit=50,bool bWeightOut=false);
unsigned long NLPIR_FingerPrint(const char *sLine);
int NLPIR_SetPOSmap(int nPOSmap);
bool NLPIR_NWI_Start();//New Word Indentification Start
int NLPIR_NWI_AddFile(const char *sFilename);
bool NLPIR_NWI_AddMem(const char *sText);
bool NLPIR_NWI_Complete();
const char * NLPIR_NWI_GetResult(bool bWeightOut=false);
unsigned int NLPIR_NWI_Result2UserDict();
%module 后面跟的是模块名，也就是Python中import后跟名字。
%{
%}中的是放头文件的地方（所以说用swig做封装的话，至少得有头文件。）
其中“#define SWIG_FILE_WITH_INIT”是说封装成扩展的时候包含python的__init__.py的内容。"#include "NLPIR.h""大家懂的。
接下来那一堆#define也就是从头文件中复制出来的，这样在封装之后这些define的内容直接可以再模块中使用。
再接下来的函数声明就是要从C文件中导出的接口了。
下面再写一个setup.bat文件，将swig和扩展接口的工作统一起来：
swig -c++ -python NLPIR.i
python setup.py build_ext --inplace
echo "Build Complete!"
pause
第一行就是swig的命令。-c++是说扩展的是C++编写的库， -python当然是说扩展为Python，NLPIR.i就是刚才写的接口文件
第二行我不懂……这是照别人写的，Python刚入门，对这些都还不太熟悉。包括接下来setup.py里面的内容也不太懂，都是依样画葫芦。大家可以参看以下这方面的教程。
'''
setup.py file for NLPIR
'''
from distutils.core import setup, Extension
NLPIR_module = Extension('_NLPIR',sources=['NLPIR_wrap.cxx'], libraries = ['NLPIR'])
setup(name = 'NLPIR',
version = '1.0',
author = 'SWIG Docs',
description = 'pyd for NLPIR',
ext_modules = [NLPIR_module],
py_modules = ['NLPIR'],
)
要注意的两点是，第一是Extension的第一个参数前一定要有个"_"这是swig的规定，souces里面的cxx代表的就是c++文件。是第一步swig自动生成的文件。
接下来在目录里放置一个空白的__init__.py文件。为的是这个扩展可以直接放到python的目录中取。
最后，讲下载好的NLPIR文件夹中的NLPIR.dll,NLPIR.h，NLPIR.lib,Data文件夹放到和刚才同样的目录下。运行setup.bat
我就是在这里遇到了很大的问题的：我的是64位的win7系统，装的是64位的Python2.7.3。首先，在运行bat文件后，第一步能成功，在第二步的时候，首先Python会去查找VS2008的编译器，因为windows Python2.7.3本身就是VS2008编译的，但我恰恰装的是VS2012Express，所以查找失败。爆出：“Unable to find vcvarsall.bat”的错误，几经周折，发现如下解决方法：直接更改C:/Python32/Lib/distutils/msvc9compiler.py文件。。。然后失败了。。然后找到了改环境变量的方法：添加"VS90COMNTOOLS"指向VS2012的环境，例如C:\Program Files\Microsoft Visual Studio 10.0\Common7\Tools\。
到此时好像更进一步了，但是又遇到了新的问题：不是正确的win32文件。然后我发现问题出在Express版本的编译器不能编译64位文件……要么安装一个1.4G的windows的东西，要么换成32位版本的python……我表示败了，还是换32版本python吧，两个版本并存好了。
重新安装python32位版，更改环境变量指向新的Python，搞定。
上述工作完成后，将文件夹拷到python安装目录下的lib\site-packages目录下，就可以直接使用该扩展了。
下面是一个文中所提到的源代码的打包下载，一个是只含上述源代码的：nlpirpy_ext原始版.7z。另一个已经通过swig封装过了，目前只支持windows python2.7.3 32位版。其他环境需要自己封装或者测试，还带有一个小的Seg.py，是进一步封装的分词器类：NLPIRPY_EXT_built版.7z。
本文就到这里了，欢迎指正：
参考文献：
1.http://www.cnblogs.com/toofooltosaysmth/archive/2011/10/21/Python_SegTools.html
2.http://www.linuxidc.com/Linux/2011-08/39722.htm
3.http://stackoverflow.com/questions/2667069/cannot-find-vcvarsall-bat-when-running-a-python-script
4.http://blog.victorjabur.com/2011/06/05/compiling-python-2-7-modules-on-windows-32-and-64-using-msvc-2008-express/
5.http://stackoverflow.com/questions/4635734/trying-to-build-the-basic-python-extension-example-fails-windows
6.http://bugs.python.org/issue7511
RELATED POSTS
在国内研究自然语言处理的人大概都知道ICTCLAS分词系统的大名。该系统是由张华平博士开发的基于层叠隐性马可夫链的分词系统，在中文分词领域具有领先的优势。今年一月张华平博士已经放出了最新的ICTCLAS2013分词系统，并更名为NLPIR，加入了新词发现，微博分词等功能。
在官方网站上，提供了C，Java，C#等语言的绑定。本文将介绍把最新的NLPIR分词系统与Python绑定的方法。
首先下载swig，swig可以帮助我们将C或者C++编写的DLL或者SO文件绑定到包括Python在内的多种语言。Windows下将安装包下载到一定目录下将该目录加入环境变量的path中即可使用swig（当然也可以输入完整的路径来使用swig）。可以打开命令行窗口，在里面输入swig，如果出现“Must specify an input file. Use -help for available options.”则表示一切顺利。
下面通过swig来讲NLPIR系统封装成Python的扩展。新建一个空白的目录，取名为nlpirpy_ext。首先要写的是swig的接口文件，可以参考swig文档的写法，下面就简单介绍一下：
%module NLPIR
%{
#define SWIG_FILE_WITH_INIT
#include "NLPIR.h"
%}
/*封装所有头文件中的api*/
#define POS_MAP_NUMBER 4
#define ICT_POS_MAP_FIRST 1
#define ICT_POS_MAP_SECOND 0
#define PKU_POS_MAP_SECOND 2
#define PKU_POS_MAP_FIRST 3
#define POS_SIZE 40
#define GBK_CODE 0
#define UTF8_CODE GBK_CODE+1
#define BIG5_CODE GBK_CODE+2
#define GBK_FANTI_CODE GBK_CODE+3
bool NLPIR_Init(const char * sDataPath=0,int encode=GBK_CODE);
bool NLPIR_Exit();
const char * NLPIR_ParagraphProcess(const char *sParagraph,int bPOStagged=1);
const result_t * NLPIR_ParagraphProcessA(const char *sParagraph,int *pResultCount,bool bUserDict=true);
int NLPIR_GetParagraphProcessAWordCount(const char *sParagraph);
void NLPIR_ParagraphProcessAW(int nCount,result_t * result);
double NLPIR_FileProcess(const char *sSourceFilename,const char *sResultFilename,int bPOStagged=1);
unsigned int NLPIR_ImportUserDict(const char *sFilename);
int NLPIR_AddUserWord(const char *sWord);//add by qp 2008.11.10
int NLPIR_SaveTheUsrDic();
int NLPIR_DelUsrWord(const char *sWord);
double NLPIR_GetUniProb(const char *sWord);
bool NLPIR_IsWord(const char *sWord);
const char * NLPIR_GetKeyWords(const char *sLine,int nMaxKeyLimit=50,bool bWeightOut=false);
const char * NLPIR_GetFileKeyWords(const char *sFilename,int nMaxKeyLimit=50,bool bWeightOut=false);
const char * NLPIR_GetNewWords(const char *sLine,int nMaxKeyLimit=50,bool bWeightOut=false);
const char * NLPIR_GetFileNewWords(const char *sFilename,int nMaxKeyLimit=50,bool bWeightOut=false);
unsigned long NLPIR_FingerPrint(const char *sLine);
int NLPIR_SetPOSmap(int nPOSmap);
bool NLPIR_NWI_Start();//New Word Indentification Start
int NLPIR_NWI_AddFile(const char *sFilename);
bool NLPIR_NWI_AddMem(const char *sText);
bool NLPIR_NWI_Complete();
const char * NLPIR_NWI_GetResult(bool bWeightOut=false);
unsigned int NLPIR_NWI_Result2UserDict();
%module 后面跟的是模块名，也就是Python中import后跟名字。
%{
%}中的是放头文件的地方（所以说用swig做封装的话，至少得有头文件。）
其中“#define SWIG_FILE_WITH_INIT”是说封装成扩展的时候包含python的__init__.py的内容。"#include "NLPIR.h""大家懂的。
接下来那一堆#define也就是从头文件中复制出来的，这样在封装之后这些define的内容直接可以再模块中使用。
再接下来的函数声明就是要从C文件中导出的接口了。
下面再写一个setup.bat文件，将swig和扩展接口的工作统一起来：
swig -c++ -python NLPIR.i
python setup.py build_ext --inplace
echo "Build Complete!"
pause
第一行就是swig的命令。-c++是说扩展的是C++编写的库， -python当然是说扩展为Python，NLPIR.i就是刚才写的接口文件
第二行我不懂……这是照别人写的，Python刚入门，对这些都还不太熟悉。包括接下来setup.py里面的内容也不太懂，都是依样画葫芦。大家可以参看以下这方面的教程。
'''
setup.py file for NLPIR
'''
from distutils.core import setup, Extension
NLPIR_module = Extension('_NLPIR',sources=['NLPIR_wrap.cxx'], libraries = ['NLPIR'])
setup(name = 'NLPIR',
version = '1.0',
author = 'SWIG Docs',
description = 'pyd for NLPIR',
ext_modules = [NLPIR_module],
py_modules = ['NLPIR'],
)
要注意的两点是，第一是Extension的第一个参数前一定要有个"_"这是swig的规定，souces里面的cxx代表的就是c++文件。是第一步swig自动生成的文件。
接下来在目录里放置一个空白的__init__.py文件。为的是这个扩展可以直接放到python的目录中取。
最后，讲下载好的NLPIR文件夹中的NLPIR.dll,NLPIR.h，NLPIR.lib,Data文件夹放到和刚才同样的目录下。运行setup.bat
我就是在这里遇到了很大的问题的：我的是64位的win7系统，装的是64位的Python2.7.3。首先，在运行bat文件后，第一步能成功，在第二步的时候，首先Python会去查找VS2008的编译器，因为windows Python2.7.3本身就是VS2008编译的，但我恰恰装的是VS2012Express，所以查找失败。爆出：“Unable to find vcvarsall.bat”的错误，几经周折，发现如下解决方法：直接更改C:/Python32/Lib/distutils/msvc9compiler.py文件。。。然后失败了。。然后找到了改环境变量的方法：添加"VS90COMNTOOLS"指向VS2012的环境，例如C:\Program Files\Microsoft Visual Studio 10.0\Common7\Tools\。
到此时好像更进一步了，但是又遇到了新的问题：不是正确的win32文件。然后我发现问题出在Express版本的编译器不能编译64位文件……要么安装一个1.4G的windows的东西，要么换成32位版本的python……我表示败了，还是换32版本python吧，两个版本并存好了。
重新安装python32位版，更改环境变量指向新的Python，搞定。
上述工作完成后，将文件夹拷到python安装目录下的lib\site-packages目录下，就可以直接使用该扩展了。
下面是一个文中所提到的源代码的打包下载，一个是只含上述源代码的：nlpirpy_ext原始版.7z。另一个已经通过swig封装过了，目前只支持windows python2.7.3 32位版。其他环境需要自己封装或者测试，还带有一个小的Seg.py，是进一步封装的分词器类：NLPIRPY_EXT_built版.7z。
本文就到这里了，欢迎指正：
参考文献：
1.http://www.cnblogs.com/toofooltosaysmth/archive/2011/10/21/Python_SegTools.html
2.http://www.linuxidc.com/Linux/2011-08/39722.htm
3.http://stackoverflow.com/questions/2667069/cannot-find-vcvarsall-bat-when-running-a-python-script
4.http://blog.victorjabur.com/2011/06/05/compiling-python-2-7-modules-on-windows-32-and-64-using-msvc-2008-express/
5.http://stackoverflow.com/questions/4635734/trying-to-build-the-basic-python-extension-example-fails-windows
6.http://bugs.python.org/issue7511
RELATED POSTS
类似资料：