nlpir DeepClassify的注意点java linux版本

向右看齐 2022-04-17 20:48 254阅读 0赞

nlpir不知道大家用的多不多，其实用起来挺简单的，官网（[https://github.com/NLPIR-team/NLPIR][https_github.com_NLPIR-team_NLPIR]）的例子都有，就是要花钱，免费30天用的又不过瘾，还要定期维护。这里说一下最新版本的DeepClassify文本分类功能吧，因为新版的文本分类 java版在linux上坑挺多的，文档又少，这里我就补充点文档（仅限于linux 64 java版本，因为windows64版本是没有问题的）。

首先我们的目录结构如图所示

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2V2YWxzeXM_size_16_color_FFFFFF_t_70][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2V2YWxzeXM_size_16_color_FFFFFF_t_70 1][]

注意点：linux64下，Data目录是不一样的，需要手动添加一个DeepClassifier文件夹，并且把授权文件deepclassifier.user添加到这个文件夹下，该文件夹下的其他文件不需要管，是执行训练后自动生成的。windows64不需要这个文件夹，授权文件也只需要放到Data目录下即可

按照文档说明，先训练在分类，以下都是指linux环境下

@Test  
    public void didTrain() throws IOException \{  
        //1、训练过程--初始化  
        boolean flag = DeepClassifierLibrary.Instance.DC\_Init("", 1, 800, "");  
        if (flag) \{  
            System.out.println("deepClassifier初始化成功");  
        \} else \{  
            System.out.println("deepClassifier初始化失败：" + DeepClassifierLibrary.Instance.DC\_GetLastErrorMsg());  
            System.exit(1);  
        \}  
        //2、训练过程--遍历训练分类文本的文件夹，添加所有的训练分类文本  
        ArrayList list = FileOperateUtils.getAllFilesPath(new File("训练分类用文本"));  
        for (int i = 0; i < list.size(); i++) \{  
            File f = new File(list.get(i).toString());  
            String className = f.getParent();  
            className = className  
                    .substring(className.lastIndexOf("\\\\") + 1);  
            //将训练分类文本加载到内存中  
            String contentText = FileUtils.readFileToString(f, "utf-8");  
            DeepClassifierLibrary.Instance.DC\_AddTrain(  
                    className, contentText);  
        \}  
        //3、训练过程--开始训练  
        DeepClassifierLibrary.Instance.DC\_Train();  
        //4、训练过程--训练结束，退出  
        DeepClassifierLibrary.Instance.DC\_Exit();  
    \}

/\*\*  
     \* 分类过程  
     \* @throws IOException  
     \*/  
    @Test  
    public void didClassify() throws IOException \{   
        //1、分类过程--初始化  
        if (DeepClassifierLibrary.Instance.DC\_Init("", 1, 800, "")) \{  
            System.out.println("deepClassifier初始化成功");  
        \} else \{  
            System.out.println("deepClassifier初始化失败：" + DeepClassifierLibrary.Instance.DC\_GetLastErrorMsg());  
            System.exit(1);  
        \}  
        //2、分类过程--加载训练结果  
        DeepClassifierLibrary.Instance.DC\_LoadTrainResult();  
          
        //3、分类过程--读取待分类的文本  
        String content = FileOperateUtils.getFileContent("test.txt", "utf-8");  
          
        //4、分类过程--输出分类结果  
        System.out.println("分类结果：" + DeepClassifierLibrary.Instance.DC\_Classify(content));  
          
        //5、分类过程--退出  
        DeepClassifierLibrary.Instance.DC\_Exit();  
    \}

会发现分类结果为null,但是控制台会打印初始化成功

amd64 // 64位系统  
deepClassifier初始化成功 // 成功调用了DC\_Init

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2V2YWxzeXM_size_16_color_FFFFFF_t_70 2][]

但是根目录下会出现一个错误日志，查看github issues得知，要使用DC\_NewInstance初始化一个分类器实例

![20181108140324102.png][]

但是最坑的来了，DeepClassifierLibrary.java压根就没有这个方法好吗！！！但是我发现老版本是有的，想骂人，也就是说我下载的这个版本linux上压根跑不起来，虽然最后解决了，但是浪费了很多时间![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2V2YWxzeXM_size_16_color_FFFFFF_t_70 3][]

解决办法就是手动在DeepClassifierLibrary.java接口里面加方法，幸好的是DeepClassifier.so这个库文件里面有对应的方法，就是不知道为什么后来的版本把这些方法都删了

package com.lingjoin.deepClassify;
    
    
    import com.lingjoin.fileutil.OSinfo;
    import com.sun.jna.Library;  
    import com.sun.jna.Native;
    
    public interface DeepClassifierLibrary extends Library{
    
    		DeepClassifierLibrary Instance  = 
    				(DeepClassifierLibrary)Native.loadLibrary(OSinfo.getSysAndBit("DeepClassifier"), DeepClassifierLibrary.class);
    
    	    /**
    	     * @param sDataPath
    	     * @param encode
    	     * @param nFeatureCount 特征词，默认是800
    	     * @param sLicenceCode
    	     * @return
    	     */
    	    public boolean DC_Init(String sDataPath,int encode,int nFeatureCount,String sLicenceCode);
    	    public boolean DC_Exit();
    	    
    	    public boolean  DC_AddTrain(String sClassName,String sText);
    	    public boolean DC_AddTrainFile(String sClassName,String sFilePath);
    	    public boolean DC_AddTrain(String sClassName,String sText,Long handle);
    	    public Long DC_NewInstance(Long nFeatureCount);
    	    public boolean DC_Train(Long handle);
            public boolean  DC_Train();
            public boolean  DC_LoadTrainResult();
            public boolean DC_LoadTrainResult(Long handle);
            public String DC_Classify(String sText,Long handle);
            
            public String DC_Classify(String sText);
            public String DC_ClassifyFile(String sFilename);
            public String DC_GetLastErrorMsg();
            
            
            public static final int ENCODING_GBK = 0;
            public static final int ENCODING_UTF8 = 1;
    }

然后案例方法也得改

package com.lingjoin.deepClassify;
    
    
    import java.io.File;
    import java.io.IOException;
    import java.util.ArrayList;
    
    import org.apache.commons.io.FileUtils;
    import org.junit.Test;
    
    import com.lingjoin.fileutil.FileOperateUtils;
    
    public class DeepClassifierTest {
    	
    	
    	/**
    	 * 训练过程
    	 * @throws IOException 
    	 */
    	@Test
    	public void didTrain() throws IOException {
    		//1、训练过程--初始化
    		boolean flag = DeepClassifierLibrary.Instance.DC_Init("", 1, 800, "");
    		if (flag) {
    			System.out.println("deepClassifier初始化成功");
    		} else {
    			System.out.println("deepClassifier初始化失败：" + DeepClassifierLibrary.Instance.DC_GetLastErrorMsg());
    			System.exit(1);
    		}
    		Long DC_Handle = DeepClassifierLibrary.Instance.DC_NewInstance((long)800);
    		//2、训练过程--遍历训练分类文本的文件夹，添加所有的训练分类文本
    		ArrayList list = FileOperateUtils.getAllFilesPath(new File("训练分类用文本"));
    		for (int i = 0; i < list.size(); i++) {
    			File f = new File(list.get(i).toString());
    			String className = f.getParent();
    			className = className
    					.substring(className.lastIndexOf("/") + 1);
    			//将训练分类文本加载到内存中
    			String contentText = FileUtils.readFileToString(f, "utf-8");
    			
    			boolean dc_AddTrain = DeepClassifierLibrary.Instance.DC_AddTrain(
    					className, contentText,DC_Handle);
    			if(!dc_AddTrain){
    				System.out.println(DeepClassifierLibrary.Instance.DC_GetLastErrorMsg());
    			}
    		}
    		//3、训练过程--开始训练
    		boolean dc_Train = DeepClassifierLibrary.Instance.DC_Train(DC_Handle);
    		//4、训练过程--训练结束，退出
    		DeepClassifierLibrary.Instance.DC_Exit();
    	}
    	
    	/**
    	 * 分类过程
    	 * @throws IOException
    	 */
    	@Test
    	public void didClassify() throws IOException { 
    		//1、分类过程--初始化
    		if (DeepClassifierLibrary.Instance.DC_Init("", 1, 800, "")) {
    			System.out.println("deepClassifier初始化成功");
    		} else {
    			System.out.println("deepClassifier初始化失败：" + DeepClassifierLibrary.Instance.DC_GetLastErrorMsg());
    			System.exit(1);
    		}
    		Long DC_Handle = DeepClassifierLibrary.Instance.DC_NewInstance((long)800);
    		//2、分类过程--加载训练结果
    		DeepClassifierLibrary.Instance.DC_LoadTrainResult(DC_Handle);
    		
    		//3、分类过程--读取待分类的文本
    		String content = FileOperateUtils.getFileContent("test.txt", "utf-8");
    		
    		//4、分类过程--输出分类结果
    		System.out.println("分类结果：" + DeepClassifierLibrary.Instance.DC_Classify(content,DC_Handle));
    		
    		//5、分类过程--退出
    		DeepClassifierLibrary.Instance.DC_Exit();
    	}
    
    }

好了，这样才成功，但是我在解决的过程中当然不是一帆风顺的。。。下面在说下我遇到的坑吧，避免大家在犯错。

![20181108141723950.png][]

就是DC\_Handle必须要是对的值，不然程序就会退出，然后报下面这个错。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2V2YWxzeXM_size_16_color_FFFFFF_t_70 4][]

好了，填坑到此为止，对了，windows64下是好的，下载的例子可以直接跑，如果大家有什么问题，可以回复我，希望大家不踩坑

[https_github.com_NLPIR-team_NLPIR]: https://github.com/NLPIR-team/NLPIR
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2V2YWxzeXM_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20181108134852190.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2V2YWxzeXM=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2V2YWxzeXM_size_16_color_FFFFFF_t_70 1]: /images/20220418/21f33caaa4234dae8abbccb0476ec113.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2V2YWxzeXM_size_16_color_FFFFFF_t_70 2]: /images/20220418/397b821540eb441e84d6fb05940eb122.png
[20181108140324102.png]: /images/20220418/6276662940bb4ea7893134236ff5a8fa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2V2YWxzeXM_size_16_color_FFFFFF_t_70 3]: /images/20220418/6fb9ce455f8d4901b52440a543d1065c.png
[20181108141723950.png]: /images/20220418/8242fc0084dd4b958ccbba740ef55308.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2V2YWxzeXM_size_16_color_FFFFFF_t_70 4]: /images/20220418/b9acf64c6e6a402ebb745c30e35b3d3b.png