简单自定义中文分词功能demo

水深无声 2023-02-14 15:50 59阅读 0赞

package cn.test;
    
    import java.util.ArrayList;
    import java.util.HashSet;
    import java.util.List;
    
    public class Fenci { 
    
    	public static void main(String[] args) { 
    		String str = "我想要买房结婚生子,该怎么做?how do that,爱迪生发明了电灯泡";
    		// 1.去掉标点符号和空格
    		str = cleanPunc(str);
    		
    		// String enStr = getEn(str);
    		
    		str = str.replaceAll(" ", "");
    		// 3.中文分词
    		String[] dist = {  "想要", "买房", "结婚", "that", "爱迪", "爱迪生", "生发", "发明", "迪生" };
    		List list = new ArrayList<String>();
    		getDistByDesc(str, dist, list);
    		// [发明, 生发, 爱迪生, 爱迪, that, 结婚, 买房, 想要]
    		getDistByAsc(str, dist, list);
    		// [想要, 买房, 结婚, that, 爱迪生, 迪生, 生发, 发明]
    
    		
    		
    
    		System.out.println(str);
    		// System.out.println(enStr);
    		System.out.println(list);
    		// [发明, 生发, 爱迪生, 爱迪, that, 结婚, 买房, 想要, 想要, 买房, 结婚, that, 爱迪生, 迪生, 生发, 发明]
    		System.out.println(new HashSet<>(list));
    		// [想要, 迪生, 买房, 结婚, that, 发明, 爱迪, 爱迪生, 生发]
    	}
    
    	private static void getDistByAsc(String str, String[] dist, List list) { 
    		String temp = null;// 初始化临时字符串
    		boolean fg;
    		for (int i = 1; str.length() > 1; i++) { 
    			fg = true;
    			temp = str;//
    			for (int j = 0; j < str.length(); j++) { 
    				// temp = str;// 每次截取掉最后一个字符\
    				temp = str.substring(0, str.length() - j);
    				//System.out.println(temp);
    				if (isinDist(dist, temp)) { // 如果目标字符串在数组中
    					list.add(temp);
    					fg = false;
    					int number = temp.length();
    					// System.out.println("bb=" + str + "number" + number);
    					str = str.substring(1);// 将temp从字符串中去除
    					// System.out.println("cc=" + str);
    					// temp = str;
    					// break;
    				}
    
    			}
    
    			if (fg) { 
    				// cs2[j] = a.substring(a.length()-1,a.length());//将最后一个元素放在cs2里面
    				str = str.substring(1);// 截掉首个一个元素继续循环。
    			}
    		}
    	}
    
    	private static void getDistByDesc(String str, String[] dist, List list) { 
    		String temp = null;// 初始化临时字符串
    		boolean fg;
    		for (int i = 0; str.length() > 0; i++) { 
    			fg = true;
    			for (int j = 0; j < str.length(); j++) { 
    				temp = str.substring(j);// 每次截取掉首个字符\
    
    				if (isinDist(dist, temp)) { // 如果目标字符串在数组中
    					list.add(temp);
    					fg = false;
    					int number = temp.length();
    					str = str.substring(0, str.length() - 1);// 将temp从字符串中去除
    					// break;
    				}
    
    			}
    
    			if (fg) { 
    				str = str.substring(0, str.length() - 1);// 截掉最后一个元素继续循环。
    			}
    		}
    
    	}
    
    	// 判断目标字符串是否在对比字符串数组中
    	public static boolean isinDist(String[] dist, String temp) { 
    
    		for (int i = 0; i < dist.length; i++) { 
    			if (temp.equals(dist[i]))
    				return true;
    		}
    
    		return false;
    	}
    
    	// 去掉标点符号
    	public static String cleanPunc(String str) { 
    		
    		return str.replaceAll("[\\pP\\p{Punct} ]", "");
    	}
    
    
    }