lucene在项目中真实使用

￡神魔★判官ぃ 2022-08-22 01:27 413阅读 0赞

开源全文搜索工具包Lucene3.0.1的使用。

项目环境Struts2 (2.18)+Hibernate(3.0)+Spring(2.5) JDK:1.6 IDE:myEclipse 8.5

项目需求：把站内发布的新闻进行全文解索

新闻实体News

**\[java\]**  [view plain][]   [copy][view plain]

1.  **public** **class** News \{  
2.      **private** **int** id;  
3.      /\*\*标题\*/  
4.      **private** String title;  
5.      /\*\*内容\*/  
6.      **private** String contents;  
7.  setters();  
8.  getters();  
9.  \}

新闻实体的luceneDao

**\[java\]**  [view plain][]   [copy][view plain]

1.  **package** com.hkrt.dao;  
2.    
3.  **import** com.hkrt.domain.LuceneSearchResult;  
4.  **import** com.hkrt.domain.News;  
5.  **public** **interface** NewsLuceneDao \{  
6.      **public** **static** **final** String FIELD\_ID="id";  
7.      **public** **static** **final** String FIELD\_TITLE = "title";  
8.      **public** **static** **final** String FIELD\_CONTENTS = "contents";  
9.      // 索引存放目录  
10.      **public** **static** **final** String INDEX\_DIR = Thread.currentThread().getContextClassLoader().getResource("").getPath()+"index\_dir";  
11.     /\*\* 
12.      \* 对所有文件进行重新索引 
13.      \*/  
14.     **public** **void** rebuildAllIndex();  
15.     /\*\* 
16.      \* 对指定上传文件对象进行索引并追加到已有的索引文件中 
17.      \* @param news 
18.      \*/  
19.     **public** **void** doIndexSingle(News news);  
20.     /\*\* 
21.      \* 根据关键字搜索,返回符合条件的分页数据 
22.      \* @param keyword   关键字 
23.      \* @param pageNo    起始页 
24.      \* @param pageSize  每页要显示的记录数 
25.      \* @return LuceneSearchResult对象 
26.      \*/  
27.     **public** LuceneSearchResult<News> doSeacher(String keyword, **int** pageNo,**int** pageSize);  
28.     /\*\* 
29.      \* 更新文件的索引 
30.      \* @param news 
31.      \*/  
32.     **public** **void** updateIndex(News news);  
33.     /\*\* 
34.      \* 根据文件id删除索引 
35.      \* @param id 
36.      \*/  
37.     **public** **void** deleteIndex(Integer id);  
38. \}

新闻lucene dao的实现

**\[java\]**  [view plain][]   [copy][view plain]

1.  **package** com.hkrt.dao.impl;  
2.    
3.  **import** java.io.File;  
4.  **import** java.io.IOException;  
5.  **import** java.util.ArrayList;  
6.  **import** java.util.List;  
7.  **import** org.apache.lucene.analysis.Analyzer;  
8.  **import** org.apache.lucene.analysis.standard.StandardAnalyzer;  
9.  **import** org.apache.lucene.document.Document;  
10. **import** org.apache.lucene.document.Field;  
11. **import** org.apache.lucene.index.CorruptIndexException;  
12. **import** org.apache.lucene.index.IndexReader;  
13. **import** org.apache.lucene.index.IndexWriter;  
14. **import** org.apache.lucene.index.Term;  
15. **import** org.apache.lucene.queryParser.MultiFieldQueryParser;  
16. **import** org.apache.lucene.queryParser.ParseException;  
17. **import** org.apache.lucene.search.BooleanClause;  
18. **import** org.apache.lucene.search.IndexSearcher;  
19. **import** org.apache.lucene.search.Query;  
20. **import** org.apache.lucene.search.ScoreDoc;  
21. **import** org.apache.lucene.search.TopDocs;  
22. **import** org.apache.lucene.search.highlight.Highlighter;  
23. **import** org.apache.lucene.search.highlight.InvalidTokenOffsetsException;  
24. **import** org.apache.lucene.search.highlight.QueryScorer;  
25. **import** org.apache.lucene.search.highlight.SimpleFragmenter;  
26. **import** org.apache.lucene.search.highlight.SimpleHTMLFormatter;  
27. **import** org.apache.lucene.store.Directory;  
28. **import** org.apache.lucene.store.FSDirectory;  
29. **import** org.apache.lucene.store.LockObtainFailedException;  
30. **import** org.apache.lucene.util.Version;  
31.   
32. **import** com.hkrt.dao.NewsDao;  
33. **import** com.hkrt.dao.NewsLuceneDao;  
34. **import** com.hkrt.domain.LuceneSearchResult;  
35. **import** com.hkrt.domain.News;  
36. **public** **class** NewsLuceneDaoImpl **implements** NewsLuceneDao \{  
37.     **private** NewsDao newsDao;  
38.     /\*\* 获取语法解析器 \*/  
39.     **public** Analyzer getAnalyzer() \{  
40.         **return** **new** StandardAnalyzer(Version.LUCENE\_30);  
41.     \}  
42.   
43.     /\*\* 打开索引的存放目录 \*/  
44.     **public** Directory openDirectory() \{  
45.         **try** \{  
46.             System.out.println(**new** File(INDEX\_DIR)  + "-------打开索引--------------");  
47.             **return** FSDirectory.open(**new** File(INDEX\_DIR));  
48.         \} **catch** (IOException e) \{  
49.             e.printStackTrace();  
50.         \}  
51.         **return** **null**;  
52.     \}  
53.   
54.     /\*\* 对文件的指定属性映射成域,返回文件文档对象 \*/    
55.     **public** Document createForumuploadDocument(News news) \{  
56.         Document doc = **new** Document(); // 创建一个文档对象  
57.         //id 域  
58.         Field field = **new** Field(FIELD\_ID,String.valueOf(news.getId()),Field.Store.YES, Field.Index.NOT\_ANALYZED);  
59.         doc.add(field);  
60.         // title域  
61.         Field field1 = **new** Field(FIELD\_TITLE, String.valueOf(news.getTitle()),Field.Store.YES, Field.Index.ANALYZED);  
62.         doc.add(field1);  
63.         // content域  
64.         Field field2 = **new** Field(FIELD\_CONTENTS, String.valueOf(news.getContents()), Field.Store.YES, Field.Index.ANALYZED);  
65.         doc.add(field2);  
66.         **return** doc;  
67.     \}  
68.   
69.     **public** **void** deleteIndex(Integer id) \{  
70.         IndexReader ir = **null**;    
71.         **try** \{    
72.             ir = IndexReader.open(**this**.openDirectory(), **false**);  //打开指定目录下索引文件的索引读取器    
73.             ir.deleteDocuments(**new** Term(FIELD\_ID,String.valueOf(id)));  //删除符合条件的Document    
74.         \} **catch** (IOException e) \{    
75.             e.printStackTrace();    
76.         \}**finally**\{    
77.             **if**(ir != **null**)\{    
78.                 **try** \{    
79.                     ir.close();    
80.                 \} **catch** (IOException e) \{    
81.                     e.printStackTrace();    
82.                 \}    
83.             \}    
84.         \}    
85.     \}  
86.   
87.     @Override  
88.     **public** **void** doIndexSingle(News news) \{  
89.         //创建索引写入器    
90.         IndexWriter indexWriter = **null**;  
91.         **try** \{  
92.             indexWriter = **new** IndexWriter(openDirectory(), getAnalyzer(),**false**, IndexWriter.MaxFieldLength.UNLIMITED);  
93.             Document doc = **this**.createForumuploadDocument(news);  
94.             indexWriter.addDocument(doc);  
95.             indexWriter.optimize(); // 对索引进行优化  
96.         \} **catch** (CorruptIndexException e) \{  
97.             e.printStackTrace();  
98.         \} **catch** (LockObtainFailedException e) \{  
99.             e.printStackTrace();  
100.         \} **catch** (IOException e) \{  
101.             e.printStackTrace();  
102.         \} **finally** \{  
103.             **try** \{  
104.                 **if** (indexWriter != **null**) \{  
105.                     indexWriter.close(); // 关闭IndexWriter,把内存中的数据写到文件  
106.                 \}  
107.             \} **catch** (CorruptIndexException e) \{  
108.                 e.printStackTrace();  
109.             \} **catch** (IOException e) \{  
110.                 e.printStackTrace();  
111.             \}  
112.         \}  
113.     \}  
114.   
115.     @Override  
116.     **public** LuceneSearchResult<News> doSeacher(String keyword, **int** pageNo,**int** pageSize) \{  
117.         LuceneSearchResult<News> lsr = **new** LuceneSearchResult<News>();  
118.         lsr.setPageNo(pageNo);  
119.         lsr.setPageSize(pageSize);  
120.         lsr.setKeyword(keyword);  
121.         IndexSearcher searcher = **null**;  
122.         **try** \{  
123.             // 创建一个索引搜索器  
124.             searcher = **new** IndexSearcher(**this**.openDirectory(), **true**);  
125.             // 用多域查询解析器来创建一个查询器,  
126.             Query query = MultiFieldQueryParser.parse(Version.LUCENE\_30,keyword, **new** String\[\] \{ FIELD\_TITLE, FIELD\_CONTENTS \},  
127.                     **new** BooleanClause.Occur\[\] \{BooleanClause.Occur.SHOULD,BooleanClause.Occur.SHOULD \}, **this**.getAnalyzer());  
128.             **long** begin = System.currentTimeMillis();  
129.             // 查询结集信息类  
130.             TopDocs ts = searcher.search(query, **null**, 100000);  
131.             // 获取命中的数量  
132.             lsr.setRecordCount(ts.totalHits);  
133.             // 用这个进行高亮显示，默认是<b>..</b>  
134.             SimpleHTMLFormatter simpleHTMLFormatter = **new** SimpleHTMLFormatter("<span style=color:red>", "</span>");  
135.             // 构造高亮:指定高亮的格式,指定查询评分  
136.             Highlighter highlighter = **new** Highlighter(simpleHTMLFormatter,**new** QueryScorer(query));highlighter.setTextFragmenter(**new** SimpleFragmenter(Integer.MAX\_VALUE));  
137.             // 获取匹配到的结果集  
138.             ScoreDoc\[\] hits = ts.scoreDocs;  
139.             List<News> ais = **new** ArrayList<News>();  
140.             **int** pageCount = (lsr.getRecordCount() + pageSize - 1) / pageSize; // 总页数  
141.             **int** start = 0; // 要开始返回的文档编号  
142.             **int** end = 0; // 要结束返回的文档编号  
143.             **if** (pageCount > 0) \{  
144.                 start = (pageNo - 1) \* pageSize;  
145.                 end = start + pageSize;  
146.                 **if** (pageNo == pageCount) \{ // 处理最后一页的结束文档的编号  
147.                     end = start + (lsr.getRecordCount() % pageSize);  
148.                 \}  
149.             \}  
150.             **if** (start < end) \{  
151.                 lsr.setStratNo(start + 1);  
152.                 lsr.setEndNo(end);  
153.             \}  
154.             **for** (**int** i = start; i < end; i++) \{ // 循环获取分页数据  
155.                 // 通过内部编号从搜索器中得到对应的文档  
156.                 Document doc = searcher.doc(hits\[i\].doc);  
157.                 News news = **new** News();  
158.                 news.setTitle(doc.getField(FIELD\_TITLE).stringValue());  
159.                 news.setContents(doc.getField(FIELD\_CONTENTS).stringValue());   
160.                 // 处理文件名称的高亮显示问题  
161.                 String title = doc.getField(FIELD\_TITLE).stringValue();  
162.                 String title2 = highlighter.getBestFragment(**this**.getAnalyzer(),FIELD\_TITLE, title);  
163.                 **if** (title2 == **null**) \{  
164.                     news.setTitle(title);  
165.                 \} **else** \{  
166.                     news.setTitle(title2);  
167.                 \}  
168.                 // 文件描述高亮显示  
169.                 String contents1 = doc.getField(FIELD\_CONTENTS).stringValue();  
170.                 String contents2 = highlighter.getBestFragment(**this**.getAnalyzer(), FIELD\_CONTENTS, contents1);  
171.                 **if** (contents2 == **null**) \{  
172.                     news.setContents(contents1);  
173.                 \} **else** \{  
174.                     **if** (contents2.length() > 512) \{  
175.                         news.setContents(contents2.substring(0, 512) + "...");  
176.                     \} **else** \{  
177.                         news.setContents(contents2);  
178.                     \}  
179.                 \}  
180.                 ais.add(news); // 把符合条件的数据添加到List  
181.             \}  
182.             lsr.setTime((System.currentTimeMillis() - begin) / 1000.0); // 计算搜索耗时秒数  
183.             lsr.setDatas(ais); // 把查询到的数据添加到LuceneSearchResult  
184.         \} **catch** (IOException e) \{  
185.             e.printStackTrace();  
186.         \} **catch** (ParseException e) \{  
187.             e.printStackTrace();  
188.         \} **catch** (InvalidTokenOffsetsException e) \{  
189.             e.printStackTrace();  
190.         \} **finally** \{  
191.             **if** (searcher != **null**) \{  
192.                 **try** \{  
193.                     searcher.close(); // 关闭搜索器  
194.                 \} **catch** (Exception e) \{  
195.                     e.printStackTrace();  
196.                 \}  
197.             \}  
198.         \}  
199.         **return** lsr;  
200.     \}  
201.   
202.     @Override  
203.     **public** **void** rebuildAllIndex() \{  
204.         File file = **new** File(INDEX\_DIR);  
205.         **if** (file.exists()) \{  
206.             **for** (File subFile : file.listFiles()) \{  
207.                 subFile.delete();  
208.             \}  
209.         \} **else** \{  
210.             file.mkdirs();  
211.         \}  
212.         List<News> data = **this**.newsDao.findAll();  
213.         IndexWriter indexWriter = **null**;  
214.         **try** \{  
215.             indexWriter = **new** IndexWriter(**this**.openDirectory(), getAnalyzer(),**true**, IndexWriter.MaxFieldLength.UNLIMITED);  
216.             // 设置打开使用复合文件  
217.             // indexWriter.setUseCompoundFile(true);  
218.             **int** size = data == **null** ? 0 : data.size();  
219.             **for** (**int** i = 0; i < size; i++) \{  
220.                 News news = data.get(i);  
221.                 Document doc = createForumuploadDocument(news);  
222.                 indexWriter.addDocument(doc);  
223.                 **if** (i % 20 == 0) \{  
224.                     indexWriter.commit();  
225.                 \}  
226.             \}  
227.             indexWriter.optimize(); // 对索引进行优化  
228.         \} **catch** (CorruptIndexException e) \{  
229.             e.printStackTrace();  
230.         \} **catch** (LockObtainFailedException e) \{  
231.             e.printStackTrace();  
232.         \} **catch** (IOException e) \{  
233.             e.printStackTrace();  
234.         \} **finally** \{  
235.             **try** \{  
236.                 **if** (indexWriter != **null**) \{  
237.                     indexWriter.close();// 关闭IndexWriter,把内存中的数据写到文件  
238.                 \}  
239.             \} **catch** (CorruptIndexException e) \{  
240.                 e.printStackTrace();  
241.             \} **catch** (IOException e) \{  
242.                 e.printStackTrace();  
243.             \}  
244.         \}  
245.     \}  
246.     @Override  
247.     **public** **void** updateIndex(News news) \{  
248.         **this**.deleteIndex(news.getId());    
249.         **this**.doIndexSingle(news);    
250.     \}  
251.     **public** NewsDao getNewsDao() \{  
252.         **return** newsDao;  
253.     \}  
254.     **public** **void** setNewsDao(NewsDao newsDao) \{  
255.         **this**.newsDao = newsDao;  
256.     \}  
257. \}

对查询结果进行分页处理

**\[java\]**  [view plain][]   [copy][view plain]

1.  **package** com.hkrt.domain;  
2.  **import** java.util.List;  
3.  **public** **class** LuceneSearchResult<T> \{  
4.      **private** **int** pageNo = 1;    //当前页    
5.      **private** **int** pageSize = 5;  //每页显示记录数    
6.      **private** **int** recordCount;   //总记录数    
7.      **private** **double** time;       //耗时    
8.      **private** List<T> datas;     //当前页的数据    
9.      **private** **int** stratNo;       //开始记录数    
10.     **private** **int** endNo;         //结束记录数    
11.     **private** String keyword;    //关键字    
12.     **public** **int** getPageNo() \{    
13.     **return** pageNo;    
14.     \}    
15.     **public** **void** setPageNo(**int** pageNo) \{    
16.     **this**.pageNo = pageNo;    
17.     \}    
18.     **public** **int** getPageSize() \{    
19.     **return** pageSize;    
20.     \}    
21.     **public** **void** setPageSize(**int** pageSize) \{    
22.     **this**.pageSize = pageSize;    
23.     \}    
24.     **public** **int** getRecordCount() \{    
25.     **return** recordCount;    
26.     \}    
27.     **public** **void** setRecordCount(**int** recordCount) \{    
28.     **this**.recordCount = recordCount;    
29.     \}    
30.     **public** List<T> getDatas() \{    
31.     **return** datas;    
32.     \}    
33.     **public** **void** setDatas(List<T> datas) \{    
34.     **this**.datas = datas;    
35.     \}    
36.     **public** **double** getTime() \{    
37.     **return** time;    
38.     \}    
39.     **public** **void** setTime(**double** time) \{    
40.     **this**.time = time;    
41.     \}    
42.     **public** String getKeyword() \{    
43.     **return** keyword;    
44.     \}    
45.     **public** **void** setKeyword(String keyword) \{    
46.     **this**.keyword = keyword;    
47.     \}    
48.     **public** **int** getStratNo() \{    
49.     **return** stratNo;    
50.     \}    
51.     **public** **void** setStratNo(**int** stratNo) \{    
52.     **this**.stratNo = stratNo;    
53.     \}    
54.     **public** **int** getEndNo() \{    
55.     **return** endNo;    
56.     \}    
57.     **public** **void** setEndNo(**int** endNo) \{    
58.     **this**.endNo = endNo;    
59.     \}    
60. \}

代码已经实现对news 进行建立索引和对关键字进行索引  
lucene3.0.1 中需要的jar 包

![0_1311055315J22j.gif][]

建立索引：

![0_1311055473xsn8.gif][]

搜索页面数据展示

**\[html\]**  [view plain][]   [copy][view plain]

1.  **<****table** width="100%" height="92" border="0" cellpadding="0" cellspacing="1"**>**    
2.         **<****div** class="title"**>**搜索结果：搜索关键字【$\{lsr.keyword\}】，共搜索到【$\{lsr.recordCount \}】个文件，耗时：$\{lsr.time\}秒，当前显示$\{lsr.stratNo\}—$\{lsr.endNo\}记录**</****div****>**    
3.         **<****c:forEach** items="$\{request.lsr.datas\}" var="news"**>**    
4.          **<****tr****>**  
5.            **<****td** height="30" colspan="6" align="left" bgcolor="\#f2f2f2" class="left\_txt"**>**    
6.             $\{news.id\}    
7.            **</****td****>**  
8.            **<****td** height="30" colspan="6" align="left" bgcolor="\#f2f2f2" class="left\_txt"**>**    
9.            $\{news.title\}    
10.           **</****td****>**    
11.           **<****td** height="30" colspan="6" align="left" bgcolor="\#f2f2f2" class="left\_txt"**>**$\{news.contents\}**</****td****>**    
12.         **</****tr****>**    
13.         **</****c:forEach****>**    
14.      **</****table****>**

最终搜索结果：

![0_1311055599Kb15.gif][]

[view plain]: http://blog.csdn.net/liuc0317/article/details/6616776#
[0_1311055315J22j.gif]: /images/20220724/186b11b4f41e4fee9a950113dd4d35a8.png
[0_1311055473xsn8.gif]: /images/20220724/9a9aca49a2ce4b688674d4a9b64b1343.png
[0_1311055599Kb15.gif]: /images/20220724/e750303ac8ff450595b6de4b502cd10e.png