luncene全文搜索引擎（中文分词）

最近在学luncene全文检索。跟着学习视频学的，推荐www.java1234.com上去学下。

关于全文检索：推荐看下全文检索的原理。这里我就不再写了，下面把利用中文分词检索查询的demo给贴出来，以供以后使用。

首先是pom文件

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.luncene.demo</groupId> <artifactId>LunceneDemo</artifactId> <packaging>war</packaging> <version>1.0-SNAPSHOT</version> <name>LunceneDemo Maven Webapp</name> <url>http://maven.apache.org</url> <dependencies> <!-- lucnene核心包 --> <dependency> <groupId>org.apache.lucene</groupId> <artifactId>lucene-core</artifactId> <version>5.5.0</version> </dependency> <!-- lucnene解析包 --> <dependency> <groupId>org.apache.lucene</groupId> <artifactId>lucene-queryparser</artifactId> <version>5.5.0</version> </dependency> <!-- lucene 公共包分析器 --> <dependency> <groupId>org.apache.lucene</groupId> <artifactId>lucene-analyzers-common</artifactId> <version>5.5.0</version> </dependency> <!-- 中文分词 --> <dependency> <groupId>org.apache.lucene</groupId> <artifactId>lucene-analyzers-smartcn</artifactId> <version>5.5.0</version> </dependency> <!-- 关键词高亮显示 --> <dependency> <groupId>org.apache.lucene</groupId> <artifactId>lucene-highlighter</artifactId> <version>5.5.0</version> </dependency> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> <scope>test</scope> </dependency> </dependencies> <build> <finalName>LunceneDemo</finalName> </build> </project>

然后是创建索引的类，这里只是根据java1234课程进行了简单的练习，大家如果需要做检索的话， 就会把数据库查询出来的结果信息可以换了。

Indexer.java

package com.java1234.luncene06; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.*; import org.apache.lucene.index.IndexWriter; import org.apache.lucene.index.IndexWriterConfig; import org.apache.lucene.store.Directory; import org.apache.lucene.store.FSDirectory; import java.nio.file.Paths; /**创建中文索引 * Created by T430 on 2017/8/2. */ public class Indexer { private Integer ids[]={1,2,3}; private String citys[]={"青岛","南京","上海"}; private String descs[]={ "青岛是一个美丽的城市", "南京是一个文化的城市南京，简称宁，是江苏省会，地处中国东部地区，长江下游，濒江近海。全市下辖11个区，总面积6597平方公里，2013年建成区面积752.83平方公里，常住人口818.78万，其中城镇人口659.1万人。[1-4] “江南佳丽地，金陵帝王州”，南京拥有着6000多年文明史、近2600年建城史和近500年的建都史，是中国四大古都之一，有“六朝古都”、“十朝都会”之称，是中华文明的重要发祥地，历史上曾数次庇佑华夏之正朔，长期是中国南方的政治、经济、文化中心，拥有厚重的文化底蕴和丰富的历史遗存。[5-7] 南京是国家重要的科教中心，自古以来就是一座崇文重教的城市，有“天下文枢”、“东南第一学”的美誉。截至2013年，南京有高等院校75所，其中211高校8所，仅次于北京上海；国家重点实验室25所、国家重点学科169个、两院院士83人，均居中国第三。[8-10] 。\",\n", "上海是一个金融城市" }; private Directory dir;//字典 /** * 获取inderWriter示例 * @return * @throws Exception */ private IndexWriter getWriter() throws Exception{ // Analyzer analyzer =new StandardAnalyzer();//标准分词器 //中文分词器 SmartChineseAnalyzer analyzer= new SmartChineseAnalyzer(); IndexWriterConfig iwc = new IndexWriterConfig(analyzer); IndexWriter writer=new IndexWriter(dir,iwc);//把分的词和字典都写入进去 return writer; } /** * 构造器 * @param indexDir 保存的地址 * @throws Exception */ private void index(String indexDir) throws Exception{ dir = FSDirectory.open(Paths.get(indexDir)); IndexWriter writer = getWriter(); for (int i = 0; i <ids.length ; i++) { Document doc=new Document();//这里选用的是luncene的document，别选错了哦 /** * 这个是把ID加进去，因为ID是int类型的，所以需要用到的是IntField，由于占的空间不大，所以选择YES保存进去 */ doc.add(new IntField("id",ids[i], Field.Store.YES)); /** * 这个是把String类型的保存进去，算是标签吧（个人理解）,所占空间不大，所以也选择YES保存进去 */ doc.add(new StringField("city",citys[i],Field.Store.YES)); /** * 这个是把内容保存进去，大字段的所以选择的是TextField */ doc.add(new TextField("desc",descs[i],Field.Store.YES)); //添加文档 writer.addDocument(doc); } writer.close();//写完以后就要关闭流，保证性能 } public static void main(String[] args) { try { new Indexer().index("E:\\lucene6"); } catch (Exception e) { e.printStackTrace(); } } } 下面就开始创建检索的类

package com.java1234.luncene06; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.TokenStream; import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Document; import org.apache.lucene.index.DirectoryReader; import org.apache.lucene.index.IndexReader; import org.apache.lucene.queryparser.classic.QueryParser; import org.apache.lucene.search.IndexSearcher; import org.apache.lucene.search.Query; import org.apache.lucene.search.ScoreDoc; import org.apache.lucene.search.TopDocs; import org.apache.lucene.search.highlight.*; import org.apache.lucene.store.Directory; import org.apache.lucene.store.FSDirectory; import java.io.StringReader; import java.nio.file.Paths; /**中文分词查询及高亮显示 * Created by T430 on 2017/8/2. */ public class Seracher { /** * 查询 * @param indexDir 索引路径 * @param q 查询用的关键词 * @throws Exception */ public static void search(String indexDir, String q) throws Exception{ Directory dir= FSDirectory.open(Paths.get(indexDir));//获取字典内容 IndexReader reader = DirectoryReader.open(dir);//读出字典 //索引查询器 IndexSearcher is= new IndexSearcher(reader); // Analyzer analyzer =new StandardAnalyzer();//标准分词器 SmartChineseAnalyzer analyzer=new SmartChineseAnalyzer();//中文分词器 //查询解析 QueryParser parser= new QueryParser("desc",analyzer); //格式化查询 Query query=parser.parse(q); //查询前的时间 long start= System.currentTimeMillis(); //查询,返回前十的文档 TopDocs hits=is.search(query,10); //查询后的时间 long end=System.currentTimeMillis(); System.out.println("匹配："+q+",中共花费了："+(end-start )+"毫秒"); QueryScorer scorer= new QueryScorer(query);//片段得分，计算得分，把得分高的片段计算出来 Fragmenter fragmenter= new SimpleSpanFragmenter(scorer);//把得分放进去，进行格式化 //设置成html的格式，默认的是粗体， 咱们可以给他改成粗体，红色 SimpleHTMLFormatter simpleHTMLFormatter= new SimpleHTMLFormatter("<b><font color='red'>","</font></b>"); Highlighter highlighter=new Highlighter(simpleHTMLFormatter,scorer);//高亮显示片段得分高的部分 highlighter.setTextFragmenter(fragmenter);//把得分的摘要设置成text显示出来 //查询到的文档 for (ScoreDoc scoreDoc: hits.scoreDocs){ //根据主键ID获取文档 Document doc= is.doc(scoreDoc.doc); System.out.println(doc.get("city"));//输出城市 String desc=doc.get("desc");//完整的desc数据 System.out.println(desc);//输出完整的desc /** * 如果查询得到的desc不为空，则进行高亮，片段显示 */ if (desc!=null){ //获取很多的片段 TokenStream tokenStream= analyzer.tokenStream("desc",new StringReader(desc)); String ZhaiYao= highlighter.getBestFragment(tokenStream,desc);//把权重高的片段摘要显示出来 System.out.println("显示高亮的关键词片段:===》"+ZhaiYao); } } reader.close();//关闭 } public static void main(String[] args) { String indexDir = "E:\\lucene6";//索引目录 String q="南京 厚重";//关键词 try { search(indexDir,q); } catch (Exception e) { e.printStackTrace(); } } }

到此为止。 一个简单的中文全文检索就做好了。 对于一般的搜索来说， 完全够用了。 大家可以对这个再进行封装。  就到这了。