ElasticSearch使用小结

         最近有个业务需求，即全文搜索关键字查询列表，因而转向ES的学习，也学习了大半个月了，做个笔记，总结下自己的学习历程。

         独自学习一项新技术，总是难免走不少弯路的，在此推荐下ES的基础教程，对，好好学习官网教程就可以了！

1）  Elasticsearch: 权威指南

https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html

权威中文教程，对于英文不好的同学，读这个教程可以快速入门。

2）ElasticsearchReference  官网英文教程

https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html

真正想吃透ES还是多看英文官网文档，知识点讲的是最全面的。

ES版本选择

         说道ES版本选择，初学ES的时候，查到的大部分资料都是针对2.x版本的，本打算也是用2.x版本，但是读到ES5.x版本新特性说明的时候，果断还是选用5.x版本，因为新版ES性能比2.x版本好太多了，而且本来也想使用spring-data-elasticsearch，但是spring-data不支持5.x版本，而且ES发展势头强劲，半个月前使用的5.5.0版本，现在已经更新到5.5.1。

ES客户端请求方式

1）Java API：创建TransportClient，复杂应用推荐使用

2）Java REST Client：创建RestClient

3）http restful api：使用最原始的http请求访问

目前暂时使用的第三种，原因ES业务需求单一，不需要动态创建、删除索引，上手简单，只需要学习es rest语法就可以了。其实后期可以切换到RestClient，它是持久化http链接（使用httpClient还需要一个http连接池），特点如官方所说：

The low-level client’s features include:

minimal dependenciesload balancing across all available nodesfailover in case of node failures and upon specific response codesfailed connection penalization (whether a failed node is retrieddepends on how many consecutive times it failed; the more failed attempts thelonger the client will wait before trying that same node again)persistent connectionstrace logging of requests and responsesoptional automatic discovery of cluster nodes

ES常用插件

1）head插件

5.5使用教程：http://www.cnblogs.com/xing901022/p/6030296.html

2）ik中文分析器 – 中文分词必备，可以自定义词典

github地址：https://github.com/medcl/elasticsearch-analysis-ik

插件下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases 博主更新很及时，5.5.1的已经有啦。

3）pinyin分析器

github地址: https://github.com/medcl/elasticsearch-analysis-pinyin

ik和pinyin同一个作者，elastic中文社区创始人。

4）elasticsearch-analysis-lc-pinyin分析器

这一款插件也很不错，但是没有pinyin声势大。支持全拼、首字母、中文混合搜索。后面拼音全文搜索准备测试下效果，目前分析器使用的还是ik和pinyin。

ES集群

ES集群的配置，权威教程讲的很粗糙，当时还花了好几天返回测试，最终发现还是配置文件参数没有吃透。

Minimum Master Nodes

最小主节点数的设置对集群的稳定是非常重要的。该设置对预防脑裂是有帮助的，即一个集群中存在两个master。

这个配置就是告诉Elasticsearch除非有足够可用的master候选节点，否则就不选举master，只有有足够可用的master候选节点才进行选举。

该设置应该始终被配置为有主节点资格的法定节点数，法定节点数：（主节点资格的节点数/2)+1。例如：

1、如果你有10个符合规则的节点数，法定数就是6.

2、如果你有3个候选master，和100个数据节点，法定数就是2，你只要计算那些有主节点资格的节点数就可以了。

3、如果你有2个符合规则的节点数，法定节点数应该是2，但是这意味着如果一个节点狗带了，你的整个集群就不可以用了。设置成1将保证集群的功能，但是就不能防止脑裂了。基于这样的情况，最好的解决就是至少有3个节点。

小集群或本地测试可以不用区分master node,data node,client node。但生产环境为了保证最大的可伸缩性，官方建议不同的类型节点加以区分，默认情况的elasticsearch既是master node,也是data node。关于节点的知识，可参看转载的《Elasticsearch节点类型》。

我目前使用的集群配置：一个Client节点，3个master/data混合节点。使用RestClient可以省去一个Client节点。

创建索引、类型示例

1、创建索引与配置分析器 { "settings":{ "index":{ "number_of_shards":3, "number_of_replicas":1, "analysis":{ "analyzer":{ "ik_analyzer":{ "type":"custom", "tokenizer":"ik_smart" }, "pinyin_analyzer":{ "tokenizer":"my_pinyin" } }, "tokenizer":{ "my_pinyin":{ "type":"pinyin", "keep_original":true } } } } } } 2、创建type并设置mapping { "ProductTour":{ "properties":{ "companyId":{ "type":"integer" }, "productCode":{ "type":"keyword" }, "productType":{ "type":"text", "analyzer":"ik_analyzer", "fields":{ "pinyin":{ "type":"text", "analyzer":"pinyin_analyzer" } } }, "gType":{ "type":"keyword" }, "lineType":{ "type":"keyword" }, "productState":{ "type":"boolean" }, "auditState":{ "type":"integer" }, "productMainTitle":{ "type":"text", "analyzer":"ik_analyzer", "fields":{ "pinyin":{ "type":"text", "analyzer":"pinyin_analyzer" } } }, "productSubTitle":{ "type":"text", "analyzer":"ik_analyzer", "fields":{ "pinyin":{ "type":"text", "analyzer":"pinyin_analyzer" } } }, "supplyProductName":{ "type":"keyword" }, "productMainPic":{ "type":"keyword" }, "productPic":{ "type":"keyword" }, "dpt":{ "type":"keyword" }, "arr":{ "type":"text", "analyzer":"ik_analyzer", "fields":{ "pinyin":{ "type":"text", "analyzer":"pinyin_analyzer" } } }, "productFeatures":{ "type":"text", "analyzer":"ik_analyzer", "fields":{ "pinyin":{ "type":"text", "analyzer":"pinyin_analyzer" } } }, "tripDay":{ "type":"integer" }, "tripNight":{ "type":"integer" }, "advanceDays":{ "type":"integer" }, "auditResult":{ "type":"keyword" }, "createTime":{ "type":"date" } } } } 3、全文检索 { "from":0, "size":10, // 分页查询 "query":{ "bool":{ "must":[ { "multi_match":{ // 全文搜索 "query":"1日", // 关键词 "fields":[ // 全文搜索字段 "productType", "productMainTitle", "productSubTitle", "arr", "productFeatures" ] } } ], "filter":[ // 筛选条件 { "term":{ "productType":"themt" } } ] } } }如果关键字为字母混合汉字，全文搜索字段换成：

"fields": [ //全文搜索字段"productType.pinyin", "productMainTitle.pinyin", "productSubTitle.pinyin", "arr.pinyin", "productFeatures.pinyin" ]

使用中遇到的坑：

mapping set to strict, dynamic introduction of [doc]不可用； 使用term类型，即精确查询，字符型类型使用keyword！不能使用text； 关键字若为汉字，使用ik分词器；关键字若为拼音或拼音汉字混合，使用pinyin分词器；