Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。无论在开源还是专有领域,Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。
但是,Lucene只是一个库。想要使用它,你必须使用Java来作为开发语言并将其直接集成到你的应用中,更糟糕的是,Lucene非常复杂,你需要深入了解检索的相关知识来理解它是如何工作的。
Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能,但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性,从而让全文搜索变得简单。
如果没有搜索引擎,单单凭借Mysql提供的简单搜索功能,无论在性能还是效果上都不尽如人意,继承程序猿的折腾属性,决定将自己的博客插上Elasticsearch的翅膀。
sudo apt-get update sudo apt-get install openjdk-8-jdk
下载
wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-2.3.4.deb sudo dpkg -i elasticsearch-2.3.4.deb
目前ElasticSearch的中文分词插件IK最高版本为1.9.4,兼容Elasticsearch的2.3.4版本。
安装
sudo dpkg -i elasticsearch-2.3.4.deb
开机自启动
sudo update-rc.d elasticsearch defaults 95 10 sudo service elasticsearch start
测试
curl http://localhost:9200
你如果你看到以下信息,说明你的ElasticSearch已安装成功。
{ "name" : "Peter Petruski", "cluster_name" : "elasticsearch", "version" : { "number" : "2.3.4", "build_hash" : "...(隐藏)", "build_timestamp" : "2016-06-30T11:24:31Z", "build_snapshot" : false, "lucene_version" : "5.5.0" }, "tagline" : "You Know, for Search" }
默认情况下 Elasticsearch 的 RESTful 服务只有本机才能访问,也就是说无法从主机访问虚拟机中的服务。为了方便调试,可以修改 /etc/elasticsearch/config/elasticsearch.yml
文件,加入以下两行:
network.bind_host: “0.0.0.0" network.publish_host: /_non_loopback:ipv4_
Elasticsearch原装分词器会简单地拆分每个汉字,没有根据词库来分词,这样的后果就是搜索结果很可能不是你想要的。这里推荐使用 elasticsearch-analysis-ik ,支持自定义词库。
下载
wget https://github.com/medcl/elasticsearch-analysis-ik/archive/v1.9.4.tar.gz
解压
tar -xvf elasticsearch-analysis-ik.tar.gz
使用maven打包该java项目
cd elasticsearch-analysis-ik-1.9.4 mvn package
在plugins目录下创建ik目录,并将打包好的IK插件解压到其中
mkdir /usr/share/elasticsearch/plugins/ik unzip target/releases/elasticsearch-analysis-ik-1.9.4.zip -d /usr/share/elasticsearch/plugins/ik/
elasticsearch-analysis-ik 的配置文件在 ~/{es_root}/plugins/ik/config/ik/
目录,很多都是词表,直接用文本编辑器打开就可以修改,改完记得保存为 utf-8 格式。
现在再启动 Elasticsearch 服务,如果看到类似下面这样的信息,说明 IK Analysis 插件已经装好了
plugins [analysis-ik]
在使用之前,先大概了解下ES的特点:
网上通常会将Elasticsearch和传统关系型数据库Mysql做一下类比:
MySQL | Elasticsearch |
---|---|
Database(数据库) | Index (索引) |
Table(表) | Type (类型) |
Row (行) | Document (文档) |
Column (列) | Field (字段) |
Schema (方案) | Mapping (映射) |
Index (索引) | Everything Indexed by default (所有字段都被索引) |
SQL (结构化查询语言) | Query DSL (查询专用语言) |
Elasticsearch不仅仅是全文搜索:
分布式的实时文件存储,每个字段都被索引并可被搜索
分布式的实时分析搜索引擎
可以扩展到上百台服务器,处理PB级结构化或非结构化数据
分布式、 实时 、 每个字段 、 PB级 ,有点不明觉厉~ 不要慌,刚认识不熟悉很正常,慢慢接触,自然就熟络了,stop getting off track(回归正题),想要详细认识ES,请移步 Elasticsearch权威指南 ,接下来就是一步步将ES集成进项目当中:
可以直接使用官方提供的package,由于不想花时间重复造轮子,我直接使用进一步封装的第三方package。在github上有好几个可用的,我选了 Elasticquent ,部分是因为名字和laravel的Eloquent比较搭(笑...)。Elasticquent提供了简洁好用的trait,直接集成进你的Model里,例如Article:
... use Elasticquent/ElasticquentTrait; class Article extends Model { use ElasticquentTrait; ... }
然后就可以优雅的使用Elasticsearch了,具体如何安装使用,请参考Elasticquent的说明文档。
关于Mapping(映射),我找到了一篇专门介绍它的文章( 传送们 ),通俗易懂。
文章中提到,mapping不仅告诉ES一个field中是什么类型的值, 它还告诉ES如何索引数据以及数据是否能被搜索到。
Got it! 也就是说,如果我们不配置mapping,那ES就不会知道我们是想让它按照IK的分词方式来进行索引咯~
到这里,不得不说这是一个坑,目前网上的很多资料因为使用的是老版本的ES和IK,所以index和mapping的配置一般都放在es的配置文件yml当中。但我按照那种配置方法,并没有达到预期的分词效果,ES还是简单粗暴的将汉字一个个的切开,屡败屡战折腾两天之后,终于想到试着使用Elasticquent说明文档里在Model中配置mapping的方式,果然,豁然开朗:
curl -XGET 'http://localhost:9200/_analyze?analyzer=ik&pretty=true&text=%e4%bd%a0%e5%a5%bd%e9%ba%a6%e8%82%af%e5%85%88%e7%94%9f'
{ "tokens" : [ { "token" : "你好", "start_offset" : 0, "end_offset" : 2, "type" : "CN_WORD", "position" : 0 }, { "token" : "麦", "start_offset" : 2, "end_offset" : 3, "type" : "CN_WORD", "position" : 1 }, { "token" : "肯", "start_offset" : 3, "end_offset" : 4, "type" : "CN_WORD", "position" : 2 }, { "token" : "先生", "start_offset" : 4, "end_offset" : 6, "type" : "CN_WORD", "position" : 3 }] }
附上我的mapping配置代码
protected $mappingProperties = array( 'title' => array( 'type' => 'string', 'analyzer' => 'ik_max_word' ), 'content' => array( 'type' => 'string', 'analyzer' => 'ik_max_word' ) );
可以看出,我告诉ES,我的title和content字段是string类型而且请按照ik的分词方式帮我检索。
直接使用Elasticquent提供的createIndex方法创建,如果想把现有文档全部索引,可以使用addAllToIndex方法,简单愉快。
Article::createIndex($shards = null, $replicas = null); Article::addAllToIndex();
在你的控制器里的增删改查方法中,将Elasticquent提供的相应操作索引的方法依次加上即可,完成之后,那么你对文档的操作就会同步ES的索引了。具体代码请直接移步 Elasticquent 开源项目中trait里的代码就好,这里不再贴出。
在此之前,了解过sphinx,使用过配置好的xunsearch,但真正自己从零开始研究全文搜索引擎还是头一次,中间遇到了许多坑,虽然被坑郁闷,但也感谢这些坑,毕竟越过去就会有快感。写这篇文章一来作为纪念和起点,二来希望能多少对别人有点帮助,因为我也是看过好多相关的文章才一点点将ES搭建完成,在这里感谢那些乐于分享的前辈。
当然,Elasticsearch功能很强大,各种插件各种配置,这篇文章需要完善的地方还有很多,后期会不断更新,如果文中有错误或者不严谨的地方,欢迎留言交流。
PS. 最后贴出我项目中的 Dockerfile ,方便感兴趣的同学使用。
原文链接: https://macken.me/article/elasticsearch-for-search
Elasticsearch权威指南
为你的站点插上ElasticSearch的翅膀
ElasticSearch安裝中文分詞
elasticsearch中的mapping简介
使用 Elasticsearch 实现博客站内搜索
elasticsearch-analysis-ik
Elasticquent