ElasticSearch学习一-小试牛刀

本文根据ElasticSearch官方文档整理所得,简单介绍ElasticSearch的概念以及一些简单的检索方法

首先下载ElasticSearch和Kibana到本地,注意这两个东西的版本号要一致,然后启动Kibana,打开http://localhost:5601/app/kibana即可进入GUI的管理界面,进入Dev Tools即可操作ES。

1. 索引

先看ES中,索引的两个概念:

存储数据到 Elasticsearch 的行为叫做 索引(动词) ,但在索引一个文档之前,需要确定将文档存储在哪里。

一个 Elasticsearch 集群可以包含多个索引 (名词),相应的每个索引可以包含多个类型。这些不同的类型存储着多个文档 每个文档又有多个属性* 。

可以看到上述语句不是很通顺,主要是由于这里的索引有两个意思:

  1. 名词,这里的索引就像一个数据库一样。
  2. 动词,索引(动词)一个文档就是存储一个文档到一个索引(名词)中以便它可以被检索和查询到。就像SQL中的Insert一样。

例子:

1
2
3
4
5
6
7
8
PUT /megacorp/employee/1
{
"first_name" : "John",
"last_name" : "Smith",
"age" : 25,
"about" : "I love to go rock climbing",
"interests": [ "sports", "music" ]
}

路径/megacorp/employee/1包含了三部分的信息:megacorp就是索引名称(像数据库),employee(像一张表),1(特定employee,就像标识每一行的主键)。接下来的JSON就是储存的内容了。

2.检索文档

检索文档就像HTTP请求一样,执行一个GET请求即可取回JSON文档:

GET /megacorp/employee/1

类似的GET还可以改为HEAD、DELETE等。

2.1轻量搜索

搜索所有雇员:

GET /megacorp/employee/_search

查询JSON中的任意指定字段:

GET /megacorp/employee/_search?q=last_name:Smith

使用查询表达式搜索,它支持构建更加复杂和健壮的查询,使用请求体。:

1
2
3
4
5
6
7
8
GET /megacorp/employee/_search
{
"query" : {
"match" : {
"last_name" : "Smith"
}
}
}

2.2复杂的查询:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
GET /megacorp/employee/_search
{
"query" : {
"bool": {
"must": {
"match" : {
"last_name" : "smith"
}
},
"filter": {
"range" : {
"age" : { "gt" : 30 }
}
}
}
}
}

2.3 全文搜索

全文搜索可以完成传统关系型数据库很难做到的事情,如搜索所有喜欢攀岩的雇员:

1
2
3
4
5
6
7
8
GET /megacorp/employee/_search
{
"query" : {
"match" : {
"about" : "rock climbing"
}
}
}

这似乎与之前没什么不同啊?但是请看返回结果:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
"hits": [
{
"_index": "megacorp",
"_type": "employee",
"_id": "1",
"_score": 0.53484553,
"_source": {
"first_name": "John",
"last_name": "Smith",
"age": 25,
"about": "I love to go rock climbing",
"interests": [
"sports",
"music"
]
}
},
{
"_index": "megacorp",
"_type": "employee",
"_id": "2",
"_score": 0.26742277,
"_source": {
"first_name": "Jane",
"last_name": "Smith",
"age": 32,
"about": "I like to collect rock albums",
"interests": [
"music"
]
}
}
]

Elasticsearch 默认按照相关性得分排序,即每个文档跟查询的匹配程度。第一个最高得分的结果很明显:John Smith 的 about 属性清楚地写着 “rock climbing” 。但是Jane也返回了,但是由于他的关键字里并没有完全匹配,所以他的相关性没有John的高,排在后面。而传统的关系型数据库则是要么匹配要么完全不匹配。

2.3 短语匹配

那如果我想像关系型数据库一样只匹配完全符合的怎么办呢?就是用短语匹配的查询:match_phrase

1
2
3
4
5
6
7
8
GET /megacorp/employee/_search
{
"query" : {
"match_phrase" : {
"about" : "rock climbing"
}
}
}

则只会返回完全匹配的John的文档。

2.4 分析查询

在使用聚合agg之前需要先对查询的字段加上fileddata=true,因为文档中写道

Fielddata can consume a lot of heap space, especially when loading high cardinality text fields.

fileddata会消耗大量的堆空间,所以默认是关闭的,在这里要手动打开。

1
2
3
4
5
6
7
8
9
PUT megacorp/_mapping/employee/
{
"properties": {
"interests": {
"type": "text",
"fielddata": true
}
}
}

有点像Group By:如找出Employee中最受欢迎的兴趣爱好:

1
2
3
4
5
6
7
8
GET /megacorp/employee/_search
{
"aggs": {
"all_interests": {
"terms": { "field": "interests" }
}
}
},

在输出中可以看到,每个interest按照人数排序:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
{
...
"hits": { ... },
"aggregations": {
"all_interests": {
"buckets": [
{
"key": "music",
"doc_count": 2
},
{
"key": "forestry",
"doc_count": 1
},
{
"key": "sports",
"doc_count": 1
}
]
}
}
}

这个aggs字段还可以作为query字段的子查询。如:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
GET /megacorp/employee/_search
{
"query": {
"match": {
"last_name": "smith"
}
},
"aggs": {
"all_interests": {
"terms": {
"field": "interests"
}
}
}
}

还支持分级汇总,如查询每个兴趣的员工平均年龄:

1
2
3
4
5
6
7
8
9
10
11
12
13
GET /megacorp/employee/_search
{
"aggs" : {
"all_interests" : {
"terms" : { "field" : "interests" },
"aggs" : {
"avg_age" : {
"avg" : { "field" : "age" }
}
}
}
}
}

3. 分布式特性

Elasticsearch 尽可能地屏蔽了分布式系统的复杂性。这里列举了一些在后台自动执行的操作:

  • 分配文档到不同的容器 或分片中,文档可以储存在一个或多个节点中
  • 按集群节点来均衡分配这些分片,从而对索引和搜索过程进行负载均衡
  • 复制每个分片以支持数据冗余,从而防止硬件故障导致的数据丢失
  • 将集群中任一节点的请求路由到存有相关数据的节点
  • 集群扩容时无缝整合新节点,重新分配分片以便从离群节点恢复