白话Elasticsearch51-深入聚合数据分析之text field聚合以及fielddata原理

网友投稿 720 2022-05-29

文章目录

概述

官网

示例

对于分词的field执行aggregation,报错

给分词的field,设置fielddata=true,可执行

使用field.keyword,对分词的field进行聚合,可执行

分词field+fielddata的工作原理

概述

继续跟中华石杉老师学习ES,第51篇

课程地址: https://www.roncoo.com/view/55

官网

fielddata: 戳这里

示例

对于分词的field执行aggregation,报错

先构造下模拟索引及数据

PUT /artisan_index { "mappings": { "artisan_type": { "properties": { "artisan_filed": { "type": "text" } } } } } PUT /artisan_index/artisan_type/1 { "artisan_filed": "artisan_1" } PUT /artisan_index/artisan_type/2 { "artisan_filed": "artisan_2" }

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

GET /artisan_index/_mapping/artisan_type

1

我们建立的 artisan_filed是text类型,默认是分词的,那么我们对该字段进行 aggs看下

GET /artisan_index/artisan_type/_search { "size": 0, "aggs": { "group_by_artisan_field": { "terms": { "field": "artisan_filed" } } } }

1

2

3

4

5

6

7

8

9

10

11

12

白话Elasticsearch51-深入聚合数据分析之text field聚合以及fielddata原理

报错如下:

{ "type": "illegal_argument_exception", "reason": "Fielddata is disabled on text fields by default. Set fielddata=true on [artisan_filed] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead." }

1

2

3

4

对分词的field,直接执行聚合操作,会报错,大概意思是说,你必须要打开fielddata,然后将正排索引数据加载到内存中,才可以对分词的field执行聚合操作,而且会消耗很大的内存 .

当然了,排序这种操作也是不行的。

给分词的field,设置fielddata=true,可执行

#删除索引 DELETE artisan_index #创建索引,设置text类型的字段的fielddata为true PUT /artisan_index { "mappings": { "artisan_type": { "properties": { "artisan_filed": { "type": "text", "fielddata": true } } } } } #模拟数据 PUT /artisan_index/artisan_type/1 { "artisan_filed": "artisan_1" } PUT /artisan_index/artisan_type/2 { "artisan_filed": "artisan_2" } #查看映射 GET /artisan_index/_mapping/artisan_type ---------------

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

# 聚合操作 GET /artisan_index/artisan_type/_search { "size": 0, "aggs": { "group_by_artisan_field": { "terms": { "field": "artisan_filed" } } } }

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

如果要对分词的field执行聚合操作,必须将fielddata设置为true

使用field.keyword,对分词的field进行聚合,可执行

#直接写入数据,让ES自动创建索引 PUT /artisan_index/artisan_type/1 { "artisan_filed": "artisan_1" } PUT /artisan_index/artisan_type/2 { "artisan_filed": "artisan_2" } #查看映射 GET /artisan_index/_mapping/artisan_type

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

# artisan_filed.keyword es内置的keyword也可以在没设置fielddata=true的情况下聚合 GET /artisan_index/artisan_type/_search { "size": 0, "aggs": { "group_by_artisan_field": { "terms": { "field": "artisan_filed.keyword" } } } }

1

2

3

4

5

6

7

8

9

10

11

12

13

artisan_filed.keyword es内置的keyword也可以在没设置fielddata=true的情况下。

当然了,如果对不分词的field执行聚合操作,直接就可以执行,不需要设置fieldata=true

分词field+fielddata的工作原理

doc value --> 不分词的所有field,可以执行聚合操作 --> 如果你的某个field不分词,那么在index-time,就会自动生成doc value --> 针对这些不分词的field执行聚合操作的时候,自动就会用doc value来执行。

分词field,是没有doc value的。。。在index-time,如果某个field是分词的,那么是不会给它建立doc value正排索引的,因为分词后,占用的空间过于大,所以默认是不支持分词field进行聚合的

分词field默认没有doc value,所以直接对分词field执行聚合操作,是会报错的

对于分词field,必须打开和使用fielddata,完全存在于纯内存中。。。结构和doc value类似。。。如果是ngram或者是大量term,那么必将占用大量的内存。。。

如果一定要对分词的field执行聚合,那么必须将fielddata=true,然后es就会在执行聚合操作的时候,现场将field对应的数据,建立一份fielddata正排索引,fielddata正排索引的结构跟doc value是类似的,但是只会将fielddata正排索引加载到内存中来,然后基于内存中的fielddata正排索引执行分词field的聚合操作

如果直接对分词field执行聚合,报错,提示让我们开启fielddata=true,告诉我们,会将fielddata uninverted index(正排索引),加载到内存,会耗费内存空间

为什么fielddata必须在内存?分词的字符串,需要按照term进行聚合,需要执行更加复杂的算法和操作,如果基于磁盘和os cache,那么性能会很差

Elasticsearch 实时流计算服务 CS 数据挖掘

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:华为云企业主机安全 3+3步开启防护
下一篇:测试面试题集锦(二)| 测试工具篇(附答案)
相关文章