白话Elasticsearch50-深入聚合数据分析之doc values机制

文章目录

概述

官网

doc value原理

（1）index-time生成

（2）核心原理与倒排索引类似

（3）性能问题：给jvm更少内存，64g服务器，给jvm最多16g

column压缩

（1）所有值相同，直接保留单值

（2）少于256个值，使用table encoding模式

（3）大于256个值，看有没有最大公约数，有就除以最大公约数，然后保留这个最大公约数

disable doc value

概述

继续跟中华石杉老师学习ES，第51篇

课程地址： https://www.roncoo.com/view/55

官网

doc_values： 戳这里

doc value原理

（1）index-time生成

PUT/POST的时候，就会生成doc value数据，也就是正排索引

（2）核心原理与倒排索引类似

正排索引，也会写入磁盘文件中，然后呢，os cache先进行缓存，以提升访问doc value正排索引的性能

如果os cache内存大小不足够放得下整个正排索引，doc value，就会将doc value的数据写入磁盘文件中。

（3）性能问题：给jvm更少内存，64g服务器，给jvm最多16g

es官方是建议，es大量是基于os cache来进行缓存和提升性能的，不建议用jvm内存来进行缓存，那样会导致一定的gc开销和oom问题。

给jvm更少的内存，给os cache更大的内存。

举个例子：64g服务器，给jvm最多16g，剩下的几十个g的内存给os cache

os cache可以提升doc value和倒排索引的缓存和查询效率

column压缩

（1）所有值相同，直接保留单值

举个例子

doc1: 100 doc2: 100 doc3: 200

1

2

3

4

5

合并相同值，100，doc1和doc2都保留一个100的标识即可

（2）少于256个值，使用table encoding模式

了解即可， table encoding 一种压缩方式

（3）大于256个值，看有没有最大公约数，有就除以最大公约数，然后保留这个最大公约数

举个例子

doc1: 36 doc2: 24

1

2

doc1: 最大公约数6, doc2: 最大公约数4 -----> 保留一个最大公约数6的标识，6也保存起来

disable doc value

如果的确不需要doc value，那么可以禁用，减少磁盘空间占用

PUT my_index { "mappings": { "my_type": { "properties": { "my_field": { "type": "keyword" "doc_values": false } } } } }

1

2

3

4

5

6

7

8

9

10

11

12

13

14

elasticsearch 数据挖掘

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。