MRS使用之控制impala并发度

一、impalad配置文件添加fair-scheduler.xml和llama-site.xml

备注：所有节点都需要配置，否则修改完impalad服务的--fair_scheduler_allocation_path、--llama_site_path配置后，没有该文件的节点会启动失败。

添加位置：/opt/Bigdata/MRS_2.1.1/1_17_Impalad/etc/

修改相应的权限：

chmod 600 fair-scheduler.xml chown omm:wheel llama-site.xml chmod 600 llama-site.xml chown omm:wheel llama-site.xml

Example（impalad节点4U16G）：

fair-scheduler.xml

                                    5120 mb, 0 vcores             *                               2048 mb, 0 vcores             admin                               7168 mb, 0 vcores             omm                                          

llama-site.xml

       llama.am.throttling.maximum.placed.reservations.root.development     1           llama.am.throttling.maximum.queued.reservations.root.development     2           impala.admission-control.pool-default-query-options.root.development     mem_limit=128m,query_timeout_s=20,max_io_buffers=10           impala.admission-control.pool-queue-timeout-ms.root.development     30000           impala.admission-control.max-query-mem-limit.root.development.regularPool     4026531840           impala.admission-control.min-query-mem-limit.root.development.regularPool     52428800           impala.admission-control.clamp-mem-limit-query-option.root.development.regularPool     true   

二、impalad配置文件中添加这两个文件的位置

--fair_scheduler_allocation_path：/opt/Bigdata/MRS_2.1.1/1_17_Impalad/etc/fair-scheduler.xml

--llama_site_path：/opt/Bigdata/MRS_2.1.1/1_17_Impalad/etc/llama-site.xml

修改完成后保存配置并重启服务

三、并发提交impala查询进行测试

admin用户提交到root.development队列，用法：impala-shell -i ${impalad} -f ${query_file}-Q request_pool=root.development &

llama-site.xml中的配置控制并发度

如llama-site.xml所示root.development队列running的SQL个数不超过1个，queued的SQL个数不超过2个，如上如所示，按照配置生效了。

多个队列同时存在

拦截无权限提交队列的用户

参考文档：https://impala.apache.org/docs/build/html/topics/impala_admission_config.html

MapReduce服务

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。