Flink Solt优化需求与方案

Slot可以认为是taskmanager上面一块独立分配的资源，是taskmanager并行执行的能力的体现。Taskmanager中有两种使用slot的方法：

一个taskmanager中设置了一个slot。

一个taskmanager中设置了多个slot。

每个task slot 表示TaskManager 拥有资源的一个固定大小的子集。假如一个taskManager 有三个slot，那么它会将其管理的内存分成三份给各个slot。资源slot化意味着一个subtask 将不需要跟来自其他job 的subtask 竞争被管理的内存，取而代之的是它将拥有一定数量的内存储备。需要注意的是，这里不会涉及到CPU 的隔离，slot 目前仅用来隔离task 的受管理的内存。通过调整task slot 的数量，允许用户定义subtask 之间隔离的方式。如果一个TaskManager 一个slot，那将意味着每个task group运行在独立的JVM 中（该JVM可能是通过一个特定的容器启动的），而一个TaskManager 多个slot 意味着更多的subtask 可以共享同一个JVM。而在同一个JVM 进程中的task 将共享TCP 连接（基于多路复用）和心跳消息。它们也可能共享数据集和数据结构。因此，对于资源密集型任务（尤其是对cpu使用较为密集的）不建议使用单个taskmanager中创建多个slot使用，否则容易导致taskmanager心跳超时，出现任务失败。如果需要设置单taskmanager多slot，参考如下操作。

方式一：在配置文件中配置taskmanager.numberOfTaskSlots，通过修改提交任务的客户端配置文件中的配置flink-conf.yaml配置，如下图：将该值设置为需要调整的数值即可。

方式二：启动命令的过程中使用-ys命令传入，例如以下命令：

./flink run -m yarn-cluster -p 1 -ys 3 ../examples/streaming/WindowJoin.jar

在启动后在一个taskmanager中会启动3个slot。

设置单taskmanager多slot需要优化以下参数

参数名称

默认值

意义与调整建议

yarn.containers.vcores

1

每个taskmanager（也就是container）内部需要启动使用的vcore的数量

配置建议：与配置的slot数量相同一致

taskmanager.network.netty.server.numThreads

1（如果配置为-1，则默认跟slot数量保持一致）

Taskmanager作为服务端，并行线程数通道数量

配置建议：与配置的slot数量相同一致

taskmanager.network.netty.client.numThreads

1（如果配置为-1，则默认跟slot数量保持一致）

Taskmanager作为客户端，并行线程数通道数量

配置建议：与配置的slot数量相同一致

taskmanager.network.netty.num-arenas

1（如果配置为-1，则默认跟slot数量保持一致）

Netty域的数量

配置建议：与配置的slot数量相同一致

taskmanager.network.memory.max

1G

Netty使用的缓存数量的最大值，通常情况下随着slot数量增加，netty线程数量增加，那么缓存数据的量会越来越多此时需要增加这个缓存的数量。

配置建议：2G以上，如果

增加taskmanager的启动内存，即-yjm

跟slot数量保持一致

一个taskmanager在启动后，如果设置了多个slot，每个slot会均分启动内存

EI企业智能 Flink FusionInsight JVM

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。