Flink知识学习（9）

在流处理引擎之上，Flink 有以下机制：

检查点机制和状态机制：用于实现容错、有状态的处理；

水印机制：用于实现事件时钟；

窗口和触发器：用于限制计算范围，并定义呈现结果的时间。

在同一个流处理引擎之上，Flink 还存在另一套机制，用于实现高效的批处理。

用于调度和恢复的回溯法：由 Microsoft Dryad 引入，现在几乎用于所有批处理器；

用于散列和排序的特殊内存数据结构：可以在需要时，将部分数据从内存溢出到硬盘上；

优化器：尽可能地缩短生成结果的时间。

Flink的两套机制分别对应各自的API（DataStream API 和DataSet API），在创建 Flink 作业时，并不能通过将两者混合在一起来同时利用Flink的所有功能。

Flink支持两种关系型的API，Table API和SQL。这两个API都是批处理和流处理统一的API，这意味着在无边界的实时数据流和有边界的历史记录数据流上，关系型API会以相同的语义执行查询，并产生相同的结果。

Table API / SQL正在以流批统一的方式成为分析型用例的主要API。

DataStream API是数据驱动应用程序和数据管道的主要API。

API Flink

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。