本篇内容介绍了“flink运行模式有哪些”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!
创新互联建站长期为成百上千家客户提供的网站建设服务,团队从业经验10年,关注不同地域、不同群体,并针对不同对象提供差异化的产品和服务;打造开放共赢平台,与合作伙伴共同营造健康的互联网生态环境。为华龙企业提供专业的成都做网站、成都网站制作,华龙网站改版等技术服务。拥有10多年丰富建站经验和众多成功案例,为您定制开发。
什么是flink
一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行,以内存速度和任何规模执行计算。
下载地址
历史下载地址和最新下载地址
国内地址
运行架构
计算架构:JobManager和TaskManger
JobManager主要负责调度task,协调checkpoint已经错误恢复等
TaskManger具体任务执行
计算框架
Flink SQL,原型是阿里2019开源 Blink代码。
Flink SQL定义sql语句,代码加载实现数据结构化和处理功能。
Table API:
有source和sink概念,source是输入源,sink为输出源,代码有相关sql方法,无需定义sql语句。
DataStream和DataSetAPI,纯代码实现计算,一个负责实时,一个服务批处理。
运行模式
资料
三种模式
Yarn-session 模式
Single job 模式
预先在yarn上面划分一部分资源给flink集群用,flink提交的所有任务,共用这些资源
每次提交任务,都会创建一个新的flink集群
无hadoop集群,flink自身集群运行。
本地主机计算
模式一:Local(本地)模式
模式二:Standalone(独立)模式
on yarn模式
“flink运行模式有哪些”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站,小编将为大家输出更多高质量的实用文章!
网站标题:flink运行模式有哪些
文章路径:http://lswzjz.com/article/ipiosi.html