登录
专栏 0 关注 7 篇文章
Flink
Flink学习
苏州IT打工人
关注专栏
推荐文章
1 天前  /  苏州IT打工人

【征文活动】Flink教程(五)重启策略

一、前言在说Flink的重启策略有哪些之前,我们有必要先了解下Flink重启的目的和其它相关的术语,例如state、state backend和checkpoint等。如果学习新知识,上来就学它是什么?而忽略思考为什么出现它?那么学习起来会很生硬。二、Flink为何要重启?Flink在运行中处理源源不断的数据,难免有的数据会导致计算程序出异常,可能是因为进来的数据不规范或者我们的代码不严谨。在不考虑重启和状态管理时,Flink程序出现异常,那么该程序就会停止运行,那么后续的数据那就不会进行计算。

0 赞 0 评论
收藏
8 天前  /  苏州IT打工人

【征文活动】Flink教程(四)Flink窗口和时间语义

一、前言通过前面三篇博客,我们学到的,仅仅是在代码层面上能够有些实践入门。但是什么是流式处理?Flink如何实现流式处理?Flink架构是什么样的?这些问题,我们还没有答案。二、流处理术语1 延迟和吞吐对批处理而言,我们通常关心的是总执行时间(读取数据,执行计算,写回结果总共的时间)。但由于流处理的输入数据是源源不断的,所以流处理中没有总执行时间的概念。流处理需要对到来的数据尽可能快的算,同时还要很高的事件接入速率。我们用延迟和吞吐分别表示这2个方面的性能。这2个指标并非相互独立,它们是相互影响

0 赞 0 评论
收藏
10 天前  /  苏州IT打工人

【征文活动】Flink教程(三)Transformations 常用算子(下)

一、前言在上一篇博客Flink教程(二)DataStream Transformations 常用算子(上),我总结了一些基础的算子,这些算子从功能上看属于映射、过滤和聚合的类型。本篇想介绍些归约功能的算子。还有学习一门新的技术,的确需要坚持和多实践,不要急于求成。反正时间一大把,我们可以专心的学一两门技术,做到熟练至精通。不要想着学很多十八般武艺,成为所谓的全才。例如一个人比较精通Elasticsearch和Flink,那么同事遇到相关问题时也会想到来请教他。在开发会议上给出的建议也有一定的分

0 赞 0 评论
收藏
12 天前  /  苏州IT打工人

【征文活动】Flink教程(二)Transformations 常用算子(上)

一、前言算子会将一个或多个DataStream转换成一个新的DataStream。在工作中使用最多的也就这些DataStream转换算子,学好这些算子是入门Flink的必要。好在Flink的某些算子和Java8的lambda函数很像,这便于理解。下面我会先介绍Java的语法,再介绍Flink的语法,由浅入深。下面可以从图中看到DataStream和不同Stream之间,经过不同算子可以相互转换。二、Map2.1 Java Lambda的MapMap对于Stream中包含的元素使用给定的转换函数进

0 赞 0 评论
收藏
13 天前  /  苏州IT打工人

【征文活动】Flink教程(一)Flink入门

一、 前言某日看到公司内部有Flink技术分享,点进去听了后感觉公司内部真的藏龙卧虎。SDK搞活动,想了下还是重新整理Flink的知识,希望自己能以活动奖励为动力,能坚持下去。二、Flink简介官网原话:Apache Flink 是一个在无界和有界数据流上进行状态计算的框架和分布式处理引擎。这句话乍一看很拗口,什么是无界和有界数据流?什么是状态计算?作为菜B,我不在意这些细节,我把官网看看就能理解了。关于Flink那么多拗口的术语,将在后面的几篇博客好好唠嗑。2.1 什么是数据流?在自然环境中,

0 赞 0 评论
收藏