戏剧歌舞-灯饰资讯-数码资讯 -读书心得-教育资讯 -动漫资讯 -医药资讯-时尚资讯-体育资讯-医疗资讯 -人工智能-更多

当前位置:首页 >> 大数据 >> 正文

Flink 在饿了么的应用与实战

2020-07-31 05:45:19  来源:浩然生活网  

本 ppt 来自于2018年7月29日 Flink China社区线下 Meetup·上海站(8月11日将在北京进行)。

本文分享来自于易伟平 他目前在饿了么主要负责大数据平台的架构和维护,对大数据实时计算引擎Storm、Spark、Flink有一定的了解,对离线SQL on Hadoop引擎有一定的研究。

本文主要内容如下:

介绍了饿了么的平台架构实现,数据源有应用的日志、DRC、Flume/Hangout等,以Kafka作为消息中间件,计算平台Storm、Spark和Flink都有用,Storm占据2/3,Spark占据1/3,Flink目前用的比较少,存储backend涉及到redis、mysql、kafka等

目前的数据现状是每天60TB的量,集群规模为400个节点

介绍了三个计算平台各自的优缺点,以及内部应用场景;单独介绍了一致性语义问题,认为目前exactly-once=at-least-once+幂等操作(emmm,我发现分享了很多基础知识)

因为饿了么现在是阿里系了嘛,所以,未来Flink的参与度要提高

来源: Hadoop技术博文