flink cdc测试
时代变化太快了, 几年前有听说cdc, 没想到用起来这么方便. 不需要去了解binlong的细节, 轻轻松松实现mysql的实时感知. 不需要去做etl和数据湖, 直接flinksql支持从几个不同的数据源做sql join, 然后插入到elastisearch里. 按照以前的技术架构, 这得开发多少工作量, 现在几行简单配置就完成了. 这些搞组件开发的, 跟日常做业务crud的, 真不是一个层次的.
时代变化太快了, 几年前有听说cdc, 没想到用起来这么方便. 不需要去了解binlong的细节, 轻轻松松实现mysql的实时感知. 不需要去做etl和数据湖, 直接flinksql支持从几个不同的数据源做sql join, 然后插入到elastisearch里. 按照以前的技术架构, 这得开发多少工作量, 现在几行简单配置就完成了. 这些搞组件开发的, 跟日常做业务crud的, 真不是一个层次的.
flin官方文档的walkthrough非常给力, 仔细看完github的demo代码, 跟着文档动手操作一遍, 许多flink基础概念就有了了解, 领进门了.
最简单的安装入门
flink整体架构图
批流一体的疑问
主要是flink的成本优化, 看起来也是做了不少工程能力改造, 都是各种折腾搞出来的工作量.