課程簡介
本課程的大綱設(shè)置，注重的是Flink基礎(chǔ)和核心技術(shù)的梳理和掌握，之后會對其中幾個重要的技術(shù)點做深入分析。針對企業(yè)內(nèi)訓(xùn)的需求，我們對大綱的設(shè)置，特別增加了學(xué)以致用的實戰(zhàn)環(huán)節(jié)，讓企業(yè)學(xué)員能夠在學(xué)習(xí)完Flink技術(shù)知識后，具備將Flink應(yīng)用到實際生產(chǎn)環(huán)境中的能力，通過短時間的技術(shù)學(xué)習(xí)，為公司創(chuàng)造價值和提高技術(shù)生產(chǎn)的效率。
本課程理論和實戰(zhàn)相結(jié)合，能夠通過實踐學(xué)習(xí)Flink的核心知識點和應(yīng)用場景
本課程的最大亮點是“Flink實時數(shù)據(jù)倉庫項目實戰(zhàn)”模塊，通過真實的實時數(shù)倉項目，幫助學(xué)員能夠快速進(jìn)入Flink項目的開發(fā)。
目標(biāo)收益
-深入了解流批一體數(shù)據(jù)攝取、整合、處理和應(yīng)用的解決方案和技術(shù)體系架構(gòu)
-了解Flink的典型應(yīng)用場景和Flink在大型互聯(lián)網(wǎng)的典型應(yīng)用
-深入了解Flink技術(shù)棧的功能和應(yīng)用場景，對流批一體的解決方案和落地有深入的理解，并且能夠落地
-深入了解Flink編程模型及核心原理、DataSet API編程、DataStream API編程、Flink Table API&SQL編程、Time及Window操作、Flink 常用Connectors介紹、Flink監(jiān)控和調(diào)優(yōu)
-Flink實時數(shù)據(jù)倉庫項目實戰(zhàn)，了解實時數(shù)據(jù)倉庫的技術(shù)架構(gòu)、從數(shù)據(jù)攝取到數(shù)據(jù)展示的全鏈路數(shù)據(jù)實時處理的過程
-學(xué)員能夠自主獨立的使用Flink進(jìn)行實時數(shù)倉平臺的開發(fā)工作
培訓(xùn)對象
-大數(shù)據(jù)平臺架構(gòu)師
-一線大數(shù)據(jù)開發(fā)人員
-對Flink流批一體數(shù)據(jù)平臺感興趣的人員
課程大綱
|
第一天 流批一體架構(gòu)案例分享 |
離線數(shù)倉技術(shù)架構(gòu)和技術(shù)棧介紹 實時數(shù)倉架構(gòu)架構(gòu)和技術(shù)棧介紹 流批一體架構(gòu)的優(yōu)點 流批一體架構(gòu)解決方案 流批一體架構(gòu)技術(shù)棧詳解 流批一體數(shù)據(jù)架構(gòu)的設(shè)計 流批一體數(shù)據(jù)攝取、整合、處理和應(yīng)用的解決方案 流批一體平臺架構(gòu)在互聯(lián)的實戰(zhàn) 美團(tuán)流批一體平臺架構(gòu)分享 |
| 基于Flink流批一體數(shù)倉案例實戰(zhàn) |
滴滴基于Flink實現(xiàn)復(fù)雜事件處理的案例分享 —Flink+CEP —Flink狀態(tài)管理 —Flink運維和優(yōu)化 —Flink容錯機(jī)制 —Flink反壓機(jī)制 —Flink任務(wù)的雙鏈路備用 阿里巴巴基于Flink實時統(tǒng)計案例分享 —阿里雙十一實時架構(gòu)分享 —雙流數(shù)據(jù)Join處理 —Flink流失實倉架構(gòu)詳解 Flink CEP實時規(guī)則引擎詳解 |
| Flink 技術(shù)棧介紹 |
Flink Table API介紹 Flink SQL介紹 Flink CDC Connect介紹 Flink CEP復(fù)雜事件處理 Flink Gelly圖計算應(yīng)用 Flink ML機(jī)器學(xué)習(xí)應(yīng)用 PyFlink數(shù)據(jù)分析和挖掘介紹 Flink Metrics 與監(jiān)控 |
| Flink on yarn原理 |
Flink的運行模式介紹 Flink on standalone運行模式介紹 Flink on yarn運行模式 —Session mode模式介紹和實戰(zhàn) —Per-job mode模式介紹和實戰(zhàn) —Application mode模式和實戰(zhàn) 三種模式的優(yōu)缺點比較 |
| Flink有狀態(tài)的計算、狀態(tài)管理和容錯 |
什么是有狀態(tài)計算 有狀態(tài)計算中的數(shù)據(jù)一致性挑戰(zhàn) 理解state狀態(tài) Operator State 的使用及Redistribute Keyed State的使用與Redistribute Broadcast State的使用 Checkpoint核心原理剖析 Checkpoint使用條件及使用步驟 Checkpoint相關(guān)配置及重啟策略 Savepoint的觸發(fā)、Job恢復(fù)及刪除 |
| Flink DataStream API原理和實戰(zhàn) |
DataStream API介紹與使用 DataStream編程模型 DataStream類型與轉(zhuǎn)換 Pipeline與StreamGraph轉(zhuǎn)換 Transformation 時間概念與Watermark Windows窗口計算和多流合并 作業(yè)鏈和資源組 Asynchronous I/O異步API Asynchronous I/O異步原理 |
| Flink DataSet API介紹和實戰(zhàn) |
DataSet API，Transformation 迭代計算 廣播變量與分布式緩存 語義注解 DataSetUtils工具類 |
|
第二天 Flink Table API & SQL實戰(zhàn) |
Flink table API原理和使用 Flink SQL原理和使用 TableEnviroment原理和使用 Table Connector注冊機(jī)制和使用 TimeStamp與Watermark原理和實戰(zhàn) Temporal Tables原理實戰(zhàn) 多表關(guān)聯(lián)實戰(zhàn) 與Hive的集成實戰(zhàn) 自定義TableSource、Table Sink和Table Factory實戰(zhàn) Flink SQL Catalog原理 項目實戰(zhàn)：基于Flink SQL實現(xiàn)數(shù)據(jù)統(tǒng)計分析 |
| Flink Connector介紹和實戰(zhàn) |
Flink Connector數(shù)據(jù)源 FlinkKafkaSource序列化、消費模式 FlinkKafkaSource容錯、動態(tài)分區(qū)及topic FlinkKafkaSink序列化、配置、分區(qū)與容錯 自定義Source和Sink |
| Flink CDC介紹 |
傳統(tǒng)CDC工具介紹 CDC工具介紹和比較 Flink CDC支持的功能 基于日志CDC的數(shù)據(jù)同步流程 ETL—傳統(tǒng)CDC ETL分析 ETL—基于Flink CDC 聚合分析 Flink CDC 數(shù)據(jù)寬表 Flink SQL如何集成CDC Flink CDC 作為數(shù)據(jù)采集層的優(yōu)勢 |
| 項目實戰(zhàn)RDBMS+Kafka+Flink CDC+FlinkSQL+ES+Kibana項目實戰(zhàn) |
RDBMS+Kafka+Flink CDC+FlinkSQL+ES+Kibana項目實戰(zhàn)： Docker演示環(huán)境介紹 Flink CDC mysql實戰(zhàn) Flink CDC postgres實戰(zhàn) Flink CDC Kafka實戰(zhàn) Flink CDC ES實現(xiàn) Kibana結(jié)果展示 RDBMS+Kafka+Flink CDC+FlinkSQL+ES+Kibana完整項目實戰(zhàn) |
| Flink監(jiān)控和優(yōu)化 |
Flink Metric使用介紹 Flink RestAPI介紹和使用 Backpressure監(jiān)控與優(yōu)化 Checkpointing監(jiān)控與優(yōu)化 Flink內(nèi)存管理和優(yōu)化 窗口和事件事件調(diào)試 HistoryServer服務(wù)介紹 |
|
第一天 流批一體架構(gòu)案例分享 離線數(shù)倉技術(shù)架構(gòu)和技術(shù)棧介紹 實時數(shù)倉架構(gòu)架構(gòu)和技術(shù)棧介紹 流批一體架構(gòu)的優(yōu)點 流批一體架構(gòu)解決方案 流批一體架構(gòu)技術(shù)棧詳解 流批一體數(shù)據(jù)架構(gòu)的設(shè)計 流批一體數(shù)據(jù)攝取、整合、處理和應(yīng)用的解決方案 流批一體平臺架構(gòu)在互聯(lián)的實戰(zhàn) 美團(tuán)流批一體平臺架構(gòu)分享 |
|
基于Flink流批一體數(shù)倉案例實戰(zhàn) 滴滴基于Flink實現(xiàn)復(fù)雜事件處理的案例分享 —Flink+CEP —Flink狀態(tài)管理 —Flink運維和優(yōu)化 —Flink容錯機(jī)制 —Flink反壓機(jī)制 —Flink任務(wù)的雙鏈路備用 阿里巴巴基于Flink實時統(tǒng)計案例分享 —阿里雙十一實時架構(gòu)分享 —雙流數(shù)據(jù)Join處理 —Flink流失實倉架構(gòu)詳解 Flink CEP實時規(guī)則引擎詳解 |
|
Flink 技術(shù)棧介紹 Flink Table API介紹 Flink SQL介紹 Flink CDC Connect介紹 Flink CEP復(fù)雜事件處理 Flink Gelly圖計算應(yīng)用 Flink ML機(jī)器學(xué)習(xí)應(yīng)用 PyFlink數(shù)據(jù)分析和挖掘介紹 Flink Metrics 與監(jiān)控 |
|
Flink on yarn原理 Flink的運行模式介紹 Flink on standalone運行模式介紹 Flink on yarn運行模式 —Session mode模式介紹和實戰(zhàn) —Per-job mode模式介紹和實戰(zhàn) —Application mode模式和實戰(zhàn) 三種模式的優(yōu)缺點比較 |
|
Flink有狀態(tài)的計算、狀態(tài)管理和容錯 什么是有狀態(tài)計算 有狀態(tài)計算中的數(shù)據(jù)一致性挑戰(zhàn) 理解state狀態(tài) Operator State 的使用及Redistribute Keyed State的使用與Redistribute Broadcast State的使用 Checkpoint核心原理剖析 Checkpoint使用條件及使用步驟 Checkpoint相關(guān)配置及重啟策略 Savepoint的觸發(fā)、Job恢復(fù)及刪除 |
|
Flink DataStream API原理和實戰(zhàn) DataStream API介紹與使用 DataStream編程模型 DataStream類型與轉(zhuǎn)換 Pipeline與StreamGraph轉(zhuǎn)換 Transformation 時間概念與Watermark Windows窗口計算和多流合并 作業(yè)鏈和資源組 Asynchronous I/O異步API Asynchronous I/O異步原理 |
|
Flink DataSet API介紹和實戰(zhàn) DataSet API，Transformation 迭代計算 廣播變量與分布式緩存 語義注解 DataSetUtils工具類 |
|
第二天 Flink Table API & SQL實戰(zhàn) Flink table API原理和使用 Flink SQL原理和使用 TableEnviroment原理和使用 Table Connector注冊機(jī)制和使用 TimeStamp與Watermark原理和實戰(zhàn) Temporal Tables原理實戰(zhàn) 多表關(guān)聯(lián)實戰(zhàn) 與Hive的集成實戰(zhàn) 自定義TableSource、Table Sink和Table Factory實戰(zhàn) Flink SQL Catalog原理 項目實戰(zhàn)：基于Flink SQL實現(xiàn)數(shù)據(jù)統(tǒng)計分析 |
|
Flink Connector介紹和實戰(zhàn) Flink Connector數(shù)據(jù)源 FlinkKafkaSource序列化、消費模式 FlinkKafkaSource容錯、動態(tài)分區(qū)及topic FlinkKafkaSink序列化、配置、分區(qū)與容錯 自定義Source和Sink |
|
Flink CDC介紹 傳統(tǒng)CDC工具介紹 CDC工具介紹和比較 Flink CDC支持的功能 基于日志CDC的數(shù)據(jù)同步流程 ETL—傳統(tǒng)CDC ETL分析 ETL—基于Flink CDC 聚合分析 Flink CDC 數(shù)據(jù)寬表 Flink SQL如何集成CDC Flink CDC 作為數(shù)據(jù)采集層的優(yōu)勢 |
|
項目實戰(zhàn)RDBMS+Kafka+Flink CDC+FlinkSQL+ES+Kibana項目實戰(zhàn) RDBMS+Kafka+Flink CDC+FlinkSQL+ES+Kibana項目實戰(zhàn)： Docker演示環(huán)境介紹 Flink CDC mysql實戰(zhàn) Flink CDC postgres實戰(zhàn) Flink CDC Kafka實戰(zhàn) Flink CDC ES實現(xiàn) Kibana結(jié)果展示 RDBMS+Kafka+Flink CDC+FlinkSQL+ES+Kibana完整項目實戰(zhàn) |
|
Flink監(jiān)控和優(yōu)化 Flink Metric使用介紹 Flink RestAPI介紹和使用 Backpressure監(jiān)控與優(yōu)化 Checkpointing監(jiān)控與優(yōu)化 Flink內(nèi)存管理和優(yōu)化 窗口和事件事件調(diào)試 HistoryServer服務(wù)介紹 |
近期公開課推薦
