課程簡介
本次課程圍繞著實時計算和湖倉一體的內(nèi)容進行展開。主要涉及Flink(重點是Flink SQL)、流式數(shù)據(jù)湖Paimon的核心原理及使用，實時OLAP引擎Doris的使用、以及湖倉一體架構的核心技術選型和整體架構設計。在講解湖倉一體架構之前會系統(tǒng)分析數(shù)據(jù)倉庫的發(fā)展歷程和架構演進過程，包括離線數(shù)據(jù)倉庫架構、實時數(shù)據(jù)倉庫之Lambda架構、實時數(shù)據(jù)倉庫之Kappa架構(批流一體化)、最后到湖倉一體架構。
通過對湖倉一體架構系統(tǒng)的梳理，以及其中核心技術組件的講解，幫助學員快速掌握湖倉一體架構的應用。
目標收益
掌握Flink SQL的核心原理及使用
掌握流式數(shù)據(jù)湖技術組件Paimon的原理及使用
掌握實時OLAP引擎Doris的原理及使用
掌握數(shù)據(jù)倉庫架構的發(fā)展歷史
掌握數(shù)據(jù)倉庫(離線+實時)的架構設計
掌握湖倉一體架構的設計和實現(xiàn)
培訓對象
大數(shù)據(jù)崗位開發(fā)人員
數(shù)據(jù)分析崗位人員
課程大綱
|
第一天 (上午) 湖倉一體架構的由來 |
1 數(shù)據(jù)倉庫的起源 2 數(shù)據(jù)倉庫的發(fā)展歷程 3 離線數(shù)據(jù)倉庫架構設計 4 實時數(shù)據(jù)倉庫架構設計(Lambda和Kappa） 5 湖倉一體架構整體設計 6如何選擇數(shù)據(jù)倉庫建模方式和建模模型 7湖倉分層設計及命名規(guī)范 8湖倉數(shù)據(jù)清洗規(guī)則及注意事項 |
|
第一天 (下午) Flink SQL的核心原理及使用 |
1 Flink的核心原理及架構分析 3 Flink SQL快速理解(離線計算+實時計算) 4 Flink SQL解析引擎之Calcite分析 5 Flink SQL典型案例實戰(zhàn) 6 Flink SQL中的靜態(tài)表和動態(tài)表 7 Flink SQL常見的數(shù)據(jù)類型 8 Flink SQL中的常規(guī)列和元數(shù)據(jù)列 9 Flink SQL滾動窗口和滑動窗口的使用 10 Flink SQL中Catalog的原理及使用 |
|
第二天 (上午) Paimon原理、架構及使用 |
1 Paimon核心原理及架構 2 基于Flink SQL操作Paimon 3 Paimon中的表類型詳解 4 Paimon中的主鍵表和僅追加表 5 Changelog Producers原理及案例實戰(zhàn) 6 Merge Engines原理及案例實戰(zhàn) 7 Paimon中的Catalog和Table詳解 8 Paimon之CDC數(shù)據(jù)攝取 9 Paimon集成Hive引擎(Hive Metastore Catalog) 10 Paimon底層存儲文件深入剖析 |
|
第二天(下午) Doris原理、架構及使用 |
1 Doris的前世今生 2 Doris原理及架構分析 3 Doris中的數(shù)據(jù)類型 4 Doris中數(shù)據(jù)庫和表的操作 5 Doris中外部表的定義和使用 6 Doris數(shù)據(jù)模型詳解 7 Doris的數(shù)據(jù)導入功能 8 Flink Doris Connect的使用 |
| 湖倉一體架構的構建 | 案例分析：實時數(shù)據(jù)倉庫(湖倉一體)技術選項及架構設計 |
|
第一天 (上午) 湖倉一體架構的由來 1 數(shù)據(jù)倉庫的起源 2 數(shù)據(jù)倉庫的發(fā)展歷程 3 離線數(shù)據(jù)倉庫架構設計 4 實時數(shù)據(jù)倉庫架構設計(Lambda和Kappa） 5 湖倉一體架構整體設計 6如何選擇數(shù)據(jù)倉庫建模方式和建模模型 7湖倉分層設計及命名規(guī)范 8湖倉數(shù)據(jù)清洗規(guī)則及注意事項 |
|
第一天 (下午) Flink SQL的核心原理及使用 1 Flink的核心原理及架構分析 3 Flink SQL快速理解(離線計算+實時計算) 4 Flink SQL解析引擎之Calcite分析 5 Flink SQL典型案例實戰(zhàn) 6 Flink SQL中的靜態(tài)表和動態(tài)表 7 Flink SQL常見的數(shù)據(jù)類型 8 Flink SQL中的常規(guī)列和元數(shù)據(jù)列 9 Flink SQL滾動窗口和滑動窗口的使用 10 Flink SQL中Catalog的原理及使用 |
|
第二天 (上午) Paimon原理、架構及使用 1 Paimon核心原理及架構 2 基于Flink SQL操作Paimon 3 Paimon中的表類型詳解 4 Paimon中的主鍵表和僅追加表 5 Changelog Producers原理及案例實戰(zhàn) 6 Merge Engines原理及案例實戰(zhàn) 7 Paimon中的Catalog和Table詳解 8 Paimon之CDC數(shù)據(jù)攝取 9 Paimon集成Hive引擎(Hive Metastore Catalog) 10 Paimon底層存儲文件深入剖析 |
|
第二天(下午) Doris原理、架構及使用 1 Doris的前世今生 2 Doris原理及架構分析 3 Doris中的數(shù)據(jù)類型 4 Doris中數(shù)據(jù)庫和表的操作 5 Doris中外部表的定義和使用 6 Doris數(shù)據(jù)模型詳解 7 Doris的數(shù)據(jù)導入功能 8 Flink Doris Connect的使用 |
|
湖倉一體架構的構建 案例分析：實時數(shù)據(jù)倉庫(湖倉一體)技術選項及架構設計 |
近期公開課推薦
