課程簡(jiǎn)介

案例背景:
1.傳統(tǒng)大數(shù)據(jù)離線按天調(diào)度，如何通過(guò)增量生產(chǎn)解決數(shù)據(jù)高效產(chǎn)出
2.超大規(guī)模的數(shù)據(jù)upsert更新落地
3.傳統(tǒng)數(shù)倉(cāng)到湖倉(cāng)一體的平滑過(guò)渡機(jī)制

解決思路:
flink，iceberg，hudi
1、數(shù)據(jù)ETL的痛點(diǎn)
2、基于數(shù)據(jù)湖的增量ETL
3、增量Append及Upsert的實(shí)現(xiàn)
4、未來(lái)展望

成果：
引入數(shù)據(jù)湖，打造湖倉(cāng)一體，落地?cái)?shù)據(jù)從ods到dw層的湖化，包括append以及upsert類型數(shù)據(jù)

目標(biāo)收益

1.了解數(shù)據(jù)湖在數(shù)倉(cāng)體系的一些落地應(yīng)用場(chǎng)景
2.了解如何基于Flink結(jié)合Iceberg/Hudi構(gòu)建一套通用的ETL增量管道
3.了解數(shù)據(jù)在萬(wàn)億規(guī)模下如何打造高性能和高可用的綜合型ETL管道化服務(wù)

培訓(xùn)對(duì)象

課程內(nèi)容

案例方向

---

數(shù)據(jù)湖/數(shù)據(jù)中臺(tái)/用戶畫像/NLP

案例背景

---

1.傳統(tǒng)大數(shù)據(jù)離線按天調(diào)度，如何通過(guò)增量生產(chǎn)解決數(shù)據(jù)高效產(chǎn)出
2.超大規(guī)模的數(shù)據(jù)upsert更新落地
3.傳統(tǒng)數(shù)倉(cāng)到湖倉(cāng)一體的平滑過(guò)渡機(jī)制

收益

---

1.了解數(shù)據(jù)湖在數(shù)倉(cāng)體系的一些落地應(yīng)用場(chǎng)景
2.了解如何基于Flink結(jié)合Iceberg/Hudi構(gòu)建一套通用的ETL增量管道
3.了解數(shù)據(jù)在萬(wàn)億規(guī)模下如何打造高性能和高可用的綜合型ETL管道化服務(wù)

解決思路

---

flink，iceberg，hudi
1、數(shù)據(jù)ETL的痛點(diǎn)
2、基于數(shù)據(jù)湖的增量ETL
3、增量Append及Upsert的實(shí)現(xiàn)
4、未來(lái)展望

結(jié)果

---

引入數(shù)據(jù)湖，打造湖倉(cāng)一體，落地?cái)?shù)據(jù)從ods到dw層的湖化，包括append以及upsert類型數(shù)據(jù)