課程簡介
基于互聯(lián)網(wǎng)超大規(guī)模應用為基礎的真實架構案例驅動教學;
超大規(guī)模分布式數(shù)據(jù)庫架構設計與真實案例實踐
構筑頂級能力維度模型,帶你快速成長為數(shù)據(jù)化轉型所需的復合型人才
培養(yǎng)大數(shù)據(jù)架構師從技術本質向技術管理本質的遷移能力
目標收益
培訓對象
系統(tǒng)架構師,業(yè)務架構師,云原生架構師,大數(shù)據(jù)架構師,運維架構師,DBA架構師,解決方案架構師。對分布式數(shù)據(jù)庫知識和應用感興趣的IT工作者。
課程大綱
大數(shù)據(jù)平臺架構介紹和數(shù)據(jù)處理流程(2小時) |
1.大數(shù)據(jù)架構發(fā)展從過去到現(xiàn)在以及未來技術演進 2.HDFS總體架構設計 3.MapReduce執(zhí)行流程 4.分布式資源調(diào)度器YARN深度剖析 5.Zookeeper總體設計 6.HBase生態(tài)體系結構 7.Hive體系結構 8.Spark核心知識 9.Flink核心知識 分布式內(nèi)存實時分析系統(tǒng)-Driud |
數(shù)據(jù)倉庫技術選型(5小時) |
1. Oracle ?Oracle數(shù)據(jù)庫體系結構 ?Oracle高可用架構 ?Oracle必須掌握的性能優(yōu)化工具 ?應用場景 ?案例詳解 2. MongoDB ?MongoDB體系結構 ?MongoDB高可用架構 ?MongoDB診斷及優(yōu)化實踐 ?應用場景 ?案例詳解 3. Hadoop ?Lambda架構 ?Kappa架構 ?Lambda和Kappa架構優(yōu)缺點對比 4. 建設OLAP技術可行性分析和應用場景(實時數(shù)倉和批量數(shù)倉技術選型) ?Kylin ?ClickHouse ?Doris ?Impala ?Presto Driuid |
ELK |
. Talend 2. DateStage 3. Solix 4. Sqoop 5. Flum 6. DataPipeline |
數(shù)據(jù)湖 |
. 數(shù)據(jù)湖理念介紹 2. 數(shù)據(jù)湖解決數(shù)倉痛點 3. 數(shù)據(jù)“入湖”,讓資源變資產(chǎn) |
金融大數(shù)據(jù)場景案例 |
1. OLAP平臺建設和場景實踐 2. 用戶畫像與實時數(shù)倉 3. 用戶理財購買產(chǎn)品行為 4. Hudi湖倉一體技術實踐 5. …… |
大數(shù)據(jù)平臺架構介紹和數(shù)據(jù)處理流程(2小時) 1.大數(shù)據(jù)架構發(fā)展從過去到現(xiàn)在以及未來技術演進 2.HDFS總體架構設計 3.MapReduce執(zhí)行流程 4.分布式資源調(diào)度器YARN深度剖析 5.Zookeeper總體設計 6.HBase生態(tài)體系結構 7.Hive體系結構 8.Spark核心知識 9.Flink核心知識 分布式內(nèi)存實時分析系統(tǒng)-Driud |
數(shù)據(jù)倉庫技術選型(5小時) 1. Oracle ?Oracle數(shù)據(jù)庫體系結構 ?Oracle高可用架構 ?Oracle必須掌握的性能優(yōu)化工具 ?應用場景 ?案例詳解 2. MongoDB ?MongoDB體系結構 ?MongoDB高可用架構 ?MongoDB診斷及優(yōu)化實踐 ?應用場景 ?案例詳解 3. Hadoop ?Lambda架構 ?Kappa架構 ?Lambda和Kappa架構優(yōu)缺點對比 4. 建設OLAP技術可行性分析和應用場景(實時數(shù)倉和批量數(shù)倉技術選型) ?Kylin ?ClickHouse ?Doris ?Impala ?Presto Driuid |
ELK . Talend 2. DateStage 3. Solix 4. Sqoop 5. Flum 6. DataPipeline |
數(shù)據(jù)湖 . 數(shù)據(jù)湖理念介紹 2. 數(shù)據(jù)湖解決數(shù)倉痛點 3. 數(shù)據(jù)“入湖”,讓資源變資產(chǎn) |
金融大數(shù)據(jù)場景案例 1. OLAP平臺建設和場景實踐 2. 用戶畫像與實時數(shù)倉 3. 用戶理財購買產(chǎn)品行為 4. Hudi湖倉一體技術實踐 5. …… |