課程簡(jiǎn)介
大數(shù)據(jù)平臺(tái)數(shù)據(jù)湖和數(shù)據(jù)治理
目標(biāo)收益
通過(guò)此次課程培訓(xùn)，可使學(xué)習(xí)者獲得如下收益：
1. 了解數(shù)據(jù)治理的體系架構(gòu)
2. 理解數(shù)據(jù)架構(gòu)設(shè)計(jì)與數(shù)據(jù)治理的基本知識(shí)；
2. 掌握數(shù)據(jù)建模方法，范式建模和維度建模
3. 理解數(shù)據(jù)標(biāo)準(zhǔn)化、數(shù)據(jù)質(zhì)量和元數(shù)據(jù)等如何建設(shè)，和建設(shè)中注意的問(wèn)題
4. 數(shù)據(jù)治理落地的難點(diǎn)和經(jīng)驗(yàn)分享
5. XXX銀行數(shù)據(jù)治理真實(shí)案例深度分享
培訓(xùn)對(duì)象
1、數(shù)據(jù)開發(fā)工程師
2、業(yè)務(wù)人員
3、架構(gòu)師
4、項(xiàng)目經(jīng)理
5、對(duì)數(shù)據(jù)治理趕興趣的同學(xué)
課程大綱
| 數(shù)據(jù)治理范圍 |
?大數(shù)據(jù)平臺(tái)數(shù)據(jù)建設(shè)中存在的問(wèn)題 ?數(shù)據(jù)治理面臨的挑戰(zhàn) ?數(shù)據(jù)的多元化 ?數(shù)據(jù)的復(fù)雜性 ?數(shù)據(jù)的完整性 ?數(shù)據(jù)生命周期管理 ?統(tǒng)一元數(shù)據(jù)管理 ?數(shù)據(jù)集成方法 ?數(shù)據(jù)安全 ?數(shù)據(jù)湖架構(gòu) ?基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)建模 ?RMDBS數(shù)據(jù)的增量實(shí)時(shí)同步采集 |
| 數(shù)據(jù)質(zhì)量管理 |
?數(shù)據(jù)質(zhì)量管理的范圍 ?數(shù)據(jù)質(zhì)量評(píng)估的維度 ?數(shù)據(jù)質(zhì)量的維護(hù)管理 ?數(shù)據(jù)質(zhì)量的改進(jìn)管理 ?數(shù)據(jù)質(zhì)量管理模型 ?數(shù)據(jù)質(zhì)量管理的監(jiān)控 ?案例演示 |
| 元數(shù)據(jù)管理 |
?元數(shù)據(jù)概念 ?Hadoop平臺(tái)元數(shù)據(jù)處理面臨的問(wèn)題 ?元數(shù)據(jù)注冊(cè)機(jī)制 ?元數(shù)據(jù)的統(tǒng)一管理 ?元數(shù)據(jù)一致性管理 ?數(shù)據(jù)字典的概念 ?元數(shù)據(jù)的添加和需改管理 ?基于Hadoop平臺(tái)元數(shù)據(jù)處理方案 |
| 數(shù)據(jù)生命周期管理 |
?數(shù)據(jù)質(zhì)量 ?數(shù)據(jù)標(biāo)準(zhǔn) ?數(shù)據(jù)生命周期管理的重要性 ?數(shù)據(jù)生命周期的概念 ?開源Falcon解決那些問(wèn)題 ?Falcon架構(gòu)和原理 ?Falcon實(shí)戰(zhàn) ?Falcon+HDFS、Hive實(shí)戰(zhàn) ?Falcon+Oozie實(shí)戰(zhàn) |
| 數(shù)據(jù)湖 |
?數(shù)據(jù)湖定義 ?數(shù)據(jù)湖里面數(shù)據(jù)存儲(chǔ)格式 ?數(shù)據(jù)湖實(shí)現(xiàn)的步驟 ?HDFS、Hive等實(shí)現(xiàn)數(shù)據(jù)湖 ?數(shù)據(jù)湖分區(qū)(LCRD) ?LCRD詳解 ?某大型銀行基于Hadoop的數(shù)據(jù)湖實(shí)戰(zhàn)解析 |
| 測(cè)試數(shù)據(jù)環(huán)境的搭建 |
?測(cè)試數(shù)據(jù)的準(zhǔn)備 ?測(cè)試數(shù)據(jù)的脫敏機(jī)制 ?數(shù)據(jù)脫敏的方法 ?數(shù)據(jù)關(guān)聯(lián)的脫敏機(jī)制 ?測(cè)試環(huán)境搭建的要求 ?測(cè)試環(huán)境性能的評(píng)估原則 |
| 數(shù)據(jù)倉(cāng)庫(kù)的敏捷開發(fā) |
?敏捷開發(fā)的含義 ?敏捷數(shù)據(jù)倉(cāng)庫(kù)的定義 ?為什么需要敏捷數(shù)據(jù)倉(cāng)庫(kù) ?敏捷數(shù)據(jù)倉(cāng)庫(kù)和傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的區(qū)別 ?敏捷數(shù)據(jù)倉(cāng)庫(kù)實(shí)現(xiàn)的模型 ?在Hadoop上面實(shí)現(xiàn)敏捷數(shù)據(jù)倉(cāng)庫(kù)的思路 |
| 案例分析 |
?Hadoop之上數(shù)據(jù)倉(cāng)庫(kù)案例解析 ?數(shù)據(jù)湖案例解析和演示 |
|
數(shù)據(jù)治理范圍 ?大數(shù)據(jù)平臺(tái)數(shù)據(jù)建設(shè)中存在的問(wèn)題 ?數(shù)據(jù)治理面臨的挑戰(zhàn) ?數(shù)據(jù)的多元化 ?數(shù)據(jù)的復(fù)雜性 ?數(shù)據(jù)的完整性 ?數(shù)據(jù)生命周期管理 ?統(tǒng)一元數(shù)據(jù)管理 ?數(shù)據(jù)集成方法 ?數(shù)據(jù)安全 ?數(shù)據(jù)湖架構(gòu) ?基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)建模 ?RMDBS數(shù)據(jù)的增量實(shí)時(shí)同步采集 |
|
數(shù)據(jù)質(zhì)量管理 ?數(shù)據(jù)質(zhì)量管理的范圍 ?數(shù)據(jù)質(zhì)量評(píng)估的維度 ?數(shù)據(jù)質(zhì)量的維護(hù)管理 ?數(shù)據(jù)質(zhì)量的改進(jìn)管理 ?數(shù)據(jù)質(zhì)量管理模型 ?數(shù)據(jù)質(zhì)量管理的監(jiān)控 ?案例演示 |
|
元數(shù)據(jù)管理 ?元數(shù)據(jù)概念 ?Hadoop平臺(tái)元數(shù)據(jù)處理面臨的問(wèn)題 ?元數(shù)據(jù)注冊(cè)機(jī)制 ?元數(shù)據(jù)的統(tǒng)一管理 ?元數(shù)據(jù)一致性管理 ?數(shù)據(jù)字典的概念 ?元數(shù)據(jù)的添加和需改管理 ?基于Hadoop平臺(tái)元數(shù)據(jù)處理方案 |
|
數(shù)據(jù)生命周期管理 ?數(shù)據(jù)質(zhì)量 ?數(shù)據(jù)標(biāo)準(zhǔn) ?數(shù)據(jù)生命周期管理的重要性 ?數(shù)據(jù)生命周期的概念 ?開源Falcon解決那些問(wèn)題 ?Falcon架構(gòu)和原理 ?Falcon實(shí)戰(zhàn) ?Falcon+HDFS、Hive實(shí)戰(zhàn) ?Falcon+Oozie實(shí)戰(zhàn) |
|
數(shù)據(jù)湖 ?數(shù)據(jù)湖定義 ?數(shù)據(jù)湖里面數(shù)據(jù)存儲(chǔ)格式 ?數(shù)據(jù)湖實(shí)現(xiàn)的步驟 ?HDFS、Hive等實(shí)現(xiàn)數(shù)據(jù)湖 ?數(shù)據(jù)湖分區(qū)(LCRD) ?LCRD詳解 ?某大型銀行基于Hadoop的數(shù)據(jù)湖實(shí)戰(zhàn)解析 |
|
測(cè)試數(shù)據(jù)環(huán)境的搭建 ?測(cè)試數(shù)據(jù)的準(zhǔn)備 ?測(cè)試數(shù)據(jù)的脫敏機(jī)制 ?數(shù)據(jù)脫敏的方法 ?數(shù)據(jù)關(guān)聯(lián)的脫敏機(jī)制 ?測(cè)試環(huán)境搭建的要求 ?測(cè)試環(huán)境性能的評(píng)估原則 |
|
數(shù)據(jù)倉(cāng)庫(kù)的敏捷開發(fā) ?敏捷開發(fā)的含義 ?敏捷數(shù)據(jù)倉(cāng)庫(kù)的定義 ?為什么需要敏捷數(shù)據(jù)倉(cāng)庫(kù) ?敏捷數(shù)據(jù)倉(cāng)庫(kù)和傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的區(qū)別 ?敏捷數(shù)據(jù)倉(cāng)庫(kù)實(shí)現(xiàn)的模型 ?在Hadoop上面實(shí)現(xiàn)敏捷數(shù)據(jù)倉(cāng)庫(kù)的思路 |
|
案例分析 ?Hadoop之上數(shù)據(jù)倉(cāng)庫(kù)案例解析 ?數(shù)據(jù)湖案例解析和演示 |
近期公開課推薦
