工程師
互聯(lián)網(wǎng)
其他
大數(shù)據(jù)
數(shù)據(jù)挖掘
Python
SQL
數(shù)據(jù)分析
Spark
大數(shù)據(jù)平臺(tái)
推薦課程
average > 0 ? $model->average . '分' : '10.0分' ?>

數(shù)據(jù)分析技能培訓(xùn)

劉老師

某知名咨詢(xún)公司 云平臺(tái)系統(tǒng)架構(gòu)師

畢業(yè)于?連理??學(xué)
簡(jiǎn)介:
精通開(kāi)源的?數(shù)據(jù)?態(tài)技術(shù)和架構(gòu)，Hadoop、Hive、Hbase、 Spark、Flink等開(kāi)源技術(shù)棧。
有10年左右基于?數(shù)據(jù)解決?案平臺(tái)、數(shù)據(jù)架構(gòu)、數(shù)據(jù)中臺(tái)、數(shù)據(jù)治理、數(shù)據(jù)分析和挖掘的?型數(shù)據(jù)湖和數(shù)
據(jù)中臺(tái)項(xiàng)?架構(gòu)實(shí)施經(jīng)驗(yàn),
?前任職國(guó)內(nèi)知名咨詢(xún)公司，先后服務(wù)于北京?學(xué)軟件研究所、阿?巴巴、Teradata,實(shí)施過(guò)基于開(kāi)源?數(shù)據(jù)技術(shù)
棧的數(shù)據(jù)湖解決?案和實(shí)施、湖倉(cāng)?體架構(gòu)咨詢(xún)和實(shí)施、數(shù)據(jù)中臺(tái)的咨詢(xún)和設(shè)施
最近主要項(xiàng)?介紹:
某移動(dòng)?數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)和設(shè)施 (Hadoop、Spark)
四??之?的數(shù)據(jù)湖咨詢(xún)和實(shí)施
某?型商業(yè)銀?數(shù)據(jù)中臺(tái)咨詢(xún)
某銀?基于開(kāi)源?數(shù)據(jù)技術(shù)棧數(shù)據(jù)中臺(tái)的咨詢(xún)和實(shí)施
某航空公司數(shù)據(jù)平臺(tái)流批?體解決?案和實(shí)施
特長(zhǎng):
在?數(shù)據(jù)架構(gòu)、開(kāi)發(fā)、運(yùn)維和優(yōu)化、數(shù)據(jù)集成、 數(shù)據(jù)湖(Data Lake)、數(shù)據(jù)建模、數(shù)據(jù)挖掘/機(jī)器學(xué)習(xí)、數(shù)據(jù)
中臺(tái)等??有豐富經(jīng) 驗(yàn)。

畢業(yè)于?連理??學(xué) 簡(jiǎn)介: 精通開(kāi)源的?數(shù)據(jù)?態(tài)技術(shù)和架構(gòu)，Hadoop、Hive、Hbase、 Spark、Flink等開(kāi)源技術(shù)棧。 有10年左右基于?數(shù)據(jù)解決?案平臺(tái)、數(shù)據(jù)架構(gòu)、數(shù)據(jù)中臺(tái)、數(shù)據(jù)治理、數(shù)據(jù)分析和挖掘的?型數(shù)據(jù)湖和數(shù) 據(jù)中臺(tái)項(xiàng)?架構(gòu)實(shí)施經(jīng)驗(yàn), ?前任職國(guó)內(nèi)知名咨詢(xún)公司，先后服務(wù)于北京?學(xué)軟件研究所、阿?巴巴、Teradata,實(shí)施過(guò)基于開(kāi)源?數(shù)據(jù)技術(shù) 棧的數(shù)據(jù)湖解決?案和實(shí)施、湖倉(cāng)?體架構(gòu)咨詢(xún)和實(shí)施、數(shù)據(jù)中臺(tái)的咨詢(xún)和設(shè)施 最近主要項(xiàng)?介紹: 某移動(dòng)?數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)和設(shè)施 (Hadoop、Spark) 四??之?的數(shù)據(jù)湖咨詢(xún)和實(shí)施 某?型商業(yè)銀?數(shù)據(jù)中臺(tái)咨詢(xún) 某銀?基于開(kāi)源?數(shù)據(jù)技術(shù)棧數(shù)據(jù)中臺(tái)的咨詢(xún)和實(shí)施 某航空公司數(shù)據(jù)平臺(tái)流批?體解決?案和實(shí)施 特長(zhǎng): 在?數(shù)據(jù)架構(gòu)、開(kāi)發(fā)、運(yùn)維和優(yōu)化、數(shù)據(jù)集成、 數(shù)據(jù)湖(Data Lake)、數(shù)據(jù)建模、數(shù)據(jù)挖掘/機(jī)器學(xué)習(xí)、數(shù)據(jù) 中臺(tái)等??有豐富經(jīng) 驗(yàn)。

課程費(fèi)用

5800.00 /人

課程時(shí)長(zhǎng)

2天

成為教練

課程簡(jiǎn)介

數(shù)據(jù)分析技能培訓(xùn)的培訓(xùn)時(shí)長(zhǎng)為2天，培訓(xùn)內(nèi)容涵蓋數(shù)據(jù)思維的概念、特點(diǎn)、方法論和應(yīng)用價(jià)值，以及基于大數(shù)據(jù)平臺(tái)落地?cái)?shù)據(jù)思維的案例分享。此外，還介紹了數(shù)據(jù)分析和挖掘流程，包括數(shù)據(jù)取樣、探索、預(yù)處理和特征工程構(gòu)建等。在Python和Spark編程方面，學(xué)員將學(xué)習(xí)Python數(shù)據(jù)挖掘常用模塊、Numpy、pandas和Matplotlib等庫(kù)，以及Spark編程模型、RDD操作和Spark SQL原理和實(shí)踐等內(nèi)容。這些內(nèi)容將幫助學(xué)員掌握數(shù)據(jù)分析技能，提高數(shù)據(jù)處理和分析能力，為大數(shù)據(jù)時(shí)代的業(yè)務(wù)發(fā)展打下堅(jiān)實(shí)基礎(chǔ)

目標(biāo)收益

培訓(xùn)對(duì)象

課程大綱

數(shù)據(jù)分析和數(shù)據(jù)挖掘體系及方法論 ?數(shù)據(jù)思維的概念
?數(shù)據(jù)思維的特點(diǎn)
?數(shù)據(jù)思維的方法論
?數(shù)據(jù)思維的應(yīng)用價(jià)值
?數(shù)據(jù)思維的應(yīng)用流程
?數(shù)據(jù)思維的模式
— 全量數(shù)據(jù)思維
— 容錯(cuò)性思維
— 相關(guān)性思維
基于大數(shù)據(jù)平臺(tái)落地?cái)?shù)據(jù)思維的案例分享 ?數(shù)據(jù)采集
?數(shù)據(jù)存儲(chǔ)
?數(shù)據(jù)處理
?數(shù)據(jù)建模（ 數(shù)據(jù)指標(biāo)和維度）
數(shù)據(jù)分析和可視化
數(shù)據(jù)分析和挖掘流程介紹 ?數(shù)據(jù)挖掘的基本任務(wù)
?定義分析和挖掘目標(biāo)
?數(shù)據(jù)取樣
?數(shù)據(jù)探索
?單變量數(shù)據(jù)探索
?數(shù)據(jù)關(guān)聯(lián)性分析
?數(shù)據(jù)預(yù)處理
?數(shù)據(jù)特征工程構(gòu)建和選擇
?挖掘建模
模型評(píng)價(jià)
Python數(shù)據(jù)分析庫(kù)實(shí)戰(zhàn) ?Python數(shù)據(jù)挖掘常用模塊
?Numpy
?pandas
?Matplotlib
Python機(jī)器學(xué)習(xí)庫(kù)：Scikit－learn
Spark編程模型和解析 ?Spark的編程模型
?Spark編程模型解析
?Partition實(shí)現(xiàn)機(jī)制
?RDD的特點(diǎn)、操作、依賴(lài)關(guān)系
?Transformation RDD詳解
?Action RDD詳解
?Spark的累加器詳解
?Spark的廣播變量詳解
?Spark容錯(cuò)機(jī)制
—lineage和checkpoint詳解
?Spark的運(yùn)行方式
?Spark的Shuffle原理詳解
—Sort-Based原理
—Hash-Based原理
Spark Partition詳解
Spark SQL原理和實(shí)踐 ?Spark SQL原理
?Spark SQL的Catalyst優(yōu)化器
?Spark SQL內(nèi)核
?Spark SQL和Hive連接
?DataFrame和DataSet架構(gòu)
?Fataframe、DataSet和Spark SQL的比較
?SparkSQL parquet格式實(shí)戰(zhàn)
?Spark SQL的實(shí)例和編程
?Spark SQL的實(shí)例操作demo
?Spark SQL的編程
Spark SQL實(shí)操演示
PySpark原理和基礎(chǔ)操作 ?Pyspark實(shí)例創(chuàng)建
1.引入庫(kù)
2.轉(zhuǎn)換實(shí)現(xiàn)
pyspark pandas series創(chuàng)建
pyspark pandas dataframe創(chuàng)建
from_pandas轉(zhuǎn)換
Spark DataFrame轉(zhuǎn)換
?PySpark Pandas操作
1.讀取行列索引
2.內(nèi)容轉(zhuǎn)換為數(shù)組
3.DataFrame統(tǒng)計(jì)描述
4.轉(zhuǎn)置
5.排序
按行索引排序
按某列值排序
PySpark數(shù)據(jù)分析營(yíng)銷(xiāo)案例實(shí)戰(zhàn) ?一、數(shù)據(jù)概況分析
? 數(shù)據(jù)概況
? 數(shù)據(jù)清洗
?二、單變量分析
? 觀察樣本0、1的平衡性
? 觀察均值大小
? 可視化
?三、相關(guān)性分析和可視化
?四、邏輯回歸模型的建立和評(píng)估
? 模型建立
? 模型評(píng)估
? 模型優(yōu)化
?五、業(yè)務(wù)價(jià)值
?六、模型管理、發(fā)布和調(diào)用
七、MLFlow模型管理工具介紹和實(shí)戰(zhàn)
數(shù)據(jù)分析和數(shù)據(jù)挖掘體系及方法論
?數(shù)據(jù)思維的概念
?數(shù)據(jù)思維的特點(diǎn)
?數(shù)據(jù)思維的方法論
?數(shù)據(jù)思維的應(yīng)用價(jià)值
?數(shù)據(jù)思維的應(yīng)用流程
?數(shù)據(jù)思維的模式
— 全量數(shù)據(jù)思維
— 容錯(cuò)性思維
— 相關(guān)性思維
基于大數(shù)據(jù)平臺(tái)落地?cái)?shù)據(jù)思維的案例分享
?數(shù)據(jù)采集
?數(shù)據(jù)存儲(chǔ)
?數(shù)據(jù)處理
?數(shù)據(jù)建模（ 數(shù)據(jù)指標(biāo)和維度）
數(shù)據(jù)分析和可視化
數(shù)據(jù)分析和挖掘流程介紹
?數(shù)據(jù)挖掘的基本任務(wù)
?定義分析和挖掘目標(biāo)
?數(shù)據(jù)取樣
?數(shù)據(jù)探索
?單變量數(shù)據(jù)探索
?數(shù)據(jù)關(guān)聯(lián)性分析
?數(shù)據(jù)預(yù)處理
?數(shù)據(jù)特征工程構(gòu)建和選擇
?挖掘建模
模型評(píng)價(jià)
Python數(shù)據(jù)分析庫(kù)實(shí)戰(zhàn)
?Python數(shù)據(jù)挖掘常用模塊
?Numpy
?pandas
?Matplotlib
Python機(jī)器學(xué)習(xí)庫(kù)：Scikit－learn
Spark編程模型和解析
?Spark的編程模型
?Spark編程模型解析
?Partition實(shí)現(xiàn)機(jī)制
?RDD的特點(diǎn)、操作、依賴(lài)關(guān)系
?Transformation RDD詳解
?Action RDD詳解
?Spark的累加器詳解
?Spark的廣播變量詳解
?Spark容錯(cuò)機(jī)制
—lineage和checkpoint詳解
?Spark的運(yùn)行方式
?Spark的Shuffle原理詳解
—Sort-Based原理
—Hash-Based原理
Spark Partition詳解
Spark SQL原理和實(shí)踐
?Spark SQL原理
?Spark SQL的Catalyst優(yōu)化器
?Spark SQL內(nèi)核
?Spark SQL和Hive連接
?DataFrame和DataSet架構(gòu)
?Fataframe、DataSet和Spark SQL的比較
?SparkSQL parquet格式實(shí)戰(zhàn)
?Spark SQL的實(shí)例和編程
?Spark SQL的實(shí)例操作demo
?Spark SQL的編程
Spark SQL實(shí)操演示
PySpark原理和基礎(chǔ)操作
?Pyspark實(shí)例創(chuàng)建
1.引入庫(kù)
2.轉(zhuǎn)換實(shí)現(xiàn)
pyspark pandas series創(chuàng)建
pyspark pandas dataframe創(chuàng)建
from_pandas轉(zhuǎn)換
Spark DataFrame轉(zhuǎn)換
?PySpark Pandas操作
1.讀取行列索引
2.內(nèi)容轉(zhuǎn)換為數(shù)組
3.DataFrame統(tǒng)計(jì)描述
4.轉(zhuǎn)置
5.排序
按行索引排序
按某列值排序
PySpark數(shù)據(jù)分析營(yíng)銷(xiāo)案例實(shí)戰(zhàn)
?一、數(shù)據(jù)概況分析
? 數(shù)據(jù)概況
? 數(shù)據(jù)清洗
?二、單變量分析
? 觀察樣本0、1的平衡性
? 觀察均值大小
? 可視化
?三、相關(guān)性分析和可視化
?四、邏輯回歸模型的建立和評(píng)估
? 模型建立
? 模型評(píng)估
? 模型優(yōu)化
?五、業(yè)務(wù)價(jià)值
?六、模型管理、發(fā)布和調(diào)用
七、MLFlow模型管理工具介紹和實(shí)戰(zhàn)

課程費(fèi)用

5800.00 /人

課程時(shí)長(zhǎng)

2天

預(yù)約體驗(yàn)票 我要分享

近期公開(kāi)課推薦

近期公開(kāi)課推薦

活動(dòng)詳情

提交需求