大數據開發工程師培訓班:課程內容:以實際業務應用及需求場景出發,幫助企業構建大數據應用
課程體系:本課程由漸入深,整體從業務需求角度切入,倒推技術實現邏輯及架構,從數據運營指標體系的BI構建,到用戶畫像的標簽體系構建,進而實現精準營銷。
課程貫穿常用大數據平臺技術應用及實踐,通過業務、功能、技術三方架構串聯,形成完整的大數據鏈路體系。
幫助學員能夠快速熟悉業務適用場景,從而高效搭建大數據相關業務應用平臺。
掌握Linux、Java、SQL基本知識
掌握商業智能平臺構建思路
掌握常見數倉平臺架構
掌握報表開發能力、用戶畫像的原理
掌握用戶畫像系統技術架構
掌握標簽的各種加工方式
掌握精準營銷思路、flink技術架構
掌握精準營銷流程、實時數倉搭建
掌握docker的技術架構原理
熟悉docker相關命令、docker容器數據卷
熟悉docker應用部署、docker的私有倉庫相關技術
計算機、大數據等專業的高校生,想求職于大數據分析崗位
之前從事開發等技術崗想轉型業務大數據分析等待技術人群
從傳統數倉到大數據平臺轉型的數據分析人士
有一些編程基礎,之前從事傳統運營、營銷想轉行大數據分析的業務人士
希望快速在工作中應用大數據分析處理商業智能、營銷、運營等有編程基礎的人士
1章階段:BI大數據-商業智能應用
1-1商業智能、報表的商業價值
1-2商業智能、報表應用場景與現狀
1-3MySQL電商數據分析案例
2章階段:BI大數據——MySQL深度性能優化
2-1MySQL數據庫框架
2-2數據庫服務器性能
2-3數據類型優化
2-4索引優化
2-5查詢性能優化
2-6MySQL高級特性
2-7優化服務器設置
2-8可擴展的MySQL
2-9高可用性
2-10應用層優化
3章階段:BI大數據——商業智能數據架構及平臺搭建
3-1商業智能系統技術架構解講解
3-2Hadoop、Hive、Sqoop原理講解
3-3商業智能系統數據平臺搭建
3-4高速公路收費數據案例講解
4章階段:BI大數據——商業智能可視化
4-1Tableau概述&應用
4-2常用數據分析圖表制作
4-3儀表板制作
4-4BI數據分析&可視化交互
5章第二階段:標簽開發算法實戰——標簽開發一
5-1數據應用體系層級劃分
5-2大數據精準營銷架構
5-3標簽體系整體框架
5-4基礎標簽
5-5統計標簽、規則類標簽及Hive實踐
6章第二階段:標簽開發算法實戰——hive性能優化
6-1妙用Hive視圖功能
6-2Hive索引的使用
6-3使用EXPLAIN優化查詢代碼
6-4limit限制調整優化
6-5join優化
6-6調整mapper與reducer個數
7章第二階段:標簽開發算法實戰——標簽開發二
7-1scala開發環境配置
7-2值與變量
7-3常用數據類型
7-4方法定義
7-5條件表達式與循環
7-6Lazy value的應用
7-7數組、元組與Map
7-8類、抽象類、特質
7-9模式匹配、樣例類
7-10文件訪問
7-11Spark簡介
7-12SparkML簡介
7-13SparkML Piplines
7-14SparkML特征(文本)提取、轉換、加載
7-15文本提取案例:用戶評論情感標簽提取
8章第二階段:標簽開發算法實戰——標簽開發三
8-1算法標簽
8-2機器學習基礎
8-3回歸:線性回歸與SparkML特征處理
8-4分類:邏輯回歸及Spark實現
8-5聚類:Kmeans及Spark實現
8-6復雜網絡:圖計算
8-7算法實戰:營銷預測案例
9章第二階段:標簽開發算法實戰——標簽數據的存儲和查詢
9-1標簽數據的應用場景及存儲需求分析
9-2Hive、Hbase、Elasticsearch等在標簽數據存儲中的應用
10章第三階段:實時計算精準營銷——流式計算開發
10-1流式計算概述
10-2Spark Streaming的架構原理
10-3Dstream操作(轉換、輸出)
10-4Spark Streaming外部數據源介紹
10-5Structured Streaming原理及編程模型
10-6Kafka原理及應用講解
11章第三階段:實時計算精準營銷——實時計算系統
11-1flink部署與使用
11-2flink運行架構分析
11-3DataStream與DataSet
11-4TableAPI&SQL
11-5flink狀態機制
12章第三階段:實時計算精準營銷——實時精準營銷行業案例分析
12-1決策樹
12-2集成算法(隨機森林)
12-3機器學習算法與flink的連接
12-4實時精準營銷案例及代碼實踐
13章第三階段:實時計算精準營銷——推薦系統
13-1推薦系統概述
13-2冷啟動與EE問題
13-3精細化運營與推薦系統
13-4推薦算法-協同過濾
14章第三階段:實時計算精準營銷——數據中臺的大數據架構
14-1大數據架構
14-2數據中臺
15章第四階段:云計算之容器技術——docker技術架構原理及相關命令
15-1Docker簡介、什么是Docker、Docker應用場景
15-2Docker架構
15-3Docker引擎、倉庫、鏡像、容器等概念
15-4Docker安裝、卸載
15-5Docker配置鏡像加速器
15-6Docker鏡像管理
15-7Docker容器管理
15-8Docker復制
15-9Docker查看日志命令
15-10Docker數據卷
15-11Docker安裝Nginx
15-12Docker安裝MySQL
15-13Docker安裝Redis
15-14Docker安裝RabbitMQ
16章第四階段:云計算之容器技術——docker容器數據卷及應用部署docker私有倉庫相關技術docker實操
16-1Dockerfile常用命令
16-2Dockerfile實戰案例(4個案例)掌握全方面Dockerfile編寫
16-3官方鏡像Tomcat源碼解析(Dockerfile)
16-4Docker部署SpringBoot微服務項目,微服務鏡像制作
16-5快速部署分布式應用(實現動態擴容、資源高效利用)
16-6Docker-compose之Tomcat集群搭建
16-7Docker-compose之Redis集群搭建