北京大數據培訓 2024-05-22 16:17:06
課程介紹
發布日期：2024-05-22 16:17:06
隨著互聯網、5G、物聯網、人工智能等的發展，數據規模越來越大，大數據產業的市場規模也越來越大。同時，大數據也逐漸滲透到了傳統行業，工信部、農業部等紛紛推進工業大數據、農業大數據等大數據在傳統行業的發展。隨著數據規模越來越大，各個企業也分別進行數智化轉型。而隨著數據行業的擴大以及大數據的發展，也為IT行業帶來了更多的崗位和選擇！
課程內容：
階段：開發基礎
特點
本階段要求學員掌握基本的JAVA語法、API、數據庫、LINUX命令及SHELL以及MAVEN的使用。同時本階段會深入講解JAVA中集合和MAP的源碼，加強學員的數據結構思想，為后續大數據的學習打好基礎。
要求
掌握JAVA的基礎語法、面向對象的核心思想；掌握JAVA中基本的API操作，掌握集合和MAP的源碼分析；了解JDK各版本的新特性；掌握數據庫的基本操作，了解MYSQL自定義函數；掌握LINUX的基本命令，了解基本的SHELL編程；掌握MAVEN的搭建和使用。
核心技能
STRING、基礎語法、集合、文件及IO操作、網絡編程、JDK8~17的部分特性、面向對象、異常機制、映射、線程、反射。
第二階段：HADOOP生態圈
特點
本階段要求學員掌握大數據離線處理中的基本框架：HADOOP、ZOOKEEPER、HIVE、FLUME、HBASE等。同時本階段會深入講解各個框架中設計到的部分算法和源碼。
要求
掌握ZOOKEEPER的基本操作，了解ZOOKEEPER的源碼和PAXOS算法；了解HADOOP發展歷程，掌握HADOOP的分布式、高可用模式搭建；掌握HDFS的基本操作、原理和基本流程，了解HDFS的特點；掌握MAPREDUCE的SHUFFLE過程，掌握YARN的基本流程，了解YARN的常見優化；掌握FLUME的流動模型，了解FLUME的自定義組件；掌握HIVE的基本語法，了解HIVE的編譯過程、自定義組件、優化過程；掌握HBASE的基本操作和原理，了解HBASE的常見優化。
核心技能
ZOOKEEPER的搭建及基本操作、MAPREDUCE各組件及SHUFFLE過程、FLUME流動模型搭建、自定義組件、HBASE的搭建、基本操作、讀寫流程和優化、HDFS的基本操作、NAMENODE、DATANODE、讀寫流程、HIVE基本語法、自定義組件、編譯過程及優化、HADOOP搭建、擴展：PAXOS算法、YARN的基本流程及優化。
第三階段：SPARK生態圈
特點
本階段要求學員掌握SCALA語言以及大數據常用實時框架KAFKA、SPARK等。在課程中會講解各個框架的源碼及優化，輔助學員更好的理解和掌握各個框架。
要求
掌握SCALA的基本語法，熟悉SCALA的集合操作；掌握KAFKA的搭建以及操作，熟悉KAFKA的架構、數據策略等；掌握SPARK的搭建以及操作，熟悉SPARK中RDD、DAG、DATAFRAME、DATASET等概念和操作；掌握SPARKSQL，熟悉自定義組件、大小表JOIN、表優化的問題。
核心技能
SCALA基本語法、KAKFA架構及基本命令、SPARK搭建、SPARK調度、DATAFRAME和DATASET、SPARK優化、SCALA集合操作、KAFKA的策略及優化、RDD及DAG、SPARKSQL、自定義組件。
第四階段：FLINK生態圈
特點
本階段會講解用于進行數據處理和分析的框架：FLINK、DORIS、HUDI、CLICKHOUSE等。在課程中，會詳細講解各個框架的基本操作以及基本的優化方案。
要求
掌握FLINK的基本操作以及FLINK的運行機制，了解FLINK的優化方案；掌握DORIS的擴容及分區，了解DORIS的優化及數據恢復問題；掌握HUDI的基本操作，了解湖倉一體化；掌握CLICKHOUSE的操作，了解CLICKHOUSE的優化。
核心技能
FLINK基本操作、FLINK狀態編程、FLINK源碼解析及優化、DORIS集成SPARK、FLINK、HUDI基本操作及優化、FLINK WINDOW API、FLINKSQL、DORIS基本操作、DORIS優化、CLICKHOUSE基本操作及優化。
數據倉庫
項目介紹
本項目依托國內電商環境為背景，引入海量的日志數據和業務數據，基于高性能解決方案構建數據倉庫，設計會員、交易、訂單等多個主題，覆蓋日活、月活、留存率、漏斗分析等100+指標，還原真實企業場景，給予學生真實的開發體驗。項目覆蓋HADOOP、FLUME、HIVE、SPARK、KAFKA、PRESTO、KYLIN等多個主流的大數據框架，包含ETL、數據存儲、數據采集、數據計算、消息隊列、定時調度、數據可視化等多個大數據領域。
解決問題
從數據采集到數據存儲、數據計算、數據可視化、定時調度、監控預警一站式設計和搭建
核心要點
數據采集、ETL、指標計算、全流程調度、數據倉庫分層、數據倉庫建模、數據可視化、監控和預警。
用戶畫像
項目介紹
本項目基于電商平臺構建的用戶全方位畫像，著眼于用數字化的標簽描述用戶個性特征，勾畫目標用戶，用于聯系用戶訴求與設計方向，提供了企業級多方位業務決策分析
解決問題
初步了解算法，完成標簽體系的建設
核心要點
標簽體系建設、CLICKHOUSE快速查詢、決策樹機制、基于SPARKMLIB的機器學習。
推薦系統
項目介紹
本項目是基于數據倉庫和用戶畫像構建的電商推薦系統，綜合利用了協同過濾算法以及基于內容的推薦算法實現混合推薦。
解決問題
加深推薦算法的掌握，實現"千人千面"的智能營銷和推薦。
核心要點
協同過濾算法、隱語義模型、基于內容的推薦、聚類算法。
下一篇:北京少兒啟蒙英語培訓
