項目包含數十個 Shell 腳本、多個傳感器日志數據和數十個統計指標。

深入研究各大企業的數據倉庫建模體系，并以阿里巴巴的數據倉庫建模理論作為基準，構建實用、貼近實際生產且具有廣泛應用性的數據倉庫建模體系。

根據建模理論，提出強實踐性的數據倉庫搭建理論過程，包括數據調研、明確數據域、構建業務總線矩陣、維度模型設計、明確統計指標、匯總模型設計和分層構建數據倉庫。

參考大型企業的數據倉庫分層體系，合理劃分數據層次，降低數據耦合度，提高數據分析效率并降低數據計算成本。

采用實戰式數據模擬策略，生成全面的原始數據，并針對實際數據進行數據采集。

使用 Flume 收集傳感器日志數據，深入研究適配組件，提供詳細的實戰配置文件，自定義采集組件，解決時間戳漂移和優化小文件存儲問題，分享更多實戰經驗。

采用當前流行的數據采集框架 DataX 收集業務數據，提供詳細的配置文件和腳本解讀，掌握更多腳本編寫技巧。

真實數據ETL實踐，學會對原始數據進行清洗、脫敏、數據分類和整合。

基于業務總線矩陣，構建數據倉庫的DWD層，完成事務型事實表、周期型事實表和累積快照事實表的搭建與數據裝載。