我們知道不論何時在選擇供應商時,都應對相應的產品和服務的基礎知識和行業情況有所了解,才能在選擇供應商時不踩坑或者較低踩坑概率,今天給大家分享一些關于
bi大數據分析平臺選型時需要了解到的一些知識,主要從大數據分析平臺架構以及大數據分析底層技術來講解。
bi大數據分析平臺架構
市場上常見的bi大數據分析平臺主流的系統架構有B/S、C/S架構,實際上兩種架構都能實現同樣的業務處理,相信很多人在做bi選型時都會遇到系統架構如何選擇這個問題,實際上兩種架構都各有優缺點,下面我們做簡單闡述以供參考:
B/S優缺點:客戶端零維護、擴展簡單方便、開發簡單、共享性強;但個性化定制差、后臺數據壓力大、安全性和速度上要進行特定優化
C/S優缺點:響應快、能滿足客戶的個性化需求、能實現復雜的業務流程、對數據安全掌控能力強;但兼容性差、需要專門的客戶端安裝程序、開發維護成本高。
B/S和C/S現狀與趨勢
1、用來編制CS管理軟件的編程語言,早已江河日下
2、市面上CS的管理軟件正越來越少
3、CS管理軟件應用不如BS方便
4、CS管理軟件不如BS更能應對未來挑戰
大數據架構底層技術
數據收集模塊:主要負責收集各種數據源的數據,包括日志文件、網絡請求、數據庫、消息隊列等,并將這些數據轉換為文件或者消息向后傳遞。
數據轉存模塊:主要負責將數據定時傳遞到分布式存儲或者實時傳遞給下游的數據處理程序。
ETL模塊:主要負責數據的清洗、格式和內容的處理和轉換、數據分級分揀、加載至數據倉庫等。
數據倉庫模塊:這是整個架構的核心,數據倉庫是數據有組織的集中存儲的地方,負責數據的存取和管理。
元數據管理模塊:主要負責記錄和約束數據倉庫中數據的含義和格式,控制著數據的生命周期和數據質量。
分析引擎模塊:數據分析師交互最多的模塊,主要負責執行各種分析語句或代碼,完成各種分析任務。
作業管理與調度模塊:負責分析作業的管理和定時調度,包括作業的增刪改查、查看修改歷史、設置調度定時和執行引擎等。
資源分配與調度模塊:主要負責在多作業同時運行的場景下,有效協調和分配集群的資源,使資源利用率最大化。
以上我們從bi大數據分析平臺架構及平臺技術做了整體的了解,相信對企業后續的bi選型也會有一定幫助。
?