金融行業解決方案
Financial Services Solutions如今,數據已經成為非常重要的資產。以前人們還只是把它看做是一種附屬物,客戶來辦理業務,在系統中產生了這種附屬物。而現在,發現在客戶辦理業務這條信息中,蘊含著一些客戶的需求,成千上萬條這類信息累積下來,就能洞察客戶需求,而設計新產品,為客戶個性化營銷產生新的價值。數據變成一種資產了,還需要被管理起來。擁有數據的規模、靈活性,以及收集、運用數據的能力,將決定企業的核心競爭力。掌控數據就可以深入洞察市場,從而做出快速而精準的應對策略,這意味著巨大的投資回報。因此企業的IT部門將從“成本中心”轉變為“利潤中心”。而數據將成為企業的核心資產。
企業戰略將從“業務驅動”轉向“數據驅動”。數據化決策是企業未來發展方向。過去很多企業對自身經營發展的分析只停留在數據和信息的簡單匯總層面,缺乏對客戶、業務、營銷、競爭等方面的深入分析。如果決策者只憑主觀與經驗對市場進行評估而制定決策,將導致戰略定位不準,存在很大風險。在大數據時代,企業通過收集、分析企業內部和外部的數據,獲取有價值的信息。通過挖掘這些信息,企業可以預測市場需求,進行智能化決策分析,從而制定更加行之有效的戰略。
大數據最至關重要的方面,就是它會直接影響企業怎樣做決策、誰來做決策。在今天的整個商業世界中,人們仍然更多依賴個人經驗和直覺做決策,而不是基于數據。在信息有限、獲取成本高昂,而且沒有被數字化的時代,讓身居高位的人做決策是情有可原的,但是大數據時代就要讓數據說話。
面對大數據的挑戰,戰略層面上,金融企業應當建立“數據驅動型”發展模式,完善數據運營體系,落實大數據運營中心。戰術層面上通過運營優化,管理提升,風險控制等應用全面提升金融核心價值和競爭力。
圖2:銀行大數據運營中心建設架構圖
銀行大數據運營中心建設的當務之急應該圍繞運營優化、管理提升、風險控制三大建設目標,主要體現為:
1、以用戶數據為核心的運營優化,通過客戶畫像、精準營銷、產品優化、輿情分析、市場和渠道分析,全面提高運營效率。
2、以投入產出與價值貢獻為導向的管理提升,通過績效考核、領導駕駛艙、管理會計平臺等應用真正實現精細化管理。
3、利用多維度的安全判斷和更細粒度的建模及預判實現中小企業貨款評估、實時欺詐交易分析、反洗錢業務分析等應用加強對商業銀行風險的識別、評價和預答,有效防范金融風險。
圖3:永洪科技MPP數據集市架構圖
從數據源到最終展現分成如下幾層:
1、ETL層:采用PC server作為ETL前置機.將數據清洗、轉換、裝載。
2、離線分析計算平臺:采用Hadoop分布式存儲。支持結構化和非結構化數據存儲并且當數據量增大時方便橫向擴展(Scale-out)。可將存儲層的數據進行加工。根據分析需要,可進行數據模型計算,挖掘分析等時效性低的大規模批量計算任務。
3、實時在線分析平臺:采用永洪高性能MPP數據集市作為介質。MPP分布式的數據集市支持高并發和高可用,每個數據集市是基于一個主題做好輕量建模的細節數據,數據被分布式存儲在每個節點上,同時又做好了備份。數據按照列存儲的方式,被高效壓縮,打好標簽,存儲在磁盤中。當需要查詢計算時,采用內存計算來進行數據計算,并且每臺機器節點會同時計算,最終會將結果送應用層做展現。
4、應用層:利用永洪敏捷BI提供自服務分析工具,對離線和在線分析平臺中的數據進行自服務可視化展現。無論是終端用戶還是IT開發人員都可以通過主流瀏覽器來訪問BI系統,用戶還可通過移動終端來訪問系統。BI系統提供系統監控,權限多級管理,多維數據分析等等功能,還支持自服務式報表設計和數據分析。
1、高性價比,低TCO
整個系統架構,摒棄了傳統系統常見的向上升級(Scale-Up)的思想,不管是數據集市還是BI前端,都支持橫向升級(Scale-Out)。隨著企業的業務增長,數據分析需求都會大幅增長,基于X86 PC Server集群的平臺架構十分關鍵。在這種架構下,我們不用采購昂貴的小型機去支撐高并發,去支撐海量數據計算,去支撐數據分析業務的發展,而是采購多臺普通的PC Server搭建集群,建設高性價比的分析平臺。
2、敏捷:快速發布,持續迭代,擁抱變化
數據層敏捷:數據層無需做數據的預先匯總計算。傳統的架構需要將數據提前按照能考慮到的所有維度的組合,以及所需的指標進行匯總,或者通過打Cube的方式預先計算好。但敏捷BI的方式是:只將數據關聯做好,導入的數據還是細節數據,所有的計算都是在用戶點擊時發起實時計算。因此,數據層只需再建立一個輕量模型,導入新需求的細節數據即可。
應用層敏捷:采用靈活的ROLAP機制,每個點擊發起的需求都會實時拼出SQL,送給計算層去計算,比較容易適應業務變化。模塊層次少,建模完就可以直接設計報表和Dashboard,或進行探索式分析。因此對于終端用戶來說也簡單易用。
3、自服務式和探索式多維分析
基于主題的集市,已經將物理表結構在語義上轉義成便于理解的邏輯結構,終端用戶通過拖拉拽的方式可以輕松自定義報表或儀表盤。
前端系統的交互和分析能力:過濾、鉆取、縮放、關聯、變換、動態計算、鏈接等等。用戶通過發現問題,找到答案,做出商業決定,形成探索式的分析。
3、高可用性
離線分析平臺和在線分析平臺都是分布式架構。數據存儲是分布式的,數據的計算也是分布式的,還帶有備份機制和監控機制。當某一臺機器宕機,其他機器會自動承擔所有計算。該分析計算平臺應用廣泛,有的電信級客戶的數據量已經達到了上百T,依舊運行穩定可靠。該分布式數據集市支持對計算和存儲節點進行熱插拔擴展。可以從一個節點擴展到幾十個甚至上百個節點。
4、高并發性
在線分析平臺支持高并發。數據集市作為計算層,支持分布式計算,采用MapReduce架構來提高計算效率。BI前端可直接連Oracle或Hadoop,但是不建議采用Oracle或Hadoop來支撐高并發的OLAP系統。因為,Oracle是行式存儲的,在OLTP系統能支持好高并發,但支持不好高并發的OLAP系統;而Hadoop系統作為高性價比的倉儲系統,也不適合于做實時分析系統。永洪科技的分布式數據集市,是列式存儲的,采用良好的內存計算技術。可基于多臺存儲和計算節點并行工作。非常適合海量數據的實時數據分析。
行業相關案例
永洪BI
更敏捷、更快速、更強大