利用永洪數據集市數據集，輕松應對大數據量場景

在我們日常制作報表分析過程中，總會遇到各種問題。比如，報表底層數據日益增多、報表加載超慢，這些情況該怎么解決？

數據庫是最常見的能處理大數據的計算方案，而永洪能利用數據庫來完成數據計算。但是，有些報表的計算較為復雜，使用SQL實現會非常困難，這時，我們就會采用永洪報表呈現的直觀計算方式來完成數據的計算，這種方式導致后臺要直接處理大數據，不僅性能低下，而且很容易造成報表加載時間過長。

今天這篇文章，主要介紹永洪數據集市數據集，這種方式提供強大、便捷的數據處理方式，用戶可以輕松應對大數據量場景下報表加載過慢的問題。

將查詢結果按天增量導入永洪集市并對集市文件按天打上索引，永洪報表在處理邏輯時只會掃描查詢日期內的數據。

1、設置參數

創建一個名為TEST_YH的SQL數據集，在查詢條件中加上參數<etd_date_lm>，此參數為動態獲取昨日日期，后續會提到。

2、新建作業

在調度作業中新建任務，其中類型設置為：增量導入數據，數據集為上一步創建的TEST_YH的SQL數據集，文件夾為存放文件的名稱，最后我們選擇追加數據。

在任務最下方的腳本中設置可以動態獲取昨天日期的參數<etd_date_lm>參數，setMeta("search_data_index",formatDate(a,"yyyy-MM-dd")) 是用來給數據集市文件設定屬性的，在數據集市數據集中可通過過濾條件查看這個屬性。

file = formatDate(a,"yyyy-MM-dd") 是創建一個數據集市文件的文件名。

3、生成文件

在調度任務中運行此作業，就可以生成文件了。

我們還可以進一步在管理系統下監控預警中的數據集市文件信息統計中進一步查看上一步生成的文件。

4、讀取數據

創建數據集市數據集，在文件夾中選擇之前生成的文件，文件過濾中根據需求選擇前臺傳遞的時間參數。

以上就是關于永洪數據集市數據集的使用介紹，永洪科技強大的產品功能，可以輕松應對大數據量下的報表使用。關于產品使用有什么問題，可在永洪服務平臺進行咨詢或在社區論壇進行相關搜索與提問。