一、數據倉庫架構

數據倉庫是一個建設過程，而不是產品。數據倉庫是通過對來自不同的數據源進行統一的處理及管理，通過靈活的展示方法來幫助決策支持。

?  數據獲取層

實現如何從所有源系統中獲得原始的業務數據，并對其進行一定的數據處理，按主題進行數據重組和格式轉換，然后傳送并裝載到數據倉庫系統中。

數據倉庫系統需要從多個源數據系統中抽取和匯總各個業務數據，這些數據源系統是數據倉庫系統的數據來源。

把上述數據源系統中的數據按照主題進行劃分和組織，然后抽取并裝載到數據倉庫系統中。

數據需要經過三個過程：數據抽取、數據轉換、數據裝載。這三個過程是在保證各個數據源系統與數據倉庫系統能夠成功連接（包括網絡協議標準的轉換、不同平臺之間的接口）的前提下實現的。保證把來自不同的源數據系統的同類數據的一致性和完整性，轉換完成的數據裝載到數據倉庫系統中。

?  數據管理層

   把數據存儲到企業級數據倉庫系統中進行集中管理。在數據存儲層，數據是存放在兩類數據庫中：關系型數據庫和多維數據庫。數據存儲是數據倉庫系統的中心。取自多個數據源系統的明細數據，以及用于分析的集成匯總數據都存儲在這個中心。它在邏輯上是一個完整的庫。

?  數據使用層

   把數據倉庫系統中的數據和分析結果提供給最終用戶。按照用戶的分析需求、使用報表、隨即查詢、多維度分析和數據挖掘進行數據展現。

數據輸出層的功能是使最終用戶通過報表、圖形和其他分析工具的方式簡便、快捷地訪問數據倉庫系統中的各種數據，得到分析結果。

 提供多種數據分析方法，包括標準報表、即席查詢報表、動態分析報表、多維分析、趨勢預測、假設分析和數據挖掘等。

二、系統功能架構

多維分析OLDP多角度、立體化、靈活動態的分析業務數據。產品簡單易用，無需編寫任何的代碼，用戶只需要通過語義層的定義就可以輕松搭建自己的多維數據模型。

即席查詢統計報表、指標的快速檢索，幫助業務分析人員快速獲得所需要的數據和統計信息。

數據門戶Data Portal進行統一展現，展現方式包括儀表盤、表格、報表、日歷等內容，并支持用戶個性化定制內容、指標等功能，實現真正的個性化服務。數據門戶中展現的內容是管理者及業務人員最關注的指標，通過門戶為他們獲取數據提供最簡單容易的方式。

主題分析根據資源的組織，支持數據的深入挖掘和分析應用，跟蹤、監控政策的執行情況及實施效果，讓管理層了解細化、量化權力清單，固化權力運行流程和辦理環節，達到規范業務流程、監督個體行為、記錄執法誠信、科學考核評價和提升管理精度，最終使群眾的合法權益得到保護，實現權力有效監督和提升公司效能。

報表業商業智能系統建設的重要組成部分，主要對企業數據倉庫中整合的各主題域業務數據，按照監督管理要求，面向各級部門，快速提供準確、全面、靈活的體現公司管理效能等方面實際的數據信息，為決策支持、業務管理提供有效的數據信息支撐。

ETL工具：ETL是數據倉庫最核心的后臺組件，通過對及匯總來的不同來源數據的抽取、清洗、加載實現數據倉庫中數據的更新及流轉。ETL工具（橋接器），實現了圖形化及自動化的方式來配置ETL流程，極大的減輕了數據加工的工作量，提高了數據準確性及處理效率。

 三、數據倉庫建設8大步驟

1.系統分析，確定主題

確定一下幾個因素：
·操作出現的頻率，即業務部門每隔多長時間做一次查詢分析。
·在系統中需要保存多久的數據，是一年、兩年還是五年、十年。
·用戶查詢數據的主要方式，如在時間維度上是按照自然年，還是財政年。
·用戶所能接受的響應時間是多長、是幾秒鐘，還是幾小時。

2.選擇滿足數據倉庫系統要求的軟件平臺

選擇合適的軟件平臺，包括數據庫、建模工具、分析工具等。有許多因素要考慮，如系統對數據量、響應時間、分析功能的要求等，以下是一些公認的選擇標準：
·廠商的背景和支持能力，能否提供全方位的技術支持和咨詢服務。
·數據庫對大數據量（TB級）的支持能力。
·數據庫是否支持并行操作。
·能否提供數據倉庫的建模工具，是否支持對元數據的管理。
·能否提供支持大數據量的數據加載、轉換、傳輸工具（ETT）。
·能否提供完整的決策支持工具集，滿足數據倉庫中各類用戶的需要。

3.建立數據倉庫的邏輯模型

具體步驟如下：
（1）確定建立數據倉庫邏輯模型的基本方法。
（2）基于主題視圖，把主題視圖中的數據定義轉到邏輯數據模型中。
（3）識別主題之間的關系。
（4）分解多對多的關系。

（5）用范式理論檢驗邏輯數據模型。
（6）由用戶審核邏輯數據模型。

4.邏輯數據模型轉化為數據倉庫數據模型

具體步驟如下：
（1）刪除非戰略性數據：數據倉庫模型中不需要包含邏輯數據模型中的全部數據項，某些用于操作處理的數據項要刪除。
（2）增加時間主鍵：數據倉庫中的數據一定是時間的快照，因此必須增加時間主鍵。
（3）增加派生數據：對于用戶經常需要分析的數據，或者為了提高性能，可以增加派生數據。
（4）加入不同級別粒度的匯總數據：數據粒度代表數據細化程度，粒度越大，數據的匯總程度越高。粒度是數據倉庫設計的一個重要因素，它直接影響到駐留在數據倉庫中的數據量和可以執行的查詢類型。顯然，粒度級別越低，則支持的查詢越多；反之，能支持的查詢就有限。

5.數據倉庫數據模型優化

數據倉庫設計時，性能是一項主要考慮因素。在數據倉庫建成后，也需要經常對其性能進行監控，并隨著需求和數據量的變更進行調整。
優化數據倉庫設計的主要方法是：
·合并不同的數據表。
·通過增加匯總表避免數據的動態匯總。
·通過冗余字段減少表連接的數量，不要超過3~5個。
·用ID代碼而不是描述信息作為鍵值。
·對數據表做分區。

6.數據清洗轉換和傳輸

由于業務系統所使用的軟硬件平臺不同，編碼方法不同，業務系統中的數據在加載到數據倉庫之前，必須進行數據的清洗和轉換，保證數據倉庫中數據的一致性。
在設計數據倉庫的數據加載方案時，必須考慮以下幾項要求：
·加載方案必須能夠支持訪問不同的數據庫和文件系統。
·數據的清洗、轉換和傳輸必須滿足時間要求，能夠在規定的時間范圍內完成。
·支持各種轉換方法，各種轉換方法可以構成一個工作流。
·支持增量加載，只把自上一次加載以來變化的數據加載到數據倉庫。

7.開發數據倉庫的分析應用

建立數據倉庫的最終目的是為業務部門提供決策支持能力，必須為業務部門選擇合適的工具實現其對數據倉庫中的數據進行分析的要求。
信息部門所選擇的開發工具必須能夠：
·滿足用戶的全部分析功能要求。數據倉庫中的用戶包括了企業中各個業務部門，他們的業務不同，要求的分析功能也不同。如有的用戶只是簡單的分析報表，有些用戶則要求做預測和趨勢分析。
·提供靈活的表現方式。分析的結果必須能夠以直觀、靈活的方式表現，支持復雜的圖表。使用方式上，可以是客戶機/服務器方式，也可以是瀏覽器方式。
事實上，沒有一種工具能夠滿足數據倉庫的全部分析功能需求，一個完整的數據倉庫系統的功能可能是由多種工具來實現，因此必須考慮多個工具之間的接口和集成性問題，對于用戶來說，希望看到的是一致的界面。

8.數據倉庫的管理

只重視數據倉庫的建立，而忽視數據倉庫的管理必然導致數據倉庫項目的失敗。數據倉庫管理主要包括數據庫管理和元數據管理。
數據庫管理需要考以下幾個方面：
·安全性管理。數據倉庫中的用戶只能訪問到他的授權范圍內的數據，數據在傳輸過程中的加密策略。
·數據倉庫的備份和恢復。數據倉庫的大小和備份的頻率直接影響到備份策略。
·如何保證數據倉庫系統的可用性，硬件還是軟件方法。
·數據老化。設計數據倉庫中數據的存放時間周期和對過期數據的老化方法，如歷史數據只保存匯總數據，當年數據保存詳細記錄。
然而，元數據管理貫穿于整個系統的建設過程中，元數據是描述數據的數據。在數據采集階段，元數據主要包括下列信息：
·源數據的描述定義：類型、位置、結構。
·數據轉換規則：編碼規則、行業標準。
·目標數據倉庫的模型描述：星型/雪花模型定義，維/事實結構定義。
·源數據到目標數據倉庫的映射關系：函數/表達式定義。
·代碼：生成轉換程序、自動加載程序等。
在數據管理階段，元數據主要包括下列信息：
·匯總數據的描述：匯總/聚合層次、物化視圖結構定義。
·歷史數據存儲規則：位置、存儲粒度。
·多維數據結構描述：立方體定義、維結構、度量值、鉆取層次定義等。
在數據展現階段，元數據主要包括以下信息：
·報表的描述：報表結構的定義。
·統計函數的描述：各類統計分析函數的定義。
·結果輸出的描述：圖、表輸出的定義。
元數據不但是獨立存放，而且對用戶是透明的，標準元數據之間可以互相轉換

四、主題分析

數據倉庫中的業務數據通常是面向主題進行組織的。主題分析是在較高層次上將企業信息系統的數據進行歸并、抽象，形成對分析對象的一個完整的描述，體現分析數據之間的相互關系，揭示數據規律和問題。

主題分析模塊從主題域的角度入手，支撐數據資源的組織，支持數據的深入挖掘和分析應用，跟蹤、監控政策的執行情況及實施效果，倒逼行政權力部門認真履職、規范執法、優化服務,努力提高公司效能。

考慮到國情特點和現狀，主題分析涵蓋了經濟發展、衛生健康、教育科技、道路交通、機構團體、生活服務、文體娛樂、安全避險、資源環境、社保就業、財稅金融、法律服務量等八個主題域相關的主題分析功能。

即席查詢

    即席查詢針對數據倉庫內的各主題數據、統計報表、指標的快速檢索，幫助分析人員快速獲得所需要的數據和統計信息。即席查詢工具通過提供各種向導式界面、圖形查詢生成器、聯機幫助等功能，為系統使用人員提供細粒度數據。

即席查詢是分析人員的重要的輔助工具，它是在數據倉庫的信息組織基礎上，盡可能多的在后臺按照分析人員關心的分析角度沉淀業務知識，在前端功能上屏蔽后臺查詢技術細節，為分析人員提供靈活的業務分析查詢角度定制和結果定制功能，使分析人員在分析匯總數據的同時能夠通過即席查詢進一步深入到自己感興趣的細節數據中，以便更全面地反映情況，做出正確決策。

多維分析工具

多維分析是商業智能的核心技術，可以幫助用戶進行多角度、立體化、靈活動態的分析。多維分析報表由“維”（影響因素）和 “指標”（衡量因素）組成，能夠真正為用戶所理解、并真實的反映國情特性信息。

     BI-多維分析工具簡單易用，無需編寫任何的代碼，用戶只需要通過語義層的定義就可以輕松搭建自己的多維數據模型。同時具有靈活的分析功能、直觀的數據操作和分析結果可視化表示等突出優點，從而使用戶對基于大量復雜數據的分析變得輕松而高效，以利于迅速做出正確判斷。它可用于證實人們提出的復雜的假設，以圖形或者表格的形式來表示的對信息的總結。

多維分析工具專門設計用于支持復雜的分析操作，側重對決策人員和高層管理人員的決策支持，可以根據分析人員的要求快速、靈活地進行大數據量的復雜查詢處理，并且以一種直觀而易懂的形式將查詢結果提供給決策人員，以便他們準確掌握企業（公司）的經營狀況，了解對象的需求，制定正確的方案。

ETL工具

ETL負責將分散的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層后進行清洗、轉換、集成，最后加載到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。ETL是數據倉庫中的非常重要的一環，它是承前啟后的必要的一步。

ETL工具數據抽取高效穩定。功能強大、靈活，使用簡單。

（ETL平臺架構）

數據抽取就是從數據源抽取出所需的數據的過程。數據抽取后，再經過數據清洗、轉換，最終按照預先定義好的數據倉庫模型，將數據加載到數據倉庫中去。數據轉換主要用于解決數據不一致性問題，數據加載就是將從數據源系統中抽取、轉換后的數據加載到數據倉庫系統中。ETL流程管理調度是ETL過程中的統一調度者和指揮者，它把復雜的數據處理過程中各個步驟整合成一個整體。異常數據處理機制指源數據系統中的數據本身出錯并發生變更后，對于正在抽取、已經抽取、已經處理、已經匯總等各個環節，如何進行回退處理的一套機制。系統截圖：

(ETL界面切圖)

產品特色：

（1） 支持MYSQL/ORACLE/MSSQLSERVER/DB2/ACCESS等多種數據庫；

（2） 支持txt/csv/xls/xml等多種輸入輸出格式；

（3） 圖形化ETL操作配置，ETL數據加工過程一目了然；

（4） 工具性能強大，處理速度大概可以達到8000行每秒；

（5） 具有完整的日志管理功能、完善的數據審計功能，并且有相關的監控預警機制，保證ETL過程正常進行，不影響數據源系統的正常工作；

（6）支持并行加載等高效的優化策略；

報表工具

報表工具作為企業商業智能系統建設的重要組成部分，主要對企業數據倉庫中整合的各主題域業務數據，按照業務管理要求，面向各級部門，快速提供準確、全面、靈活的體現公司效能管理等方面實際的數據信息，為決策支持、行政管理提供有效的數據信息支撐。

用戶只需使用IE、firefox等瀏覽器就能設計、瀏覽、打印報表。功能強大、靈活，使用簡單。報表主要由兩部分組成：一是報表設計，主要用來構建報表；二是可以加到你應用服務的運行期組件。報表同時也提供一個圖形報表制作引擎。擁有簡單的操作界面，可以像畫table一樣畫報表，也可以生成圖片。 報表設計器包含標簽、文本、圖片、分析圖、表格、交叉表等多種展現組件，對于不同的業務需求按不同的形式展現數據，提高了數據可視化程度，能幫助管理人員快速做出決策。報表運行時組件具有導出、打印、鑒權等功能，提升了系統的可用性和數據的安全性。

功能特色：

1.  支持自定義報表，支持用戶個性化報表制定、保存及相關管理功能，選擇界面靈活、友好，支持臨時性選擇信息保存，支持報表格式的個性調整，包括：指標維度的靈活調整和表格轉置；

2.  支持固定報表，依據指標字典模塊中基礎指標、分析指標及綜合指標的架構、口徑，實現報表模板上傳，報表展現時按模板展現數據；

3.  支持交叉報表，即報表維度可以橫向和縱向同時多維度展現數據；

4.  支持分析型報表，采用OLAP分析引擎，支持報表數據上鉆、下鉆、切片、旋轉等功能；

5.  展現方式支持多種圖表類型，包括列表、交叉表，以及柱狀圖、折線圖、餅圖、雷達圖等多種圖表類型；