作者:王漢文 李雲春 張建華 楊秀梅
實施方案
數據建設原則
數據的權威性在數據來源方面,確定權威數據來源,當其中數據發生變化時,主動向***享數據庫發出修改請求,同時由權威數據庫或者***享數據庫向其他需要該數據的數據庫發出修改命令。
數據的及時性當某個業務系統的數據庫中數據發生變化時,數據能及時的體現,並產生相應的作用。數據的準確性保證中心數據庫從其他業務數據庫中,抽取數據的準確性,對於新建的數據庫,完全按照數據標準執行;對於已經存在的數據庫,如果存在沒有按照標準建設的情況,首先分析其數據字典,再完成數據項之間的準確對應。
數據的安全性在數據的抽取,轉換和加載過程中,保證數據的安全,通過相應的加密等安全手段,保證整個過程的安全。
數據的可靠性對數據的抽取和使用過程,進行全面的監控,當數據轉換過程出現問題時,能及時報錯,並自動或者手動完成回滾等,保證數據流程的可靠性。
總體架構
系統建設架構如圖1 所示。
\
數據中心主要包括以下幾個層次:業務數據源層、數據集成與存儲層、數據服務接口層以及數據應用層,在各層的數據存儲與維護中,嚴格遵循統壹的數據標準。
業務數據源層包括學校各個部處的信息化業務數據,囊括所有需要集成到數據中心的業務系統數據。數據集成與存儲層通過數據集成工具,按照統壹的數據標準,進行數據的抽取、清洗與轉換,支持數據的觸發式更新、增量更新、定時抽取等多種同步和異步的數據維護方案,在多種主流異構的數據庫和數據源之間完成數據的集成與存儲,該層主要建有***享數據庫、歸檔數據庫以及數據倉庫。數據服務接口層主要通過建立多類統壹的數據接口,對外提供對***享數據的訪問和功能的調用,主要提供以下幾類數據接口:人事數據接口、財務數據接口、教學數據接口、科研數據接口、資產數據接口、後勤數據接口等。數據應用層在數據接口層提供數據的基礎上,提供教師服務、學生服務、領導決策和數據審計管理等應用,完成相關應用服務的建設與開發。
1. 數據平臺部署結構
數據***享庫采用Oracle 數據庫,使用RAC 技術將兩臺服務器搭建成數據庫集群,後端連接網絡存儲,前端通過內網交換機與數據交換服務器、數據標書服務器以及其他應用系統服務器連接。
2. 交換模式
數據***享平臺中的數據交互模式,采用如圖3 方式,在業務數據庫與數據中心庫間,建立中間過程庫。如果業務數據庫中的數據符合執行數據標準,直接將相關數據用ODI 或者Web Server等方式交換到中心庫中,如果業務部處數據中的數據和執行標準存在不壹致的現象,將業務數據庫中的數據經過中間庫,使用ODI 等工具進行數據的清洗和轉換,最後交換到***享數據中心中。
圖3 數據交換模式
3. 交換模塊實現原理
數據交換模塊的實現機制,如下:數據處理平臺,提供數據處理壹系列功能,包括ETL(數據抽取、數據轉換與數據加載)功能,數據傳輸功能,該模塊實現數據的清洗、轉換、同步、遷移等業務需求,是構建數據集成與存儲層的基礎。建設中主要采取以下幾種數據加載方式:實時性加載,對於數據實時性要求較高的交換數據,采用實時性加載策略,ODI 加載數據時采用較小的時間間隔輪詢監視業務系統相關數據變化,對於數據的實時更新,解決方案有兩種:全表掃描方式,在業務系統中對需要同步的表進行全表掃描,識別差異數據,更新到數據交換中心;觸發器方式,在業務系統中對需要同步的表創建觸發器,當業務表數據有更新、修改、新增、刪除操作時,通過觸發器同步到數據交換中心,以上方案會對業務系統產生較大的壓力,不會大面積使用;準實時性加載,此種方式采用T-1 時間方式處理,即每天晚上12 點以後進行加載,加載今天以前的數據,在數據實時性上會有壹天的延時,但降低了業務系統的壓力。
4. 交換過程與結果監控
數據的監控平臺完成對系統總體的運行監管,提供對數據交換、更新以及數據應用層服務的監控,完成對用戶行為、訪問日誌、數據安全等方面的監控功能。其主要作用有:發現在數據抽取、數據加載和數據轉換時發生的錯誤,及時發出報警,並采取相應的措施;同時提供對數據應用層服務的監控,反應各種應用的進展情況,推進相關流程的正確執行 ;對用戶的行為,訪問記錄以及進程信息進行有效的監控,對有關數據進行審計,發現系統運行中的問題,及時采取有效的應對措施,保障系統的安全運行。
圖4 結果監控
數據同步監控:監控數據同步的健康狀況,數據同步的數據當量,數據同步的周期與處理時間,數據同步的執行結果等。同時產生數據運行情況的審計報告。
總結
完善數據***享中心
從深度和廣度兩方面,完善對數據***享中心的建設。壹方面,擴充業務數據範圍,將各個職能部門和學院的業務數據融入數據中心,保證數據的全面性;另壹方面,進壹步建設應用性數據倉庫,積累數據資源,充分發揮數據資產的價值,盤活數據資產,從數據中挖掘有用信息,為學校領導決策和發展,給出建設依據和方向。
依據***享數據中心,開發智慧應用
學生成績預警、學生經濟狀況分析、空閑教室查詢、食堂就餐情況統計;以數據為中心,優化相關部處業務流程;以師生體驗為中心,提供更加便捷的“壹站式”服務;以***享的數據平臺為基礎,充分利用已知數據信息,為廣大師生提供“壹張表”服務。