CHAPTER5商業智慧的技術根基從資料倉儲到資料整合工具第五章內容大綱商業智慧的架構和基礎建設架構資料倉儲資料超市營運資料店元資料擷取/轉換/載入工具恩門的企業資訊工廠資料來源:::美國資料倉儲研究院(www.dw-institute.com)Gartner公司的商業智慧架構交易基礎建設功能企業商務企業資源規劃時間上的點即時擷取、轉換與載入資料倉儲整合經紀人營運資料店商業智慧平台,企業商業智慧套件,資料採礦資訊技術部門為中心/用戶驅動商業智慧軟體:策略型、營運型、分析型查詢+報告:標準的、預備的、特設的.用戶驅動績效管理、前端後端資訊文化(包容、排外)、用戶類型、商業智慧方法論、技能與商業智慧組織關鍵趨勢:全球化、虛擬化、透明化效率有效性可用度競爭力客戶關係管理供應鍊管理既存系統商業智慧技術基礎建設評估1.評估既有平臺2.評估並選擇新的產品3.寫作技術基礎建設評估報告4.擴展目前的平臺商業智慧軟體廠商的架構舉例BusinessObjects公司的商業智慧架構MicrosStrategy公司的商業智慧架構BusinessObjects公司的商業智慧架構MicrosStrategy公司的商業智慧架構第五章內容大綱商業智慧的架構和基礎建設架構資料倉儲資料超市營運資料店元資料擷取/轉換/載入工具資料倉儲的定義資料倉儲的概念是由比爾·恩門和拉夫·金寶兩位先驅者最早界定的。1990年,恩門是這樣定義資料倉儲的:“支持管理層的決策過程的、具有主題導向、整合、具時間性、累積等特性的資料集合”。Gartner公司的資料倉儲架構營運系统擷取、轉換與載入工具資料倉儲企業商業智慧套件資料超市時期產品指標資料超市線上交易處理系统線上交易處理系统線上交易處理資料線上交易處理資料線上交易處理工具轉換、整合與清理主體甲主體乙主體丙邏輯視圖資料庫管理系统企業商業智慧套件终端用戶圖5.8Gartner公司總結的資料倉儲架構KenOrrInstitute資料倉儲的架構資料來源:(以製藥公司為例)推動間接直接資料倉儲資料採礦試用的資料有效.避免了資訊技術成本参與者/診所分析下拉&例外建立新的生意更高的命中率資料更加準確、更加一致改善的决策减少了参與者的選擇時間發現藥品的新用途根源分析儲存了額外的資料减少了管理的努力資料來源:Gartner公司敏捷性資料倉儲的到來資料倉儲來自策略性顧客的資料新的“策略性”的應用軟件,例如顧客關係管理用戶壓力!網際網路資料來源:Gartner公司企業管理風格對資料倉儲的影響策略戰術不靈活敏捷•資訊技術與商務策略之間的聯繫•資源上的承諾與支持•靈活的基礎建設架構(著眼於未來)•動態與競爭性的市場•跨越業務線的相互利用機會•持續的商務流程改進•業務線與資訊技術之間的聯繫•壓倒性的業務線或業務需求驅動執行•很强的業務線資訊技術文化•缺乏機會主義的願景•資訊技術與商務戰略之間缺乏整合•資訊技術是必要的“邪惡”•致力於戰術問題•單一產品或業務線•缺乏資源•導向於業務線或某一商務領域•缺乏跨越業務線的相互利用•不平衡的資源•頻繁的合併與兼併活動市場領導者“政治”領導力“亂中取勝”業務線資訊技術“獨裁”技術公司願景資料來源:Gartner公司資料倉儲就緒程度評估一覽表公司的承諾與支持.負責任的、高層的經理.各個商業部門的支持.資訊技術和用戶的分類(進取型、隨波逐流型和落伍型).支援以分析結果改造商業流程的文化資訊技術的重要性和資訊技術與公司策略之間的聯繫.有部署資訊技術並獲得好處的歷史.資訊部門在用戶中有很好的聲望公司內部是否有足夠的技術.內部有專門人才或把業務外包.人力資源的全力支持.應用軟體提供團隊合作廠商和技術的生命力.成功也許會偏離“公司的標準”.技術不能解決所有問題資料倉儲和商業智慧的執行步驟發現和探索接觸資訊識别並收集資料創造模型改變流程分享與合作發展决策的備選方案终端用户執行分析终端用戶積極主動資訊技術部門和终端用戶都積極主動合作商務流程改造占成本的70%資料來源:Gartner公司資料倉儲的“拓撲結構”1.虛擬資料倉儲(例如,普遍的資料介入)2.許多資料超市DWDMDMDMDMDM營運性來源3.用戶不能直接連結資料倉儲DWDMDMDMDMDMDMDMDMDWDM4.有限幾個資料超市,用戶可以直接連接資料倉儲DWDMDM中間件對眾多營運性來源的動態查詢資料來源:Gartner公司資料倉儲的整合類型例一(多個資料倉儲)•大的持股公司•多樣化的業務•兼併與撤資•不確定的市場交叉•模糊的企業識別和使命例二(跨業務線的資料倉儲)•跨國性的市場領導者•各事業部做接近或相關的業務•所有權和策略穩定•有利用顧客的機會•很強的企業文化(比如,架構上的張力)例三(單一跨資料倉儲)•獨立的全國性公司•技術專長集中•資訊技術和業務部門聯繫緊密•整合完好的系統•很少機會主義式的決定資料來源:Gartner公司資料倉儲專案失敗的三個原因缺乏溝通缺乏適當的專業技術建議缺乏適當的專案計劃創投不支援資料倉儲的原因資料倉儲是架構而不是技術資料倉儲傾向於基礎建設資料倉儲不是在矽谷發明的投資者很難從資料倉儲中獲取利益了解資料倉儲能為公司做什麼,了解整合的作用和歷史價值是一項複雜的任務資料倉儲的回收期是長期的、間接的資料倉儲的益處是不易見的創投喜歡“乾淨的方案”創投喜歡追求流行選擇資料倉儲的廠商和產品所面臨的挑戰挑戰結果明確要求.全面的評估.潛在的關鍵性的替換.時間超標.資源問題.資金問題.錯誤決定.猶豫不決確定結構與權數.合併分散的標準.進行適當的優先安排了解廠商的表現.客戶參考.同輩網路.分析師社群資料倉儲和商業智慧產品選擇的基本標準產品與價格問题大约是總問題的60%功能27%技術架構19%成本15%廠商生命力18%服務12%願景9%資料倉儲資料來源:Gartner公司資料倉儲資料庫的選擇標準詳细資料的數量資料模型的複雜性查詢的複雜性同時使用的用戶的數量資料來源:Gartner公司Gartner公司關於用於資料倉儲的資料庫廠商的“神奇象限”挑戰者領導者佔據利基者擁有願景者2003年1月願景的完整性資料來源:Gartner公司執行能力Gartner公司的資料倉儲發展趨勢圖資料庫管理系統複雜查詢之優化即時資料更新(營運性商業智慧與資料倉儲之合併)資料庫管理系統推展的資料採礦資料庫管理系統混合工作量管理資料超市合併可擴展的擷取、轉換與載入工具聯邦式的資料倉儲資料倉庫儀器企業資源規劃之資料倉儲虛擬資料倉儲星型結構資料庫管理系統推展的線上分析處理元資料工具載入資料庫管理系統的擷取、轉換與載入工具單一廠商之解決方案與多個廠商之技術解決方案2003年5月標示鍵︰到達平原的時間不到兩年兩到五年在到達平原之前被淘汰可見度成熟度技術之誘因期望膨脹之尖峰幻想破滅之低谷啟蒙之斜坡勞動生產率之平臺資料來源:Gartner公司2002年資料倉儲的十大發展趨勢盈虧問題隱現,革新仍在繼續10.越來越注重盈虧問題9.強調應用程式VS資料倉儲8.越來越瞭解如何對“成功或失敗”問題做出正確分析7.非結構化資訊的增長6.快速反應的決策支援5.EAI和ETL工具的整合4.廠商的整合3.客戶資料整合2.資料超市整合1.資料倉儲規模不斷增長資料倉儲的原則1.資料倉儲的其他方案不能滿足商業要求2.其他備選方案也面臨顯著的技術挑戰3.資料倉儲的花費並不一定最多4.確保從商業智慧中獲得最大程度的好處第五章內容大綱商業智慧的架構和基礎建設架構資料倉儲資料超市營運資料店元資料擷取/轉換/載入工具資料超市的定義資料倉儲涵蓋整個企業的資料與人員,而資料超市只包含特定範圍的資料。資料倉儲的工作是儲存大量的資料,很少考慮或不考慮企業怎樣觀看資料,而資料超市的主要考慮恰恰相反,它聚焦于易使用性、敏感資料的分離、報告速度和資料的總體展現。因此它可以更快速與低成本建立。資料超市的益處1.遞增式開發2.便於用戶了解3.便於管理的片段4.容易操縱5.更好的報告效果6.使用分散式技術7.能隨時隨地使用第三方工具資料倉儲與資料超市的關係資料來源:Gartner公司資料倉儲與資料超市間的差異資料倉儲資料超市範圍.在應用軟體方面是中立的.集中的、分享的.跨業務/整個企業的.有架構的.有具體的應用軟體的要求.業務線、部門或用戶領域的.業務流程導向的.有重複資料的多個資料庫資料角度.歷史性的、詳盡的資料.有一些總結性的資料.詳盡的(有一定歷史性).總結性的資料資料主題.多個主題領域.單一主題.多個局部的主題領域.營運來源快照資料來源.多個.營運性、外部的資料.來源少.營運性、外部資料.線上交易處理資料庫快照建立的時間架構.第一階段9~18個月(2~3個主題領域).多階段的建立過程.4~12個月特徵.靈活的.持久的/策略性的.以資料為導向的限制性的短暫的/戰術性的資料超市的迷思1.資料超市是小的2.資料超市可以更容易地建立,更快速地部署3.資料超市容易成長為資料倉儲資料超市的指導原則為資料超市專案建立與資料倉儲專案分開的人才團隊把資料超市的計畫工作為資料倉儲專案所用對急需戰術性方案的商業領域之敏銳感受力把資料來源的數量限制在3個以下建立防止資料超市氾濫的政策資料超市的成本圖5.21資料超市的高昂成本成本資料超市的數量資料超市機會損失四到八個資料超市資料倉儲資料來源:Gartner公司第五章內容大綱商業智慧的架構和基礎建設架構資料倉儲資料超市營運資料店元資料擷取/轉換/載入工具營運資料店的定義營運資料店是通常用做資料倉儲的暫時儲存區的一種資料庫。跟含有靜態資料的資料倉儲不一樣,其內容在商業營運的過程中不斷更新,是針對快速、小量資料的基礎上進行相對簡單的查詢而設計的,與在資料倉儲中大量資料的基礎上進行的複雜查詢不同。營運資料店特別像人的大腦中只儲存最近資訊的短期記憶,相反地,資料倉儲更像儲存那些相對較久資訊的長期記憶。營運資料店的架構營運决策支援既存應用軟件營運資料店具有主题導向的、整合的、變動的、當前值的只有細節的資料倉儲資料來源:資料模型和使用狀況上的差異價值新鮮度方面的差異資料移動及時性的差異詳盡程度方面的差異營運資料店的種類一級營運資料店這種營運資料店是同步更新的,通常處於高效能的、交易主導的環境中;二級營運資料店這種營運資料店儲存資料並向前更新;三級營運資料店非同步地、分批地、超過24小時才更新的營運資料店。營運資料店的應用適合運用營運資料店的情況主題領域報告功能性的整合不適合運用營運資料店的情況作為資料倉儲中所有資料的單一來源營運資料店只被用做具體到部門的應用軟體營運資料店與即時企業間的關係資料倉儲裏面的高品質資料適合進行策略性的決策,但由於資料延遲而不適合進行即時的分析。營運資料店的資訊通常是最新的,對於即時分析和各種營運性、戰術性的決策來說是至關重要的。資料倉儲和營運資料店都是即時企業整體架構中重要的組成元素。但是,對於即時分析而言,營運資料店是不可替代的。儘管二者都能夠使用戶認識到資料中的意涵,但營運資料店能夠提供即時性。這種即時分析的能力促進了快速、符合時間要求的決策。完善營運資料店的建設,為企業快速反應機制打下堅實的基礎。第五章內容大綱商業智慧的架構和基礎建設架構資料倉儲資料超市營運資料店元資料擷取/轉換/載入工具Metadata的定義用來描述其他資料的資料,在資料倉儲中用來描述資料的擷取、轉換規則和自動化、安全方面的資訊。Metadata應至少具備兩個特徵才對企業有意義:被企業視為值得追蹤和管理的一項資產;