商業(yè)智能的基礎(chǔ)知識(shí)
一、 商業(yè)智能的基礎(chǔ)概念
1. 名詞解釋
1.1. OLTP（聯(lián)機(jī)事務(wù)處理）－－OLTP（on-line transaction processing）也稱為面向交易的處理系統(tǒng)，其基本特征是顧客的原始數(shù)據(jù)可以立即傳送到計(jì)算中心進(jìn)行處理，并在很短的時(shí)間內(nèi)給出處理結(jié)果。這樣做的最大優(yōu)點(diǎn)是可以即時(shí)地處理輸入的數(shù)據(jù)，及時(shí)地回答。也稱為實(shí)時(shí)系統(tǒng)(Real time System)。衡量聯(lián)機(jī)事務(wù)處理系統(tǒng)的一個(gè)重要性能指標(biāo)是系統(tǒng)性能，具體體現(xiàn)為實(shí)時(shí)響應(yīng)時(shí)間(Response Time)，即用戶在終端上送入數(shù)據(jù)之后，到計(jì)算機(jī)對(duì)這個(gè)請(qǐng)求給出答復(fù)所需要的時(shí)間。 如醫(yī)院HIS系統(tǒng)、辦公自動(dòng)化系統(tǒng)、CRM系統(tǒng)等。
1.2. OLAP（聯(lián)機(jī)分析處理）——OLAP（On-Line Analytical Processing）OLAP是使分析人員、管理人員或執(zhí)行人員能夠從多角度對(duì)信息進(jìn)行快速、一致、交互地存取，從而獲得對(duì)數(shù)據(jù)的更深入了解的一類軟件技術(shù)。OLAP一般是數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用的前端工具。OLAP的目標(biāo)是滿足決策支持或者滿足在多維環(huán)境下特定的查詢和報(bào)表需求，它的技術(shù)核心是“維”這個(gè)概念�！熬S”是人們觀察客觀世界的角度，是一種高層次的類型劃分�！熬S”一般包含著層次關(guān)系，這種層次關(guān)系有時(shí)會(huì)相當(dāng)復(fù)雜。通過(guò)把一個(gè)實(shí)體的多項(xiàng)重要的屬性定義為多個(gè)維(dimension)，使用戶能對(duì)不同維上的數(shù)據(jù)進(jìn)行比較。因此OLAP也可以說(shuō)是多維數(shù)據(jù)分析工具的集合。OALP的多維數(shù)據(jù)分析操作包括：
切片和切塊——是在一部分維上選定值后，關(guān)心度量數(shù)據(jù)在剩余維上的分布。如果剩余的維只有兩個(gè)，則是切片；如果有三個(gè)，則是切塊。
鉆取——是改變維的層次，變換分析的粒度。它包括向上鉆�。╮oll up）和向下鉆�。╠rill down）。roll up是在某一維上將低層次的細(xì)節(jié)數(shù)據(jù)概括到高層次的匯總數(shù)據(jù)，或者減少維數(shù)；而drill down則相反，它從匯總數(shù)據(jù)深入到細(xì)節(jié)數(shù)據(jù)進(jìn)行觀察或增加新維。
旋轉(zhuǎn)——變換維的方向，即在表格中重新安排維的放置（例如行列互換）。
1.3. ETL數(shù)據(jù)轉(zhuǎn)換工具：數(shù)據(jù)抽取（Extract）、轉(zhuǎn)換（Transform）、清洗（Cleansing）、裝載（Load）的過(guò)程。構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的重要一環(huán)，用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過(guò)數(shù)據(jù)清洗，最終按照預(yù)先定義好的數(shù)據(jù)倉(cāng)庫(kù)模型，將數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中去。 ETL的過(guò)程就是數(shù)據(jù)流動(dòng)的過(guò)程，從不同異構(gòu)數(shù)據(jù)源流向統(tǒng)一的目標(biāo)數(shù)據(jù)。其間，數(shù)據(jù)的抽取、清洗、轉(zhuǎn)換和裝載形成串行或并行的過(guò)程。ETL的核心還是在于T這個(gè)過(guò)程，也就是轉(zhuǎn)換，而抽取和裝載一般可以作為轉(zhuǎn)換的輸入和輸出，或者，它們作為一個(gè)單獨(dú)的部件，其復(fù)雜度沒(méi)有轉(zhuǎn)換部件高。
1.4. EIS前端展現(xiàn)工具——EIS（Executive Information System，領(lǐng)導(dǎo)信息系統(tǒng)）：指為了滿足無(wú)法專注于計(jì)算機(jī)技術(shù)的領(lǐng)導(dǎo)人員的信息查詢需求，而特意制定的以簡(jiǎn)單的圖形界面訪問(wèn)數(shù)據(jù)倉(cāng)庫(kù)的一種應(yīng)用。
1.5. 數(shù)據(jù)倉(cāng)庫(kù)（Data Warehouse）――是將從多個(gè)數(shù)據(jù)源收集的信息，按照單一的模式進(jìn)行存儲(chǔ)，并通常將這些信息駐留在單個(gè)站點(diǎn)。數(shù)據(jù)倉(cāng)庫(kù)通過(guò)數(shù)據(jù)清理、數(shù)據(jù)變換、數(shù)據(jù)集成、數(shù)據(jù)裝入和定期數(shù)據(jù)刷新來(lái)構(gòu)造其內(nèi)容。數(shù)據(jù)倉(cāng)庫(kù)收集了整個(gè)組織的主題信息，因此，它是企業(yè)范圍的數(shù)據(jù)存儲(chǔ)。寬松地講，數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)數(shù)據(jù)庫(kù)，組織可以將它與組織機(jī)構(gòu)的操作數(shù)據(jù)庫(kù)分別進(jìn)行維護(hù)。數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)允許將各種應(yīng)用系統(tǒng)集成在一起，為統(tǒng)一的歷史數(shù)據(jù)分析提供堅(jiān)實(shí)的平臺(tái)，對(duì)信息處理提供支持。按照W.H.Inmon這位數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)構(gòu)造方面的權(quán)威設(shè)計(jì)師的說(shuō)法，“數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的、集成的、時(shí)變的、非易失的數(shù)據(jù)集合，支持管理部門(mén)的決策過(guò)程�！�
1.6. 數(shù)據(jù)集市（Data Mart）――它是數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)部門(mén)子集。它聚焦在選定的主題上，是部門(mén)范圍的。為匯總而優(yōu)先的專用數(shù)據(jù)存儲(chǔ)，用于特定的場(chǎng)合，其存儲(chǔ)的內(nèi)容作為數(shù)據(jù)倉(cāng)庫(kù)的子集。數(shù)據(jù)集市通常使用OLAP技術(shù)進(jìn)行處理。它通常為一個(gè)公司的特定需求，或一個(gè)機(jī)構(gòu)的特定業(yè)務(wù)而建立的，一般有兩種特殊的數(shù)據(jù)庫(kù)結(jié)構(gòu)：星型模式和雪花模式。
1.7. 數(shù)據(jù)挖掘：數(shù)據(jù)挖掘是從特定形式的數(shù)據(jù)集中提煉知識(shí)的過(guò)程。數(shù)據(jù)挖掘往往針對(duì)特定的數(shù)據(jù)、特定的問(wèn)題，選擇一種或者多種挖掘算法，找到數(shù)據(jù)下面隱藏的規(guī)律，這些規(guī)律往往被用來(lái)預(yù)測(cè)、支持決策。
在了解了以上概念后，我們?cè)賮?lái)看商業(yè)智能的概念：
商業(yè)智能（Business Intelligence）: 商業(yè)智能是用來(lái)實(shí)現(xiàn)數(shù)據(jù)向信息轉(zhuǎn)變，信息向知識(shí)轉(zhuǎn)變，知識(shí)向價(jià)值轉(zhuǎn)變的這么一個(gè)過(guò)程（如下圖所示），以及這個(gè)過(guò)程中所使用到的各種技術(shù)和工具。商業(yè)智能并不是一項(xiàng)新技術(shù)，它只是數(shù)據(jù)倉(cāng)庫(kù)、OLAP和數(shù)據(jù)挖掘等技術(shù)的綜合應(yīng)用。
2. 幾個(gè)概念的對(duì)比
2.1. OLTP vs OLAP的對(duì)比分析
對(duì)比項(xiàng)目 OLTP OLAP
用戶 操作人員,低層管理人員 決策人員,高級(jí)管理人員
功能 日常操作處理 分析決策
DB 設(shè)計(jì) 面向應(yīng)用 面向主題
數(shù)據(jù) 當(dāng)前的，最新的細(xì)節(jié)的，二維的分立的 歷史的，聚集的，多維的集成的，統(tǒng)一的
存取 讀/寫(xiě)數(shù)十條記錄 讀上百萬(wàn)條記錄
工作單位 簡(jiǎn)單的事務(wù) 復(fù)雜的查詢
用戶數(shù) 上千個(gè) 上百個(gè)
DB 大小 100MB-GB 100GB-TB
2.2. 數(shù)據(jù)挖掘（DM）vs數(shù)據(jù)分析 OLAP
OLAP側(cè)重于與用戶的交互、快速的響應(yīng)速度及提供數(shù)據(jù)的多維視圖，而數(shù)據(jù)挖掘則注重自動(dòng)發(fā)現(xiàn)隱藏在數(shù)據(jù)中的模式和有用信息，盡管允許用戶指導(dǎo)這一過(guò)程。OLAP的分析結(jié)果可以給數(shù)據(jù)挖掘提供分析信息作為挖掘的依據(jù)，數(shù)據(jù)挖掘可以拓展OLAP分析的深度，可以發(fā)現(xiàn)OLAP所不能發(fā)現(xiàn)的更為復(fù)雜、細(xì)致的信息。OLAP側(cè)重于分析數(shù)據(jù)之間的關(guān)系，而數(shù)據(jù)挖掘則側(cè)重于通過(guò)對(duì)數(shù)據(jù)分析結(jié)果的挖掘進(jìn)行預(yù)警與預(yù)測(cè)。
2.3. 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)（DW） vs 商業(yè)智能系統(tǒng)（BI）
數(shù)據(jù)倉(cāng)庫(kù)從概念上更多地側(cè)重在對(duì)各類企業(yè)信息的整合工作，包括了數(shù)據(jù)的遷移，數(shù)據(jù)的組織和存儲(chǔ)，數(shù)據(jù)的管理與維護(hù)這些我們平常稱之為后臺(tái)的基礎(chǔ)性的數(shù)據(jù)準(zhǔn)備工作，它是BI的核心；
商業(yè)智能概念則側(cè)重在對(duì)數(shù)據(jù)的查詢，報(bào)表、多維/聯(lián)機(jī)數(shù)據(jù)分析、數(shù)據(jù)分析和數(shù)據(jù)可視化工具這些平常稱之為所謂前臺(tái)的數(shù)據(jù)應(yīng)用方面。
2.4. 商業(yè)智能（BI） vs 決策支持系統(tǒng)（DSS）
早期BI的雛形就是決策支持系統(tǒng)DSS，只是當(dāng)時(shí)還沒(méi)有采用數(shù)據(jù)倉(cāng)庫(kù)、多維分析以及數(shù)據(jù)挖掘等技術(shù)，而且其面向的服務(wù)人群主要是管理人員。當(dāng)今的BI在應(yīng)用范圍上已經(jīng)更加廣泛，已經(jīng)可以拓展到整個(gè)企業(yè)的所有員工，通過(guò)對(duì)各個(gè)層面信息的獲取、分析以及利用來(lái)滿足各個(gè)部門(mén)及員工的需求。從這個(gè)角度而言，決策支持是BI中的一種應(yīng)用。而數(shù)據(jù)挖掘只是BI涉及到的技術(shù)手段中的一種。（目前的BI從某種程度上還只限于DSS的應(yīng)用）
3. 商業(yè)智能的技術(shù)架構(gòu)
從技術(shù)架構(gòu)來(lái)講，商業(yè)智能系統(tǒng)主要由數(shù)據(jù)源、數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)、商業(yè)智能應(yīng)用幾個(gè)部分組成:
3.1. 數(shù)據(jù)源包括了現(xiàn)有企業(yè)中所有的信息系統(tǒng)，以及根據(jù)決策分析需求可能涉及的其他外部數(shù)據(jù)資源。它主要包括業(yè)務(wù)數(shù)據(jù)和外部數(shù)據(jù)。
3.2. ETL——數(shù)據(jù)抽取、轉(zhuǎn)換和裝載(Extract, Transform, Load) 負(fù)責(zé)將數(shù)據(jù)從業(yè)務(wù)系統(tǒng)或外部系統(tǒng)中獲得，轉(zhuǎn)換和處理成數(shù)據(jù)倉(cāng)庫(kù)需要的格式和形態(tài)，并在規(guī)定的時(shí)間裝入到數(shù)據(jù)倉(cāng)庫(kù)中去。在系統(tǒng)實(shí)現(xiàn)時(shí)一般采用數(shù)據(jù)抽取工具和應(yīng)用編程實(shí)現(xiàn)，并擁有調(diào)度管理和控制功能。
3.3. 數(shù)據(jù)倉(cāng)庫(kù)(Data Warehouse)是數(shù)據(jù)存儲(chǔ)核心，目前，大多數(shù)數(shù)據(jù)倉(cāng)庫(kù)采用關(guān)系型數(shù)據(jù)庫(kù)管理。由于數(shù)據(jù)量的龐大和查詢復(fù)雜的特點(diǎn)，在系統(tǒng)配置上強(qiáng)調(diào)大規(guī)模并行處理和針對(duì)決策支持訪問(wèn)的專項(xiàng)優(yōu)化。
3.4. 操作數(shù)據(jù)(Operational Data Store) 近年來(lái)，隨著商業(yè)智能應(yīng)用的需求，如數(shù)據(jù)挖掘和實(shí)時(shí)業(yè)務(wù)分析，在數(shù)據(jù)倉(cāng)庫(kù)中需要有部分?jǐn)?shù)據(jù)擁有當(dāng)前數(shù)據(jù)的特征，根據(jù)業(yè)務(wù)系統(tǒng)的變化而變化，不必關(guān)心歷史信息，同時(shí)又擁有數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)面向主題的特點(diǎn)。這部分?jǐn)?shù)據(jù)叫作操作數(shù)據(jù)，一般采用關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)，規(guī)模適中，強(qiáng)調(diào)快速查詢響應(yīng)能力。
3.5. 數(shù)據(jù)集市(Data Mart)存儲(chǔ)了由數(shù)據(jù)倉(cāng)庫(kù)來(lái)的，經(jīng)過(guò)裁剪和歸整的數(shù)據(jù)，這些數(shù)據(jù)針對(duì)某個(gè)業(yè)務(wù)部門(mén)或某種業(yè)務(wù)分析應(yīng)用而建立。數(shù)據(jù)集市一般都對(duì)數(shù)據(jù)進(jìn)行了各種層次的匯總，并建立多維分析的模型，同時(shí)也包括了數(shù)據(jù)采樣。數(shù)據(jù)集市的存儲(chǔ)主要有關(guān)系數(shù)據(jù)庫(kù)和多維數(shù)據(jù)庫(kù)。其中，多維數(shù)據(jù)庫(kù)存放多維分析數(shù)據(jù)，而關(guān)系數(shù)據(jù)庫(kù)則存儲(chǔ)星型模式。
3.6. 數(shù)據(jù)歸整(Refinement) 數(shù)據(jù)歸整指數(shù)據(jù)從數(shù)據(jù)倉(cāng)庫(kù)到數(shù)據(jù)集市的過(guò)程，它是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)內(nèi)部的數(shù)據(jù)處理和轉(zhuǎn)換的過(guò)程，主要的任務(wù)是多維模型的轉(zhuǎn)換、數(shù)據(jù)的匯總和采樣等。有時(shí)，它由ETL系統(tǒng)統(tǒng)一調(diào)度完成。
3.7. 商業(yè)智能應(yīng)用——涉及數(shù)據(jù)和信息的展現(xiàn)部分，它是用戶使用商業(yè)智能系統(tǒng)的界面。目前的商業(yè)智能系統(tǒng)一般提供以下兩類功能：1、客觀呈現(xiàn)用戶想要信息，如查詢和報(bào)表、聯(lián)機(jī)分析處理(OLAP)。2、對(duì)數(shù)據(jù)進(jìn)行進(jìn)一步的分析，發(fā)現(xiàn)新知識(shí)，如數(shù)據(jù)挖掘和數(shù)理統(tǒng)計(jì)等。
3.8. 元數(shù)據(jù)是管理商業(yè)智能系統(tǒng)的數(shù)據(jù)，其主要部分類似于數(shù)據(jù)字典，其內(nèi)容貫穿了商業(yè)智能應(yīng)用的各階段，記錄著從ETL到分析展現(xiàn)各個(gè)階段和各組成部分的管理信息。在系統(tǒng)管理上，試圖提供統(tǒng)一的平臺(tái)對(duì)元數(shù)據(jù)進(jìn)行管理和維護(hù)，并通過(guò)元數(shù)據(jù)的狀態(tài)驅(qū)動(dòng)系統(tǒng)各部分的運(yùn)轉(zhuǎn)。不過(guò)，就目前而言，元數(shù)據(jù)的概念在數(shù)據(jù)倉(cāng)庫(kù)業(yè)界尚未擁有一個(gè)統(tǒng)一的標(biāo)準(zhǔn)，各個(gè)數(shù)據(jù)倉(cāng)庫(kù)廠商的產(chǎn)品間元數(shù)據(jù)也是不能夠互通的。
二、 商務(wù)智能的發(fā)展階段及趨勢(shì)
隨著近年來(lái)信息化建設(shè)的不斷完善，從全球范圍來(lái)看，商業(yè)智能(BI)系統(tǒng)已經(jīng)成為繼企業(yè)資源計(jì)劃(ERP)之后最重要的信息系統(tǒng)。在中國(guó)，商業(yè)智能也已經(jīng)被越來(lái)越多的企業(yè)管理者所認(rèn)識(shí)，而在電信、金融、零售、流通等行業(yè)，商業(yè)智能已經(jīng)成為信息化建設(shè)的重點(diǎn)。
1. 企業(yè)信息化的三個(gè)階段
1.1. 企業(yè)信息化發(fā)展的第一個(gè)階段:
基礎(chǔ)信息化階段，主要是解決原始手工處理的數(shù)據(jù)電子化的問(wèn)題；
信息的關(guān)聯(lián)面是非常有限的；
信息專業(yè)性很強(qiáng)，離開(kāi)了系統(tǒng)的主要用戶，別人是看不懂這些數(shù)據(jù)；
用戶在企業(yè)中往往是占很少數(shù)。
1.2. 企業(yè)信息化發(fā)展的第二個(gè)階段:
總體角度建設(shè)高度集中的、或互相聯(lián)接的綜合業(yè)務(wù)管理系統(tǒng)，例如銀行的核心業(yè)務(wù)系統(tǒng)；
實(shí)現(xiàn)業(yè)務(wù)的協(xié)同運(yùn)作。
1.3. 企業(yè)信息化發(fā)展的第三個(gè)階段：
企業(yè)是個(gè)嚴(yán)密運(yùn)作的復(fù)雜系統(tǒng)，每個(gè)細(xì)小環(huán)節(jié)的活動(dòng)是彼此互相關(guān)聯(lián)的；
基于具體業(yè)務(wù)所開(kāi)發(fā)的應(yīng)用系統(tǒng)信息面只能覆蓋企業(yè)的一個(gè)局部范圍；
從零碎的，片段的企業(yè)局部化信息難以看清企業(yè)整體的變化；
企業(yè)需要一種協(xié)同思考的能力；
信息系統(tǒng)將更多定位在對(duì)企業(yè)整體戰(zhàn)略發(fā)展層面的支撐；
商業(yè)智能浮出水平并且逐漸成為主角。
|
|
資源大�。�309.12 KB 
