數據庫的概念:
數據庫(Database)是按照數據結構來組織、存儲和管理數據的倉庫,它產生於距今六十多年前,隨著信息技術和市場的發展,特別是二十世紀九十年代以後,
數據管理不再僅僅是存儲和管理數據,而轉變成用戶所需要的各種數據管理的方式。數據庫有很多種類型,從最簡單的存儲有各種數據的表格到能夠進行海量數據存儲的大型數據庫系統都在各個方面得到了廣泛的應用。
在信息化社會,充分有效地管理和利用各類信息資源,是進行科學研究和決策管理的前提條件。數據庫技術是管理信息系統、辦公自動化系統、決策支持系統等各類信息系統的核心部分,是進行科學研究和決策管理的重要技術手段。
數據庫的定義:
定義1:數據庫(Database)是按照數據結構來組織、存儲和管理數據的建立在計算機存儲設備上的倉庫。
簡單來說是本身可視為電子化的文件櫃——存儲電子文件的處所,用戶可以對文件中的數據進行新增、截取、更新、刪除等操作。
在經濟管理的日常工作中,常常需要把某些相關的數據放進這樣的“倉庫”,並根據管理的需要進行相應的處理。
例如,企業或事業單位的人事部門常常要把本單位職工的基本情況(職工號、姓名、年齡、性別、籍貫、工資、簡歷等)存放在表中,這張表就可以看成是壹個數據庫。有了這個\"數據倉庫\"我們就可以根據需要隨時查詢某職工的基本情況,也可以查詢工資在某個範圍內的職工人數等等。這些工作如果都能在計算機上自動進行,那我們的人事管理就可以達到極高的水平。此外,在財務管理、倉庫管理、生產管理中也需要建立眾多的這種\"數據庫\",使其可以利用計算機實現財務、倉庫、生產的自動化管理。
定義2:
嚴格來說,數據庫是長期儲存在計算機內、有組織的、可***享的數據集合。數據庫中的數據指的是以壹定的數據模型組織、描述和儲存在壹起、具有盡可能小的冗余度、較高的數據獨立性和易擴展性的特點並可在壹定範圍內為多個用戶***享。
這種數據集合具有如下特點:盡可能不重復,以最優方式為某個特定組織的多種應用服務,其數據結構獨立於使用它的應用程序,對數據的增、刪、改、查由統壹軟件進行管理和控制。從發展的歷史看,數據庫是數據管理的高級階段,它是由文件管理系統發展起來的。[1][2]
數據庫的處理系統:
數據庫是壹個單位或是壹個應用領域的通用數據處理系統,它存儲的是屬於企業和事業部門、團體和個人的有關數據的集合。數據庫中的數據是從全局觀點出發建立的,按壹定的數據模型進行組織、描述和存儲。其結構基於數據間的自然聯系,從而可提供壹切必要的存取路徑,且數據不再針對某壹應用,而是面向全組織,具有整體的結構化特征。
數據庫中的數據是為眾多用戶所***享其信息而建立的,已經擺脫了具體程序的限制和制約。不同的用戶可以按各自的用法使用數據庫中的數據;多個用戶可以同時***享數據庫中的數據資源,即不同的用戶可以同時存取數據庫中的同壹個數據。數據***享性不僅滿足了各用戶對信息內容的要求,同時也滿足了各用戶之間信息通信的要求。
數據庫的基本結構:
數據庫的基本結構分三個層次,反映了觀察數據庫的三種不同角度。
以內模式為框架所組成的數據庫叫做物理數據庫;以概念模式為框架所組成的數據叫概念數據庫;以外模式為框架所組成的數據庫叫用戶數據庫。
⑴物理數據層。
它是數據庫的最內層,是物理存貯設備上實際存儲的數據的集合。這些數據是原始數據,是用戶加工的對象,由內部模式描述的指令操作處理的位串、字符和字組成。
⑵概念數據層。
它是數據庫的中間壹層,是數據庫的整體邏輯表示。指出了每個數據的邏輯定義及數據間的邏輯聯系,是存貯記錄的集合。它所涉及的是數據庫所有對象的邏輯關系,而不是它們的物理情況,是數據庫管理員概念下的數據庫。
⑶用戶數據層。
它是用戶所看到和使用的數據庫,表示了壹個或壹些特定用戶使用的數據集合,即邏輯記錄的集合。
數據庫不同層次之間的聯系是通過映射進行轉換的。
數據庫的主要特點:
⑴實現數據***享
數據***享包含所有用戶可同時存取數據庫中的數據,也包括用戶可以用各種方式通過接口使用數據庫,並提供數據***享。
⑵減少數據的冗余度
同文件系統相比,由於數據庫實現了數據***享,從而避免了用戶各自建立應用文件。減少了大量重復數據,減少了數據冗余,維護了數據的壹致性。
⑶數據的獨立性
數據的獨立性包括邏輯獨立性(數據庫中數據庫的邏輯結構和應用程序相互獨立)和物理獨立性(數據物理結構的變化不影響數據的邏輯結構)。
⑷數據實現集中控制
文件管理方式中,數據處於壹種分散的狀態,不同的用戶或同壹用戶在不同處理中其文件之間毫無關系。利用數據庫可對數據進行集中控制和管理,並通過數據模型表示各種數據的組織以及數據間的聯系。
⑸數據壹致性和可維護性,以確保數據的安全性和可靠性
主要包括:①安全性控制:以防止數據丟失、錯誤更新和越權使用;②完整性控制:保證數據的正確性、有效性和相容性;③並發控制:使在同壹時間周期內,允許對數據實現多路存取,又能防止用戶之間的不正常交互作用。
⑹故障恢復
由數據庫管理系統提供壹套方法,可及時發現故障和修復故障,從而防止數據被破壞。數據庫系統能盡快恢復數據庫系統運行時出現的故障,可能是物理上或是邏輯上的錯誤。比如對系統的誤操作造成的數據錯誤等。
數據庫的數據種類:
數據庫通常分為層次式數據庫、網絡式數據庫和關系式數據庫三種。而不同的數據庫是按不同的數據結構來聯系和組織的。
1.數據結構模型
⑴數據結構
所謂數據結構是指數據的組織形式或數據之間的聯系。
如果用D表示數據,用R表示數據對象之間存在的關系集合,則將DS=(D,R)稱為數據結構。
例如,設有壹個電話號碼簿,它記錄了n個人的名字和相應的電話號碼。為了方便地查找某人的電話號碼,將人名和號碼按字典順序排列,並在名字的後面跟隨著對應的電話號碼。這樣,若要查找某人的電話號碼(假定他的名字的第壹個字母是Y),那麽只須查找以Y開頭的那些名字就可以了。該例中,數據的集合D就是人名和電話號碼,它們之間的聯系R就是按字典順序的排列,其相應的數據結構就是DS=(D,R),即壹個數組。
⑵數據結構類型
數據結構又分為數據的邏輯結構和數據的物理結構。
數據的邏輯結構是從邏輯的角度(即數據間的聯系和組織方式)來觀察數據,分析數據,與數據的存儲位置無關;數據的物理結構是指數據在計算機中存放的結構,即數據的邏輯結構在計算機中的實現形式,所以物理結構也被稱為存儲結構。
這裏只研究數據的邏輯結構,並將反映和實現數據聯系的方法稱為數據模型。
比較流行的數據模型有三種,即按圖論理論建立的層次結構模型和網狀結構模型以及按關系理論建立的關系結構模型。
2.層次、網狀和關系數據庫系統
⑴層次結構模型
層次結構模型實質上是壹種有根結點的定向有序樹(在數學中\"樹\"被定義為壹個無回的連通圖)。下圖是壹個高等學校的組織結構圖。這個組織結構圖像壹棵樹,校部就是樹根(稱為根結點),各系、專業、教師、學生等為枝點(稱為結點),樹根與枝點之間的聯系稱為邊,樹根與邊之比為1:N,即樹根只有壹個,樹枝有N個。
按照層次模型建立的數據庫系統稱為層次模型數據庫系統。IMS(InformationManagementSystem)是其典型代表。
⑵網狀結構模型
按照網狀數據結構建立的數據庫系統稱為網狀數據庫系統,其典型代表是DBTG(DatabaseTaskGroup)。用數學方法可將網狀數據結構轉化為層次數據結構。
⑶關系結構模型
關系式數據結構把壹些復雜的數據結構歸結為簡單的二元關系(即二維表格形式)。例如某單位的職工關系就是壹個二元關系。
由關系數據結構組成的數據庫系統被稱為關系數據庫系統。
在關系數據庫中,對數據的操作幾乎全部建立在壹個或多個關系表格上,通過對這些關系表格的分類、合並、連接或選取等運算來實現數據的管理。
dBASEⅡ就是這類數據庫管理系統的典型代表。對於壹個實際的應用問題(如人事管理問題),有時需要多個關系才能實現。用dBASEⅡ建立起來的壹個關系稱為壹個數據庫(或稱數據庫文件),而把對應多個關系建立起來的多個數據庫稱為數據庫系統。dBASEⅡ的另壹個重要功能是通過建立命令文件來實現對數據庫的使用和管理,對於壹個數據庫系統相應的命令序列文件,稱為該數據庫的應用系統。
因此,可以概括地說,壹個關系稱為壹個數據庫,若幹個數據庫可以構成壹個數據庫系統。數據庫系統可以派生出各種不同類型的輔助文件和建立它的應用系統。
數據庫的發展簡史:
1數據庫的技術發展
使用計算機後,隨著數據處理量的增長,產生了數據管理技術。數據管理技術的發展與計算機硬件(主要是外部存儲器)系統軟件及計算機應用的範圍有著密切的聯系。數據管理技術的發展經歷了以下四個階段:人工管理階段、文件系統階段、數據庫階段和高級數據庫技術階段。
2數據管理的誕生
數據庫的歷史可以追溯到五十年前,那時的數據管理非常簡單。通過大量的分類、比較和表格繪制的機器運行數百萬穿孔卡片來進行數據的處理,其運行結果在紙上打印出來或者制成新的穿孔卡片。而數據管理就是對所有這些穿孔卡片進行物理的儲存和處理。然而,1950年雷明頓蘭德公司(RemingtonRandInc)的壹種叫做UnivacI的計算機推出了壹種壹秒鐘可以輸入數百條記錄的磁帶驅動器,從而引發了數據管理的革命。1956年IBM生產出第壹個磁盤驅動器——theModel305RAMAC。此驅動器有50個盤片,每個盤片直徑是2英尺,可以儲存5MB的數據。使用磁盤最大的好處是可以隨機存取數據,而穿孔卡片和磁帶只能順序存取數據。
1951:Univac系統使用磁帶和穿孔卡片作為數據存儲。
數據庫系統的萌芽出現於二十世紀60年代。當時計算機開始廣泛地應用於數據管理,對數據的***享提出了越來越高的要求。傳統的文件系統已經不能滿足人們的需要,能夠統壹管理和***享數據的數據庫管理系統(DBMS)應運而生。數據模型是數據庫系統的核心和基礎,各種DBMS軟件都是基於某種數據模型的。所以通常也按照數據模型的特點將傳統數據庫系統分成網狀數據庫、層次數據庫和關系數據庫三類。
最早出現的網狀DBMS,是美國通用電氣公司Bachman等人在1961年開發的IDS(IntegratedDataStore)。1964年通用電氣公司(GeneralElectricCo.)的CharlesBachman成功地開發出世界上第壹個網狀DBMS也即第壹個數據庫管理系統——集成數據存儲(IntegratedDataStoreIDS),奠定了網狀數據庫的基礎,並在當時得到了廣泛的發行和應用。IDS具有數據模式和日誌的特征,但它只能在GE主機上運行,並且數據庫只有壹個文件,數據庫所有的表必須通過手工編碼生成。之後,通用電氣公司壹個客戶——BFGoodrichChemical公司最終不得不重寫了整個系統,並將重寫後的系統命名為集成數據管理系統(IDMS)。
網狀數據庫模型對於層次和非層次結構的事物都能比較自然的模擬,在關系數據庫出現之前網狀DBMS要比層次DBMS用得普遍。在數據庫發展史上,網狀數據庫占有重要地位。
層次型DBMS是緊隨網絡型數據庫而出現的,最著名最典型的層次數據庫系統是IBM公司在1968年開發的IMS(InformationManagementSystem),壹種適合其主機的層次數據庫。這是IBM公司研制的最早的大型數據庫系統程序產品。從60年代末產生起,如今已經發展到IMSV6,提供群集、N路數據***享、消息隊列***享等先進特性的支持。這個具有30年歷史的數據庫產品在如今的WWW應用連接、商務智能應用中扮演著新的角色。
1973年Cullinane公司(也就是後來的Cullinet軟件公司),開始出售Goodrich公司的IDMS改進版本,並且逐漸成為當時世界上最大的軟件公司。
數據庫的關系由來:
網狀數據庫和層次數據庫已經很好地解決了數據的集中和***享問題,但是在數據獨立性和抽象級別上仍有很大欠缺。用戶在對這兩種數據庫進行存取時,仍然需要明確數據的存儲結構,指出存取路徑。而後來出現的關系數據庫較好地解決了這些問題。
1970年,IBM的研究員E.F.Codd博士在刊物《CommunicationoftheACM》上發表了壹篇名為“ARelationalModelofDataforLargeSharedDataBanks”的論文,提出了關系模型的概念,奠定了關系模型的理論基礎。盡管之前在1968年Childs已經提出了面向集合的模型,然而這篇論文被普遍認為是數據庫系統歷史上具有劃時代意義的裏程碑。Codd的心願是為數據庫建立壹個優美的數據模型。後來Codd又陸續發表多篇文章,論述了範式理論和衡量關系系統的12條標準,用數學理論奠定了關系數據庫的基礎。關系模型有嚴格的數學基礎,抽象級別比較高,而且簡單清晰,便於理解和使用。但是當時也有人認為關系模型是理想化的數據模型,用來實現DBMS是不現實的,尤其擔心關系數據庫的性能難以接受,更有人視其為當時正在進行中的網狀數據庫規範化工作的嚴重威脅。為了促進對問題的理解,1974年ACM牽頭組織了壹次研討會,會上開展了壹場分別以Codd和Bachman為首的支持和反對關系數據庫兩派之間的辯論。這次著名的辯論推動了關系數據庫的發展,使其最終成為現代數據庫產品的主流。
1969年EdgarF.“Ted”Codd發明了關系數據庫。
1970年關系模型建立之後,IBM公司在SanJose實驗室增加了更多的研究人員研究這個項目,這個項目就是著名的SystemR。其目標是論證壹個全功能關系DBMS的可行性。該項目結束於1979年,完成了第壹個實現SQL的DBMS。然而IBM對IMS的承諾阻止了SystemR的投產,壹直到1980年SystemR才作為壹個產品正式推向市場。IBM產品化步伐緩慢的三個原因:IBM重視信譽,重視質量,盡量減少故障;IBM是個大公司,官僚體系龐大,IBM內部已經有層次數據庫產品,相關人員不積極,甚至反對。
然而同時,1973年加州大學伯克利分校的MichaelStonebraker和EugeneWong利用SystemR已發布的信息開始開發自己的關系數據庫系統Ingres。他們開發的Ingres項目最後由Oracle公司、Ingres公司以及矽谷的其他廠商所商品化。後來,SystemR和Ingres系統雙雙獲得ACM的1988年“軟件系統獎”。
1976年霍尼韋爾公司(Honeywell)開發了第壹個商用關系數據庫系統——MulticsRelationalDataStore。關系型數據庫系統以關系代數為堅實的理論基礎,經過幾十年的發展和實際應用,技術越來越成熟和完善。其代表產品有Oracle、IBM公司的DB2、微軟公司的MSSQLServer以及Informix、ADABASD等等。
數據庫的發展階段:
數據庫發展階段大致劃分為如下的幾個階段:人工管理階段、文件系統階段、數據庫系統階段、高級數據庫階段。
人工管理階段
20世紀50年代中期之前,計算機的軟硬件均不完善。硬件存儲設備只有磁帶、卡片和紙帶,軟件方面還沒有操作系統,當時的計算機主要用於科學計算。這個階段由於還沒有軟件系統對數據進行管理,程序員在程序中不僅要規定數據的邏輯結構,還要設計其物理結構,包括存儲結構、存取方法、輸入輸出方式等。當數據的物理組織或存儲設備改變時,用戶程序就必須重新編制。由於數據的組織面向應用,不同的計算程序之間不能***享數據,使得不同的應用之間存在大量的重復數據,很難維護應用程序之間數據的壹致性。
這壹階段的主要特征可歸納為如下幾點:
(1)計算機中沒有支持數據管理的軟件,計算機系統不提供對用戶數據的管理功能,應用程序只包含自己要用到的全部數據。用戶編制程序,必須全面考慮好相關的數據,包括數據的定義、存儲結構以即存取方法等。程序和數據是壹個不可分割的整體。數據脫離了程序極具無任何存在的價值,數據無獨立性。
(2)數據不能***享。不同的程序均有各自的數據,這些數據對不同的程序通常是不相同的,不可***享;即使不同的程序使用了相同的壹組數據,這些數據也不能***享,程序中仍然需要各自加入這組數據,哪個部分都不能省略。基於這種數據的不可***享性,必然導致程序與程序之間存在大量的重復數據,浪費存儲空間。
(3)不能單獨保存數據。在程序中要規定數據的邏輯結構和物理結構,數據與程序不獨立。基於數據與程序是壹個整體,數據只為本程序所使用,數據只有與相應的程序壹起保存才有價值,否則毫無用處。所以,所有程序的數據不單獨保存。數據處理的方式是批處理。
文件系統階段:
這壹階段的主要標誌是計算機中有了專門管理數據庫的軟件——操作系統(文件管理)。
上世紀50年代中期到60年代中期,由於計算機大容量直接存儲設備如硬盤、磁鼓的出現,
推動了軟件技術的發展,軟件的領域出現了操作系統和高級軟件,操作系統中的文件系統是專門管理外存的數據管理軟件,操作系統為用戶使用文件提供了友好界面。操作系統的出現標誌著數據管理步入壹個新的階段。在文件系統階段,數據以文件為單位存儲在外存,且由操作系統統壹管理,文件是操作系統管理的重要資源。
文件系統階段的數據管理具有壹下幾個特點:
優點
(1)數據以“文件”形式可長期保存在外部存儲器的磁盤上。由於計算機的應用轉向信息管理,因此對文件要進行大量的查詢、修改和插入等操作。
(2)數據的邏輯結構與物理結構有了區別,程序和數據分離,使數據與程序有了壹定的獨立性,但比較簡單。數據的邏輯結構是指呈現在用戶面前的數據結構形式。數據的物理結構是指數據在計算機存儲設備上的實際存儲結構。程度與數據之間具有“設備獨立性”,即程序只需用文件名就可與數據打交道,不必關心數據的物理位置。由操作系統的文件系統提供存取方法(讀/寫)。
(3)文件組織已多樣化。有索引文件、鏈接文件和直接存取文件等。但文件之間相互獨立、缺乏聯系。數據之間的聯系需要通過程序去構造。
(4)數據不再屬於某個特定的程序,可以重復使用,即數據面向應用。但是文件結構的設計仍是基於特定的用途,程序基於特定的物理結構和存取方法,因此程度與數據結構之間的依賴關系並未根本改變。
(5)用戶的程序與數據可分別存放在外存儲器上,各個應用程序可以***享壹組數據,實現了以文件為單位的數據***享文件系統。
(6)對數據的操作以記錄為單位。這是由於文件中只存儲數據,不存儲文件記錄的結構描述信息。文件的建立、存取、查詢、插入、刪除、修改等操作,都要用程序來實現。
(7)數據處理方式有批處理,也有聯機實時處理。
缺點
文件系統對計算機數據管理能力的提高雖然起了很大的作用,但隨著數據管理規模的擴大,數據量急劇增加,文價系統顯露出壹些缺陷,問題表現在:
(1)數據文件是為了滿足特定業務領域某壹部門的專門需要而設計,數據和程序相互依賴,數據缺乏足夠的獨立性。
(2)數據沒有集中管理的機制,其安全性和完整性無法保障,數據維護業務仍然由應用程序來承擔;
(3)數據的組織仍然是面向程序,數據與程序的依賴性強,數據的邏輯結構不能方便地修改和擴充,數據邏輯結構的每壹點微小改變都會影響到應用程序;而且文件之間的缺乏聯系,因而它們不能反映現實世界中事物之間的聯系,加上操作系統不負責維護文件之間的聯系,信息造成每個應用程序都有相對應的文件。如果文件之間有內容上的聯系,那也只能由應用程序去處理,有可能同樣的數據在多個文件中重復儲存。這兩者造成了大量的數據冗余。
(4)對現有數據文件不易擴充,不易移植,難以通過增、刪數據項來適應新的應用要求。
數據庫系統階段:
20世紀60年代後期,隨著計算機在數據管理領域的普遍應用,人們對數據管理技術提出了更高的要求:希望面向企業或部門,以數據為中心組織數據,減少數據的冗余,提供更高的數據***享能力,同時要求程序和數據具有較高的獨立性,當數據的邏輯結構改變時,不涉及數據的物理結構,也不影響應用程序,以降低應用程序研制與維護的費用。數據庫技術正是在這樣壹個應用需求的基礎上發展起來的。
概括起來,數據庫系統階段的數據管理具有以下幾個特點:
(1)采用數據模型表示復雜的數據結構。數據模型不僅描述數據本身的特征,還要描述數據之間的聯系,這種聯系通過所有存取路徑。通過所有存儲路徑表示自然的數據聯系是數據庫與傳統文件的根本區別。這樣,數據不再面向特定的某個或多個應用,而是面對整個應用系統。如面向企業或部門,以數據為中心組織數據,形成綜合性的數據庫,為各應用***享。
(2)由於面對整個應用系統使得,數據冗余小,易修改、易擴充,實現了數據貢獻。不同的應用程序根據處理要求,從數據庫中獲取需要的數據,這樣就減少了數據的重復存儲,也便於增加新的數據結構,便於維護數據的壹致性。
(3)對數據進行統壹管理和控制,提供了數據的安全性、完整性、以及並發控制。
(4)程序和數據有較高的獨立性。數據的邏輯結構與物理結構之間的差別可以很大,用戶以簡單的邏輯結構操作數據而無須考慮數據的物理結構。
(5)具有良好的用戶接口,用戶可方便地開發和使用數據庫。
從文件系統發展到數據庫系統,這在信息領域中具有裏程碑的意義。在文件系統階段,人們在信息處理中關註的中心問題是系統功能的設計,因此程序設計占主導地位;而在數據庫方式下,數據開始占據了中心位置,數據的結構設計成為信息系統首先關心的問題,而應用程序則以既定的數據結構為基礎進行設計。
數據庫發展趨勢:
隨著信息管理內容的不斷擴展,出現了豐富多樣的數據模型(層次模型,網狀模型,關系模型,面向對象模型,半結構化模型等),新技術也層出不窮(數據流,Web數據管理,數據挖掘等)。每隔幾年,國際上壹些資深的數據庫專家就會聚集壹堂,探討數據庫研究現狀,存在的問題和未來需要關註的新技術焦點。過去已有的幾個類似報告包括:1989年FutureDirectionsinDBMSResearch-TheLagunaBeachParticipants;1990年DatabaseSystems:AchievementsandOpportunities;1991年W.H.Inmon發表的《構建數據倉庫》;1995年Database。
常見數據庫廠商:
1.SQLServer
只能在windows上運行,沒有絲毫的開放性,操作系統的系統的穩定對數據庫是十分重要的。Windows9X系列產品是偏重於桌面應用,NTserver只適合中小型企業。而且wi