存儲(chǔ)虛擬化助新疆油田整合異構(gòu)環(huán)境

作者：邢士華 2009-04-10 23:12:57

云計(jì)算

虛擬化 為了消除數(shù)據(jù)孤島，新疆油田通過(guò)存儲(chǔ)虛擬化技術(shù)整合了異構(gòu)存儲(chǔ)平臺(tái)，實(shí)現(xiàn)了數(shù)據(jù)資源的集中管理。

網(wǎng)站建設(shè)哪家好，找成都創(chuàng)新互聯(lián)！專(zhuān)注于網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開(kāi)發(fā)、重慶小程序開(kāi)發(fā)公司、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶(hù)創(chuàng)新互聯(lián)還提供了雜多免費(fèi)建站歡迎大家使用！

為了消除數(shù)據(jù)孤島，新疆油田通過(guò)存儲(chǔ)虛擬化技術(shù)整合了異構(gòu)存儲(chǔ)平臺(tái)，實(shí)現(xiàn)了數(shù)據(jù)資源的集中管理。

新疆油田公司是新疆油田中國(guó)西部最大的石油生產(chǎn)企業(yè)，隸屬于中國(guó)石油天然氣集團(tuán)公司，主要從事準(zhǔn)噶爾盆地及其外圍盆地油氣資源的勘探開(kāi)發(fā)、集輸、銷(xiāo)售等業(yè)務(wù)。

新疆油田是新中國(guó)成立后開(kāi)發(fā)建設(shè)的第一個(gè)大油田，原油產(chǎn)量居中國(guó)陸上油田第四位、連續(xù)25年保持穩(wěn)定增長(zhǎng)，累計(jì)產(chǎn)油2億多噸。2002年原油年產(chǎn)突破1000萬(wàn)噸，成為中國(guó)西部第一個(gè)千萬(wàn)噸大油田。

當(dāng)前，新疆油田的發(fā)展目標(biāo)是數(shù)字油田、綠色油田、人文油田，其中數(shù)字油田就是實(shí)現(xiàn)管理現(xiàn)代化、達(dá)到管理系統(tǒng)化、生產(chǎn)自動(dòng)化、信息網(wǎng)絡(luò)化、分析智能化。公司領(lǐng)導(dǎo)歷來(lái)十分重視信息化建設(shè)，加大了在信息方面的投入，經(jīng)過(guò)15年信息化持續(xù)建設(shè)，于2008年12月31日實(shí)現(xiàn)了數(shù)字新疆油田。

兩個(gè)數(shù)據(jù)孤島

自2002年以來(lái)，新疆油田的信息化建設(shè)取得了長(zhǎng)足進(jìn)展，確立了“急用先建、邊建邊用、建用結(jié)合、以用促進(jìn)”的工作思路，建立了由決策層、管理層、執(zhí)行層和支撐層構(gòu)成信息化管理體系，成功研發(fā)了油田數(shù)據(jù)管理平臺(tái)、油田空間數(shù)字平臺(tái)、業(yè)務(wù)流程管理平臺(tái)等數(shù)字油田信息平臺(tái)。

2004年，在《油田公司數(shù)據(jù)中心軟件建設(shè)規(guī)劃》指導(dǎo)下，油田公司數(shù)據(jù)中心軟硬件建設(shè)取得了長(zhǎng)足進(jìn)展，先后購(gòu)置了1臺(tái)容量為6TB的HDS9585數(shù)據(jù)存儲(chǔ)和3臺(tái)Sun E4900數(shù)據(jù)庫(kù)服務(wù)器，實(shí)現(xiàn)了中心數(shù)據(jù)庫(kù)集群，數(shù)據(jù)處理能力達(dá)64個(gè)CPU和128GbMEM，公司勘探、開(kāi)發(fā)、經(jīng)營(yíng)、管理數(shù)據(jù)已實(shí)現(xiàn)集中管理。

數(shù)據(jù)中心的硬件架構(gòu)為SAN架構(gòu)，且以數(shù)據(jù)存儲(chǔ)為中心，所有系統(tǒng)都從HDS9585存取數(shù)據(jù)，服務(wù)器自身沒(méi)有數(shù)據(jù)存儲(chǔ)硬盤(pán)。目前，有10臺(tái)服務(wù)器數(shù)據(jù)存儲(chǔ)在HSD9595上，共有近70套應(yīng)用系統(tǒng)從這些服務(wù)器上提取數(shù)據(jù)。HDS裸存容量為6TB，系統(tǒng)做了RAID和熱備后可用容量為4.5TB，存儲(chǔ)空間已經(jīng)分配完畢，沒(méi)有剩下多余的空間。

另外，由股份公司組織實(shí)施的地球科學(xué)與鉆井系統(tǒng)(A1系統(tǒng))和上游生產(chǎn)信息系統(tǒng)(A2系統(tǒng))，由6臺(tái)套設(shè)備組成，總價(jià)值超過(guò)3000萬(wàn)元。A1A2系統(tǒng)架構(gòu)也是SAN架構(gòu)，以EMC CX700數(shù)據(jù)存儲(chǔ)為中心，所有系統(tǒng)皆從EMC CX700存取數(shù)據(jù)，服務(wù)器自身沒(méi)有數(shù)據(jù)存儲(chǔ)硬盤(pán)，目前有15臺(tái)設(shè)備連接到該存儲(chǔ)系統(tǒng)上，A1A2系統(tǒng)也從該存儲(chǔ)上存儲(chǔ)數(shù)據(jù)。EMC CX700裸存容量為24TB，系統(tǒng)做了RAID和熱備后可用容量為16TB，存儲(chǔ)空間也已分配完畢，已經(jīng)沒(méi)有剩余空間。

整體而言，目前油田公司數(shù)據(jù)中心存儲(chǔ)設(shè)備共4套，除了容量為6TB的HDS9585和容量為24TB的EMC CX700外，還有一套IBM3584自動(dòng)帶庫(kù)和一套IBM3494自動(dòng)帶庫(kù)。由于HDS9585和EMC CX700分屬不同的存儲(chǔ)廠(chǎng)商，因而形成了兩個(gè)數(shù)據(jù)孤島，資源不能互通和有效利用，同時(shí)為系統(tǒng)的維護(hù)管理、性能優(yōu)化、故障排查、數(shù)據(jù)遷移、容災(zāi)備份等都帶來(lái)了不便和困難。

集中管理“六大原則”

最近，新疆油田公司收集整理了過(guò)去五十年以來(lái)的油田生產(chǎn)數(shù)據(jù)，目前公司擁有78TB海量數(shù)據(jù)，各類(lèi)應(yīng)用系統(tǒng)120套及強(qiáng)大的數(shù)據(jù)庫(kù)服務(wù)器公司和應(yīng)用服務(wù)器。為了實(shí)現(xiàn)油田數(shù)據(jù)的共享，充分發(fā)揮數(shù)據(jù)在油田各行業(yè)的作用，各二級(jí)單位數(shù)據(jù)和應(yīng)用需要逐漸實(shí)現(xiàn)集中管理，需要對(duì)現(xiàn)有資源進(jìn)行整合。

但是，目前的數(shù)據(jù)資源呈現(xiàn)兩個(gè)孤立分散的島嶼，如何通過(guò)技術(shù)途徑把兩者整合到一起，形成一個(gè)統(tǒng)一的數(shù)據(jù)資源池，成為新疆油田現(xiàn)實(shí)而迫切的考量。

由于HDS9585和EMC CX700存儲(chǔ)設(shè)備相互獨(dú)立，并且各個(gè)系統(tǒng)發(fā)展不均衡性，導(dǎo)致某些系統(tǒng)建設(shè)之初規(guī)劃了很大的容量和很高的性能，但是實(shí)際運(yùn)行過(guò)程中卻沒(méi)有那么大的需要。如中心集群數(shù)據(jù)庫(kù)建設(shè)之初規(guī)劃了2TB，但目前只使用了822Gb，未來(lái)3年可能使用2TB，A1A2系統(tǒng)中LMK項(xiàng)目環(huán)境服務(wù)器規(guī)劃了6TB,未來(lái)3年實(shí)際可能使用1.5Tb;而另一些應(yīng)用建設(shè)之初卻是陷入了容量和性能不足的困境，其他系統(tǒng)有富裕的資源卻不能拿來(lái)使用，導(dǎo)致HDS9585存儲(chǔ)必須升級(jí)擴(kuò)容而EMC CX700存儲(chǔ)資源卻被閑置的局面，各存儲(chǔ)資源不能做到統(tǒng)一規(guī)劃，協(xié)調(diào)利用。

因此，油田公司需要建設(shè)一套集中統(tǒng)一的高性能高可靠性的存儲(chǔ)平臺(tái)。新平臺(tái)必須能夠?qū)υ械漠悩?gòu)存儲(chǔ)環(huán)境進(jìn)行整合，能夠?qū)⒃械拇鎯?chǔ)設(shè)備作為新存儲(chǔ)平臺(tái)的外部存儲(chǔ)設(shè)備，使新的存儲(chǔ)設(shè)備和原有的存儲(chǔ)設(shè)備形成一個(gè)統(tǒng)一完整的存儲(chǔ)池，由新的存儲(chǔ)設(shè)備進(jìn)行統(tǒng)一管理，最大限度發(fā)揮原有存儲(chǔ)資源的再利用能力。新的平臺(tái)能夠提高原有存儲(chǔ)環(huán)境的整體運(yùn)行性能，整個(gè)存儲(chǔ)環(huán)境對(duì)各個(gè)業(yè)務(wù)透明，存儲(chǔ)平臺(tái)可以根據(jù)各個(gè)業(yè)務(wù)的特性和需要，靈活的分配存儲(chǔ)容量、處理能力等各種資源，確保關(guān)鍵業(yè)務(wù)的穩(wěn)定可靠運(yùn)行。同時(shí)借助新的存儲(chǔ)平臺(tái)，存儲(chǔ)設(shè)備能方便擴(kuò)容，各個(gè)存儲(chǔ)設(shè)備能夠方便進(jìn)行無(wú)縫的數(shù)據(jù)遷移，并且實(shí)現(xiàn)集中的存儲(chǔ)備份和未來(lái)的容災(zāi)需要。

應(yīng)該說(shuō)，存儲(chǔ)整合為油田公司數(shù)據(jù)的大規(guī)模集中奠定了基礎(chǔ)，所以對(duì)整合后存儲(chǔ)的性能、安全性、容量動(dòng)態(tài)分配等指標(biāo)提出了很高要求，因此在整合過(guò)程中，需要著重考慮以下六大原則。

平臺(tái)整合：整合不但要滿(mǎn)足數(shù)據(jù)中心目前和未來(lái)開(kāi)展油田公司數(shù)據(jù)中心集中存儲(chǔ)需要，還要對(duì)已有系統(tǒng)的存儲(chǔ)環(huán)境進(jìn)行最大限度的整合，實(shí)現(xiàn)服務(wù)器的集中訪(fǎng)問(wèn)、數(shù)據(jù)資源的集中存儲(chǔ)和處理、存儲(chǔ)設(shè)備的集中管理和維護(hù)。

高性能：新的存儲(chǔ)平臺(tái)整合了所有的應(yīng)用之后，必須具備強(qiáng)大的處理能力，能夠消除原有存儲(chǔ)設(shè)備的性能瓶頸。

可擴(kuò)充性：在系統(tǒng)設(shè)計(jì)時(shí)應(yīng)充分考慮可擴(kuò)充性，從而確保新功能、新業(yè)務(wù)的增加在原有的系統(tǒng)平臺(tái)上擴(kuò)展和實(shí)現(xiàn)。

高可靠性：存儲(chǔ)平臺(tái)具有高可靠性，支持服務(wù)器平臺(tái)的高可用性集群技術(shù);具備先進(jìn)的容災(zāi)的設(shè)計(jì);充分保證系統(tǒng)的高擴(kuò)展能力和高容錯(cuò)能力，具有通道負(fù)載自動(dòng)均衡能力和存儲(chǔ)系統(tǒng)性能調(diào)節(jié)能力，提供極為充分的可靠性各項(xiàng)指標(biāo)設(shè)計(jì)。

高可用性：在盡量不停存儲(chǔ)和其它應(yīng)用系統(tǒng)情況下，實(shí)現(xiàn)擴(kuò)容、維護(hù)、升級(jí)等服務(wù)，提高性能以滿(mǎn)足新的業(yè)務(wù)需求，具備7×24連續(xù)工作的能力，系統(tǒng)的可用性應(yīng)能達(dá)到100%，可以實(shí)現(xiàn)磁盤(pán)數(shù)據(jù)的在線(xiàn)不停機(jī)備份。

可管理性：要求配置實(shí)時(shí)性能監(jiān)測(cè)管理軟件?？蓪?duì)CPU使用率、內(nèi)存使用率、交換區(qū)使用情況、I/O操作、隊(duì)列狀態(tài)、磁盤(pán)空間、卷磁盤(pán)錯(cuò)誤、系統(tǒng)事件、系統(tǒng)中各進(jìn)程對(duì)系統(tǒng)資源占用等性能和操作數(shù)據(jù)等服務(wù)器性能進(jìn)行實(shí)時(shí)監(jiān)控、管理和調(diào)配。

技術(shù)先進(jìn)性：系統(tǒng)設(shè)計(jì)采用當(dāng)前先進(jìn)而成熟的技術(shù)，不僅可以滿(mǎn)足現(xiàn)實(shí)工作的需求，也應(yīng)把握未來(lái)存儲(chǔ)整合的發(fā)展方向。

“虛擬化”整合

基于以上要求，新疆油田采用了HDS的TagmaStore NSC55 網(wǎng)絡(luò)存儲(chǔ)控制器或Universal Storage Platform V(USP V)作為數(shù)據(jù)中心存儲(chǔ)整合的核心設(shè)備，同時(shí)，配合 HDS的存儲(chǔ)管理軟件、數(shù)據(jù)快照鏡像軟件形成一套完整的存儲(chǔ)整合解決方案。由于該存儲(chǔ)系統(tǒng)具備嵌入式虛擬化功能，因此可以不依賴(lài)于外部交換機(jī)、設(shè)備或基于主機(jī)的軟件，支持異構(gòu)存儲(chǔ)。

項(xiàng)目采用了存儲(chǔ)區(qū)域網(wǎng)——SAN 架構(gòu)進(jìn)行整個(gè)存儲(chǔ)系統(tǒng)的建設(shè)，整個(gè)存儲(chǔ)網(wǎng)絡(luò)將分為服務(wù)器層、網(wǎng)絡(luò)交換層和集中存儲(chǔ)平臺(tái)三個(gè)層次。

服務(wù)器層：需要對(duì)現(xiàn)在油田公司數(shù)據(jù)中心各個(gè)業(yè)務(wù)系統(tǒng)的服務(wù)器進(jìn)行改造，增加光纖通道主機(jī)卡——HBA，使這些主機(jī)具有訪(fǎng)問(wèn)存儲(chǔ)網(wǎng)絡(luò)的能力;為保證鏈路的冗余消除單點(diǎn)故障，每臺(tái)主機(jī)最少配置2塊HBA卡;對(duì)于那些業(yè)務(wù)特別繁忙的主機(jī)系統(tǒng)可以配置更多的HBA卡和多路經(jīng)管理軟件以實(shí)現(xiàn)O/I負(fù)載的均衡分配。

網(wǎng)絡(luò)交換層：采用Brocade企業(yè)級(jí)大吞吐量的SAN交換機(jī)，保證服務(wù)器和外部存儲(chǔ)設(shè)備到網(wǎng)絡(luò)存儲(chǔ)控制器的高速連接，本期配置32個(gè)4GB光纖端口。

集中存儲(chǔ)平臺(tái)：這是本次存儲(chǔ)整合系統(tǒng)建設(shè)最核心的部分。在采用HDS TagmaStore USP V網(wǎng)絡(luò)存儲(chǔ)控制器的同時(shí)，為其配置1塊前后端混合處理板，提供16個(gè)4GB的前端主機(jī)接口和8個(gè)后端磁盤(pán)接口，為其配置5GB控制緩存和16GB數(shù)據(jù)緩存，在其內(nèi)部配置20塊300GB FC磁盤(pán)共計(jì)6TB裸容量，作為整個(gè)集中存儲(chǔ)環(huán)境的基礎(chǔ)。

對(duì)于油田公司數(shù)據(jù)中心正在使用的HDS 9585和EMC CX700等設(shè)備，則通過(guò)SAN交換機(jī)直接連接到USP V的后端，作為它的外部存儲(chǔ)設(shè)備，通過(guò)HDS UVM通用卷管理軟件，可以把外部存儲(chǔ)設(shè)備的邏輯卷直接映射到USP V上去，由USP V統(tǒng)一管理和使用，而對(duì)前端服務(wù)器來(lái)說(shuō)所有的工作都是透明的。

通過(guò)USP V的存儲(chǔ)整合，整個(gè)存儲(chǔ)平臺(tái)提供給服務(wù)器訪(fǎng)問(wèn)的是由USP V統(tǒng)一管理的存儲(chǔ)空間，存儲(chǔ)容量包括6Tb 的USP V內(nèi)部容量和30TB外部容量(分布在HDS 9585的6TB、EMC CX700的24TB)，最大限度的保護(hù)了油田公司的投資。而且，未來(lái)可以根據(jù)各個(gè)業(yè)務(wù)的繁忙程度、數(shù)據(jù)量增長(zhǎng)情況、性能需求等靈活地進(jìn)行存儲(chǔ)資源的再分配，實(shí)現(xiàn)數(shù)據(jù)分級(jí)存儲(chǔ)和應(yīng)用優(yōu)化存儲(chǔ)。

由于采用USP V進(jìn)行了存儲(chǔ)環(huán)境的整合，就可以通過(guò)USP V對(duì)原來(lái)異構(gòu)的存儲(chǔ)設(shè)備進(jìn)行集中的數(shù)據(jù)備份和容災(zāi)?，F(xiàn)在備份中心用IBM 3494(40TB)作為近線(xiàn)備份設(shè)備，用AMS 200作為遠(yuǎn)程實(shí)時(shí)數(shù)據(jù)備份的存儲(chǔ)設(shè)備，將AMS 200通過(guò)油田公司已有的光纖鏈路直接連接到數(shù)據(jù)中心的SAN交換機(jī)上，并且將 AMS 200 也作為USP V的外部設(shè)備來(lái)管理和使用。

也就是說(shuō)，USP V可無(wú)縫地管理高達(dá)247 PB的內(nèi)外部異構(gòu)存儲(chǔ)，包括EMC、IBM、日立數(shù)據(jù)、HP、Sun等公司提供的高端存儲(chǔ)系統(tǒng)和中型存儲(chǔ)系統(tǒng)。

【編輯推薦】

1. 當(dāng)一切都虛擬化時(shí) 虛擬將變成現(xiàn)實(shí)
2. EWEBS應(yīng)用虛擬化物流行業(yè)解決方案剖析
3. Visa分享:如何利用虛擬化改變數(shù)據(jù)中心

新聞標(biāo)題：存儲(chǔ)虛擬化助新疆油田整合異構(gòu)環(huán)境
網(wǎng)站路徑：http://fisionsoft.com.cn/article/cdepgph.html