敏捷數(shù)據(jù)備份恢復(fù)驗證

數(shù)據(jù)孤島指的是數(shù)據(jù)被分散、隔離和存儲在不同的系統(tǒng)、應(yīng)用程序或部門中，使得數(shù)據(jù)之間無法有效地交流、共享或整合的情況。這些數(shù)據(jù)島嶼形成了一個個孤立的實體，難以互相連接或進(jìn)行有效的數(shù)據(jù)分析。上訊敏捷數(shù)據(jù)管理平臺（ADM）通過有效整合企業(yè)內(nèi)各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，實現(xiàn)數(shù)據(jù)采集、存儲、交付和管理的無縫對接，同時利用多項自有技術(shù)如數(shù)據(jù)庫虛擬化、數(shù)據(jù)備份恢復(fù)、敏感數(shù)據(jù)脫敏等，打破了企業(yè)內(nèi)數(shù)據(jù)孤島現(xiàn)象，促進(jìn)了數(shù)據(jù)資源的共享和高效利用.ADM支持多線程文件備份，支持海量小文件場景下的聚合策略進(jìn)行文件備份。敏捷數(shù)據(jù)備份恢復(fù)驗證

數(shù)據(jù)副本管理是ADM功能模塊之一，可單獨作為企業(yè)級副本數(shù)據(jù)管理（CDM）產(chǎn)品。為應(yīng)對當(dāng)前復(fù)雜的IT環(huán)境，ADM提出集云、物理、虛擬為一體的，面向結(jié)構(gòu)化數(shù)據(jù)庫、非結(jié)構(gòu)化數(shù)據(jù)、虛擬化和云平臺的***數(shù)據(jù)副本分發(fā)與交付管理解決方案。主要通過數(shù)據(jù)副本管理的核心專利技術(shù)——數(shù)據(jù)庫虛擬化技術(shù)對源數(shù)據(jù)進(jìn)行CDM原格式獲取生成黃金副本、存儲黃金副本作為基準(zhǔn)數(shù)據(jù)、虛擬化為多個副本掛載恢復(fù)，**終達(dá)到快速交付副本數(shù)據(jù)、靈活管理副本數(shù)據(jù)版本、集中管理副本數(shù)據(jù)存儲與流轉(zhuǎn)的目標(biāo)，是主要面向企業(yè)數(shù)據(jù)運維、軟件開發(fā)測試部門解決自動化閉環(huán)取數(shù)供數(shù)、測試數(shù)據(jù)快速交付等典型應(yīng)用場景的問題。變形規(guī)則截斷上訊ADM產(chǎn)品的高效性體現(xiàn)在數(shù)據(jù)從上游生產(chǎn)環(huán)境到下游使用環(huán)境通過虛擬副本創(chuàng)建實現(xiàn)分鐘級交付。

在典型的重復(fù)數(shù)據(jù)刪除技術(shù)中，根據(jù)不同的數(shù)據(jù)備份場景選擇適合的重刪策略與粒度方案。在確定重刪策略與粒度后，會根據(jù)輸入側(cè)不同粒度（卷級、文件級、塊級）的數(shù)據(jù)采取不同的數(shù)據(jù)切分策略，并依據(jù)任務(wù)級與全局指紋庫提供自適應(yīng)源端的全局重刪算法與策略，當(dāng)前支持源端塊級、文件級重刪和并行重刪技術(shù)。源端重刪是采用基于內(nèi)容的可變長數(shù)據(jù)切分算法，通過對數(shù)據(jù)塊進(jìn)行哈希算法的***標(biāo)記，即指紋（Fingerprint），在指紋庫中尋找相同的指紋。如果存在相同指紋，則表示已保存了相同的數(shù)據(jù)塊，ADM則不再保存此數(shù)據(jù)塊，而是引用已存在的數(shù)據(jù)塊，從而節(jié)省更多的備份空間。該算法還可以智能識別已修改的數(shù)據(jù)和未修改的數(shù)據(jù)，從而避免因修改數(shù)據(jù)位移而導(dǎo)致的未修改數(shù)據(jù)切分到新數(shù)據(jù)塊中的問題，比較大限度地提升重刪性能和重刪率，為避免數(shù)據(jù)備份過程中冗余網(wǎng)絡(luò)傳輸與存儲開銷，在源端設(shè)置粗粒度前置數(shù)據(jù)校驗可以明顯縮小備份傳輸過程中的數(shù)據(jù)冗余，目的在于不備份任意一個冗余數(shù)據(jù)。

敏捷數(shù)據(jù)管理平臺ADM測試數(shù)據(jù)管理場景及價值場景：測試環(huán)境是數(shù)據(jù)使用**為頻繁的一個場景，涉及到數(shù)據(jù)交付、數(shù)據(jù)版本管理、數(shù)據(jù)安全管控等問題，也是數(shù)據(jù)治理**容易忽視的一個場景，做好測試數(shù)據(jù)的管理工作才會使得數(shù)據(jù)治理方案更加完善。價值：采用ADM實現(xiàn)測試數(shù)據(jù)管理，可以幫助用戶實現(xiàn)測試數(shù)據(jù)的分鐘級交付，提升百倍以上的數(shù)據(jù)交付能力；同時也可以幫助用戶節(jié)約十倍以上的存儲資源；可以幫助用戶實現(xiàn)測試數(shù)據(jù)的版本管理，杜絕僵尸數(shù)據(jù)；同時也可以實現(xiàn)測試數(shù)據(jù)的集中統(tǒng)一管理，降低數(shù)據(jù)泄露的風(fēng)險.數(shù)據(jù)管理領(lǐng)域的CDM產(chǎn)品哪個廠商做得好？

管理控制中心（Master）是ADM的集中管理和調(diào)度控制中心，是進(jìn)行可視化管理的Web操作平臺。它負(fù)責(zé)集中管理ADM中的所有模塊組件，系統(tǒng)管理員、安全管理員、操作員通過管理控制中心的Web管理頁面協(xié)調(diào)并執(zhí)行各個角色對應(yīng)的操作；數(shù)據(jù)服務(wù)節(jié)點（CDMServer）是提供數(shù)據(jù)備份與恢復(fù)、備份數(shù)據(jù)恢復(fù)驗證、副本數(shù)據(jù)創(chuàng)建和交付、數(shù)據(jù)復(fù)制容災(zāi)功能的服務(wù)節(jié)點。用于記錄數(shù)據(jù)服務(wù)任務(wù)的配置信息、存儲情況、歷史記錄等，數(shù)據(jù)服務(wù)節(jié)點統(tǒng)一通過MasterIP訪問；***服務(wù)節(jié)點（SDMServer）是提供數(shù)據(jù)脫敏的服務(wù)節(jié)點，用于記錄接入平臺的敏感數(shù)據(jù)源、數(shù)據(jù)脫敏策略、***任務(wù)記錄等信息，***服務(wù)節(jié)點統(tǒng)一通過MasterIP訪問。客戶端（Client）*針對數(shù)據(jù)服務(wù)節(jié)點（CDMServer）需要保護(hù)及管理的生產(chǎn)服務(wù)器、目標(biāo)服務(wù)器，如物理服務(wù)器、虛擬機(jī)等都統(tǒng)稱為客戶端。為方便與管理控制中心進(jìn)行網(wǎng)絡(luò)通信和數(shù)據(jù)傳輸，一般會在客戶端上安裝客戶端軟件?？蛻舳塑浖?fù)責(zé)響應(yīng)管理控制中心（Master）的命令，執(zhí)行數(shù)據(jù)備份和恢復(fù)等指令。客戶端軟件可通過管理控制中心（Master）進(jìn)行Web頁面的推送安裝與注冊。***服務(wù)節(jié)點（SDMServer）無需安裝客戶端軟件。上訊敏捷數(shù)據(jù)管理平臺ADM產(chǎn)品支持仿真的敏感數(shù)據(jù)處理。變形規(guī)則截斷

上訊ADM產(chǎn)品是集數(shù)據(jù)備份管理、備份校驗管理、數(shù)據(jù)副本管理、數(shù)據(jù)脫敏管理四位一體的數(shù)據(jù)管理產(chǎn)品。敏捷數(shù)據(jù)備份恢復(fù)驗證

（1）國產(chǎn)化數(shù)據(jù)備份系統(tǒng)兼容性不足當(dāng)前國產(chǎn)化數(shù)據(jù)保護(hù)系統(tǒng)對國產(chǎn)化數(shù)據(jù)庫、文件、虛擬化平臺、容器、云服務(wù)器等備份源類型兼容不***，適配過程中需要更多的時間進(jìn)行功能穩(wěn)定性驗證。（2）數(shù)據(jù)備份恢復(fù)驗證耗時耗力當(dāng)前采用NetBackup等集中備份系統(tǒng)備份的數(shù)據(jù)需采用手動恢復(fù)數(shù)據(jù)，過程繁瑣、重復(fù)度高、專業(yè)性強(qiáng)，耗費大量的時間和人力成本。（3）數(shù)據(jù)交付時間長不論是通過數(shù)據(jù)恢復(fù)還是數(shù)據(jù)拷貝來提供測試數(shù)據(jù)，需要幾小時到幾周的時間。（4）占用大量存儲資源數(shù)以千計的數(shù)據(jù)副本占用大量存儲資源，需要更多的維護(hù)成本。（5）數(shù)據(jù)版本回退困難開發(fā)、測試環(huán)境中，當(dāng)完成一輪跑批測試或功能調(diào)試后，重置數(shù)據(jù)狀態(tài)需要重新導(dǎo)入數(shù)據(jù)或重新恢復(fù)數(shù)據(jù)，回退數(shù)據(jù)產(chǎn)生的時間成本巨大。（6）數(shù)據(jù)安全風(fēng)險真實數(shù)據(jù)被用于測試使用后無法及時回收和銷毀，造成資源浪費，存在敏感信息泄露的安全風(fēng)險。（7）敏感數(shù)據(jù)安全隱患生產(chǎn)數(shù)據(jù)庫中存在著大量的敏感信息，傳統(tǒng)的手工***效率低、仿真度差、***不完全，交付給測試環(huán)境后存在隱私泄漏的風(fēng)險。敏捷數(shù)據(jù)備份恢復(fù)驗證