隨著數(shù)據(jù)訪問方式的多樣化，致使了很多數(shù)據(jù)保留到了不同的系統(tǒng)中，這就導致“信息孤島”現(xiàn)象的存在?！靶畔⒐聧u”是指不同軟件間，尤其是不同部門間的數(shù)據(jù)信息不能共享，造成系統(tǒng)中存在大量冗余數(shù)據(jù)、垃圾數(shù)據(jù)，無法保證數(shù)據(jù)的一致性，嚴重地阻礙了企業(yè)信息化建設的整體進程。為解決這一問題，人們開始關(guān)注數(shù)據(jù)集成研究。

什么是數(shù)據(jù)集成

數(shù)據(jù)集成就是將若干個分散的數(shù)據(jù)源中的數(shù)據(jù)，集成到一個統(tǒng)一的數(shù)據(jù)集合中。將互相關(guān)聯(lián)的分布式異構(gòu)數(shù)據(jù)源集成到一起，使用戶更方便的訪問數(shù)據(jù)源。集成從攝取過程開始，包括清理，ETL映射和轉(zhuǎn)換等步驟。數(shù)據(jù)集成最終使分析工具能夠生成有效，可操作的商業(yè)智能提高信息共享利用的效率；實現(xiàn)數(shù)據(jù)集成的系統(tǒng)稱作數(shù)據(jù)集成系統(tǒng)。(見下圖)

數(shù)據(jù)集成的優(yōu)勢

改善系統(tǒng)的協(xié)作和統(tǒng)一

每個部門的員工 - 有時在不同的物理位置 - 越來越需要訪問公司的共享和個人項目數(shù)據(jù)。IT需要一個安全的解決方案，通過所有業(yè)務線的自助服務訪問來提供數(shù)據(jù)。此外，幾乎每個部門的員工都在生成和改進其他業(yè)務所需的數(shù)據(jù)。數(shù)據(jù)集成需要協(xié)作和統(tǒng)一，以改善整個組織的協(xié)作和統(tǒng)一。

節(jié)省時間并提高效率

當公司采取措施正確整合其數(shù)據(jù)時，它會大大減少準備和分析數(shù)據(jù)所需的時間。統(tǒng)一視圖的自動化消除了手動收集數(shù)據(jù)的需要，員工不再需要在需要運行報告或構(gòu)建應用程序時從頭開始建立連接。此外，使用正確的工具，?而不是手動編寫?集成，可以為開發(fā)團隊返回更多的時間（以及整體資源）。在這些任務中節(jié)省的所有時間都可以用于其他更好的用途，更多的時間用于分析和執(zhí)行，以使組織更具生產(chǎn)力和競爭力。

減少錯誤

關(guān)于公司的數(shù)據(jù)資源，有很多事要跟上。要手動收集數(shù)據(jù)，員工必須知道他們可能需要探索的每個位置和帳戶 - 并在開始之前安裝所有必需的軟件 - 以確保他們的數(shù)據(jù)集完整和準確。如果添加了數(shù)據(jù)存儲庫，并且該員工不知道，則他們將擁有不完整的數(shù)據(jù)集。此外，如果沒有同步數(shù)據(jù)的數(shù)據(jù)集成解決方案，則必須定期重新報告以應對任何更改。但是，通過自動更新，可以在需要時實時輕松地運行報告。

提供更有價值的數(shù)據(jù)

數(shù)據(jù)集成工作實際上可以提高業(yè)務數(shù)據(jù)的價值。隨著數(shù)據(jù)集成到集中式系統(tǒng)中，可以識別質(zhì)量問題并實施必要的改進，最終產(chǎn)生更準確的數(shù)據(jù) - 質(zhì)量分析的基礎。

數(shù)據(jù)集成常見分類

企業(yè)應用程序集成（EAI）。通常簡稱為應用程序集成，該子類別支持不同應用程序之間的互操作性，是通過使用面向服務的體系結(jié)構(gòu)和行業(yè)標準（如電子數(shù)據(jù)交換）創(chuàng)建的Web或數(shù)據(jù)服務實現(xiàn)的。企業(yè)服務總線是實現(xiàn)EAI功能的常見架構(gòu)方法。

大數(shù)據(jù)集成：該技術(shù)專注于將數(shù)據(jù)加載到NoSQL數(shù)據(jù)庫以及Hadoop，Spark和其他大數(shù)據(jù)平臺。NoSQL數(shù)據(jù)庫的每個類別 - 列，鍵值，圖形和文檔 - 都有不同的集成接口和集成工具需要適應的用例。通過Hadoop數(shù)據(jù)集成，流程通常與各種Hadoop分發(fā)組件（如Spark，MapReduce，Hadoop分布式文件系統(tǒng)，HBase，Hive，Pig和Sqoop）連接。除了Hadoop之外，像Spark這樣的處理引擎也越來越多地被使用，并且需要相應的集成。

企業(yè)郵件系統(tǒng)（EMS）。該技術(shù)專注于使用XML和JSON等結(jié)構(gòu)化格式在不同應用程序之間提供消息傳遞。EMS工具提供輕量級集成服務，可以有效地提供來自不同數(shù)據(jù)源的實時數(shù)據(jù)更新。

企業(yè)信息集成。EII--最初稱為數(shù)據(jù)聯(lián)合 - 提供了不同數(shù)據(jù)源的虛擬視圖，但具有有限的集成功能。當前這一代稱為數(shù)據(jù)虛擬化軟件，為各種來源提供數(shù)據(jù)抽象和數(shù)據(jù)服務層，包括結(jié)構(gòu)化，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

基于云的集成。也稱為集成平臺即服務，基于云的集成應用于提供基于云的應用程序和數(shù)據(jù)庫之間的實時互操作性。這些工具部署為云服務，提供EAI和EMS功能。

最終，供應商將各個部分放在一起，開始提供成熟的數(shù)據(jù)集成套件，提供跨ETL，應用程序集成，基于云的集成，實時集成和數(shù)據(jù)虛擬化以及數(shù)據(jù)清理和數(shù)據(jù)分析工具的混合功能。這些套件可以通過使用Web服務以傳統(tǒng)的批處理模式或?qū)崟r或接近實時的方式支持數(shù)據(jù)集成過程。它們還可以處理內(nèi)部部署和云數(shù)據(jù)以及結(jié)構(gòu)化程度較低的信息，以及結(jié)構(gòu)化事務數(shù)據(jù)。

數(shù)據(jù)集成面臨的挑戰(zhàn)

在單個結(jié)構(gòu)中采用多個數(shù)據(jù)源并將它們轉(zhuǎn)換為統(tǒng)一的整體對于自身來說是一項技術(shù)挑戰(zhàn)。隨著越來越多的企業(yè)構(gòu)建數(shù)據(jù)集成解決方案，他們的任務是創(chuàng)建預先構(gòu)建的流程，以便在需要的地方持續(xù)移動數(shù)據(jù)。雖然這可以在短期內(nèi)節(jié)省時間和成本，但實施可能受到許多障礙的阻礙。

以下是組織在構(gòu)建集成系統(tǒng)時面臨的一些常見挑戰(zhàn)：

如何到達終點??- 公司通常從數(shù)據(jù)集成中了解他們的需求 - 針對特定挑戰(zhàn)的解決方案。他們經(jīng)常沒有想到的是到達那里需要的路線。任何實現(xiàn)數(shù)據(jù)集成的人都必須了解需要收集和分析的數(shù)據(jù)類型，數(shù)據(jù)的來源，使用數(shù)據(jù)的系統(tǒng)，將要進行的分析類型以及數(shù)據(jù)和報告需要更新的頻率。

來自遺留系統(tǒng)的數(shù)據(jù)??- 集成工作可能需要包括存儲在遺留系統(tǒng)中的數(shù)據(jù)。然而，這些數(shù)據(jù)往往缺少標記，例如活動的時間和日期，而現(xiàn)代系統(tǒng)通常包括這些標記。

來自更新業(yè)務需求的數(shù)據(jù)?- 如今的新系統(tǒng)正在從各種來源（如視頻，工業(yè)物聯(lián)網(wǎng)設備，傳感器和云）生成不同類型的數(shù)據(jù)（如非結(jié)構(gòu)化或?qū)崟r）。弄清楚如何快速調(diào)整數(shù)據(jù)集成基礎設施以滿足集成所有這些數(shù)據(jù)的需求對于您的企業(yè)獲勝至關(guān)重要，但由于數(shù)據(jù)量，速度，新格式都帶來了新的挑戰(zhàn)，因此非常困難。

外部數(shù)據(jù)??- 從外部來源獲取的數(shù)據(jù)可能不會提供與內(nèi)部來源相同的詳細程度，因此很難以相同的嚴格程度進行檢查。此外，與外部供應商簽訂的合同可能會使整個組織內(nèi)的數(shù)據(jù)共享變得困難。

保持聯(lián)系??- 一旦集成系統(tǒng)啟動并運行，任務就不會完成。數(shù)據(jù)團隊有責任使數(shù)據(jù)集成工作與最佳實踐保持一致，以及組織和監(jiān)管機構(gòu)的最新要求。

業(yè)務整合策略

有幾種方法可以集成依賴于業(yè)務規(guī)模，滿足需求和可用資源的數(shù)據(jù)。

手動數(shù)據(jù)集成只是一個過程，通過該過程，單個用戶通過直接訪問接口手動從各種來源收集必要的數(shù)據(jù)，然后根據(jù)需要清理它，并將其組合到一個倉庫中。這是非常低效和不一致的，除了最小的數(shù)據(jù)資源最小的組織之外，幾乎沒有任何意義。

中間件數(shù)據(jù)集成是一種集成方法，其中中間件應用程序充當中介，有助于規(guī)范化數(shù)據(jù)并將其帶入主數(shù)據(jù)池。（考慮使用過時連接點的舊電子設備的適配器）。傳統(tǒng)應用程序通常不能很好地與其他人一起使用。當數(shù)據(jù)集成系統(tǒng)無法獨立訪問其中一個應用程序的數(shù)據(jù)時，中間件就會發(fā)揮作用。

基于應用程序的集成?是一種集成方法，其中軟件應用程序定位，檢索和集成數(shù)據(jù)。在集成期間，軟件必須使來自不同系統(tǒng)的數(shù)據(jù)彼此兼容，以便它們可以從一個源傳輸?shù)搅硪粋€源。

統(tǒng)一訪問集成是一種數(shù)據(jù)集成，專注于創(chuàng)建前端，使數(shù)據(jù)在從不同來源訪問時看起來一致。但是，數(shù)據(jù)保留在原始來源中。使用此方法，可以使用面向?qū)ο蟮臄?shù)據(jù)庫管理系統(tǒng)來創(chuàng)建不同數(shù)據(jù)庫之間的一致性外觀。

通用存儲集成是數(shù)據(jù)集成中最常用的存儲方法。來自原始源的數(shù)據(jù)副本保存在集成系統(tǒng)中，并進行處理以獲得統(tǒng)一視圖。這與統(tǒng)一訪問相反，后者在源中留下數(shù)據(jù)。通用存儲方法是傳統(tǒng)數(shù)據(jù)倉庫解決方案背后的基本原則。