FIND研究員：陳建宏、黃盈婷
在數位經濟時代，資料已成為我們不可或缺的一部分，深刻影響著日常活動和商業運作。在當今世界，每天產生的數據量驚人，有些人將資料比喻為數位經濟時代的「新石油」，資料驅動著經濟發展和技術創新。數據來自個人、組織系統和感測器等多種來源，這些資料為企業和組織帶來了無限的機會。本文章從資料平台的發展脈絡開始介紹，並提供資料經緯之現況，提供給對資料治理有興趣的讀者參考。
資料平台的發展
一開始大量的資料是散佈在不同獨立的資訊系統，為了能更完全利用資料的價值，第一代資料平台-資料倉儲（Data Warehouses）發展而成，用於整合企業資料以達到特定分析目的。然而，十年之內，企業資料的數量和種類大幅增加，資料倉儲已無法滿足儲存和管理需求。因此，許多人轉向第二代資料平台，稱為資料湖（Data Lake）。資料倉儲和資料湖共同點在於依賴資料擷取-載入-轉換（ELT）流程，將各個應用系統的資料，從各個系統擷取出來，經過資料清洗及轉換後，再載入到資料倉儲或資料湖中。
在大數據時代，由於非結構化數據的引入，企業內的數據量激增。除了本地部署的各類應用系統之外，企業還擁有資料倉儲（Data Warehouse）、資料市集（Data Mart）、大數據平台（Big Data Platform）以及資料湖（Data Lake）。隨著雲端服務的興起，許多應用程式也逐漸轉向公有雲平台，在資料管理與分析的背景下，將所有數據遷移至單一資訊系統進行集中管理，然而，這樣會導致高昂的資料複製與存儲成本。由於傳統的資料整合方法難以滿足現代分散式資料環境的需求，因此，需要一種新的資料管理架構，以便企業能夠在保留數據於其原始系統的情況下，實現分散式數據的高效存取與管理。
資料經緯現況
為了解決企業資料管理的問題，資料經緯（Data Fabric）應運而生，參考下圖Gartner的資料經緯架構圖，資料經緯的核心即從不同型式且分散的資料來源中收集、連接、整合並提供資料給需要的使用者，簡單來說，是將正確的資料，在正確的時間，提供給正確點位上及給正確的人使用。
圖1 資料經緯架構圖
資料來源：Gartner
資料經緯的解決方案，一般是提供一個統一平台，並整合了幾個重要的功能：
資料目錄：這個功能可以幫助組織對資料進行分類和盤點，並且用圖形化的方式展示資料的流動過程，讓人更容易理解資料如何在不同系統中流動。
資料工程：這部分用來建立穩定的資料傳輸管道，無論是日常運營還是需要進行深度數據分析，都可以確保資料的可靠性。
資料治理：確保資料的品質和合規性，並在大規模使用的情況下保護資料的隱私與安全，讓資料能夠在安全的環境中被使用。
資料準備與流程管理：這功能定義了資料從來源到最終使用的路徑，包括清理、轉換、保護、及驗證資料等過程，確保資料可以按正確順序處理。
資料整合與傳送：這個功能允許從不同來源提取資料，並使用不同的方式把資料傳送到目標系統，這些方式包括批量處理、訊息傳遞、資料變更捕獲、虛擬化和API。
資料保存層：這部分確保資料能被動態儲存，以便支援即時的資料處理、搜尋和分析，使資料能夠即時反應變化。
資料經緯平台除了處理資料管理功能外，通常還具備一些重要的非功能性能力：
資料規模與性能：無論資料量多大，資料經緯應該能夠容易或自動擴展或縮小規模，並且能處理大型企業的日常營運和數據分析需求，並保持高效運行。
資料存取：它需要能夠處理各種資料來源和資料類型，不論是靜態的還是動態的資料，也不論資料是來自本地系統還是雲端系統，無論資料是結構化還是非結構化的，而且讓使用者不需要了解資料的具體存放位置或技術細節就能輕鬆存取這些資料。
分佈部署：資料經緯應該能夠部署在多個雲端、本地或混合環境中，並且需要有智慧的資料虛擬化策略來確保交易和資料治理的完整性。
安全性：當資料被儲存時，必須確保資料是加密和遮蔽的，符合資訊安全與隱私相關法規。此外，系統應能夠傳遞使用者的權限憑證，確保資料的存取是經過正確授權的。
未來展望
資料經緯的發展正在為企業的資料管理文化變革和營運模式帶來新的機會。由於資料經緯具有分散性但也能包容整合，提供了一種既分權又統一的資料治理方式，能提升資料的可信度和可靠性，不同部門的團隊可以更輕鬆地合作，共同管理和利用共享的資料資源，朝著共同的目標努力，這些技術可能最終會讓交易數據和分析數據融合在一起，形成一個統一的資料環境，讓每個人都能更容易存取資料，並快速地獲得數據驅動的洞察，值得持續關注資料經緯的持續發展。
封面圖片來源：https://www.istockphoto.com/vector/particles-dynamic-line-flow-gm1293432939-387840629
參考資料來源：
Complete guide to data fabric. Retrieved September 22, 2024, from K2view.com website: https://www.k2view.com/what-is-data-fabric/
How Data Fabric Can Optimize Data Delivery. Retrieved October 25, 2024, from Gartner.com website: https://www.gartner.com/en/data-analytics/topics/data-fabric
Sarkar, S. (2024, August 29). An evolutionary history of enterprise data architectures. Retrieved October 24, 2024, from Ibm.com website: https://www.ibm.com/think/topics/data-architecture-history
The data-driven enterprise of 2025. Retrieved October 23, 2024, from Mckinsey.com website: https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-data-driven-enterprise-of-2025
Unlocking success with data fabric: 5 ways unified data management can help you achieve your goals. (2023, May 11). Retrieved October 25, 2024, from Data Dynamics, Inc. - Intelligent Data Management. Transforming Organizations into Better Data Custodians website: https://www.datadynamicsinc.com/blog-unlocking-success-with-data-fabric-5-ways-a-unified-data-management-platform-can-help-you-achieve-your-goals/
UQ, Engineering, Architecture, & IT Faculty. Data is the new oil of the digital economy. Retrieved October 23, 2024, from Edu.au website: https://stories.uq.edu.au/shorthand-uq/eait/ingenuity/data-is-the-new-oil/
What is a data fabric? (2024, August 16). Retrieved September 22, 2024, from Ibm.com website: https://www.ibm.com/topics/data-fabric
Yasar, K. (2024, September 12). What is a data fabric? Retrieved October 23, 2024, from Data Management website: https://www.techtarget.com/searchdatamanagement/definition/data-fabric
繼大數據後下一波浪潮 Data Fabric趨勢湧現. Retrieved September 22, 2024, from Com.tw website: https://www.netadmin.com.tw/netadmin/zh-tw/viewpoint/3E1223F61F054DC5AE831C30B1D52B65
沒有留言:
張貼留言