在全球著名咨詢機(jī)構(gòu)Gartner發(fā)布的2022年頂級(jí)戰(zhàn)略技術(shù)趨勢中，Date Fabric不僅首先被提及，甚至被定義為“數(shù)據(jù)管理的未來”。作為新興的熱門市場，Data Fabric自誕生之日起就備受關(guān)注，全球最大的信息技術(shù)和業(yè)務(wù)解決方案公司IBM、數(shù)據(jù)集成領(lǐng)域領(lǐng)導(dǎo)者Talend、集成分析領(lǐng)域領(lǐng)導(dǎo)者TIBCO、元數(shù)據(jù)管理領(lǐng)導(dǎo)者Alation等全球各數(shù)據(jù)領(lǐng)域頭部廠商都給出了對(duì)應(yīng)的能力要求和解決方案。
從三年前的概念出現(xiàn)到如今落地實(shí)施并取得具體業(yè)務(wù)結(jié)果，Data Fabric海外爆火的背后反映了市場需求的變化。伴隨數(shù)字化和智能化的推進(jìn)，越來越多企業(yè)面臨著高成本&低價(jià)值的數(shù)據(jù)集成、不斷攀升的運(yùn)維成本、不斷增長的實(shí)時(shí)數(shù)據(jù)需求等多重挑戰(zhàn)，基于主動(dòng)元數(shù)據(jù)、語義、知識(shí)圖譜、數(shù)據(jù)虛擬化、AI等技術(shù)的Data Fabric成為應(yīng)對(duì)數(shù)據(jù)類型多樣化以及數(shù)據(jù)量激增的最佳解決方案。
通過實(shí)施Data Fabric，企業(yè)不僅可以減少一半以上人力驅(qū)動(dòng)的數(shù)據(jù)管理任務(wù)、70%的數(shù)據(jù)管理工作，讓數(shù)據(jù)質(zhì)量及運(yùn)營成本降低65%;還能以8倍的速度、不到一半的成本，獲取數(shù)據(jù)和洞察——基于Data Fabric產(chǎn)生的數(shù)據(jù)洞察，可以使企業(yè)平均每年增長30%以上。(數(shù)據(jù)來源：Gartner)
盡管以上每一項(xiàng)收益都足以讓企業(yè)管理者心動(dòng)，國內(nèi)卻遲遲沒有基于這項(xiàng)全新的關(guān)鍵技術(shù)趨勢完成系統(tǒng)化落地。曾任螞蟻集團(tuán)研究員(P10)、數(shù)據(jù)平臺(tái)部總經(jīng)理周衛(wèi)林帶領(lǐng)業(yè)界頂級(jí)數(shù)據(jù)專家團(tuán)隊(duì)創(chuàng)立Aloudata大應(yīng)科技，致力于打造首個(gè)NoETL湖倉平臺(tái)，內(nèi)置增強(qiáng)數(shù)據(jù)目錄、語義知識(shí)圖譜、主動(dòng)元數(shù)據(jù)、數(shù)據(jù)推薦引擎、數(shù)據(jù)虛擬化、數(shù)據(jù)編排和Dataops等Gartner定義的6大Data Fabric核心能力，是當(dāng)前國內(nèi)Data Fabric最佳實(shí)踐。
國內(nèi)Data Fabric最佳實(shí)踐：NoETL重塑數(shù)據(jù)供給和管理方式
Data Fabric的終極目標(biāo)是為數(shù)據(jù)集成和訪問提供一種更靈活、更無縫、更自動(dòng)化的方法。而Aloudata提出的NoETL方案，正是創(chuàng)始團(tuán)隊(duì)基于過去在螞蟻集團(tuán)建設(shè)金融級(jí)數(shù)據(jù)平臺(tái)以及EB級(jí)數(shù)據(jù)管理經(jīng)驗(yàn)所提煉的Data Fabric最佳實(shí)踐，顛覆了傳統(tǒng)模式下基于ETL的數(shù)據(jù)生產(chǎn)鏈路，致力于讓企業(yè)每個(gè)人都能快速發(fā)現(xiàn)可信數(shù)據(jù)、自助分析全域數(shù)據(jù)，并實(shí)現(xiàn)主動(dòng)、持續(xù)的數(shù)據(jù)治理，讓企業(yè)數(shù)據(jù)隨時(shí)就緒。
傳統(tǒng)鏈路下，業(yè)務(wù)方和分析師提出任何一個(gè)數(shù)據(jù)需求，都繞不開ETL工程師這個(gè)中間角色，從找數(shù)、運(yùn)維再到性能優(yōu)化，各個(gè)環(huán)節(jié)都需要深度依賴ETL工程師才能完成，導(dǎo)致數(shù)據(jù)生產(chǎn)根本“快”不起來。
假設(shè)有100個(gè)數(shù)據(jù)需求被同時(shí)提出，ETL工程師就不得不安排優(yōu)先級(jí)并逐一解決。然而爆發(fā)式增長的數(shù)據(jù)需求遠(yuǎn)遠(yuǎn)超出了ETL工程師的增長速度，在實(shí)際工作場景中，多達(dá)80%的數(shù)據(jù)需求無法滿足，即便是有幸被滿足的那20%，從提出需求到需求交付的時(shí)間至少以周計(jì)。
Gartner公布的數(shù)據(jù)再次印證了這一點(diǎn)：分析師80%的時(shí)間用于發(fā)現(xiàn)和準(zhǔn)備數(shù)據(jù)，知識(shí)型員工將50%的時(shí)間浪費(fèi)在尋找數(shù)據(jù)、發(fā)現(xiàn)和糾正錯(cuò)誤以及確認(rèn)不信任的數(shù)據(jù)來源上，數(shù)據(jù)科學(xué)家花60%的時(shí)間清理和組織數(shù)據(jù)。
不僅如此，不斷增長、日趨復(fù)雜的ETL數(shù)據(jù)管道帶來了治理困難和風(fēng)險(xiǎn)隱患，大量已失效的ETL任務(wù)無法得到及時(shí)下線，帶來了嚴(yán)重的資源浪費(fèi)，依賴于ETL工程師的機(jī)械式流程亟待改變。
NoETL問世，引領(lǐng)行業(yè)變革
所謂NoETL，是指在數(shù)據(jù)處理和分析環(huán)節(jié)，用戶無需搭建復(fù)雜ETL鏈路、無需等待漫長排期即可靈活分析所有數(shù)據(jù)，實(shí)現(xiàn)敏捷數(shù)據(jù)洞察和高效一致的數(shù)據(jù)協(xié)作，能夠以更低的成本、更迅速地做出可信業(yè)務(wù)決策。
NoETL的問世，無疑將引領(lǐng)一場前所未有的行業(yè)變革。提出這一理念的同時(shí)，Aloudata還進(jìn)一步定義了具體可落地的NoETL技術(shù)標(biāo)準(zhǔn)——全場景自適應(yīng)的彈性SQL引擎Aloudata AIR Engine(以下簡稱“AIR”)，以幫助企業(yè)快速啟用分析和洞察力，實(shí)現(xiàn)業(yè)務(wù)成功。
AIR基于NoETL理念做到無論數(shù)據(jù)是在數(shù)據(jù)湖、數(shù)據(jù)倉庫或者其他地方，每個(gè)人都可在Ad-hoc、多維分析、報(bào)表等多場景下自助進(jìn)行全域數(shù)據(jù)探索并定義一致的數(shù)據(jù)視圖，幫助企業(yè)實(shí)現(xiàn)100倍性能提升、10倍以上數(shù)據(jù)化運(yùn)營效率提升以及30%以上存儲(chǔ)成本節(jié)約。
No Pipeline：去管道，無需關(guān)心數(shù)據(jù)位置
AIR通過湖倉查詢引擎和數(shù)據(jù)虛擬化技術(shù)，實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)查詢和透明數(shù)據(jù)集成，大幅削減了數(shù)據(jù)搬運(yùn)、控制了數(shù)據(jù)管道的無序增長。BI分析師減少了對(duì)ETL工程師的單向依賴，不需要再關(guān)心數(shù)據(jù)實(shí)際存放位置，也不必再搭建復(fù)雜的ETL數(shù)據(jù)管道，直接通過SQL定義彈性數(shù)據(jù)集就能夠自助對(duì)全域數(shù)據(jù)進(jìn)行數(shù)據(jù)準(zhǔn)備和分析。
No Task：免運(yùn)維，無需操心任務(wù)運(yùn)維
無需人工任務(wù)運(yùn)維，AIR能夠通過對(duì)用數(shù)行為的收集和觀察，實(shí)現(xiàn)數(shù)據(jù)生產(chǎn)鏈路的智能編排、運(yùn)維和治理，針對(duì)重復(fù)、相似計(jì)算進(jìn)行自動(dòng)合并，針對(duì)無效、低頻、低價(jià)值數(shù)據(jù)的生產(chǎn)任務(wù)進(jìn)行降權(quán)或下線，以“銷”定產(chǎn)，大幅節(jié)省管理投入。
No Cube：自優(yōu)化，無需擔(dān)心查詢性能
AIR 基于用戶查詢行為實(shí)現(xiàn)了自適應(yīng)的查詢性能優(yōu)化，無需Cube/索引構(gòu)建，BI分析師可自助完成數(shù)據(jù)準(zhǔn)備，無需擔(dān)心查詢性能，專注業(yè)務(wù)分析與洞察。
通過對(duì)現(xiàn)有數(shù)據(jù)生產(chǎn)鏈路的優(yōu)化與升級(jí)，AIR讓企業(yè)每個(gè)人隨時(shí)可對(duì)全域數(shù)據(jù)開啟自助分析與洞察，快速突破ETL工程師人力瓶頸，充分釋放過去因?yàn)镋TL資源受限而被堆積和抑制的運(yùn)營分析需求。
NoETL落地某大型股份制銀行：10倍提升數(shù)據(jù)化運(yùn)營效率
隨著業(yè)務(wù)數(shù)字化運(yùn)營不斷深入，某大型股份制銀行于數(shù)年前開始引進(jìn)和自研BI工具，并大規(guī)模推行全行分析師自助分析和報(bào)表制作，截止2021年，全行報(bào)表達(dá)數(shù)千張，月活看數(shù)人群達(dá)萬級(jí)，并仍在高速增長中。
數(shù)據(jù)分析和報(bào)表制作環(huán)節(jié)的自助，進(jìn)一步催生了行內(nèi)數(shù)據(jù)分析需求的爆發(fā)，但前置的數(shù)據(jù)準(zhǔn)備環(huán)節(jié)卻無法同步提高產(chǎn)能，數(shù)據(jù)運(yùn)營效率仍然存在顯著瓶頸。究其根本，在于該銀行現(xiàn)有的基于ETL的數(shù)據(jù)生產(chǎn)鏈路存在以下弊?。?/p>
-數(shù)據(jù)分散在數(shù)據(jù)倉庫、數(shù)據(jù)湖和業(yè)務(wù)數(shù)據(jù)庫中，分析師開展數(shù)據(jù)分析和報(bào)表制作往往需要依賴ETL團(tuán)隊(duì)對(duì)數(shù)據(jù)進(jìn)行匯集和預(yù)加工，交付周期以周計(jì);
-當(dāng)前基于ETL的數(shù)據(jù)集成和加速方案需要對(duì)數(shù)據(jù)做大量搬運(yùn)，顯著拖慢了報(bào)表的數(shù)據(jù)時(shí)效;
-業(yè)務(wù)數(shù)據(jù)分析需求快速變化，ETL工程師預(yù)先設(shè)計(jì)的數(shù)據(jù)查詢加速方案很難同時(shí)兼顧靈活性和性能，報(bào)表查詢性能難以保障。
可見，當(dāng)前基于ETL的數(shù)據(jù)供給模式已經(jīng)無法支撐快速增長的數(shù)據(jù)分析需求。
為解決上述問題，該銀行基于Aloudata AIR Engine自研了敏捷數(shù)據(jù)準(zhǔn)備平臺(tái)，為全行分析師提供了全域自助找數(shù)、面向業(yè)務(wù)語義準(zhǔn)備數(shù)據(jù)、查詢自適應(yīng)加速的敏捷數(shù)據(jù)分析體驗(yàn)，讓全行分析師可以端到端全自助完成數(shù)據(jù)分析需求交付，將業(yè)務(wù)取數(shù)看數(shù)效率從周級(jí)縮短到了天級(jí)，并實(shí)現(xiàn)了高性能、低時(shí)延的報(bào)表看數(shù)體驗(yàn)，10倍提升全行數(shù)據(jù)化運(yùn)營效率。
NoETL，驅(qū)動(dòng)企業(yè)增長的數(shù)據(jù)引擎
Data Fabric在國外大受追捧，而在國內(nèi)剛剛起步。正如10年前大數(shù)據(jù)概念在國外興起，不到3年就被中國廣泛應(yīng)用，可以預(yù)見的是，Data Fabric在國內(nèi)也將被越來越多的企業(yè)用于解決數(shù)據(jù)資產(chǎn)多樣性、分散性、規(guī)?；蛷?fù)雜性不斷增加以及數(shù)據(jù)使用人群和應(yīng)用場景爆發(fā)式增長帶來的一系列問題。
作為國內(nèi)Data Fabric先行者，Aloudata致力于幫助企業(yè)快速構(gòu)建面向未來的下一代數(shù)據(jù)平臺(tái)，擺脫傳統(tǒng)低效的數(shù)據(jù)供給與管理方式，輕松應(yīng)對(duì)未來日益復(fù)雜的數(shù)據(jù)環(huán)境和蓬勃旺盛的業(yè)務(wù)分析需求，幫助業(yè)務(wù)尋找新的機(jī)會(huì)點(diǎn)和創(chuàng)新點(diǎn)，建立可持續(xù)發(fā)展機(jī)制與核心競爭力。目前，Aloudata已與多家頂級(jí)金融機(jī)構(gòu)合作共創(chuàng)，基于真實(shí)復(fù)雜的業(yè)務(wù)場景，探索全民可用的NoETL新模式。
【關(guān)于Aloudata】
Aloudata(浙江大應(yīng)科技)是一家NoETL湖倉平臺(tái)服務(wù)商，Data Fabric理念踐行者。公司創(chuàng)始人曾任螞蟻數(shù)據(jù)平臺(tái)部總經(jīng)理(P10)，是螞蟻數(shù)據(jù)技術(shù)主要開拓者和奠基人;創(chuàng)始團(tuán)隊(duì)均為原螞蟻集團(tuán)數(shù)據(jù)平臺(tái)核心成員。Aloudata是數(shù)據(jù)湖倉架構(gòu)的先行者，自主研發(fā)的AI增強(qiáng)湖倉引擎可實(shí)現(xiàn)數(shù)據(jù)分析性能自適應(yīng)優(yōu)化以及數(shù)據(jù)治理“自動(dòng)駕駛”，幫助企業(yè)實(shí)現(xiàn)10倍以上的數(shù)據(jù)化運(yùn)營效率提升。目前，Aloudata已順利完成兩輪融資。
免責(zé)聲明：市場有風(fēng)險(xiǎn)，選擇需謹(jǐn)慎!此文僅供參考，不作買賣依據(jù)。
標(biāo)簽：
營業(yè)執(zhí)照公示信息
