2009年，大數(shù)據(jù)進入國內(nèi)，2013年開始爆發(fā)；2014年，"大數(shù)據(jù)"首次出現(xiàn)在《政府工作報告》；2015年，國務(wù)院正式印發(fā)《促進大數(shù)據(jù)發(fā)展行動綱要》；2016年，人工智能浪潮來襲，大數(shù)據(jù)產(chǎn)業(yè)步入萬億產(chǎn)業(yè)規(guī)模時代；2018年，隨著新型智慧城市和數(shù)字城市的建設(shè)，各地的大數(shù)據(jù)和數(shù)字經(jīng)濟相關(guān)的園區(qū)加速落地，大數(shù)據(jù)產(chǎn)業(yè)規(guī)模持續(xù)增長；2020年，國務(wù)院在《關(guān)于構(gòu)建更加完善的要素市場化配置體制機制的意見》中，首次將數(shù)據(jù)與土地、資本、勞動力并列為關(guān)鍵生產(chǎn)要素，并提出加快培育數(shù)據(jù)要素市場的要求；2021年，《中華人民共和國數(shù)據(jù)安全法》正式施行，國家在規(guī)范數(shù)據(jù)處理活動、保障數(shù)據(jù)安全、促進數(shù)據(jù)開發(fā)利用、保護個人與組織合法權(quán)益、維護國家安全和發(fā)展利益等方面進一步"嚴抓嚴控"。

據(jù)賽迪顧問預(yù)計，到2027年，我國大數(shù)據(jù)產(chǎn)業(yè)規(guī)模將會達到1.8萬億元。在此背景下，青云QingCloud為了更好地幫助企業(yè)挖掘海量數(shù)據(jù)價值，驅(qū)動數(shù)字化轉(zhuǎn)型，于近日推出了青云大數(shù)據(jù)工作臺。

深耕大數(shù)據(jù)，形成近30款數(shù)據(jù)產(chǎn)品和服務(wù)"全家福"

青云QingCloud 大數(shù)據(jù)產(chǎn)品經(jīng)理劉雄風介紹，青云自2014年開始布局大數(shù)據(jù)相關(guān)業(yè)務(wù)，歷時4年，于2018年從廣度上實現(xiàn)了數(shù)據(jù)產(chǎn)品和服務(wù)的全面覆蓋。自2018年開始，青云又從產(chǎn)品和服務(wù)深度入手，全方位提升產(chǎn)品性能及服務(wù)質(zhì)量。

自2014年至今，青云已經(jīng)推出了近30款數(shù)據(jù)產(chǎn)品及服務(wù)，同時秉持開源開放的態(tài)度，集成了優(yōu)秀合作伙伴的應(yīng)用，形成了包括數(shù)據(jù)庫與緩存、消息隊列與中間件、大數(shù)據(jù)服務(wù)、數(shù)據(jù)倉庫與BI、對象存儲在內(nèi)的數(shù)據(jù)產(chǎn)品生態(tài)。

"基于近30款產(chǎn)品及服務(wù)，青云打造了完整的、可插拔的、全流程的企業(yè)級大數(shù)據(jù)平臺，在任何環(huán)節(jié)都能為客戶提供他們所需要的數(shù)據(jù)產(chǎn)品和服務(wù)。"劉雄風指出。

基于此，青云已經(jīng)為來自金融、制造、教育、醫(yī)療、交通、能源、政務(wù)、互聯(lián)網(wǎng)等行業(yè)客戶提供了優(yōu)質(zhì)的服務(wù)。

青云大數(shù)據(jù)工作臺，應(yīng)"云原生"而生

現(xiàn)階段，如何實現(xiàn)數(shù)據(jù)同步、實時計算、數(shù)據(jù)統(tǒng)一監(jiān)控和調(diào)度，以及權(quán)限控制、數(shù)據(jù)建倉等已經(jīng)成為亟待解決的痛點。"客戶的需求已經(jīng)從最初的‘底層資源’問題，逐步升級到‘數(shù)據(jù)層’問題。"劉雄風指出。也正是因此，青云著力打造了大數(shù)據(jù)工作臺。

劉雄風表示，青云大數(shù)據(jù)工作臺基于打通大數(shù)據(jù)全鏈路的初衷，通過整合青云自身大數(shù)據(jù)產(chǎn)品和服務(wù)，為客戶提供了一個一站式智能大數(shù)據(jù)開發(fā)與治理平臺，幫助企業(yè)降低大數(shù)據(jù)使用門檻，實現(xiàn)數(shù)據(jù)的統(tǒng)一調(diào)度和計算，從而更好地挖掘數(shù)據(jù)價值，激發(fā)數(shù)據(jù)動能。

值得一提的是，青云大數(shù)據(jù)工作臺是基于云原生架構(gòu)打造。從整體架構(gòu)來看，大數(shù)據(jù)工作臺從最底層到最上層有五層架構(gòu)，應(yīng)對大數(shù)據(jù)全鏈路場景的需求。

第一層，云原生。大數(shù)據(jù)工作臺基于云原生的開發(fā)架構(gòu)，支持容器化部署。

第二層，全托管式計算引擎。大數(shù)據(jù)工作臺提供全托管式計算引擎服務(wù)，基于Flink流批一體的計算引擎，同時兼容多種計算引擎為一體的計算資源服務(wù)。

第三層，全生命周期數(shù)據(jù)開發(fā)。大數(shù)據(jù)工作臺提供全生命周期的數(shù)據(jù)開發(fā)服務(wù)，通過向?qū)降臄?shù)據(jù)集成，支持可視化數(shù)據(jù)加工、調(diào)度管理、資源管理、網(wǎng)絡(luò)管理等多種場景。

第四層，高效的數(shù)據(jù)同步。大數(shù)據(jù)工作臺提供高效的數(shù)據(jù)同步服務(wù)，能夠兼容結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化的數(shù)據(jù)，可對數(shù)據(jù)進行實時、增量和全量的同步。

第五層，應(yīng)對豐富的業(yè)務(wù)場景。包括BI商業(yè)智能分析、用戶畫像、增長分析和數(shù)據(jù)大屏等應(yīng)用，為業(yè)務(wù)決策提供有效的數(shù)據(jù)支撐。

劉雄風表示，基于云原生架構(gòu)的大數(shù)據(jù)工作臺，可以部署在開源的Kubernetes容器平臺上。對于客戶而言，其使用起來更加開放和包容，不會被云廠商綁定，跨云、跨容器、跨廠商均可運行。在功能層面，基于云原生所提供的特性能力、在線運維、彈性擴容以及跨云服務(wù)，能夠保障服務(wù)的高可用和數(shù)據(jù)的高可靠，降低運維成本，提高資源利用率，優(yōu)化大數(shù)據(jù)工作臺的使用體驗。

與此同時，大數(shù)據(jù)工作臺還具備"開箱即用、彈性擴容、存算分離、開放兼容、安全可靠、生態(tài)整合"等六大特性。

持續(xù)豐富功能模塊，釋放數(shù)據(jù)價值

目前大數(shù)據(jù)工作臺僅是1.0版本，主要具備"數(shù)據(jù)集成、數(shù)據(jù)加工、統(tǒng)一數(shù)據(jù)存儲和服務(wù)"功能模塊，可將企業(yè)數(shù)據(jù)安全地同步到云端，并在云上的大數(shù)據(jù)開發(fā)環(huán)境，將數(shù)據(jù)進行加工、處理，然后根據(jù)數(shù)據(jù)特性，將處理完的結(jié)果數(shù)據(jù)，存儲在不同的存儲介質(zhì)中，以備使用。整個過程，大數(shù)據(jù)工作臺還支持計算飽和度跟蹤，提醒企業(yè)及時調(diào)整計算資源。

具體到功能使用場景，劉雄風指出，大數(shù)據(jù)工作臺目前重點支撐精細化運營分析場景、實時計算場景、可視化開發(fā)運維場景、構(gòu)建數(shù)倉場景。

精細化運營分析場景主要針對中小型互聯(lián)網(wǎng)或移動互聯(lián)網(wǎng)客戶，為用戶畫像、推薦、數(shù)據(jù)分析、大屏展示和數(shù)據(jù)治理等需求提供服務(wù)支持。

實時計算場景面向智慧工廠，以及對實時數(shù)據(jù)加工處理有需求的客戶，重點幫助客戶開展IoT終端實時數(shù)據(jù)分析、實時客戶日志分析等任務(wù)。

可視化開發(fā)運維場景針對以學習或科研為目的的客戶，通過提供多維度計算支持，讓客戶能夠輕松搞定科研數(shù)據(jù)的挖掘、處理和輸出科研分析報告。

構(gòu)建數(shù)倉場景主要是面向在青云云平臺上使用了消息隊列、數(shù)據(jù)庫、數(shù)據(jù)倉庫、大數(shù)據(jù)計算存儲的客戶，重點提供數(shù)據(jù)集成、實時或離線計算、數(shù)據(jù)存儲等服務(wù)。

未來，大數(shù)據(jù)工作臺將從數(shù)據(jù)治理、數(shù)據(jù)資產(chǎn)，以及優(yōu)化體驗三方面著重發(fā)力，持續(xù)豐富功能模塊，不斷優(yōu)化使用體驗，并在智慧工業(yè)、智慧零售、智慧政務(wù)、智慧校園四個"數(shù)智"場景重點發(fā)力，幫助企業(yè)激活數(shù)據(jù)資產(chǎn)，釋放數(shù)據(jù)價值。