塊數據:大數據發展的趨勢、挑戰和機遇
- 發佈時間:2015-04-26 14:24:23 來源:貴陽日報 責任編輯:陳娟娟
編者按
在25日的中國僑聯青年委員會“塊數據與城市發展”專題講壇上,各方對大數據進行了闡述和解讀,表明瞭這樣的觀點:大數據將在經濟領域徹底顛覆人類自工業革命以來積累形成的經濟模式和商業模式,而塊數據將是大數據發展的趨勢。
為配合理解什麼是大數據發展的趨勢、什麼是塊數據,本報今日起開設“塊數據漫談”專欄,陸續推出科普文章,以饗讀者。
大勢所趨 從“條數據”到“塊數據”
對於大數據時代,目前人們所討論的數據幾乎都是條數據,條數據是指某個行業或領域呈鏈條狀串起來的數據,他們彼此割裂、互不融通,限制了大數據在經濟社會發揮作用。
與之相比,塊數據是在一個物理空間或者行政區域形成的涉及到人、事、物等各類數據的綜合,相當於將各類“條數據”解構、交叉、融合。在塊數據集合過程中,包含了數據空間的填充、空間數據的重構、集合過程的組構,及組構過程中的集合,同時還有新數據的匯集和原有數據組合後的衍生數據。通過塊數據的應用,可以挖掘出數據更高、更多的價值。
舉例來説,一個百貨商場每天都會賣出很多商品,每個商品的原材料、品牌設計、廣告行銷數據、百貨商場賣出商品的數量、種類數據,消費者在商場購物、娛樂的數據,將所有在商場這個物理空間産生的數據求和,得到的就是塊數據。而一個數據的變化會帶動其他數據發生改變,比如,當商場的影院播放一部聚集人氣的影片時,商場的其他産品銷量也會上升,這一過程又會衍生出新的數據。這個例子也充分説明瞭塊數據的強活性,即隨時隨地都在進行數據更新。
因此,塊數據的商業價值就在於通過對塊數據的挖掘、分析,我們能夠實現對事物規律的精準定位,甚至能夠發現以往未能發現的新規律。可以毫不誇張地説,在這個時代,得“塊”者得天下。
“大材大用” 塊數據應用面臨挑戰
在創新商業模式方面,通過塊數據將以往的“數據孤島”連成一片後,可以綜合分析出所需的商業要素,如消費喜好、生活需求等,我們就可以從中精確找準那些高度個性化、長尾化的市場需求,孕育産生全新的商業模式。例如,華為公司基於IT基礎設施領域在存儲和計算的優勢,提供整體大數據解決方案就屬於此類。
同時,塊數據在社會領域應用上也有廣闊前景,包括提升社會保障水準、推動社會組織更好履行社會責任等。社會公共文化在塊數據的催化下也將被重新定義,在全社會形成誠信、分享、開放、創新的文化氛圍將更容易實現。在塊數據的推動下,政府職能也發生著深刻改變,具體表現在模式、服務、規則的不斷升級和優化。
但是塊數據的非結構化比例相比條數據而言更高,使得塊數據開發、應用和管理的難度更大,因此在塊數據應用方面我們面臨著非常多的考驗。
首先,塊數據的形成是一個構建生態系統的工程,這個生態系統需要建立包含標準確立、技術支撐、安全監管、開放體系構建等多要素的整套規則體系,規則體系的缺失將無法給塊數據的應用提供一個安全穩定的大環境,會給塊數據應用中可能會遇到的清洗、共用、利益分成、隱私保護等問題解決帶來困擾。
此外,由於只有結構化的數據才能進行對比分析,而傳統的數據庫技術已經不再適用非結構化數據,與國外技術相比,國內的非結構化處理技術的先進性和可靠性仍有很大差距。
同時,缺少法律約束、道德自律、技術手段等方面的數據安全保護支撐,數據安全問題日益凸顯,保護公民隱私刻不容緩。而數據確權、數據定價、數據保險和數據貨幣、登記、交割等一系列新的金融業態將會隨著大數據産業鏈的完善而産生,金融市場的不穩定性將成常態化。
大有可為 塊數據催生廣闊前景
挑戰艱巨,但是無法遮蓋塊數據應用的巨大潛力和價值。不久的將來,塊數據將對商業領域、民生領域、政府治理領域留下深刻烙印。
在商業領域,基於人的主體性構建的塊數據首先影響的是各類服務行業,通過數據挖掘,在發現需求的同時又能創造需求,緊接著再根據需求為客戶定制服務和産品,在這一過程中,影響又隨之向工業、農業延伸,數據本身也逐步完善自己的産業結構,最終可以形成全産業鏈條。
在民生領域,通過塊數據應用,民生服務將進入長尾化和個性化階段,基於數據模擬技術,能夠對重大民生事項實現提前預測,變模糊被動的後端治理為見微知著的前端治理。此外,基於深度學習技術,塊數據可對重大民生問題的解決提供智慧化的支援,有助於降低服務成本,提升工作效率,形成一個更加溫馨、更具效率的民生服務體系。
在政府治理領域,在塊數據思維的引領下,政府既有行為將會發生巨大轉變。對政府內部機構來説,塊數據可以打破壁壘,連接孤島,通過資訊共用、工作聯動的方式推動工作的有效開展,對群眾來説,隨著數據公開的常態化,社會公眾對政府的日常運作的監督也將更有效。同時,塊數據的應用可以讓政府決策更具科學性和前瞻性,打造智慧政府和法制政府將成為可能。
比如,運用塊數據,政府可以根據個人的不同情況,以定制化的方式讓老百姓得到更好的服務,使公共管理領域真正實現高效。而一些長期以來難以解決的問題比如環境污染、食品安全等都可以通過塊數據的公開倒逼責任主體執行改革,政府工作模式從以往的單純結果導向向結果和過程導向同時並重轉變。