數據驅動決策的挑戰

熱點觀察

姜浩端

決策可以由三種方式分別或混合驅動：直覺、經驗和邏輯。雖然有時直覺和經驗在決策過程中是無可替代的，例如喬布斯對蘋果品需求的直覺把握，或者招聘者對應聘者從業經驗的要求，但通過邏輯方式做出決策通常被認為具有高確定性的特點，更易於被接受。數據是填充邏輯過程的基石。

自計算機和網絡進入商業應用以來，以信息化技術對數據進行分析來驅動決策的努力就已開始。企業信息化管理系統不斷髮展，按照時間順序，先后出現了庫存控制(IC)、物料需求計劃(MRP)、製造資源計劃 (MRPII)、企業資源計劃(ERP)、供應鏈管理(SCM)、客戶關係管理(CRM)、決策輔助(DSS)、商業智能(BI)等主流體系。其發展歷程大致可分為三個階段，分別是數據處理階段、知識處理階段和智能處理階段。早期的信息化系統以管理內部數據、維護企業相關信息資源為主。從企業資源計劃(ERP)開始，信息化系統開始加強、改進和再造業務流程，並逐漸將業務上、下游企業數據和關聯企業數據納入系統，跳出了傳統企業內部的邊界。隨數據倉庫技術和數據挖掘技術的發展，進一步有效利用數據形成決策的洞察力成為可能，商業智能系統(BI)得以發展。典型商業智能系統(BI)的模式，是通過對數據進行抽取、轉換和裝載(即ETL過程)，合併到數據倉庫裡，利用合適的數據挖掘技術、查詢和分析模型、聯機處理(OLAP)工具等進行分析和處理，將數據轉化為知識，為決策服務。廣義上的BI(商業智能)，覆蓋、發展了之前企業處理數據的信息化系統思想，代表了“大數據”前期可商業化推廣的數據分析模式和技術主流。

“大數據”夯實決策基礎

在“大數據時代”之前，雖然數據分析的重要性也被普遍認可，但局限於“小”數據的特點，關係資料庫中的結構化數據多年來一直主導信息化應用。企業信息化系統在提高生和管理效率方面發揮了作用，但遠未形成可做決策依據的洞察力。直覺和經驗在決策過程中的地位仍無可替代。

互聯網、物聯網、移動通訊的快速發展，以及遍佈物理世界的RFID、無線感測器催生了“大數據時代”的來臨。海量數據使得支持某些決策的“全樣本”數據成為可能，“小”數據分析依賴的假設前提可能不復存在。同時，幾何級增長的非結構性數據、流數據使得分析對象發生改變，傳統數據管理和分析技術難以適應要求。大數據環境下企業需要應用新的分析模式。在成本可承受的條件下，通過快速採集、發現和分析，從海量、多類別的數據中提取價值，並形成有效的可做決策依據的“洞察力”，將是信息化系統的發展方向。當前階段從非結構化數據和流數據中探求知識和進行洞察的計算機工具正在快速發展，比如自然語言處理、模式識別以及機器學習等，預示數據驅動決策模式的美好前景。

目前大數據剛剛步入企業的應用階段，几乎對於所有行業，應用大數據分析都是創造新的競爭優勢之源。隨時間的推移，那些能更好地利用大數據的組織將有可能實現更多的創新，並保持敏捷性。麥肯錫的調查顯示：數據驅動型的公司在生率和盈利水平方面普遍好於競爭者。在“大數據時代”，對於某些類型的問題，機器和信息化系統可以比人做出更好的決策。這種數據驅動決策的模式已經初露端倪，比如在金融市場領域，計算機基於大數據做出了相當大部分的投資決策。可以預料，隨數據的不斷變“大”，數據驅動決策的重要性會越來越高。[NT:PAGE=$]

數據驅動決策在大數據趨勢下面臨的挑戰

一是大數據本身的局限。首先是數據質量，不能反映真實情況或者在關鍵點上隱藏錯誤的數據無疑是極具危害的，保證數據質量需要有效的制度和法律環境。另外，數據本身仍可能局限決策的洞察力。例如那個著名的例子，如果你在汽車出現以前能使用大數據來分析社會對交通工具的需求，你可能得出一個結論，那就是需要更快的馬車。得出這個結論后，沒過多久，福特造出了汽車。大數據盡管夠“大”，但它不能基於沒有的事件。過分依賴於數據的決策，有可能忽略那些不需要數據驅動、而依靠直覺和經驗形成的創新。當然，目前基於大數據進行創新的例子也比比皆是，比如谷歌的語言翻譯系統。這就需要綜合考慮數據類型和決策類型，明確大數據在驅動決策中的優勢和劣勢，設定明確的目標，向大數據問正確的問題。

二是大數據分析技術的局限。雖然目前在分析數據的大容量、異質性、實時性方面仍存在技術上的困難，但技術總在進步，某些來自數據本身特點的困難可能最終被克服。真正的局限性也許內置於大數據分析技術本身。比如，信息化系統的預測性模型中，缺陷常常來自模型假設本身。雖然有研究聲稱：大數據分析不需要那些有假設缺陷的模型，但大數據分析技術仍需要算法和機器學習。機器學習通常假設環境是穩定的，對作為複雜系統的環境進行穩定假設是不完美的，由此可能帶來與實際情況偏離的結果。如果假設環境是不穩定的，就難以窮盡不穩定的因素。再比如，大數據分析是對觀測數據之間規律的分析，其對相關性的洞察力必然要強於對因果性的洞察力，而忽略因果關係的決策依據，是有局限性的。

三是對決策管理模式的挑戰。在數據缺乏的時候，組織內核心管理人員的直覺和經驗在決策過程中發揮重要作用。從直覺和經驗驅動決策向數據驅動決策轉化的過程，也是決策主體從精英階層轉向團隊及社會公的過程，這個過程可能並不順暢，那些沒有足夠靈活性來適應大數據趨勢、創造數據驅動決策模式和文化的企業可能在競爭中失敗。信息化系統在大數據分析中可能會強調協作分析和過程公開，這就需要企業創造適宜的數據驅動文化，並根據業務內容把握好直覺和經驗驅動決策與數據驅動決策的關係。

巴菲特在投資忠告中說 “警惕那些使用公式的怪傢伙”(Bewareofgeeksbearingformulas)。我們可以理解為這是對不需要直覺和經驗的決策的敬畏，也可以理解為這是對脫離直覺和經驗的決策的不信任。無論如何，大數據正在改變決策的驅動方式。

(作者為國務院發展研究中心信息中心副研究員)