阿里雲發布大數據品ODPS 6小時處理100PB數據

新浪科技訊 7月8日下午消息，阿里雲計算發布大數據品——ODPS。通過ODPS在服務，小型公司花幾百元即可分析海量數據。ODPS可在6小時內處理100PB數據，相當於1億部高清電影。此前，全球掌握這種能力的公司僅有Google、亞馬遜等少數幾家。

阿里雲ODPS團隊在一封公開信《人人都可以成為BAT》中表示：工業革命后的200多年裏，人類對物理資源的利用登峰造極，對數據資源的利用卻仍處於起步階段。Google、Facebook、阿里巴巴等互聯網公司先行一步，觸碰到了大數據的魅力。然而，人類擁有的大部分數據還無法生價值。

採用傳統方案處理大規模數據，一般得耗資數千萬自建數據中心，請專業技術人員維護運作。一旦數據總量超過100TB，技術挑戰會非常大。Hadoop開源運動降低了這一成本，不過自建一個像樣的Hadoop集群，仍然需要上百萬的起步資金。專業的Hadoop人才則更加稀缺。

相比而言，使用ODPS的成本和門檻則低得多。ODPS採取按量收費的模式，目前定價0.3元/GB，即開即用，一個月內免費。根據大部分公司的數據量來測算，一般每月只需花費數百元。

在對外商用之前，ODPS只是阿里巴巴內部秘密使用。阿里小貸最先將ODPS應用到商業領域。如今，超過36萬人從阿里小貸借款，最小貸款額為1元，並實現3分鐘申請、1秒放款、0人工干預。要做到這一點，阿里小貸每天得處理30PB數據，包括店鋪等級、收藏、評價等800億個信息項，運算100多個數據模型，甚至得測評小企業主對假設情景的掩飾和撒謊程度。阿里小貸每筆貸款成本3毛錢，不到普通銀行的1/1000。

據悉，淘寶、支付寶等阿里巴巴最核心的數據業務，都運行在ODPS平台。比如阿里媽媽廣告的核心算法，點擊預測模型的訓練等。ODPS商用，意味阿里雲將這種大數據處理能力對外開放，此舉將大幅降低社會創新成本。

目前，全球提供類似服務的僅有Google和亞馬遜，國內尚無同類品可供比較。阿里雲方面表示，ODPS將比Google BigQuery更強大，不僅支持更豐富的SQL語法，還將提供MapReduce編程模型和機器學習建模能力，可以服務更多應用場景。(木南)

以下為阿里雲ODPS團隊公開信《人人都可以成為BAT》全文：

阿里雲計算最重要的一款品——ODPS，正式開放商用。從今天起，花個幾百塊錢，人人都能來玩大數據。

簡單來，ODPS(Open Data Processing Service)是一項Web服務，大家不用花大錢建數據中心，就能分析海量數據。我們測過，100PB的數據任務可在6小時內跑完。這個數據量相當於1億部高清電影。

工業革命后的200多年裏，人類對物理資源的利用登峰造極。第一次信息革命過去70年了，我們對數據資源的利用卻只是剛開了頭。Google、Facebook、阿里巴巴等先行一步，摸到了大數據的冰山一角。然而，人類擁有的大部分數據，還無法生價值。

如何讓數據生價值？先得擁有大規模處理能力，然后才是挖掘、算法和分析。傳統的做法是這樣的：租個機房，買一堆昂貴的設備搭建數據倉庫，再請一幫技術人員來維護運轉。一旦觸發bug，或者當數據總量超過100TB時，你的工程師們可能會被這些麻煩搞崩潰。

Hadoop開源系統很偉大，大大降低了成本。阿里是中國玩Hadoop玩得最好的幾家公司之一，Hadoop支撐了淘寶、支付寶早期業務的快速發展。不過，自建一個像樣的Hadoop集群，得百萬起步資金，專業的Hadoop人才更是稀缺。門檻還是太高。

有沒有更好的方案？從2009年初，寫下“飛天”第一行代碼時，我們就堅信這一方案存在。我們用了五年時間，寫下250萬行代碼，終於在自主研發的“飛天”平台上成功搭建ODPS。我們把數據海洋裏的“水”灌進ODPS，設定好一套參數，擰開水龍頭，出來的就是“鮮榨果汁”！

100年前，福特推出了全球第一條流水生。一個個零部件扔進流水，90分鐘后，一輛嶄新的汽車擺在面前。不知道福特工程師們當時是怎樣的心情。當我們擰開ODPS的水龍頭時，感受大抵如此。這個比喻還不完全恰當，福特生只為福特服務，一條生也只能生一種車型。而ODPS任何人都可以來用，水龍頭裏流出來的“果汁”，隨原始數據和算法的改變可以千變萬化。

我們來看看ODPS都可以榨哪些“果汁”吧。

ODPS之前一直在阿里內部試用。第一個“小白鼠”是阿里小貸。你見過敢貸1塊錢給你的銀行嗎？如今，超過36萬人從阿里小貸借款，最小貸款額1塊錢，並實現3分鐘申請、1秒放款、0人工干預。要做到這一點，阿里小貸每天得處理30PB數據，包括店鋪等級、收藏、評價等800億個信息項，運算100多個數據模型，甚至得測評小企業主對假設情景的掩飾和撒謊程度。另外，阿里小貸每筆貸款成本3毛錢。什麼？你問普通銀行的貸款成本？先乘個1000再。

華大基因，2003年國內抗SARS研究的主力軍。去年，我們邀請華大在ODPS上試了下基因測序，耗時不到傳統方式的十分之一。2010年，歐洲E.coli污染危機，測序和組裝耗時兩天以上。如果用ODPS，只要幾個小時甚至幾十分鐘。一旦未來真有生物危機爆發，人類可以贏得寶貴的破譯時間。

這麼高精尖的領域你可能覺得太遙遠。當前最火的世界杯吧。Google拿英國體育數據提供商Opta Sports的數據，在BigQuery上跑了跑，成功預測了本屆世界杯8強名單。ODPS是一款跟Google BigQuery類似的品，如果哪位有數據，也可以來算一算接下來的比賽。

公共領域的數據挖掘，可以用ODPS嗎？當然！結合中國氣象局的精準預報數據，高德地圖不久后就能告訴你：“前方道路已嚴重積水，您的車輛駛入可能會遭水淹，建議繞道行駛。”如今，每盒藥品上都有一張電子身份證，從生、流通、儲存、配送、銷售到使用，全過程的數據都跑在ODPS上，一旦發現問題藥品，監管部門可以立即採取措施。我們期待未來每一桶油、每一道菜的數據都跑在ODPS上，食品安全問題需要通過創新的方式來解決。

生電飯煲的工廠，應該跟ODPS沒什麼關係吧？別，未來還真可能有關係。手機、電視、手錶、汽車、空調……這些工業時代的經典品，現在都變成了互聯網終端。誰電飯煲、鞋子、衣服不會呢？如果未來的製造工廠都變成互聯網公司，數據將成為最基本的生要素。你不懂算法、不會建模、不會分析，沒關係，那些有數據分析能力的公司會幫你做。

眼下，阿里巴巴各項數據業務都在用ODPS“榨果汁”，比如淘寶在算你最中意哪個淘女郎，天貓在算你什麼時候想吃車厘子，菜鳥在算卡車走哪條路可能會被雷劈，支付寶在算你何時會從屌絲變成高富帥。如果大家也想“榨果汁”，歡迎來試。ODPS的水龍頭就裝在阿里雲官網aliyun.com上，一個月內免費。

The World Is Flat. 從某種意義上而言，人人都可以成為BAT，哪怕你的公司只有幾號人。我們希望，在技術這件事情上，大家變得更加平等！

阿里雲ODPS團隊

2014年7月8日