menu-icon
anue logo
熱門時事鉅亨號鉅亨買幣
search icon

科技

Hadoop企業級應用新添重磅案例

鉅亨網新聞中心 2014-09-02 08:16


當下大數據之熱使得技術界對Hadoop的話題熱火朝天。但在日常工作中,企業往往還是遵循既有模式,對於Hadoop到底能否真正幫到企業的應用依然心存顧慮。Hadoop是不是很年輕?這個開源的事物能否符合公司業務級的嚴謹要求?有沒有企業真的應用過?一系列問題縈繞人們心頭。這可以理解,畢竟任何一個新生事物出來都要有一個接受過程 。


對於Hadoop,其實這些都不是問題。專業人士都知道,Hadoop到現在已有15個年頭,這對於一個實用技術的穩定發展已足夠長久。 事實上,雖然“大數據”一詞才出來二三年,但它實際指稱的海量的、多類型的數據現象早就有了,不但在互聯網領域,更在工業、商業、通信、金融、傳媒等存在久遠。比如,生線上巨量感測器數據的接收分析、通信系統全程全網的實時日誌檔案採集與分析、醫療系統密集數據採集與分析從而幫助快速的科學診斷……所有這些都需要新型的數據處理技術來支撐。Hadoop在這些領域突顯了強大競爭力,並在國內外的相關實踐中獲得廣泛應用。

在Hadoop還是開源的時候, 多非 IT 型企業不具備自我開發條件,由此限制了Hadoop在企業裏的普及。但隨專注於企業級市場的Hadoop發行版的技術公司出現,這個問題迎刃而解。從此, 各類型企業終於可以安心駕馭真正的企業化“大數據浪潮”了。

在中國,廣電系統正經歷數字化浪潮的衝擊,基於網絡化的影視播放給傳統廣電運營商很大挑戰。 在此背景下,廣電系統的生力軍華數傳媒敏地意識到,要想獲得未來網絡化傳媒的生存與競爭優勢,現在就必需向用戶傾斜,以適應未來發展的數據基礎架構為依托,才能打造“精準型”廣電內容及傳播運營商。

2013年,華數傳媒的大數據系統完成了從無到有的基礎建設,實現了基本應用。然而,華數大數據仍面臨很多挑戰:數據量增加帶來的服務性能壓力、數據分析無法滿足高時效性業務、業務支撐功能無法滿足複雜的商用需求、對網絡和伺服器質量等數據分析仍為空白、等等。為此,華數傳媒亟需解決方案以解決如下幾個問題:

1. 數據採集、存儲和轉發。通過大數據技術滿足海量、多來源、多樣性數據的存儲、管理要求,支持平台硬件的線性擴展,並提供快速實時的數據分析結果,並迅速作用於業務。

2. 個性化用戶推薦。不僅限於數據本身的分析和決策價值,通過構建在大數據平台之上整合業務能力,為用戶提供融合、個性化的內容服務。

3. 從內容傳輸到內容製造。使用大數據挖掘技術提前先於觀知道他們需求,預知將受到追捧的電視。另外, 還可通過觀對演員、情節、基調、類型等元數據的標籤化,來了解受偏好,從而進行分析觀測,為后續的影視製作等內容開發做好准備。

作為多廣電運營商其中的重要一員,華數傳媒的這些需求,也是廣電運營商們的共同訴求。

針對華數傳媒的需要,國內首家專業的企業級Hadoop發行版廠商星環科技給出了令人滿意的答卷。 星環科技基於自主研發的一站式Hadoop發行版Transwarp Data Hub (TDH),綜合運用了其中的TDH Hadoop、Inceptor分散式內存引擎、Hyperbase實時資料庫等技術品組件,為華數傳媒提供了如下的綜合方案:

數字電視分析系統

TDH平台用以整合各個相關數據源數據,包括Portal、CA、CDN、SRM日誌、用戶使用瀏覽信息、AAA、BOSS結構化數據、用戶基本信息、消費數據、用戶上網流量數據、網管數據等。通過TDH的快速分散式數據查詢引擎,實現海量數據的秒級查詢。為用戶提供智能推薦、實時榜單和新媒體指數分析。

1. 提供基於全量數據的實時榜單。以時間(小時/天/周)、用戶等維度,對點播節目、直播節目、節目類別、搜索關鍵詞等進行排名分析、同比環比分析、趨勢分析等。地區風向標主要以城市和時間等維度分析點播排行、劇集排行、分類排行、熱搜排行及用戶數量的變化。另外,從時間、頻道、影片類型、劇集等維度,根據在看數量、新增數量、結束觀看數量、完整看完等分析用戶走向。

2. 新媒體指數分析。通過對用戶行為分析獲取很多的隱性指標,從側面反映用戶對業務的認可度、用戶的使用行為習慣等。在此基礎之上,TDH大數據分析可幫助華數傳媒構建規範的指標分析和衡量體系,為業務運營提供強有力的指導。

3.智能推薦。運用星環科技大數據基礎架構,通過對用戶行為數據的採集分析,進行精準像,使用智能推薦引擎,實現信息的個性化推薦(TV屏、手機、PC),個性化營銷(個性化廣告、豐富品組合、市場分析)。基於可持續擴展和優化智能推薦算法,以及大數據帶來的實時數據交互能力,為每一個用戶量身定做的推薦節目極大提高了品的到達率,增強了用戶忠誠度。

結語:

對於包括廣電運營商在內的多企業而言,精細化的用戶需求掌控是未來發展不可變更的趨勢。在此,Hadoop發行版系統再次證明了其業務價值,這是傳統數據管理系統力所不能及的。星環科技是國內鮮有的掌握企業級Hadoop和Spark核心技術的高科技創業公司,在電信、金融、交通、政府等領域的落地應用擁有豐富經驗。相信通過類似星環科技的Hadoop發行版系統,企業級大數據應用將更能順應業務發展要求,企業也可更從容面對市場競爭。

更多信息http://www.transwarp.io

文章標籤


Empty