先探投資週刊/鄭威宏:海量資料將成企業標準配備

【文/鄭威宏】

凡走過必留下痕跡,同時也留下大量商機,在美國,海量資料應用已撲天蓋地而來,大到打總統選戰,小到擠牛奶,未來公司要在產業站穩腳步,海量資料處理已從「選配到標配」,預估產業每年以六成的速度高速增長。

著名新月派現代詩人徐志摩留下膾炙人口的新詩︱再別康橋,新詩中「悄悄的我走了,正如我悄悄的來;我揮一揮衣袖,不帶走一片雲彩」,營造出那番寂然無聲沉靜味道。如果回到現代社會,可能這種飄逸感就打上不小折扣。

當今,作詩寫稿也已不再使用紙張,人類的行為模式開始由實體轉向虛擬(電腦或雲端硬碟),也因為如此,不帶走一片雲彩也只好改成「凡走過必留下痕跡」。

到處都是走過的痕跡

[廣告]請繼續往下閱讀...

事實上,凡走過必留下痕跡,這其實就是BIG DATA(海量資料)時代來臨的一項特徵。

近年來,隨著3G智慧型手機的普及(4G隨侍在後)、電子商務的盛行、社群網路的大行其道、雲端伺服器應用增加等因素使然,一來增加消費者對於網路世界的黏著度,二來消費者的使用頻率及高品質檔案傳輸環境成熟,大幅提高網路上的資料傳輸量。

據IBM一○年底統計,亞馬遜每秒的訂單數量達七二.九筆、每家戶每天的資料使用量三七五MB、全球使用者在臉書每月的使用已達七○○○億分鐘以上、谷歌每天處理的資料量達二四PB(1024 Trillionbyte)、移動數據每日的流量達一.三EB(一○二四PB)等,這些都是使用者留下的痕跡。

但在過去,由於處理技術上的不足,如此大批的資料庫卻苦無用武之地,最後因使用頻率太低,或是儲存成本壓力,只好捨去。

不過,○三至○四年間,由谷歌發表兩篇論文「The Google File System、MapReduce : Simplified Data Processing on Large Cluster」開始,敘述谷歌如何利用MapReduce演算法來計算查詢索引,讓使用者能在最短時間從網際網路上取得自已所需查詢的資料,讓海量資料處理開始浮上檯面,也是海量資料最早的應用之一。

海量資料處理能力翻數倍

爾後,Doug Cutting(又被稱為Hadoop之父)參考上述谷歌二篇論文為藍圖,演變成一套如何儲存、處理、分析TB至PB等級的資料處理方法︱Hadoop。

Hadoop是一個免費且開放原始碼的分散式檔案系統,可以用於各種不同電腦之間,總和成為單一電腦系統進行平行運算,不僅全球最快的運算系統,也是當今海量資料處理最主要的基礎架構,就如同一般消費者筆電中的Windows作業系統。

而且,Hadoop更可怕的不只是能處理一TB以上的海量型資料,此外,過去的資料處理領域多為局限在結構化資料(指資料經過分析後可分解成多個互相關聯的組成部分,各組成部分間有明確的層次結構)。

但Hadoop還能加入非結構化資料的分析能力,像是log記錄檔、照片、聲音、通訊記錄或是電子郵件等,過去不易、不被且昂貴的儲存、處理、分析的資料,現在都得到解決。

過去而言,結構化資料約占資料量的一五%,但半非結構化資料卻高達八五%,也就是說,有了Hadoop的出現,不但能讓現有的資料處理能力以倍數增加,而且,這種半 非結構化的資料就像一個新發現的礦山,處處充滿商機,更是讓海量資料威力發揮得更淋漓盡致。

比方來說,如果消費者要去實體商店消費,服務認真一點的店家會記錄消費者的最終消費紀錄,未來有新品,或是店家以直覺的提供相關產品的試用等,但消費者走向虛擬店家(電子商務)後,不僅是最終的消費紀錄。

像是曾在網頁上點擊過什麼樣的產品、停留時間、購物順序等都會被記錄下來,不僅能提供給下一個同性質的客群添購上的推薦參考,而且,別人的消費選擇也會再次回饋,以便同一位消費者再次光臨。

近期最夯的例子是美國最大線上影片出租服務公司Netflix(NFLX.US),在使用海量資料分析後,網站推薦給客戶的影片中,十部有七.五部會被消費者採用,大大減少行銷成本外,還增加Netflix與客戶間的黏著度。

此外,更神奇的是,由於Netflix已先將影片的導演、明星組合、影片劇情元素等資料經由演算及分析過,當使用者看完影片,要對影片下評價前,Netflix已預測出使用者會給怎樣的評等,充分滿足客戶需求,難怪Netflix股價從去年中的五○美元,漲至目前超過二五○美金。

租片、牛乳、總統選戰

而且,海量資料不僅可應用在虛擬經濟上,實體經濟同樣受惠。先前彭博新聞曾報導,一家牛乳農場將擠奶機器置上資料儲存系統,記錄每頭乳牛長期分泌牛乳的資料,並找到最佳化的擠奶策略;並且,透過這些非結構資料,還能知道乳牛是否健康,是否感染乳腺炎,大大增加採乳量及農場運作效率。

另外,去年美國總統大選時,歐巴馬競選團隊也使用海量資料來進行選戰分析,發現選民喜歡競賽、小型宴會及名人加持等元素,而且,由於海量資料的取得及解讀,可以準確了解某族群或是某地區對於歐巴馬的支持度,因而可以採取相關的應對措施,成為歐巴馬贏得選戰的秘密武器。

不論是虛擬或是實體的世界,海量資料的應用已經是越來越普及,不再是谷歌、雅虎搜尋引擎業者的專利。

近年來,已明確使用海量資料分析的國際級知名企業,像是臉書、IBM、紐約時報、豐田、三星、微軟等都已先後採用,可預見的,未來行銷及營運策略面向的針對性將大為不同,具有分析及使用海量資料的企業,相較之下競爭力勢必大幅提升,也讓企業提高架設海量資料平台的意願。

因此,可以預見海量資料市場勢必將快速擴大,根據Wikibon研調資料指出,預估在二○一六年底時,全球海量資料處理市場將成長至五三四億美元,較去年底時,市場整整成長超過十倍,換算成年複合成長率高達五九.九%,可說是超快速成長的市場,一點也不遜於雲端市場的成長速度。(全文未完)

全文詳情及圖表請見《先探投資週刊》有更多精彩當期內文轉載

關鍵字: 先探投資週刊鄭威宏歐巴馬雲端硬碟海量資料谷歌Netflix

分享給朋友:

※本文版權所有,非經授權,不得轉載。[ETtoday著作權聲明]

推薦閱讀

快訊/4張7-8月千萬發票無人領 明年1/6到期

快訊/4張7-8月千萬發票無人領 明年1/6到期

今年7-8月統一發票即將在明年1月6日兌獎到期,最低消費金額僅99元,財政部呼籲幸運兒速速現身,以免和財神爺擦身而過。

2024-12-25 12:10

機器人題材狂飆!上銀提前開獎 11月每股賺0.22元年增83%

機器人題材狂飆!上銀提前開獎 11月每股賺0.22元年增83%

台積電董事長魏哲家看好多功能機器人前景的一番話,讓機器人概念股全面噴發,上銀(2049)因此題材遭列注意股,今(25)日被要求進一步公布財報,公司自結11月單月每股0.22元,比去年大增83%。

2024-12-25 16:46

公股投信、AMC子公司整併 財部2個月內提報告

公股投信、AMC子公司整併 財部2個月內提報告

立委今天關切公股金控子公司有無機會整併,財政部長莊翠雲表示,要詳盡評估綜效與員工權益等,且必須是合意整併。立法院財委會則通過臨時提案,請財政部針對公股金控子公司整併,尤其是投信、資產管理公司(AMC),在2個月內提出評估報告。

2024-12-25 16:47

BBU族群滿血復活!3檔亮燈漲停 AES-KY重返千金股

BBU族群滿血復活!3檔亮燈漲停 AES-KY重返千金股

AI需求旺,先前漲多回檔BBU(電力備援模組)族群今(25)日攻勢再起,高價指標股AES-KY(6781)盤中攻克1075元漲停價位,重返千元大關,西勝(3625)、新盛力(4931)、順達(3211)3檔順勢亮燈漲停,加百裕(3323)、興能高(6558)漲幅逾8%。

2024-12-25 12:28

機器人概念股踩油門!能率集團3檔亮燈 佳能成人氣王

機器人概念股踩油門!能率集團3檔亮燈 佳能成人氣王

年底作帳行情持續發威,加上輝達執行長黃仁勳、台積電(2330)董事長魏哲家表態看好機器人相關產業,激勵集團相關概念股漲勢,今(25)日能率集團相關個股能率創新(5392)、佳能(2374)同奔漲停價位、IKKA-KY(第一化成控股公司,代號2250)漲幅逾9%,上攻143元,佳能更在開盤2小時後挾逾9.5萬張成交量穩居今日台股成交王。

2024-12-25 11:05

千萬勞工注意!明年9大新制上路 最低工資實施、勞保費率將調升

千萬勞工注意!明年9大新制上路 最低工資實施、勞保費率將調升

今年將要結束,明年元旦起,將有9項勞動新制即將上路,包括最低工資調漲,約257萬勞工朋友受惠,其中有86%都是本國勞工;產業人才投資方案調整最高補助額度至10萬元;勞保費率調升為12.5%,勞工每月多負擔56元,估計約1037萬名勞工受影響等。

2024-12-25 10:31

威剛宣布處分不動產、處分利益1.36億元 估挹注EPS 0.46元

威剛宣布處分不動產、處分利益1.36億元 估挹注EPS 0.46元

記憶體大廠威剛(3260)今日發布重大訊息,宣布處分新北市中和區不動產,預計交易總金額為3.75億元,預計處分利益1.36億元,處分目的是為了活化資產,按威剛股本換算,處分利益有望挹注EPS約0.46元。

2024-12-25 16:33

本田、日產電動化目標不一 研調:資源整合成合併後首要任務

本田、日產電動化目標不一 研調:資源整合成合併後首要任務

日本兩大全球汽車集團本田與日產於2024年12月23日宣布啟動合併談判,目標在2025年6月達成協議,三菱也有望加入。TrendForce表示,若三家車廠順利合併,當務之急將是整合各自的資源以節省開支,利用規模化生產降低成本,以及加快電動車計畫。

2024-12-25 14:25

高息ETF績效全陣亡!緊盯年底行情 跟著大盤更吃香

高息ETF績效全陣亡!緊盯年底行情 跟著大盤更吃香

2024年進入倒數,年尾的熱鬧也預告著台股又走完一年,而回顧台灣投資人最愛的ETF,不管是高股息、市值型還是產業型,到底一年的績效評比誰最好?展望年底到過年的時間,台股又會有什麼行情?今天一次搞懂。

2024-12-26 00:53

財劃法修正 劉鏡清:實施時間、營業稅分配、地方性業務受影響

財劃法修正 劉鏡清:實施時間、營業稅分配、地方性業務受影響

《財劃法》修正案三讀通過,國發會主委劉鏡清表示,實施時間會有很大影響,還有營業稅分配的問題,以及地方性區域能否均衡發展,都是將面臨的課題。

2024-12-26 00:03

讀者迴響