新聞資訊
Google大數(shù)據(jù)技術(shù)架構(gòu)探秘
Google是大數(shù)據(jù)時代的奠基者，其大數(shù)據(jù)技術(shù)架構(gòu)一直是互聯(lián)網(wǎng)公司爭相學(xué)習(xí)和 研究的重點，也是行業(yè)大數(shù)據(jù)技術(shù)架構(gòu)的標(biāo)桿和示范。
1、谷歌的數(shù)據(jù)中心
谷歌已經(jīng)建立了世界上最快、最強大、最高質(zhì)量的數(shù)據(jù)中心，它的8個主要數(shù)據(jù)中心都遠(yuǎn)離其位于加州山景城的總部，分別位于美國南卡羅來納州的伯克利郡，愛荷華州的康瑟爾布拉夫斯，喬治亞州的道格拉斯郡，俄克拉荷馬州的梅斯郡，北卡羅來納州的勒努瓦，俄勒岡州的達(dá)爾斯；另外2個在美國境外，分別是芬蘭的哈米納和比利時的圣吉斯蘭。此外，谷歌公司還在中國香港和中國臺灣，以及新加坡和智利建立了數(shù)據(jù)中心。
2、谷歌新一代搜索引擎平臺和大數(shù)據(jù)分析核心技術(shù)
Google是GFS MapReduce BigTable的締造者，但Google 新一代搜索引擎平臺正逐步用更強計算能力的系統(tǒng)來替換原有系統(tǒng)，新一代搜索引擎平臺有幾個核心技術(shù)系統(tǒng)：
一是用基于Percolator的增量處理索引系統(tǒng)來取代MapReduce批處理索引系統(tǒng)，這個索引系統(tǒng)被稱作Caffeine，它比MapReduce批處理索引系統(tǒng)搜索更快。
二是專為BigTable設(shè)計的分布式存儲Colossus，也被稱為GFS2（二代Google文件系統(tǒng)），它專為建立Caffeine搜索索引系統(tǒng)而用。
三是列存儲數(shù)據(jù)庫BigTable，但為了更好地支持大數(shù)據(jù)集的互動分析，Google推出了Dremel和PowerDrill。Dremel被設(shè)計用來管理非常大量的大數(shù)據(jù)集（指數(shù)據(jù)集的數(shù)量和每數(shù)據(jù)集的規(guī)模都大），而PowerDrill則設(shè)計用來分析少量的大數(shù)據(jù)集（指數(shù)據(jù)集的規(guī)模大，但數(shù)據(jù)集的數(shù)量不多）時提供更強大的分析性能。
四是為Google Instant提供服務(wù)的實時搜索引擎存儲和分析架構(gòu)。
五是Pregel，這是谷歌更快捷的網(wǎng)絡(luò)和圖算法。
在谷歌新一代搜索引擎平臺上，每月40億小時的視頻，4.25億Gmail用戶，150,000,000 GB Web索引，卻能實現(xiàn)0.25秒搜索出結(jié)果。
3、谷歌基礎(chǔ)云服務(wù)
基于Colossus，谷歌為用戶提供計算、存儲和應(yīng)用的云服務(wù)。計算服務(wù)包括計算的引擎（ComputeEngine）和應(yīng)用APP的引擎(AppEngine)；存儲服務(wù)包括云存儲（CloudStorge）、云SQL(CLoudSQL)、云數(shù)據(jù)存儲（Cloud DataStore）、永久磁盤等服務(wù)；云應(yīng)用服務(wù)包括BigQuery、云終端（Cloud Endpoints）、緩沖、隊列等。
4、谷歌的大數(shù)據(jù)智能應(yīng)用服務(wù)
Google提供的大數(shù)據(jù)分析智能應(yīng)用包括客戶情緒分析、交易風(fēng)險（欺詐分析）、產(chǎn)品推薦、消息路由、診斷、客戶流失預(yù)測、法律文案分類、電子郵件內(nèi)容過濾、政治傾向預(yù)測、物種鑒定等多個方面。據(jù)稱，大數(shù)據(jù)已經(jīng)給Google每天帶來2300萬美元的收入。例如，一些典型應(yīng)用如下：
（1）基于Map Reduce，Google的傳統(tǒng)應(yīng)用包括數(shù)據(jù)存儲、數(shù)據(jù)分析、日志分析、搜索質(zhì)量以及其他數(shù)據(jù)分析應(yīng)用。
（2）基于Dremel系統(tǒng)， Google推出其強大的數(shù)據(jù)分析軟件和服務(wù) — BigQuery，它也是Google自己使用的互聯(lián)網(wǎng)檢索服務(wù)的一部分。Google已經(jīng)開始銷售在線數(shù)據(jù)分析服務(wù)，試圖與市場上類似亞馬遜網(wǎng)絡(luò)服務(wù)(Amazon Web Services)這樣的企業(yè)云計算服務(wù)競爭。這個服務(wù)，能幫助企業(yè)用戶在數(shù)秒內(nèi)完成萬億字節(jié)的掃描。
（3）基于搜索統(tǒng)計算法，Google推出搜索引擎的輸寫糾錯、統(tǒng)計型機器翻譯等服務(wù)。
（4）Google的趨勢圖應(yīng)用。通過用戶對于搜索詞的關(guān)注度，很快的理解社會上的熱點是什么。對廣告主來說，它的商業(yè)價值就是很快的知道現(xiàn)在用戶在關(guān)心什么，他們應(yīng)該在什么地方投入一個廣告。據(jù)此， Google公司也開發(fā)了一些大數(shù)據(jù)產(chǎn)品，如“Brand Lift in Adwords”、“Active GRP”等，以幫助廣告客戶分析和評估其廣告活動的效率。
（5）Google Instant。輸入關(guān)鍵詞的過程，Google Instant 會邊打邊預(yù)測可能的搜索結(jié)果。
谷歌的大數(shù)據(jù)平臺架構(gòu)仍在演進(jìn)中，追去的目標(biāo)是更大數(shù)據(jù)集、更快、更準(zhǔn)確的分析和計算。這將進(jìn)一步引領(lǐng)大數(shù)據(jù)技術(shù)發(fā)展的方向。保返回與用戶查詢最相關(guān)的結(jié)果。
