- 相關(guān)推薦
入門(mén)級大數據分析：Google BigQuery
大數據項目挺嚇人的，尤其是如果包含了設置和管理Hadoop集群。如果你更習慣于SQL，而不是MapReduce，但是發(fā)現關(guān)系型數據庫不符合分析需求，Google BigQuery值得一看。Google BigQuery提供了大數據分析入門(mén)級方法。
BigQuery減少了分析大型數據集面臨的一些實(shí)現挑戰。價(jià)格模型促進(jìn)了統計分析技能的發(fā)掘，因此可以從數據樣品中導出有用的信息，而不是針對全部數據集進(jìn)行蠻力分析。
有時(shí)，要用大數據工作意味著(zhù)處理速度的精確。比如，如果想要確定操作同一網(wǎng)站的兩個(gè)不同的客戶(hù)群組是否不同，應該分析網(wǎng)站上與所有這些客戶(hù)活動(dòng)相關(guān)每一個(gè)登錄日志�；蛘�，可以取出一部分客戶(hù)子集樣例，分析這些樣例之間的不同�；A統計提供了工具，可以幫助理解這種類(lèi)型分析的錯誤率，只要錯誤在可接受范圍內，結果對于決策制定就是有效的。
在TOP功能中可以看到這種交換，通過(guò)grouping和sorting操作返回頂行發(fā)現�？赡芊祷亟频慕Y果，但是這個(gè)函數通常比使用“group by”、“order by”和“"limit”的組合語(yǔ)句更快速。
Google BigQuery操作特性
BigQuery旨在分析數十億行近似的數據，使用類(lèi)SQL語(yǔ)法。它并不是完全符合SQL數據庫的替代，并不適用于交易處理應用。BigQuery支持分析交互風(fēng)格。使用SELECT命令構建查詢(xún)，對于任何SQL開(kāi)發(fā)者都應該很熟悉。
查詢(xún)語(yǔ)言包括支持標準操作，比如joining、sorting和grouping，以及內嵌數據結構。正如我們所期望的大數據分析服務(wù)，可以支持統計函數，比如count、sum、average、variance和standard deviation(標準偏差)。Grouping函數和描述性統計的結合相當直接的在兩個(gè)總體中比較平均數和變異數。
入門(mén)級大數據分析：Google BigQuery
聯(lián)接是標準化數據模型必要的操作，但是計算昂貴。BigQuery函數中的JOIN運算符類(lèi)似于SQL join，但是在聯(lián)接兩個(gè)表時(shí)，其中一個(gè)表必須是8MB或者壓縮到更小。這種類(lèi)型的限制可以進(jìn)行更加有效的聯(lián)接操作，因為更小的表可以有效高速緩存，聯(lián)接到更大的表。如果必須聯(lián)接兩個(gè)大型表，可以使用JOIN EACH操作，但是性能就會(huì )更慢。
可以使用簡(jiǎn)單的瀏覽器界面同BigQuery進(jìn)行交互操作。瀏覽器工具保留查詢(xún)歷史，提供了構造查詢(xún)的工作局域。這是一種基本的工具;并不具備SQL開(kāi)發(fā)者工具中全面的功能，比如MySQL Workbench和DBVisualizer。也可以通過(guò)命令行界面工作。
Google BigQuery的價(jià)格模型
通過(guò)訪(fǎng)問(wèn)Google的云資源，你可能想知道為什么你要為查詢(xún)樣例或者近似結果操心，畢竟，你可以在這個(gè)問(wèn)題上投入更多的硬件不是嗎?對，你可以，但是BigQuery基于你分析了多少數據來(lái)收費。
Google的價(jià)格模型基于存儲和分析的數據總量。存儲費用是每月0.12GB美元。交互查詢(xún)?yōu)槊刻幚?GB 0.035美元，包查詢(xún)費用為0.02美元/GB。為了限制處理的數據量，可以限制分析的行數，包括你實(shí)際需要結果的列。BigQuery使用柱狀數據存儲，因此并不是所有的行數據，在一個(gè)或者更多列查詢(xún)時(shí)回復。
數據存入BigQuery，使用負載工作，可以同Google Cloud Storage的數據工作，或者使用POST請求本地文件系統中的數據。文件可以格式化成為CSV或者JSON格式。壓縮文件限制到1GB，但是非壓縮文件能到1TB。負載工作包括多達一萬(wàn)個(gè)文件，但是所有文件的大小總和不能超過(guò)1TB。由于每天每個(gè)表可以擁有多達1000個(gè)負載工作，這些定額對于大多數項目不見(jiàn)得有實(shí)際的影響。
[入門(mén)級大數據分析：Google BigQuery]相關(guān)文章：
1.入門(mén)級大數據分析:Google BigQuery
【入門(mén)級大數據分析：Google BigQuery】相關(guān)文章：
大數據分析07-20
大數據分析07-25
大數據分析崗位職責02-23
大數據分析合集(6篇)07-25
大數據分析崗位職責5篇02-23
大數據分析崗位職責(5篇)02-23
google搜索理念04-28
數據分析報告07-28
面對20億行代碼Google如何管理04-12
多維數據分析方法04-07