大數據分析工具有哪些

大數據分析工具有哪些

　　“大數據”概念最早由維克托·邁爾·舍恩伯格和肯尼斯·庫克耶在編寫(xiě)《大數據時(shí)代》中提出，指不用隨機分析法(抽樣調查)的捷徑，而是采用所有數據進(jìn)行分析處理。那么，大數據的分析工具有哪些呢?下面和小編一起看看吧!

　　大數據分析工具有哪些

　　大數據分析Storm:Apache Storm是一種開(kāi)源的分布式實(shí)時(shí)計算系統。Storm加速了流數據處理的過(guò)程，為Hadoop批處理提供實(shí)時(shí)數據處理。

　　Spark:Spark是一個(gè)兼容Hadoop數據源的內存數據處理平臺，運行速度相比于HadoopMapReduce更快。Spark適合機器學(xué)習以及交互式數據查詢(xún)工作，包含Scala、Python和JavaAPI，這更有利于開(kāi)發(fā)人員使用。

　　Twitter流處理工具Summingbird:與Storm和Scalding相似，開(kāi)發(fā)者可以使用非常接近原生的Scala或者Java在Summingbird上執行MapReduce作業(yè)。

　　AWSKinesis:AmazonKinesis是一種實(shí)時(shí)數據流處理管理服務(wù)。它可以收集和處理來(lái)自不同數據源的數據，允許開(kāi)發(fā)者編寫(xiě)可處理實(shí)時(shí)信息的應用程序，來(lái)源網(wǎng)站click-streams、營(yíng)銷(xiāo)和財務(wù)信息、制造工具和社交媒體，和操作日志和計量數據。

　　DataTorrent：DataTorrent是實(shí)時(shí)流媒體平臺，可使企業(yè)執行數據處理或轉換結構化與非結構化數據、實(shí)時(shí)數據流到數據中心。該產(chǎn)品主要利用Hadoop2.0和YARN技術(shù)。

　　SpringXD：通過(guò)任意數量的處理器，SpringXD架構支持事件驅動(dòng)的數據流攝入。流是由Spring集成適配器支持。

　　SQLStream:SQLStream為流媒體分析、可視化和機器數據持續集成提供了一個(gè)分布式流處理平臺。大數據(Hadoop)即服務(wù)ElasticMapReduce:AmazonElasticMapReduce(亞馬遜EMR)是一個(gè)web服務(wù)，提供大量數據處理。通過(guò)一個(gè)大小可調整的AmazonEC2實(shí)例集群，EMR使用Hadoop來(lái)分配并處理數據。

　　Qubole:Qubote的大數據服務(wù)提供Hadoop集群內置數據連接器和大數據項目圖形編輯器。

　　Mortar：Mortar是一個(gè)通用的大規�？茖W(xué)數據平臺。它建立在A(yíng)mazonWeb服務(wù)云，使用彈性MapReduce(EMR)啟動(dòng)Hadoop集群并處理大型數據集。Mortar可運行ApachePig，這是一個(gè)構建在Hadoop上的數據流語(yǔ)言。此外，Mortar還可運行Hadoop]、Pig、Java、Python和Luigi等，讓用戶(hù)專(zhuān)注于研究科學(xué)數據，無(wú)需擔心IT基礎設施。

　　Rackspace:RackspaceHadoop集群可運行HadoopRackspace托管專(zhuān)用服務(wù)器，自旋向上Hadoop公共云，或配置自己的私有云。

　　Joyent:JoyentHadoop是一個(gè)基于A(yíng)pacheHadoop項目大數據托管環(huán)境云的解決方案。提供數據存儲服務(wù)獲取、分析和訪(fǎng)問(wèn)任何數據格式、數據管理服務(wù)以處理、監控和運行Hadoop及數據平臺服務(wù)安全、存檔和規模一致的可用性。

　　Google:Hadoop在谷歌的云平臺上使用開(kāi)源的ApacheHadoop谷歌計算引擎的虛擬機。SQL-in-Hadoop解決方案ApacheHive:ApacheHive優(yōu)化了大型數據集分布式存儲的查詢(xún)和管理過(guò)程。Mapreduce開(kāi)發(fā)者也可以插入自定義映射器和還原劑。

　　Impala:Cloudera的Impala是一個(gè)開(kāi)源的大規模并行處理(MPP)SQL查詢(xún)引擎，運行在A(yíng)pacheHadoop。用戶(hù)可直接查詢(xún)存儲在HDFS和ApacheHBase的數據，無(wú)需進(jìn)行數據遷移或轉換。

　　Shark:Shark是一種與ApacheHive兼容的Spark數據倉庫系統。Shark支持Hive查詢(xún)語(yǔ)言、metastore、序列化格式和用戶(hù)自定義函數。

　　SparkSQL:SparkSQL的前身是shark。在hadoop發(fā)展過(guò)程中，為了給熟悉RDBMS但又不理解MapReduce的技術(shù)人員提供快速上手的工具，hive應運而生，是當時(shí)唯一運行在hadoop上的SQL-on-Hadoop工具。但是，MapReduce計算過(guò)程中大量的中間磁盤(pán)落地過(guò)程消耗了大量的I/O，降低的運行效率，為了提高SQL-on-Hadoop的效率，大量的SQL-on-Hadoop工具開(kāi)始產(chǎn)生。

　　ApacheDrill:ApacheDrill目前是Apache的一個(gè)孵化項目。提供了不同數據源特別的查詢(xún)，包括嵌套數據。受GoogleDremel的啟發(fā)，Drill是專(zhuān)為大型數據集提供可擴展性和查詢(xún)的能力。該項目是由MapR寫(xiě)成。

　　ApacheTajo:ApacheTajo是ApacheHadoop大數據相關(guān)的分布式數據倉庫系統。Tajo專(zhuān)為低延遲、可擴展的即時(shí)查詢(xún)、在線(xiàn)聚合及ETL(提取-轉換-裝載過(guò)程)在大型數據集存儲在HDFS(Hadoop分布式文件系統)和其他數據源。

　　Presto:Presto框架轉眼間從Facebook框架是一個(gè)Presto是Facebook開(kāi)發(fā)的開(kāi)源分布式SQL查詢(xún)引擎，支持對任意級大小的數據源進(jìn)行快速地交互分析。

　　Phoenix:Phoenix是一款開(kāi)源的ApacheHBaseSQL查詢(xún)引擎，由JDBC驅動(dòng)程序，可使用SQL查詢(xún)和管理HBase表。此項目已提交成為Apache孵化器項目。

　　Pivotal’sHAWQ:作為Pivotal大數據集的一部分，HAWQ是一個(gè)MPPSQL處理引擎。HAWQ實(shí)際上就是一個(gè)大規模并行處理工程或MPP，數據庫運行在Hadoop中，位于HDFS的頂部。作為一個(gè)單一的系統，它將一整套聚合基礎設施嵌入系統，那套聚合基礎設施可以運行和提供Hadoop和HDFS必須提供的所有功能以及你能從MPP數據庫中獲得的規模、性能和可查詢(xún)功能。大數據Lambda架構Lambda系統架構(LA)提供了一個(gè)結合實(shí)時(shí)數據和Hadoop預先計算的數據環(huán)境的混合平臺，以提供一個(gè)實(shí)時(shí)的數據視圖。Lambda架構框架主要包括：

　　Twitter’sSummingbird：Twitter的開(kāi)源Summingbird大數據分析工具，通過(guò)整合批處理與流處理來(lái)減少它們之間的轉換開(kāi)銷(xiāo)。區別于以往的更快、更準確節奏，Summingbird更注重于流處理與批處理的無(wú)縫整合，以及編程語(yǔ)言的原生化。

　　Summingbird是一個(gè)大規模數據處理系統，支持開(kāi)發(fā)者以批處理模式(基于Hadoop/MapReduce)或流處理模式(基于Storm)或混合模式(即組合前兩種模式)以統一的方式執行代碼。

　　Lambdoop:Lambdoop是一個(gè)Java框架，用于以與Lambda架構一致的方式開(kāi)發(fā)大數據應用。Lambda架構的特色是有一個(gè)不可修改、只能追加數據的主數據庫，并組合了批處理、服務(wù)和加速等不同的層。

【大數據分析工具有哪些】相關(guān)文章：

大數據分析07-20

大數據分析07-25

大數據分析合集(6篇)07-25

大數據分析崗位職責02-23

大數據分析崗位職責5篇02-23

大數據分析崗位職責(5篇)02-23

網(wǎng)絡(luò )在線(xiàn)存儲工具有哪些？04-17

常用數據分析方法有哪些04-04

數據分析報告07-28

多維數據分析方法04-07