久久亚洲精品国产精品777777-久久亚洲精品国产亚洲老地址-久久亚洲精品玖玖玖玖-久久亚洲精品人成综合网-亚洲视频免费在线播放-亚洲视频免费在线观看

您好,歡迎來到中國企業(yè)庫   [請登陸]  [免費(fèi)注冊]
小程序  
APP  
微信公眾號  
手機(jī)版  
 [ 免責(zé)聲明 ]     [ 舉報(bào) ]
客服電話:13631151688
企業(yè)庫首頁>資訊
行業(yè)
超級獵聘人才網(wǎng) 廣告

大數(shù)據(jù)常用軟件工具與應(yīng)用場景

作者:成都華夏經(jīng)緯市場調(diào)查有限公司 來源:transbitcd 發(fā)布時(shí)間:2018-09-03 瀏覽:370

    本文針對研究人員(非技術(shù)人員)的實(shí)際情況,介紹當(dāng)前大數(shù)據(jù)研究涉及的一些主要工具軟件,并進(jìn)一步闡述其應(yīng)用特點(diǎn)和適合的場景,以便于研究人員能有的放矢的學(xué)習(xí)和使用。

    如今,大數(shù)據(jù)日益成為研究行業(yè)的重要研究目標(biāo)。面對其高數(shù)據(jù)量、多維度與異構(gòu)化的特點(diǎn),以及分析方法思路的擴(kuò)展,傳統(tǒng)統(tǒng)計(jì)工具已經(jīng)難以應(yīng)對。

    工欲善其事,必先利其器。眾多新的軟件分析工具作為深入大數(shù)據(jù)洞察研究的重要助力, 也成為數(shù)據(jù)科學(xué)家所必須掌握的知識技能。

    然而,現(xiàn)實(shí)情況的復(fù)雜性決定了并不存在解決一切問題的{zj2}工具。實(shí)際研究過程中,需要根據(jù)實(shí)際情況靈活選擇最合適的工具(甚至多種工具組合使用),才能更好的完成研究探索。

    為此,本文針對研究人員(非技術(shù)人員)的實(shí)際情況,介紹當(dāng)前大數(shù)據(jù)研究涉及的一些主要工具軟件(因?yàn)橄嚓P(guān)軟件眾多,只介紹常用的),并進(jìn)一步闡述其應(yīng)用特點(diǎn)和適合的場景,以便于研究人員能有的放矢的學(xué)習(xí)和使用。

    基礎(chǔ)篇

    01 傳統(tǒng)分析/商業(yè)統(tǒng)計(jì)

    Excel、SPSS、SAS 這三者對于研究人員而言并不陌生。

    Excel作為電子表格軟件,適合簡單統(tǒng)計(jì)(分組/求和等)需求,由于其方便好用,功能也能滿足很多場景需要,所以實(shí)際成為研究人員最常用的軟件工具。其缺點(diǎn)在于功能單一,且可處理數(shù)據(jù)規(guī)模小(這一點(diǎn)讓很多研究人員尤為頭疼)。這兩年Excel在大數(shù)據(jù)方面(如地理可視化和網(wǎng)絡(luò)關(guān)系分析)上也作了一些增強(qiáng),但應(yīng)用能力有限。

    SPSS(SPSS Statistics)和SAS作為商業(yè)統(tǒng)計(jì)軟件,提供研究常用的經(jīng)典統(tǒng)計(jì)分析(如回歸、方差、因子、多變量分析等)處理。SPSS輕量、易于使用,但功能相對較少,適合常規(guī)基本統(tǒng)計(jì)分析

    SAS功能豐富而強(qiáng)大(包括繪圖能力),且支持編程擴(kuò)展其分析能力,適合復(fù)雜與高要求的統(tǒng)計(jì)性分析。

    上述三個(gè)軟件在面對大數(shù)據(jù)環(huán)境顯現(xiàn)了各種不適,具體不再贅述。但這并不代表其沒有使用價(jià)值。如果使用傳統(tǒng)研究方法論分析大數(shù)據(jù)時(shí),海量原始數(shù)據(jù)資源經(jīng)過前期處理(如降維和統(tǒng)計(jì)匯總等)得到的中間研究結(jié)果,就很適合使用它們進(jìn)行進(jìn)一步研究。

    02 數(shù)據(jù)挖掘

    數(shù)據(jù)挖掘作為大數(shù)據(jù)應(yīng)用的重要領(lǐng)域,在傳統(tǒng)統(tǒng)計(jì)分析基礎(chǔ)上,更強(qiáng)調(diào)提供機(jī)器學(xué)習(xí)的方法,關(guān)注高維空間下復(fù)雜數(shù)據(jù)關(guān)聯(lián)關(guān)系和推演能力。代表是SPSS Modeler(注意不是SPSS Statistics,其前身為Clementine)

    SPSS Modeler的統(tǒng)計(jì)功能相對有限, 主要是提供面向商業(yè)挖掘的機(jī)器學(xué)習(xí)算法(決策樹、神經(jīng)元網(wǎng)絡(luò)、分類、聚類和預(yù)測等)的實(shí)現(xiàn)。同時(shí),其數(shù)據(jù)預(yù)處理和結(jié)果輔助分析方面也相當(dāng)方便,這一點(diǎn)尤其適合商業(yè)環(huán)境下的快速挖掘。不過就處理能力而言,實(shí)際感覺難以應(yīng)對億級以上的數(shù)據(jù)規(guī)模。

    另一個(gè)商業(yè)軟件 Matlab也能提供大量數(shù)據(jù)挖掘的算法,但其特性更關(guān)注科學(xué)與工程計(jì)算領(lǐng)域。而zm的數(shù)據(jù)挖掘軟件Weka,功能較少,且數(shù)據(jù)預(yù)處理和結(jié)果分析也比較麻煩,更適合學(xué)術(shù)界或有數(shù)據(jù)預(yù)處理能力的使用者。

    中級篇

    01 通用大數(shù)據(jù)可視化分析

    近兩年來涌現(xiàn)了許多面向大數(shù)據(jù)、具備可視化能力的分析工具,在商業(yè)研究領(lǐng)域,TableAU無疑是{zy1}代表。

    TableAU的優(yōu)勢主要在于支持多種大數(shù)據(jù)源/格式,眾多的可視化圖表類型,加上拖拽式的使用方式,上手快,非常適合研究員使用,能夠涵蓋大部分分析研究的場景。不過要注意,其并不能提供經(jīng)典統(tǒng)計(jì)和機(jī)器學(xué)習(xí)算法支持, 因此其可以替代Excel, 但不能代替統(tǒng)計(jì)和數(shù)據(jù)挖掘軟件。另外,就實(shí)際處理速度而言,感覺面對較大數(shù)據(jù)(實(shí)例超過3000萬記錄)時(shí),并沒有官方介紹的那么迅速。

    02 關(guān)系分析

    關(guān)系分析是大數(shù)據(jù)環(huán)境下的一個(gè)新的分析熱點(diǎn)(比如信息傳播圖、社交關(guān)系網(wǎng)等),其本質(zhì)計(jì)算的是點(diǎn)之間的關(guān)聯(lián)關(guān)系。相關(guān)工具中,適合數(shù)據(jù)研究人員的是一些可視化的輕量桌面型工具,最常用的是Gephi。

     Gephi是免費(fèi)軟件,擅長解決圖網(wǎng)絡(luò)分析的很多需求,其插件眾多,功能強(qiáng)且易用。我們經(jīng)常看到的各種社交關(guān)系/傳播譜圖, 很多都是基于其力導(dǎo)向圖(Force directed graph)功能生成。

    但由于其由java編寫,限制了處理性能(感覺處理超過10萬節(jié)點(diǎn)/邊時(shí)常陷入假死),如分析百萬級節(jié)點(diǎn)(如微博熱點(diǎn)傳播路徑)關(guān)系時(shí),需先做平滑和剪枝處理。 而要處理更大規(guī)模(如億級以上)的關(guān)系網(wǎng)絡(luò)(如社交網(wǎng)絡(luò)關(guān)系)數(shù)據(jù),則需要專門的圖關(guān)系數(shù)據(jù)庫(如GraphLab/GraphX)來支撐了,其技術(shù)要求較高,此處不再介紹。

    03 時(shí)空數(shù)據(jù)分析

    當(dāng)前很多軟件(包括TableAU)都提供了時(shí)空數(shù)據(jù)的可視化分析功能。但就使用感受來看,其大都只適合較小規(guī)模(萬級)的可視化展示分析,很少支持不同粒度的快速聚合探索。

    如果要分析大量的時(shí)空數(shù)據(jù),比如新浪微博上億用戶發(fā)文的時(shí)間與地理分布(從省到街道多級粒度的探索)時(shí),推薦使用 NanoCubes(http:///)。該軟件可在日常的辦公電腦上提供對億級時(shí)空數(shù)據(jù)的快速展示和多級實(shí)時(shí)鉆取探索分析。下圖是對芝加哥犯罪時(shí)間地點(diǎn)的分析,網(wǎng)站有更多的實(shí)時(shí)分析的演示例子。

    04 文本/非結(jié)構(gòu)化分析

    基于自然語言處理(NLP)的文本分析,在非結(jié)構(gòu)化內(nèi)容(如互聯(lián)網(wǎng)/社交媒體/電商評論)大數(shù)據(jù)的分析方面(甚至調(diào)研題結(jié)果分析)有重要用途。其應(yīng)用處理涉及分詞、特征抽取、情感分析、多主題模型等眾多內(nèi)容。

    由于實(shí)現(xiàn)難度與領(lǐng)域差異,當(dāng)前市面上只有一些函數(shù)包或者云API(如BosonNLP)提供一些基礎(chǔ)處理功能,尚未看到適合商業(yè)研究分析中文文本的集成化工具軟件(如果有誰知道煩請通知我)。在這種情況下,各商業(yè)公司(如HCR)主要依靠內(nèi)部技術(shù)實(shí)力自主研發(fā)適合業(yè)務(wù)所需的分析功能。

    高級篇

    前面介紹的各種大數(shù)據(jù)分析工具,可應(yīng)對的數(shù)據(jù)都在億級以下,也以結(jié)構(gòu)化數(shù)據(jù)為主。當(dāng)實(shí)際面臨以下要求: 億級以上/半實(shí)時(shí)性處理/非標(biāo)準(zhǔn)化復(fù)雜需求,通常就需要借助編程(甚至借助于Hadoop/Spark等分布式計(jì)算框架)來完成相關(guān)的分析。 如果能掌握相關(guān)的編程語言能力,那研究員的分析能力將如虎添翼。

    當(dāng)前適合大數(shù)據(jù)處理的編程語言,包括:前面的內(nèi)容介紹了面向大數(shù)據(jù)研究的不同工具軟件/語言的特點(diǎn)和適用場景。 這些工具能夠極大增強(qiáng)研究員在大數(shù)據(jù)環(huán)境下的分析能力,但更重要的是研究員要發(fā)揮自身對業(yè)務(wù)的深入理解,從數(shù)據(jù)結(jié)果中洞察發(fā)現(xiàn)有深度的結(jié)果,這才是最有價(jià)值的。

鄭重聲明:資訊 【大數(shù)據(jù)常用軟件工具與應(yīng)用場景】由 成都華夏經(jīng)緯市場調(diào)查有限公司 發(fā)布,版權(quán)歸原作者及其所在單位,其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)(企業(yè)庫www.zgmflm.cn)證實(shí),請讀者僅作參考,并請自行核實(shí)相關(guān)內(nèi)容。若本文有侵犯到您的版權(quán), 請你提供相關(guān)證明及申請并與我們聯(lián)系(qiyeku # qq.com)或【在線投訴】,我們審核后將會盡快處理。
會員咨詢QQ群:902340051 入群驗(yàn)證:企業(yè)庫會員咨詢.
免費(fèi)注冊只需30秒,立刻尊享
免費(fèi)開通旗艦型網(wǎng)絡(luò)商鋪
免費(fèi)發(fā)布無限量供求信息
每天查看30萬求購信息