公司使用大數據的基本情況

時至今日，無論你是來自互聯網行業、通信行業，還是金融行業、服務業或是零售業，相信都不會對大數據感到陌生。據調查報告顯示，32.5%的公司正在搭建大數據平臺，處于測試階段；29.5%的公司已經在生產環境實踐大數據，并有成功的用例/產品；24.5%的公司已經做了足夠的了解，開發準備就緒；基本不了解的只占3000+用戶的13.5%。
 

現有公司大數據的使用情況

其中，大家對大數據平臺提出的的主要需求有：36.5%是進行海量數據的離線處理，比如大數據BI；23.2%是為了大量數據的實時處理，比如在線交互式分析；40.3%的公司的大數據平臺則同時負責這兩種業務。
 

大數據平臺主要負責的業務

傳統觀念下，大數據往往是大型互聯網公司的玩物。然而，通過本次調查，我們卻發現在那些對大數據平臺有需求的公司中，研發團隊規模遠沒有我們想象的大，29.11%的研發團隊僅有1-10人，次居第二的10-50人的規模占到了25.77%,兩種規模的研發團隊就超過了一半?？梢姡斚?a href='http://www.hcjx688.com' target='_blank'>大數據的需求已不止步于大型公司。
 

研發團隊規模

從傳統架構到大數據時代應用程序架構的轉變往往都會遇到一些問題和挑戰。在對計算框架門檻調查中，非專業人士難于入手這一難題的比例達到了46.5%，這對企業人才的培訓提出了迫切的要求。
 

當下計算框架使用過程中存在的問題

打造大數據平臺需要企業克服諸多問題和挑戰，尤其是安全性和可靠性方面。

大數據平臺打造的主要挑戰
 

大數據技術現狀

大數據技術在開發者或從業人員的應用中逐步走向成熟，這些成熟的技術在開發人員的探索中得到了初步的穩定發展，公司的使用便是對這些技術的肯定。包括開發語言，數據分析語言、數據庫等在內的大數據工具，究竟哪個更適合自己的業務，相信開發者們都有自己的評判標準。

在眾多的開發語言中，大數據平臺開發者們尤為青睞Java，占到了總比例的65%， 遠遠超過其他開發語言。值得一提的是，Hadoop本身就由Java實現的。
 

大數據開發語言

在大數據分析語言中，SQL的使用比例達到了64%，是R語言使用者人數的2倍之多。我們從中不難看出SQL-on-XXX項目的前景；同時從R的支持率上，也看到了更多非技術人員，比如數據分析師對低門檻分析類語言的需求。
 

大數據分析通常用的語言

在大數據存儲上，HBase則以67.55%的比例位居榜首，遠超其他數據倉庫，當然這點與Hadoop原生支持是分不開的。
 

大數據存儲中適合的數據庫

對存儲在HBase或Cassandra這樣NOSQL數據庫中的數據進行復雜查詢，Solr、Elasticsearch、Splunk等主流的搜索引擎差距并不大。

對存儲在NOSQL數據庫中的數據進行復雜查詢，比較合適的工具
 

大數據未來發展

誠如上文所說，許多對大數據有需求的公司并不一定具備強大的研發團隊，在大數據處理過程中往往遭遇眾多挑戰。那么，在面臨這些挑戰時，開發者最迫切需要的是什么？

為了解決公司中的實際問題，39.28%的人希望擁有更犀利和通用的計算框架；37.88%的人希望能擁有更好的數據挖掘算法；21.59%的人則對保障性更高的運維有了更多的期盼。

為了解決公司的實際問題，最希望擁有的新技術
 

良好的大數據計算平臺能夠有效地支撐企業的海量數據，對于下一代通用大數據技術平臺，Spark和Hadoop是公司的主要選擇。同時，我們也看到了新貴Spark的發展前景，對比老將Hadoop，差距也僅有3.7%。
 

人們看好的下一代通用大數據計算平臺

現有公司中，大數據平臺已包含的部件位居前三的主要是SQL數據庫（90.3%）、NoSQL數據庫（50.7%）和HDFS（47.2%），在此基礎上，公司計劃添加的部件主要包含SQL數據庫（57.2%）、Spark（41.5%）和NoSQL數據庫（26.9%）。從各公司已有大數據部件和計劃添加的部件可以看出，SQL數據庫和NoSQL數據庫在公司的大數據平臺中發揮了重要的作用，得到了各公司的青睞。
 

現有大數據平臺已包含的部件

現有大數據平臺計劃添加的部件

為了獲取更高的收益，企業在前期需要進行有效地成本投入，對大數據平臺的投資，公司更加不會吝嗇，其中被調查的人群中，45.7%的人所在企業有追加投資大數據平臺的打算，同時，公司也期望能夠通過多種途徑完善大數據平臺，主要的完善途徑包括基于開源平臺自主研發、購買成熟的解決方案，使用公有云。

企業期望完善大數據平臺的途徑

使用公有云也是企業期望完善大數據平臺的有效途徑之一，在選擇公有云平臺方面，企業也面臨著很大的傾向性，45.26%的人將阿里云作為首選。

公有云平臺的選擇
 

大數據技術培訓

技術培訓能夠對開發者起到一定的指導作用，使得聽眾可以系統全面的把握新技術的知識脈絡，了解技術的發展趨勢。在此次調查活動中，69.4%的被調查者表示從未參加過大數據平臺構建的技術培訓。對于技術培訓的形式，49%的人希望是線上培訓，收費，成系列型的大數據解決方案，專攻一個方向，解決實際問題；37%的被調查者還是希望免費進行技術培訓，即使不成系列，無論是線上線下，能聽一節是一節。雖然收費在一定程度上影響了開發者對大數據技術培訓的熱情，但是能夠切實解決實際問題，得到技術和能力的提升，仍是相關技術人員追求的培訓目標。

更適合的技術培訓形式
 

那么，對開發者來說，大家特別期望從技術培訓中獲取的知識又會是什么？

大數據領域，迫切學習或參加培訓的新技術

寫在最后

根據本次調查，我們不難發現，大數據仍然只在少數公司的生產環境投入使用，造成這個情況的原因主要有兩個：首先，當下的大數據計算框架在使用上仍然存在很高的門檻；其次，受限于公司研發團隊的實力。在大數據平臺打造上，大部分機構都期望通過自主研發來完成這個過程，同時也期望獲得更符合使用習慣的計算框架，比如SQL。同時，在自主研發和購買解決方案添加大數據屬性之外，很多機構將注意力集中到云計算，其中國內云供應商阿里云45.26%的得票率更是值得欣慰（文章來源：36大數據)