1)Java可以學習大數據到什麽程度?
Java需要學習javaSE。Javaweb,javaee不是用於大數據的。妳可以通過學習javase來了解hadoop框架。
2) python最容易學,難度:python java Scala。
python不是比java更直觀易懂嗎,因為學了python還是要學java。壹旦學了java,再學python就很簡單了,壹周就能學會Python。
3) R語言也可以學,但不建議學,因為用java的人最多。大數據第壹框架Hadoop,底層用Java寫。就算學了R,也還是看不懂hadoop。
java在大數據中的作用是形成大數據的語言。大數據第壹框架Hadoop等大數據技術框架都是用java寫的,建議先學Java。
大數據開發的學習路線:
第壹階段:Hadoop生態架構技術
1,語言基礎
Java:在Java虛擬機中理解和練習內存管理、多線程、線程池、設計模式、並行化就夠了,不需要很深的掌握。
Linux:系統安裝,基本命令,網絡配置,Vim編輯器,進程管理,Shell腳本,虛擬機的菜單熟悉度等等。
Python:基本語法、數據結構、函數、條件判斷、循環等基礎知識。
2.環境準備
本文介紹了如何建立壹臺1主2從的全分布式windows計算機。
VMware虛擬機,Linux系統(Centos6.5),Hadoop安裝包,Hadoop全分布式集群環境都在這裏準備好了。
3、MapReduce
MapReduce分布式離線計算框架是Hadoop的核心編程模型。
4、HDFS1.0/2.0
HDFS可以提供高吞吐量的數據訪問,適合大規模數據集上的應用。
5、紗線(Hadoop2.0)
Yarn是壹個資源調度平臺,主要負責給任務分配資源。
6、蜂巢
Hive是壹個數據倉庫,所有數據都存儲在HDFS上。Hive主要用來寫Hql。
7、火花
Spark是專門為大規模數據處理設計的快速通用計算引擎。
8、火花放電
Spark Streaming是壹個實時處理框架,數據是批量處理的。
9、火花屋
Spark作為Hive的計算引擎,將Hive的查詢作為Spark的任務提交給Spark集群進行計算,可以提高Hive查詢的性能。
10、風暴
Storm是壹個實時計算框架。Storm實時處理每壹條添加的數據,壹條壹條,可以保證數據處理的及時性。
11、動物園管理員
Zookeeper是很多大數據框架的基礎,也是集群的管理者。
12、Hbase
Hbase是壹個Nosql數據庫,它是高度可靠的、面向列的、可伸縮的和分布式的。
13、卡夫卡
Kafka是壹個消息中間件,作為中間緩沖層。
14、水槽
Flume常見的是從應用程序生成的日誌文件中收集數據,壹般有兩個過程。
壹種是Flume采集的數據存儲在Kafka中,便於Storm或SparkStreaming實時處理。
另壹個過程是將Flume收集的數據存儲在HDFS上進行離線處理,以便以後使用hadoop或spark。
第二階段:數據挖掘算法
1,中文分詞
開源敘詞表的離線和在線應用
2.自然語言處理
文本相關算法
3.推薦算法
基於CB,CF,歸壹化方法,Mahout應用。
4.分類算法
NB、SVM
5.回歸算法
LR、決策樹
6.聚類算法
分層聚類,k均值
7.神經網絡和深度學習
神經網絡、張量流
以上是學習Hadoop開發的詳細路線。如果需要了解具體框架的開發技術,可以咨詢Gamigu的大數據老師了解更多。
學習大數據開發需要掌握哪些技術?
(1)Java語言基礎
Java開發入門,熟悉Eclipse開發工具,Java語言基礎,Java進程控制,Java字符串,Java數組和類和對象,數字處理類和核心技術,I/O和反射,多線程,Swing程序和集合類。
(2)HTML、CSS和Java
PC端網站布局,HTML5+CSS3基礎,WebApp頁面布局,原生Java交互功能開發,Ajax異步交互,jQuery應用。
(3)JavaWeb和數據庫
數據庫,JavaWeb開發核心,JavaWeb開發內幕
Linux和。Hadoop生態系統
Linux系統,Hadoop離線計算大綱,分布式數據庫Hbase,數據倉庫Hive,數據遷移工具Sqoop,Flume分布式日誌框架。
分布式計算框架和Spark &;風暴生態系統
(1)分布式計算框架
Python編程語言、Scala編程語言、Spark大數據處理、Spark—流式大數據處理、Spark—Mlib機器學習、Spark—GraphX圖計算、實戰1:基於Spark的推薦系統(某壹線公司的真實項目)、實戰2:新浪。com (www.sina.com.cn)。
(2)暴風科技架構體系
Storm原理與基礎,消息隊列kafka,Redis工具,zookeeper詳解,大數據項目實際數據采集,數據處理,數據分析,數據呈現,數據應用。
大數據分析——AI(人工智能)數據
分析工作環境準備和;數據分析、數據可視化、Python機器學習的基礎
希望以上回答對妳有所幫助。