Java工程师转大数据难度高吗？

2023-07-27 03:15:15

TAG: ava ja java 工程师

共8条回复

wpBeta

Java程序员转大数据工程师有很好的基础条件

对于Java程序员，大数据的主流平台hadoop是基于Java开发的，所以Java程序员往大数据开发方向转行从语言环境上更为顺畅，另外很多基于大数据的应用框架也是Java的，所以在很多大数据项目里Java语言的确是可以派上用场的。所以，Java程序员转大数据工程师是具备很好的基础条件的。当然，hadoop核心价值在于提供了分布式文件系统和分布式计算引擎，对于大部分公司而言，并不需要对这个引擎进行修改。这时候除了熟悉编程，你通常还需要学习数据处理和数据挖掘的一些知识。尤其是往数据挖掘工程师方向发展，则你需要掌握更多的工具和知识。

Java程序员转大数据职位的学习路线图：

第一步：分布式计算框架

掌握hadoop和spark分布式计算框架，了解文件系统、消息队列和Nosql数据库，学习相关组件如hadoop、MR、spark、hive、hbase、redies、kafka等;

第二步：算法和工具

学习了解各种数据挖掘算法，如分类、聚类、关联规则、回归、决策树、神经网络等，熟练掌握一门数据挖掘编程工具：Python或者Scala。目前主流平台和框架已经提供了算法库，如hadoop上的Mahout和spark上的Mllib，你也可以从学习这些接口和脚本语言开始学习这些算法。

第三步：数学

补充数学知识：高数、概率论和线代

第四步：项目实践

1)开源项目：tensorflow：Google的开源库，已经有40000多个star，非常惊人，支持移动设备;

2)参加数据竞赛：Kaggle和国内天池数据竞赛

3)通过企业实习获取项目经验

如果你仅仅是做大数据开发和运维，则可以跳过第二步和第三步，如果你是侧重于应用已有算法进行数据挖掘，那么第三步也可以先跳过。

总结：

Java工程师可以更容易理解hadoop的框架和生态，很多大数据saas级产品也是Java开发的，因此Java基础是转行大数据的一个很好的起点。但大数据是一个更为宽广的领域，具有跨界知识和能力的人才会更受企业青睐。随着人工智能时代的到来，大数据将迎来黄金发展的10年，如果你已经做好准备，那么就立即开始行动吧！

cloudcone

如果要学习大数据，不管你是零基础，还是有一定的基础，都是要懂至少一种计算机编程语言，因为大数据的开发离不开编程语言，不仅要懂，还要精通！但这门编程语言不一定是java。

比如说，如果你主攻Hadoop开发方向，是一定要学习java的，因为Hadoop是由java来开发的。

如果你想要主攻spark方向，是要学习Scala语言的，每个方向要求的编程语言是不同的。

如果你是想要走数据分析方向，那你就要从python编程语言下手，这个也是看自己未来的需求的。

大数据是需要一定的编程基础的，但具体学习哪一门编程，自己可以选择的。其实只要学会了一门编程语言，其他编程语言也是不在话下的。

我不懂运营: 如果说刚开始工作没多长时间的话，不建议转，工作了好几年，倒是可以转一下

余辉: 难度不高，因为大数据很多时候都是用的java实现

max笔记