hadoop 修改fair-scheduler配置需要重启吗

分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。　　分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。　　简单来说：为了简化用户端的使用，提供了一个分布式缓存系统来提供对此分布式存储系统的访问接口以及本地数据缓冲以降低网络压力。

hadoop生态圈上的数据传输工具。 可以将关系型数据库的数据导入非结构化的hdfs、hive或者bbase中，也可以将hdfs中的数据导出到关系型数据库或者文本文件中。 使用的是mr程序来执行任务，使用jdbc和关系型数据库进行交互。 import原理：通过指定的分隔符进行数据切分，将分片传入各个map中，在map任务中在每行数据进行写入处理没有reduce。 export原理：根据要操作的表名生成一个java类，并读取其元数据信息和分隔符对非结构化的数据进行匹配，多个map作业同时执行写入关系型数据库。

九点半下班的下决心行行心肌细胞 信息。陈 才看见。陈

对于数据分析师所要学习的课程来说，需要分为技术学习、统计理论、表达能力三个层面进行学习，这些层面是数据分析的大体内容，只有对这技能进行持续的学习，理解的越透彻，那么对于数据的分析潜力就越大。首先给大家说明一下数据分析的技术学习，而技术学习有几个层面的内容要学习。首先，我们需要对数据库或者其他渠道中获得数据。很多人对于数据获取方面还是要靠很多人，在现在对于数据的获取只能靠自己了，对于数据的获取是需要sql工具，而sql工具就是为了统计取数而生的工具，而sql工具一般是解决中型数据，Excel可以应对小型数据的分析。当然，还需要学习r语言、Python、spss等数据，这样才能够提供数据的挖掘能力。当然还需要学习数据库的内容，将数据纳入数据库的本领也需要掌握，学好了这些才能够做好数据分析。然后给大家说一下关于统计的内容，统计学是数据分析中至关重要的课程，不管是在业务方面发展还是在技术方面发展都需要重视数据分析工作，大家在学习统计方面知识的时候一定要学会里面的数据分析思维框架，这样才能够对日后的数据分析工作有很好的帮助。最后说一下表达能力，而表达能力也是一项重要的能力，如果你肚子里有很多东西，但是表达不出来，也是不算是一个优秀的数据分析师，拥有一个好的表达能力至关重要，在分析数据以后需要给客户阐述数据分析的结果，不但有很强的语言表达能力，还要会制作ppt，在讲述和制作ppt的时候需要有严密的逻辑，这样才有说服力，在做ppt的时候还需要对语言进行组织，力争做到图文并茂，这样才能够让人信服你的数据分析结果。

报班

大数据技术在如今应用非常广泛，许多想入行学习大数据培训的童鞋不知从何学起，从哪儿开始学首先要根据你的基本情况而定，如果你是零基础的也不需要担心，先从基础开始学起就好了，接下来学习基础java开始、数据结构、关系型数据库、linux系统操作，夯实基础之后，再进入大数据的学习，例如：hadoop离线分析、Storm实时计算、spark内存计算的学习，以道教育大数据课程体系可以如下：第一阶段 WEB 开发基础HTML基础1、Html基本介绍2、HTML语法规范3、基本标签介绍4、HTML编辑器/文本文档/WebStrom/elipse5、HTML元素和属性6、基本的HTML元素6.1 标题6.2 段落6.3 样式和style属性6.3 链接 a6.4 图像 img6.5 表格 table6.6 列表 ul/ol/dl7、 HTML注释8、表单介绍9、Table标签10、DIV布局介绍11、HTML列表详解HTML布局和Bootstrap1、 HTML块元素（block）和行内元素(inline)2、使用div实现网页布局3、响应式WEB设计（Responsive Web Design）4、使用bootstrap实现响应式布局HTML表单元素1、HTML表单 form2、HTML表单元素3、 HTML input的类型 type4、 Html input的属性CSS基础1、CSS简介及基本语法2、在HTML文档中使用CSS3、CSS样式4、CSS选择器5、盒子模型6、布局及定位CSS高级/CSS31、尺寸和对齐2、分类（clear/cursor/display/float/position/visibility）3、导航栏4、图片库5、图片透明6、媒介类型 @media7、CSS38、CSS3动画效果JavaScript基础1、JavaScript简介2、基本语法规则3、在HTML文档中使用JS4、JS变量5、JS数据类型6、JS函数7、JS运算符8、流程控制9、JS错误和调试JavaScript对象和作用域1、数字 Number2、字符串String3、日期 Date4、数组5、数学 Math6、DOM对象和事件7、BOM对象8、Window对象9、作用域和作用域链10、JSONJavascript库1、Jquery2、Prototype3、Ext JsJquery1、Jquery基本语法2、Jquery选择器3、Jquery事件4、Jquery选择器5、Jquery效果和动画6、使用Jquery操作HTML和DOM7、Jquery遍历8、Jquery封装函数9、Jquery案例表单验证和Jquery Validate1、用Js对HTML表单进行验证2、Jquery Validata基本用法3、默认校验规则和提示信息4、debug和ignore5、更改错误信息显示位置和样式6、全部校验通过后的执行函数7、修改验证触发方式8、异步验证9、自定义校验方法10、radio 和 checkbox、select 的验证Java基础1、关于Java2、Java运行机制3、第一个Java程序，注释4、Javac,Java,Javadoc等命令5、标识符与关键字6、变量的声明，初始化与应用7、变量的作用域8、变量重名9、基本数据类型10、类型转换与类型提升11、各种数据类型使用细节12、转义序列13、各种运算符的使用流程控制1、选择控制语句if-else2、选择控制语句switch-case3、循环控制语句while4、循环控制语句do-while5、循环控制语句for与增强型for6、break，continue，return7、循环标签8、数组的声明与初始化9、数组内存空间分配10、栈与堆内存11、二维（多维）数组12、Arrays类的相关方法13、main方法命令行参数面向对象1、面向对象的基本思想2、类与对象3、成员变量与默认值4、方法的声明，调用5、参数传递和内存图6、方法重载的概念7、调用原则与重载的优势8、构造器声明与默认构造器9、构造器重载10、this关键字的使用11、this调用构造器原则12、实例变量初始化方式13、可变参数方法访问权限控制1、包 package和库2、访问权限修饰符private/protected/public/包访问权限3、类的访问权限4、抽象类和抽象方法5、接口和实现6、解耦7、Java的多重继承8、通过继承来扩展接口错误和异常处理1、概念：错误和异常2、基本异常3、捕获异常 catch4、创建自定义异常5、捕获所有异常6、Java标准异常7、使用finally进行清理8、异常的限制9、构造器10、异常匹配11、异常使用指南数据库基础（MySQL）数据库基础（MySQL）JDBC1、Jdbc基本概念2、使用Jdbc连接数据库3、使用Jdbc进行crud操作4、使用Jdbc进行多表操作5、Jdbc驱动类型6、Jdbc异常和批量处理7、Jdbc储存过程Servlet和JSP1、Servlet简介2、Request对象3、Response对象4、转发和重定向5、使用Servlet完成Crud6、Session和Coolie简介7、ServletContext和Jsp8、El和Jstl的使用Ajax1、什么是Ajax2、XMLHttpRequest对象（XHR）3、XHR请求4、XHR响应5、readystate/onreadystatechange6、Jquery Ajax7、JSON8、案例：对用户名是否可用进行服务器端校验综合案例1、项目开发一般流程介绍2、模块化和分层3、DButils4、QueryRunner5、ResultSetHandle6、案例：用户登录/注册，从前端到后端第二阶段 Java SE访问权限和继承1、包的声明与使用2、import与import static3、访问权限修饰符4、类的封装性5、static（静态成员变量）6、final（修饰变量，方法）7、静态成员变量初始化方式8、类的继承与成员继承9、super的使用10、调用父类构造器11、方法的重写与变量隐藏12、继承实现多态和类型转换13、instanceof抽象类与接口1、抽象类2、抽象方法3、继承抽象类4、抽象类与多态5、接口的成员6、静态方法与默认方法7、静态成员类8、实例成员类9、局部类10、匿名类11、eclipse的使用与调试12、内部类对外围类的访问关系13、内部类的命名Lambda表达式与常用类1、函数式接口2、Lambda表达式概念3、Lambda表达式应用场合4、使用案例5、方法引用6、枚举类型（编译器的处理）7、包装类型（自动拆箱与封箱）8、String方法9、常量池机制10、String讲解11、StringBuilder讲解12、Math，Date使用13、Calendars使用异常处理与泛型1、异常分类2、try-catch-finally3、try-with-resources4、多重捕获multi-catch5、throw与throws6、自定义异常和优势7、泛型背景与优势8、参数化类型与原生类型9、类型推断10、参数化类型与数组的差异11、类型通配符12、自定义泛型类和类型擦出13、泛型方法重载与重写集合1 、常用数据结构2 、Collection接口3 、List与Set接口4 、SortedSet与NavigableSet5 、相关接口的实现类6 、Comparable与Comparator7、Queue接口8 、Deque接口9 、Map接口10、NavigableMap11、相关接口的实现类12、流操作（聚合操作）13、Collections类的使用I/O流与反射1 、File类的使用2 、字节流3 、字符流4 、缓存流5 、转换流6 、数据流7、对象流8、类加载，链接与初始化9 、ClassLoader的使用10、Class类的使用11、通过反射调用构造器12、安全管理器网络编程模型与多线程1、进程与线程2、创建线程的方式3、线程的相关方法4、线程同步5、线程死锁6、线程协作操作7、计算机网络（IP与端口）8、TCP协议与UDP协议9、URL的相关方法10、访问网络资源11、TCP协议通讯12、UDP协议通讯13、广播SSM-Spring1.Spring/Spring MVC2.创建Spring MVC项目3.Spring MVC执行流程和参数SSM-Spring.IOC1.Spring/Spring MVC2.创建Spring MVC项目3.Spring MVC执行流程和参数SSM-Spring.AOP1.Spring/Spring MVC2.创建Spring MVC项目3.Spring MVC执行流程和参数SSM-Spring.Mybatis1.MyBatis简介2.MyBatis配置文件3.用MyBatis完成CRUD4.ResultMap的使用5.MyBatis关联查询6.动态SQL7.MyBatis缓冲8.MyBatis-GeneratorSocket编程1.网络通信和协议2.关于Socket3.Java Socket4.Socket类型5.Socket函数6.WebSocket7.WebSocket/Spring MVC/WebSocket AjaxIO/异步window对象全局作用域窗口关系及框架窗口位置和大小打开窗口间歇调用和超时调用（灵活运用）系统对话框location对象navigator对象screen对象history对象NIO/AIO1.网络编程模型2.BIO/NIO/AIO3.同步阻塞4.同步非阻塞5.异步阻塞6.异步非阻塞7.NIO与AIO基本操作8.高性能IO设计模式第三阶段 Java 主流框架MyBatis1.mybatis框架原理分析2.mybatis框架入门程序编写3.mybatis和hibernate的本质区别和应用场景4.mybatis开发dao方法5.SqlMapConfig配置文件讲解6.输入映射-pojo包装类型的定义与实现7.输出映射-resultType、resultMap8.动态sql9.订单商品数据模型分析10.高级映射的使用11.查询缓存之一级缓存、二级缓存12.mybatis与spring整合13. mybatis逆向工程自动生成代码Spring/Spring MVC1. springmvc架构介绍2. springmvc入门程序3. spring与mybatis整合4. springmvc注解开发—商品修改功能分析5. springmvc注解开发—RequestMapping注解6. springmvc注解开发—Controller方法返回值7. springmvc注解开发—springmvc参数绑定过程分析8. springmvc注解开发—springmvc参数绑定实例讲解9. springmvc与struts2的区别10. springmvc异常处理11. springmvc上传图片12. springmvc实现json交互13. springmvc对RESTful支持14. springmvc拦截器第四阶段 关系型数据库/MySQL/NoSQLSQL基础1.SQL及主流产品2.MySQL的下载与安装（sinux/windows）3.MySql的基本配置/配置文件4.基本的SQL操作 DDL5.基本的SQL操作 DML6.基本的SQL操作 DCL7.MySQL客户端工具8.MySQL帮助文档MySQL数据类型和运算符1 数值类型2 日期时间类型3 字符串类型4 CHAR 和 VARCHAR 类型5 BINARY 和 VARBINARY 类型6 ENUM 类型7 SET 类型8 算术运算符9 比较运算符10 逻辑运算符11 位运算12 运算符的优先级MySQL函数1 字符串函数2 数值函数3 日期和时间函数4 流程函数5 其他常用函数MySQL存储引擎1.MySQL支持的存储引擎及其特性2.MyISAM3.InnoDB4.选择合适的存储引擎选择合适的数据类型1 CHAR 与 VARCHAR2 TEXT 与 BLOB3 浮点数与定点数4 日期类型选择字符集1 字符集概述2 Unicode字符集3 汉字及一些常见字符集4 选择合适的字符集5 MySQL 支持的字符集6 MySQL 字符集的设置 .索引的设计和使用1.什么是索引2.索引的类型3.索引的数据结构 BTree B+Tree Hash4.索引的存储5.MySQL索引6.查看索引的使用情况7.索引设计原则视图/存储过程/函数/触发器1. 什么是视图2. 视图操作3. 什么是存储过程4. 存储过程操作5. 什么是函数6. 函数的相关操作7. 触发器事务控制/锁1. 什么是事务2. 事务控制3. 分布式事务4. 锁/表锁/行锁5. InnoDB 行锁争用6. InnoDB 的行锁模式及加锁方法77 InnoDB 行锁实现方式78 间隙锁（Next-Key 锁）9 恢复和复制的需要，对 InnoDB 锁机制的影响10 InnoDB 在不同隔离级别下的一致性读及锁的差异11 表锁12 死锁SQL Mode和安全问题1. 关于SQL Mode2. MySQL中的SQL Mode3. SQL Mode和迁移4. SQL 注入5. 开发过程中如何避免SQL注入SQL优化1.通过 show status 命令了解各种 SQL 的执行频率2. 定位执行效率较低的 SQL 语句3. 通过 EXPLAIN 分析低效 SQL 的执行计划4. 确定问题并采取相应的优化措施5. 索引问题6.定期分析表和检查表7.定期优化表8.常用 SQL 的优化MySQL数据库对象优化1. 优化表的数据类型2 散列化3 逆规范化4 使用中间表提高统计查询速度5. 影响MySQL性能的重要参数6. 磁盘I/O对MySQL性能的影响7. 使用连接池8. 减少MySQL连接次数9. MySQL负载均衡MySQL集群MySQL管理和维护MemCacheRedis在Java项目中使用MemCache和Redis第五阶段：操作系统/Linux、云架构Linux安装与配置1、安装Linux至硬盘2、获取信息和搜索应用程序3、进阶：修复受损的Grub4、关于超级用户root5、依赖发行版本的系统管理工具6、关于硬件驱动程序7、进阶：配置Grub系统管理与目录管理1、Shell基本命令2、使用命令行补全和通配符3、find命令、locate命令4、查找特定程序：whereis5、Linux文件系统的架构6、移动、复制和删除7、文件和目录的权限8、文件类型与输入输出9、vmware介绍与安装使用10、网络管理、分区挂载用户与用户组管理1、软件包管理2、磁盘管理3、高级硬盘管理RAID和LVM4、进阶：备份你的工作和系统5、用户与用户组基础6、管理、查看、切换用户7、/etc/...文件8、进程管理9、linux VI编辑器，awk，cut，grep，sed，find，unique等Shell编程1、 SHELL变量2、传递参数3、数组与运算符4、SHELL的各类命令5、SHELL流程控制6、SHELL函数7、SHELL输入/输出重定向8、SHELL文件包含服务器配置1、系统引导2、管理守护进程3、通过xinetd启动SSH服务4、配置inetd5、Tomcat安装与配置6、MySql安装与配置7、部署项目到Linux第六阶段：Hadoop生态系统Hadoop基础1、大数据概论2、 Google与Hadoop模块3、Hadoop生态系统4、Hadoop常用项目介绍5、Hadoop环境安装配置6、Hadoop安装模式7、Hadoop配置文件HDFS分布式文件系统1、认识HDFS及其HDFS架构2、Hadoop的RPC机制3、HDFS的HA机制4、HDFS的Federation机制5、 Hadoop文件系统的访问6、JavaAPI接口与维护HDFS7、HDFS权限管理8、hadoop伪分布式Hadoop文件I/O详解1、Hadoop文件的数据结构2、 HDFS数据完整性3、文件序列化4、Hadoop的Writable类型5、Hadoop支持的压缩格式6、Hadoop中编码器和解码器7、 gzip、LZO和Snappy比较8、HDFS使用shell+Java APIMapReduce工作原理1、MapReduce函数式编程概念2、 MapReduce框架结构3、MapReduce运行原理4、Shuffle阶段和Sort阶段5、任务的执行与作业调度器6、自定义Hadoop调度器7、 异步编程模型8、YARN架构及其工作流程MapReduce编程1、WordCount案例分析2、输入格式与输出格式3、压缩格式与MapReduce优化4、辅助类与Streaming接口5、MapReduce二次排序6、MapReduce中的Join算法7、从MySQL读写数据8、Hadoop系统调优Hive数据仓库工具1、Hive工作原理、类型及特点2、Hive架构及其文件格式3、Hive操作及Hive复合类型4、Hive的JOIN详解5、Hive优化策略6、Hive内置操作符与函数7、Hive用户自定义函数接口8、Hive的权限控制Hive深入解读1 、安装部署Sqoop2、Sqoop数据迁移3、Sqoop使用案例4、深入了解数据库导入5、导出与事务6、导出与SequenceFile7、Azkaban执行工作流Sqoop与Oozie1 、安装部署Sqoop2、Sqoop数据迁移3、Sqoop使用案例4、深入了解数据库导入5、导出与事务6、导出与SequenceFile7、Azkaban执行工作流Zookeeper详解1、Zookeeper简介2、Zookeeper的下载和部署3、Zookeeper的配置与运行4、Zookeeper的本地模式实例5、Zookeeper的数据模型6、Zookeeper命令行操作范例7、storm在Zookeeper目录结构NoSQL、HBase1、HBase的特点2、HBase访问接口3、HBase存储结构与格式4、HBase设计5、关键算法和流程6、HBase安装7、HBase的SHELL操作8、HBase集群搭建第七阶段：Spark生态系统Spark1.什么是Spark2.Spark大数据处理框架3.Spark的特点与应用场景4.Spark SQL原理和实践5.Spark Streaming原理和实践6.GraphX SparkR入门7.Spark的监控和调优Spark部署和运行1.WordCount准备开发环境2.MapReduce编程接口体系结构3.MapReduce通信协议4.导入Hadoop的JAR文件5.MapReduce代码的实现6.打包、部署和运行7.打包成JAR文件Spark程序开发1、启动Spark Shell2、加载text文件3、RDD操作及其应用4、RDD缓存5、构建Eclipse开发环境6、构建IntelliJ IDEA开发环境7、创建SparkContext对象8、编写编译并提交应用程序Spark编程模型1、RDD特征与依赖2、集合（数组）创建RDD3、存储创建RDD4、RDD转换 执行 控制操作5、广播变量6、累加器作业执行解析1、Spark组件2、RDD视图与DAG图3、基于Standalone模式的Spark架构4、基于YARN模式的Spark架构5、作业事件流和调度分析6、构建应用程序运行时环境7、应用程序转换成DAGSpark SQL与DataFrame1、Spark SQL架构特性2、DataFrame和RDD的区别3、创建操作DataFrame4、RDD转化为DataFrame5、加载保存操作与Hive表6、Parquet文件JSON数据集7、分布式的SQL Engine8、性能调优 数据类型深入Spark Streaming1、Spark Streaming工作原理2、DStream编程模型3、Input DStream4、DStream转换 状态 输出5、优化运行时间及内存使用6、文件输入源7、基于Receiver的输入源8、输出操作Spark MLlib与机器学习1、机器学习分类级算法2、Spark MLlib库3、MLlib数据类型4、MLlib的算法库与实例5、ML库主要概念6、算法库与实例GraphX与SparkR1、Spark GraphX架构2、GraphX编程与常用图算法3、GraphX应用场景4、SparkR的工作原理5、R语言与其他语言的通信6、SparkR的运行与应用7、R的DataFrame操作方法8、SparkR的DataFrameScala编程开发1、Scala语法基础2、idea工具安装3、maven工具配置4、条件结构、循环、高级for循环5、数组、映射、元组6、类、样例类、对象、伴生对象7、高阶函数与函数式编程Scala进阶1、 柯里化、闭包2、模式匹配、偏函数3、类型参数4、协变与逆变5、隐式转换、隐式参数、隐式值6、Actor机制7、高级项目案例Python编程1、Python编程介绍2、Python的基本语法3、Python开发环境搭建4、Pyhton开发Spark应用程序第八阶段：Storm生态系统storm简介与基本知识1、storm的诞生诞生与成长2、storm的优势与应用3、storm基本知识概念和配置4、序列化与容错机制5、可靠性机制—保证消息处理6、storm开发环境与生产环境7、storm拓扑的并行度8、storm命令行客户端Storm拓扑与组件详解1、流分组和拓扑运行2、拓扑的常见模式3、本地模式与stormsub的对比4、 使用非jvm语言操作storm5、hook、组件基本接口6、基本抽象类7、事务接口8、组件之间的相互关系spout详解 与bolt详解1、spout获取数据的方式2、常用的spout3、学习编写spout类4、bolt概述5、可靠的与不可靠的bolt6、复合流与复合anchoring7、 使用其他语言定义bolt8、学习编写bolt类storm安装与集群搭建1、storm集群安装步骤与准备2、本地模式storm配置命令3、配置hosts文件、安装jdk4、zookeeper集群的搭建5、部署节点6、storm集群的搭建7、zookeeper应用案例8、Hadoop高可用集群搭建Kafka1、Kafka介绍和安装2、整合Flume3、Kafka API4、Kafka底层实现原理5、Kafka的消息处理机制6、数据传输的事务定义7、Kafka的存储策略Flume1、Flume介绍和安装2、Flume Source讲解3、Flume Channel讲解4、Flume Sink讲解5、flume部署种类、流配置6、单一代理、多代理说明7、flume selector相关配置Redis1、Redis介绍和安装、配置2、Redis数据类型3、Redis键、字符串、哈希4、Redis列表与集合5、Redis事务和脚本6、Redis数据备份与恢复7、Redis的SHELL操作

看你自己用不用心吧。

在与客户交流Hadoop安全时，提及kerberos的频率非常高，并提出了一些关于kerberos的安全问题，比如它的安全机制，具体是解决Hadoop什么安全问题，存在哪些不足等等，下面就由小编对kerberos做一个详细的归纳，更加清晰kerberos在Hadoop安全中担任的角色。1. Hadoop安全问题：Hadoop设计之初，默认集群内所有的节点都是可靠的。由于用户与HDFS或M/R进行交互时不需要验证，恶意用户可以伪装成真正的用户或者服务器入侵到hadoop集群上，导致：恶意的提交作业，修改JobTracker状态，篡改HDFS上的数据，伪装成NameNode 或者TaskTracker接受任务等。 尽管在版本之后， HDFS增加了文件和目录的权限，但并没有强认证的保障，这些权限只能对偶然的数据丢失起保护作用。恶意的用户可以轻易的伪装成其他用户来篡改权限，致使权限设置形同虚设。不能够对Hadoop集群起到安全保障。(1) 用户到服务器的认证问题：NameNode，JobTracker上没有用户认证用户可以伪装成其他用户入侵到一个HDFS 或者MapReduce集群上。DataNode上没有认证Datanode对读入输出并没有认证。导致如果一些客户端如果知道block的ID，就可以任意的访问DataNode上block的数据JobTracker上没有认证可以任意的杀死或更改用户的jobs，可以更改JobTracker的工作状态(2) 服务器到服务器的认证问题：没有DataNode, TaskTracker的认证用户可以伪装成datanode ,tasktracker，去接受JobTracker, Namenode的任务指派。2、kerberos解决的安全问题：加入Kerberos认证机制使得集群中的节点就是它们所宣称的，是信赖的。Kerberos可以将认证的密钥在集群部署时事先放到可靠的节点上。集群运行时，集群内的节点使用密钥得到认证。只有被认证过节点才能正常使用。企图冒充的节点由于没有事先得到的密钥信息，无法与集群内部的节点通信。kerberos实现的是机器级别的安全认证，也就是前面提到的服务到服务的认证问题。事先对集群中确定的机器由管理员手动添加到kerberos数据库中，在KDC上分别产生主机与各个节点的keytab(包含了host和对应节点的名字，还有他们之间的密钥)，并将这些keytab分发到对应的节点上。通过这些keytab文件，节点可以从KDC上获得与目标节点通信的密钥，进而被目标节点所认证，提供相应的服务，防止了被冒充的可能性。解决服务器到服务器的认证由于kerberos对集群里的所有机器都分发了keytab，相互之间使用密钥进行通信，确保不会冒充服务器的情况。集群中的机器就是它们所宣称的，是可靠的。防止了用户伪装成Datanode，Tasktracker，去接受JobTracker，Namenode的任务指派。解决client到服务器的认证Kerberos对可信任的客户端提供认证，确保他们可以执行作业的相关操作。防止用户恶意冒充client提交作业的情况。用户无法伪装成其他用户入侵到一个HDFS 或者MapReduce集群上用户即使知道datanode的相关信息，也无法读取HDFS上的数据用户无法发送对于作业的操作到JobTracker上对用户级别上的认证并没有实现无法控制用户提交作业的操作。不能够实现限制用户提交作业的权限。不能控制哪些用户可以提交该类型的作业，哪些用户不能提交该类型的作业。这些由ACL模块控制(参考)3、Kerberos在Hadoop安全中担任什么角色以及存在什么问题：通俗来说Kerberos在Hadoop安全中起到是一个单因素(只有一种如账号、密码的验证方式)身份验证的作用，kerberos就如一个房间的门锁，进门的人需要提供正确的密码，而对于进门后的人做了什么样的操作kerberos就无法控制了。存在的问题：kerberos验证方式单一、安全性低的问题，首先其只提供类似linux文件系统的帐户权限验证，而且可以通过简单的手段冒充用户名，如果有恶意用户，直接冒充为hadoop的super用户，那整个集群是很危险的。其次不能对认证过的用户做任何权限控制;部署复杂，生成证书和配置的步骤相当繁琐，首次配置还可以接受，但是对于用户权限的修改，机器的减容扩容，会造成证书重新生成，再分发证书，重启hadoop。且还存在kerberos的宕机导致整个集群无法服务的风险，加上kerberos本身也比较复杂。影响效率，网上搜罗一个真实案例，支付宝曾用了kerberos，导致其效率极低运维困难。原因是因为请求次数过多，具体看下面关于kerberos的工作原理就知道了。4、 Kerberos工作原理介绍4.1基本概念Princal(安全个体)：被认证的个体，有一个名字和口令KDC(key distribution center ) : 是一个网络服务，提供ticket 和临时会话密钥Ticket：一个记录，客户用它来向服务器证明自己的身份，包括客户标识、会话密钥、时间戳。AS (Authentication Server)： 认证服务器TSG(Ticket Granting Server)： 许可证服务器4.2 kerberos 工作原理4.2.1 Kerberos协议Kerberos可以分为两个部分：Client向KDC发送自己的身份信息，KDC从Ticket Granting Service得到TGT(ticket-granting ticket)， 并用协议开始前Client与KDC之间的密钥将TGT加密回复给Client。此时只有真正的Client才能利用它与KDC之间的密钥将加密后的TGT解密，从而获得TGT。(此过程避免了Client直接向KDC发送密码，以求通过验证的不安全方式)Client利用之前获得的TGT向KDC请求其他Service的Ticket，从而通过其他Service的身份鉴别4.3 Kerberos认证过程Kerberos协议的重点在于第二部分(即认证过程)：(1)Client将之前获得TGT和要请求的服务信息(服务名等)发送给KDC，KDC中的Ticket Granting Service将为Client和Service之间生成一个Session Key用于Service对Client的身份鉴别。然后KDC将这个Session Key和用户名，用户地址(IP)，服务名，有效期, 时间戳一起包装成一个Ticket(这些信息最终用于Service对Client的身份鉴别)发送给Service，不过Kerberos协议并没有直接将Ticket发送给Service，而是通过Client转发给Service，所以有了第二步。(2)此时KDC将刚才的Ticket转发给Client。由于这个Ticket是要给Service的，不能让Client看到，所以KDC用协议开始前KDC与Service之间的密钥将Ticket加密后再发送给Client。同时为了让Client和Service之间共享那个密钥(KDC在第一步为它们创建的Session Key)，KDC用Client与它之间的密钥将Session Key加密随加密的Ticket一起返回给Client。(3)为了完成Ticket的传递，Client将刚才收到的Ticket转发到Service. 由于Client不知道KDC与Service之间的密钥，所以它无法算改Ticket中的信息。同时Client将收到的Session Key解密出来，然后将自己的用户名，用户地址(IP)打包成Authenticator用Session Key加密也发送给Service。(4)Service 收到Ticket后利用它与KDC之间的密钥将Ticket中的信息解密出来，从而获得Session Key和用户名，用户地址(IP)，服务名，有效期。然后再用Session Key将Authenticator解密从而获得用户名，用户地址(IP)将其与之前Ticket中解密出来的用户名，用户地址(IP)做比较从而验证Client的身份。(5)如果Service有返回结果，将其返回给Client。4.4 kerberos在Hadoop上的应用Hadoop集群内部使用Kerberos进行认证具体的执行过程可以举例如下：

我从谷歌上找到的说明是，atlas没有支持到hive内部表（managed table）的lineage，只有External修饰的表才能生成血缘。但是解决方案我也没找到啊。。。网页链接

1、大数据前沿知识及hadoop入门零基础入门，了解大数据的历史背景及发展方向，掌握hadoop的两种安装配置。2、Hadoop部署进阶熟练掌握hadoop集群搭建;对Hadoop架构的分布式文件系统HDFS进行深入分析。3、Java基础了解java程序设计的基本思想，熟练利用eclipse进行简单的java程序设计，熟练使用jar文件，了解mysql等数据库管理系统的原理，了解基于web的程序开发流程。4、MapReduce理论及实战熟悉MapReduce的工作原理及应用，熟悉基本的MapReduce程序设计，掌握根据大数据分析的目标设计和编写基于mapreduce的项目。5、hadoop+Mahout大数据分析掌握基于hadoop+mahout的大数据分析方法的使用场景，熟练运用mahout的成熟算法进行特定场景的大数据分析。6、Hbase理论及实战掌握hbase的数据存储及项目实战、掌握Spark、Hive的安装、配置及使用场景。7、Spark大数据分析Spark、Hive的安装、配置及使用场景，熟练运用Spark的成熟算法进行特定场景的大数据分析。

学起来不容易，我是在魔据学的，说实话其实大数据本身就是有点难度的，需要慢慢学一段时间理解了就好了，希望对你有帮助。

Hadoop常见问题解答（1）Hadoop适不适用于电子政务？为什么？电子政务是利用互联网技术实现政府组织结构和工作流程的重组优化，建成一个精简、高效、廉洁、公平的政府运作信息服务平台。因此电子政务肯定会产生相关的大量数据以及相应的计算需求，而这两种需求涉及的数据和计算达到一定规模时传统的系统架构将不能满足，就需要借助海量数据处理平台，例如Hadoop技术，因此可以利用Hadoop技术来构建电子政务云平台。总结一下，任何系统没有绝对的适合和不适合，只有当需求出现时才可以决定，在一个非常小的电子政务系统上如果没有打数据处理以及计算分析需求时就不需要hadoop这样的技术，而实际上，商用的电子政务平台往往涉及到大规模的数据和大量的计算分析处理需求，因此就需要Hadoop这样的技术来解决。（2）hadoop对于实时在线处理有优势吗？直接使用hadoop进行实时处理时没有优势的，因为Hadoop主要解决的是海量批处理作业计算问题，但是可以使用基于Hadoop的分布式NOSQL系统HBase系统以及相关实时处理系统：1. 基于Hadoop的HBase可以做到实时处理以及相关需求的实时计算，主要解决海量<key,value>相关查询计算等需求。2. 可以考虑Spark计算，Spark是基于共现内存RDD的系统，比Hadoop更快，时候迭代式计算，例如数据挖掘，机器学习算法等。3. 还有Storm，Storm是一个免费开源、分布式、高容错的实时计算系统，Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。4. 考虑S4， S4是Yahoo!在2010年10月开源的一套通用、分布式、可扩展、部分容错、具备可插拔功能的平台。这套平台主要是为了方便开发者开发处理流式数据（continuous unbounded streams of data）的应用。你可以依据实际的需求来选择合适的系统。（3）Hadoop存储海量数据没有问题，但是如何能够做到海量数据的实时检索？1,可以结合开源的搜索引擎Apache Lucene，Solr 或ElasticSearch2,海量数据的实时检索可以考虑HBase，建议可以使用hadoop将数据构建成以查询key为键的数据集，然后将<key, value>集合写入Hbase表中，Hbase会自动以key为键进行索引，在数十亿甚至以上的级别下，查询key的value响应时间也估计再10毫秒内。如果检索条件是多个组合的情况下，可以适当的设计多个hbase表格，这样的检索也是很快的，同时Hbase也是支持二级索引。在符合条件下查询，Hbase也是支持MapReduce的，如果对响应时间要求不高的情况下，可以考虑将hive和Hbase系统结合来使用。如果数据量不是很大的情况下也可以考虑支持类似SQL的NOSLQ系统。（4）能不能给点hadoop的学习方法以及学习规划，hadoop系统有点庞大，感觉无从学起?首先搞清楚什么是hadoop以及hadoop可以用来做什么？然后，可以从最经典的词频统计程序开始，初步了解MapReduce的基本思路和处理数据的方式。接着，就可以正式学习hadoop的基本原理，包括HDFS和MapReduce，先从整体，宏观核心原理看，先别看源码级别。进一步，就可以深入HDFS和MapReduce和模块细节，这个时候可以结合源码深入理解，以及实现机制。最后就是需要实战了，可以结合自己的项目或者相关需求来完成一些hadoop相关应用。（5） 大的文件拆分成很多小的文件后，怎样用Hadoop进行高效的处理这些小文件？以及怎样让各个节点尽可能的负载均衡？1. 怎样用Hadoop进行高效的处理这些小文件？你这个问题提的很好，hadoop在处理大规模数据时是很高效的，但是处理大量的小文件时就会因为系统资源开销过大而导致效率较低，针对这样的问题，可以将小文件打包为大文件，例如使用SequcenFile文件格式，例如以文件签名为key，文件内容本身为value写成SequcenFile文件的一条记录，这样多个小文件就可以通过SequcenFile文件格式变为一个大文件，之前的每个小文件都会映射为SequcenFile文件的一条记录。2. 怎样让各个节点尽可能的负载均衡？在hadoop集群中负载均衡是非常关键的，这种情况的导致往往是因为用户的数据分布的并不均衡，而计算资源槽位数确实均衡分布在每个节点，这样在作业运行时非本地任务会有大量的数据传输，从而导致集群负载不均衡，因此解决不均衡的要点就是将用户的数据分布均衡，可以使用hadoop内置的balancer脚本命令。对于因为资源调度导致的不均衡则需要考虑具体的调度算法和作业分配机制。(6)c/c++ 程序员如何入门Hadoop到深入了解，并在Linux服务器上布置运用，有没有方向性的指导?针对C/C++用户，Hadoop提供了hadoop streaming接口和pipes接口，hadoop streaming接口以标准输入和标准输出作为用户程序和hadoop框架交互的中间件，pipes这是专门针对C/C++语言的接口，以socket作为同学中介。从使用上建议从streaming入手，pipes相比streaming问题比较多，而且pipes调试不容易。(7)现在企业中使用Hadoop版本主要是1.x还是2.x？目前百度，腾讯，阿里为主的互联网公司都是以hadoop 1.X为基准版本的，当然每个公司都会进行自定义的二次开发以满足不同的集群需求。2.X在百度内部还没有正式使用，还是以1.X为主，不过百度针对1.X的问题开发了HCE系统（Hadoop C++ Expand系统）补充，Hadoop2.x在其他公司应用的很多，比如京东(8)以后想从事大数据方面工作，算法要掌握到什么程度，算法占主要部分吗?首先，如果要从事大数据相关领域的话，hadoop是作为工具来使用的，首先需要掌握使用方法。可以不用深入到hadoop源码级别细节。然后就是对算法的理解，往往需要设计到数据挖掘算法的分布式实现，而算法本身你还是需要理解的，例如常用的k-means聚类等。(9)现在spark，storm越来越火，谷歌也发布了Cloud Dataflow，是不是Hadoop以后主要应该学习hdfs和yarn，而且以后Hadoop程序员的主要做的就是把这些东西打包，只提供接口让普通的程序员也能使用，就像Cloudera和Google一样?这位同学，你多虑了，hadoop和spark, strom是解决不同的问题，不存在哪个好那个坏，要学习Hadoop还是以主流的hadoop-1.X为版本，2.X最主要的就是多了yarn框架，很好理解的。如果你是hadoop本身研发建议都看，如果你是hadoop应用相关研发，看主流的1.X就行，我的书《Hadoop核心技术》是以主流的1.X为版本讲解的，有兴趣可以看看。(10)小白问一句，大数据处理都是服务器上安装相关软件吗，对程序有什么影响呢，集群、大数据是属于运维的工作内容还是攻城狮的呢?传统的程序只能运行在单机上，而大数据处理这往往使用分布式编程框架编写，例如hadoop mapreduce，只能运行在hadoop集群平台上。运维的责任：保证集群，机器的稳定性和可靠性hadoop系统本身研发：提高Hadoop集群的性能，增加新功能。大数据应用：把hadoop作为工具，去实现海量数据处理或者相关需求。(11)学习hadoop该怎么入手呢？应该做一些什么样的项目呢？可以参考我上面的几个回答，可以从最简单词频统计程序入手，然后学习理解HDFS和MapReduce的基本原理和核心机制，如果仅仅把Hadoop作为一个工具来使用的话这样就可以了，最重要的就是实战了，可以尝试使用Hadoop处理一些数据，例如做日志分析，数据统计，排序，倒排索引等典型应用。(12)100个以上hadoop节点，一般怎么开发，运维？任务很多的情况下任务资源怎么分配，任务执行顺序是定时脚本还是别的什么方式控制?1. 首先大数据的应用开发和hadoop集群的规模是没有关系，你指的是集群的搭建和运维吗，对于商用的hadoop系统来说涉及到很多东西，建议参考《hadoop核心技术》实战篇 “第10章　Hadoop集群搭建 ” 章节。2. 任务的分配是有hadoop的调度器的调度策略决定的，默认为FIFO调度，商业集群一般使用多队列多用户调度器，可以参考参考《hadoop核心技术》高级篇 “第9章　Hadoop作业调度系统” 章节。3. 任务的执行顺序是有用户控制的，你自然可以定时启动，也可以手动启动。(13)基于Hadoop做开发，是否必须会使用Java，使用其他开发语言是否无法更好的融入整个Hadoop的开发体系?基于Hadoop做开发可以使用任何语言，因为hadoop提高了streaming编程框架和pipes编程接口，streaming框架下用户可以使用任何可以操作标准输入输出的计算机语言来开发hadoop应用。(14)在reduce阶段老是卡在最后阶段很长时间，在网上查的说是有可能是数据倾斜，我想问这个有啥解决方法吗?1,你这个就是数据倾斜啊 好多数据都集中在一个reduce里 其他reduce里分配的数据比较少 默认情况下决定哪些数据分配到哪个reduce是由reduce个数和partiiton分区决定的 默认是对key进行hash运算 一般情况下用mapreuce倾斜很少 除非你用的HIVE2,reduce分为3个子阶段：shuffle、sort和reduce，如果reduce整个过程耗时较长，建议先看一下监控界面是卡在哪个阶段，如果是卡在shuffle阶段往往是网络阻塞问题，还有就是某reduce数据量太大，也就是你所说的数据倾斜问题，这种问题往往因为某个key的value太多，解决方法是：第一，默认的partiiton可能不适合你的需求，你可以自定义partiiton；第二就是在map端截断，尽量让达到每个reduce端的数据分布均匀。(15)非大数据的项目能否用hadoop?非大数据项目是否可以用Hadoop的关键问题在于是否有海量数据的存储，计算，以及分析挖掘等需求，如果现有系统已经很好满足当前需求那么就没有必要使用Hadoop，没有必要使用并不意味这不能使用Hadoop，很多传统系统能做的Hadoop也是可以做的，例如使用HDFS来代替LINUX NFS，使用MapReduce来代替单服务器的统计分析相关任务，使用Hbase代替Mysql等关系数据库等，在数据量不大的情况下通常Hadoop集群肯定比传统系统消耗更多的资源。(16)hadoop mapreduce 和第三方资源管理调度系统如何集成？Hadoop的调度器设计的一个原则就是可插拔式调度器框架，因此是很容易和第三方调度器集成的，例如公平调度器FairScheduler和容量调度器CapacityScheduler，并配置mapred-site.xml的mapreduce.jobtracker.taskscheduler以及调度器本身的配置参数，例如公平调度器控制参数则需要编辑fair- scheduler.xml进行配置，具体可以参考我的新书《Hadoop核心技术》实战篇第十章节10.11的集群搭建实例中的10.10.9 配置第三方调度器，同时可以进一步深入学习第9章 Hadoop作业调度系统，在这一章中会详细介绍各种第三方调度器以及使用配置方法。

你好，信息管理专业研究这个

三维资料分析有哪些好的方法与软体？ 分析软体有Excel、SPSS、MATLAB、 SAS、Finereport等 SPSS是世界上最早采用图形选单驱动介面的统计软体它将几乎所有的功能都以统一、规范的介面展现出来。SPSS采用类似EXCEL表格的方式输入与管理资料，资料介面较为通用，能方便的从其他资料库中读入资料。其统计过程包括了常用的、较为成熟的统计过程，完全可以满足大部分的工作需要。 MATLAB是美国MathWorks公司出品的商业数学软体，用于演算法开发、资料视觉化、资料分析以及数值计算的高阶技术计算语言和互动式环境使用的。 其优点如下： 1、高效的数值计算及符号计算功能，能使使用者从繁杂的数学运算分析中解脱出来； 2、 具有完备的图形处理功能，实现计算结果和程式设计的视觉化； 3、友好的使用者介面及接近数学表示式的自然化语言，使学者易于学习和掌握； 4、功能丰富的应用工具箱(如讯号处理工具箱、通讯工具箱等) ，为使用者提供了大量方便实用的处理工具。 但是这款软体的使用难度较大，非专业人士不推荐使用。 SAS是把资料存取，管理，分析和展现有机地融为一体。其功能非常强大统计方法齐，全，新。它由数十个专用模组构成，功能包括资料访问、资料储存及管理、应用开发、图形处理、资料分析、报告编制、运筹学方法、计量经济学与预测等。SAS系统基本上可以分为四大部分：SAS资料库部分；SAS分析核心；SAS开发呈现工具；SAS对分布处理模式的支援及其资料仓库设计。不过这款软体的使用需要一定的专业知识，非专业人士不推荐使用。 Finereport类EXCEL设计模式，EXCEL+系结资料列”形式持多SHEET和跨SHEET计算，完美相容EXCEL公式，使用者可以所见即所得的设计出任意复杂的表样，轻松实现中国式复杂报表。它的功能也是非常的丰富，比如说 资料支援与整合、聚合报表、资料地图、Flash列印、互动分析等。 Python与R做资料分析有哪些区别 我使用python这门语言也有三年了，被其简洁、易读、强大的库所折服，我已经深深爱上了python。其pythonic语言特性，对人极其友好，可以说，一个完全不懂程式语言的人，看懂python语言也不是难事。 用Python做资料分析有哪些好的教材或者教程 你好，学习Python程式语言，是大家走入程式设计世界的最理想选择。无论是学习任何一门语言，基础知识，就是基础功非常的重要，找一个有丰富程式设计经验的老师或者师兄带着你会少走很多弯路， 你的进步速度也会快很多，无论我们学习的目的是什么，不得不说Python真的是一门值得你付出时间去学习的优秀程式语言。在选择培训时一定要多方面对比教学，师资，专案，就业等，慎重选择。 大资料分析：有哪些软体适合做这方面的分析？ 灵玖软体认为大资料分析，隐含包括几个需求： 1 大资料储存与计算，这方面的软体开源hadoop+HBase，利用这个系统，可以搭建小到几十TB，大到PB级的分散式储存和计算系统。硬体使用刀锋伺服器，利用板载硬碟储存资料 2 大资料查询需求。大资料查询，常常出现在一些日志记录的查询，传统的储存利用昂贵的商业Db系统，因此，很大大型企业的日志资讯，如银行的客户记录，是离线储存的，要查询很麻烦。利用Hadoop/HBase，可以搭建大到Pb级的丛集查询系统，通过二级索引系统，也可以做到查询体验较好。 3 大资料探勘，可以使用Mahout挖掘演算法库，如果有挖掘演算法，也可以直接使用Mr编写。这些挖掘程式，执行在上述的Hadoop系统中，实现分散式的分析。 4 如果有需求，可能还需要考虑实时分析，这需要Spark，记忆体计算框架。 资料分析培训有哪些课程 培训课程如下： 一、大资料前沿知识及hadoop入门 零基础入门，了解大资料的历史背景及发展方向，掌握hadoop的两种安装配置 二、Hadoop部署进阶 熟练掌握hadoop丛集搭建；对Hadoop架构的分散式档案系统HDFS进行深入分析 三、Java基础 了解java程式设计的基本思想，熟练利用eclipse进行简单的java程式设计，熟练使用jar档案，了解mysql等资料库管理系统的原理，了解基于web的程式开发流程 四、MapReduce理论及实战 熟悉MapReduce的工作原理及应用，熟悉基本的MapReduce程式设计，掌握根据大资料分析的目标设计和编写基于mapreduce的专案 五、hadoop+Mahout大资料分析 掌握基于hadoop+mahout的大资料分析方法的使用场景，熟练运用mahout的成熟演算法进行特定场景的大资料分析 六、Hbase理论及实战 掌握hbase的资料储存及专案实战、掌握Spark、Hive的安装、配置及使用场景 七、Spark大资料分析 Spark、Hive的安装、配置及使用场景，熟练运用Spark的成熟演算法进行特定场景的大资料分析 八、大资料学习综合知识储备 统计学：多元统计分析、应用回归 计算机：R、python、SQL、资料分析、机器学习 matlab和mathematica两个软体也是需要掌握的，前者在实际的工程应用和模拟分析上有很大优势，后者则在计算功能和数学模型分析上十分优秀，相互补助可以取长补短。 商业资料分析有哪些应用？ 有资料的地方就有资讯，有需求的地方就要用到资料分析，这样想来，应用就广泛了，比如以前看过某银行利用FineBI来重点研究目标客户寻找和现有客户的维护和二次开发，主要通过对优质客户群体的各种来采取差异化的销售策略，提供个性化的金融产品及服务。诸如此类的应用还有很多，你可以搜相关案例。 网路市场调研资料分析常用的方法有哪些 一般是运用spss进行频数分析、相关分析、因子分析、聚类分析等。 大资料分析普遍存在的方法及理论有哪些 PEST分析法 PEST分析理论主要用于行业分析。PEST分析法用于对巨集观环境的分析。巨集观环境又称一般环境，是指影响一切行业和企业的各种巨集观力量。 对巨集观环境因素作分析时，由于不同行业和企业有其自身特点和经营需要，分析的具体内容会有差异，但一般都应对政治、经济、技术、社会，这四大类影响企业的主要外部环境因素进行分析。 2.逻辑树分析法 逻辑树分析理论课用于业务问题专题分析。逻辑树又称问题树、演绎树或分解树等。逻辑树是分析问题最常使用的工具之一，它将问题的所有子问题分层罗列，从最高层开始，并逐步向下扩充套件。 把一个已知问题当成树干，然后开始考虑这个问题和哪些相关问题有关。 （缺点：逻辑树分析法涉及的相关问题可能有遗漏。） 新手的话，可以考虑上面两点。 统计学中资料分析的依据和方法有哪些 统计学：通过利用概率论建立数学模型，收集所观察系统的资料，进行量化的分析、总结，并进而进行推断和预测，为相关决策提供依据和参考统计学基本理论研究有：概率极限理论及其在统计中应用、树形概率、Banach空间概率、随机PDE"S、泊松逼近、随机网路、马尔科夫过程及场论、马尔科夫收敛率、布朗运动与偏微分方程、空间分支总体的极限、大的偏差与随机中数、序贯分析和时序分析中的交叉界限问题、马尔科夫过程与狄利克雷表的一一对应关系、函式估计中的中心极限定理、极限定理的稳定性问题、因果关系与统计推断、预测推断、网路推断、似然、M——估计量与最大似然估计、引数模型中的精确逼近、非引数估计中的自适应方法、多元分析中的新内容、时间序列理论与应用、非线性时间序列、时间序列中确定模型与随机模型比较、极值统计、贝叶斯计算、变点分析、对随机PDE"S的估计、测度值的处理、函式资料统计分析 IT运维资料分析如何做？ 所谓 IT运维管理,是指单位 IT 部门采用相关的方法、手段、技术、制度、流程和文件 等,对IT 如硬执行环境(软体环境、网路环境等)、IT 业务系统和 IT 运维人员进行的综合管理。 IT 运维管理主要包括八个方面的管理内容: 1 装置管理。 对网路装置、伺服器装置、作业系统执行状况进行监控和管理。 2 应用服务。 对各种应用支援软体如资料库、中介软体、群件以及各种通用或特定服务的监控管理,如邮件系统、DNS、Web 等的监控与管理。 3 资料储存。 对系统和业务资料进行统一储存、备份和恢复。 4 业务。 包含对企业自身核.心业务系统执行情况的监控与管理,对于业务的管理, 主要关注该业务系统的 CSF(关键成功因素 Critical Suess Factors)和KPI(关键绩效指 标Key Performance Indicators)。 5 目录内容。 该部分主要对于企业需要统一发布或因人定制的内容管理和对公共资讯的管理。 6 资源资产。 管理企业中各 IT系统的资源资产情况,这些资源资产可以是物理存在的,也可以是逻辑存在的,并能够与企业的财务部门进行资料互动。 7 资讯保安。 资讯保安管理主要依据的国际标准是 ISO17799,该标准涵盖了资讯保安管理的十大控制方面,36个控制目标和 127种控制方式,如企业安全组织方式、资产分类与控制、人员安全、物理与环境安全、通讯与运营安全、访问控制、业务连续性管理等。 8 日常工作。 该部分主要用于规范和明确运维人员的岗位职责和工作安排、提供绩效考核量化依据、提供解决经验与知识的积累与共享手段。

（1）大数据与Hadoop生态系统。详细介绍分析分布式文件系统HDFS、集群文件系统ClusterFS和NoSQL Database技术的原理与应用；分布式计算框架Mapreduce、分布式数据库HBase、分布式数据仓库Hive。（2）关系型数据库技术。详细介绍关系型数据库的原理，掌握典型企业级数据库的构建、管理、开发及应用。（3）分布式数据处理。详细介绍分析Map/Reduce计算模型和Hadoop Map/Reduce技术的原理与应用。（4）海量数据分析与数据挖掘。详细介绍数据挖掘技术、数据挖掘算法–Minhash, Jaccard and Cosine similarity，TF-IDF数据挖掘算法–聚类算法；以及数据挖掘技术在行业中的具体应用。（5）物联网与大数据。详细介绍物联网中的大数据应用、遥感图像的自动解译、时间序列数据的查询、分析和挖掘。（6）文件系统（HDFS）。详细介绍HDFS部署，基于HDFS的高性能提供高吞吐量的数据访问。（7）NoSQL。详细介绍NoSQL非关系型数据库系统的原理、架构及典型应用。

零基础，想要学习大数据，但现在还不想参加系统学习，该如何学习大数据？一套详细的大数据学习路线或许才是你的必备武器。我们知道大数据领域充斥着多种技术。因此，你学习与你的大数据工作角色相关的技术非常重要。这与任何常规领域有点不同，如数据科学和机器学习中，你可以从某些地方开始并努力完成这一领域内的所有工作。任何想要调配应用程序的工程师必须知道的基本概念之一是Bash 脚本编程。你必须对linux和bash 脚本编程感到舒适，这是处理大数据的基本要求。核心是，大部分大数据技术都是用Java或Scala编写的。但是别担心，如果你不想用这些语言编写代码，那么你可以选择Python或者R，因为大部分的大数据技术现在都支持Python和R。因此，你可以从上述任何一种语言开始。 我建议选择Python或Java。接下来，你需要熟悉云端工作。 这是因为如果你没有在云端处理大数据，没有人会认真对待。 请尝试在AWS，softlayer或任何其他云端供应商上练习小型数据集。 他们大多数都有一个免费的层次，让学生练习。如果你想的话，你可以暂时跳过此步骤，但请务必在进行任何面试之前在云端工作。接下来，你需要了解一个分布式文件系统。比较流行的分布式文件系统就是Hadoop分布式文件系统。在这个阶段你还可以学习一些你发现与你所在领域相关的NoSQL数据库。下图可以帮助你选择一个NoSQL数据库，以便根据你感兴趣的领域进行学习。现在，你决定是否要处理数据流或静止的大量数据。 这是用于定义大数据（Volume，Velocity，Variety和Veracity）的四个V中的两个之间的选择。那么让我们假设你已经决定使用数据流来开发实时或近实时分析系统。 之后你应该采取卡夫卡(kafka)之路，或者还可以采取Mapreduce的路径。然后你按照你自己创建的路径。 请注意，在Mapreduce路径中，你不需要同时学习pig和hive，只学习其中之一就足够了。

从技术上来讲，大数据技术肯定要难一些的。软件技术专业学的有c语言、Java、微机原理、数据结构等科目，都是偏向于底层基础的科目，工作方向适合于编程开发。现在从事大数据行业，大数据可以说是包罗万象，涉及到知识点比较多，编程只是其中的一小部分，使用的技术和理念相对于软件技术难一点。大数据知识涵盖范围非常广。基础阶段要学习Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis;hadoop mapreduce hdfs yarn：hadoop：Hadoop 概念、版本、历史，HDFS工作原理，YARN介绍及组件介绍。大数据存储阶段学习hbase、hive、sqoop。大数据架构设计阶段学习Flume分布式、Zookeeper、Kafka。大数据实时计算阶段学习Mahout、Spark、storm。大数据数据采集阶段学习Python、Scala等。在学习大数据之前你还需要有一定的JAVA基础，不然越级听课，可是完全听不懂的，因此大数据的学习门槛就是需要你对JAVA有一定的基础。以此你才能在大数据学习中能够跟上进度，也不至于听得云里雾里。

java基础部分集合框架部分jvm虚拟机部分并发编程部分spring部分学习贵在坚持，有付出就会有收获

可以做数据可视化工程师、数据助理分析师，数据建模工程师，大数据分析师等。技能包括要学习Python、R、SAS等编程工具；对数据仓库需要了解可以去九道门做些实验项目；如果你觉得还是难，那就采用最基础的学习路径，直接买MYSQL关系型数据库的书看，随便到网上去找个免费的MYSQL课程听；；分布式存储HDOOP需要简单了解；云计算的技术作为了解就可以了；数据可视化不是很难，如果不要求特别美工的话，大家先理解图表，再研究研究仪表板，阿里云的Quich BI及DataV,百度的echarts都不错，主要是展示的业务结构需要规划；大数据技术:这个相对来说有些难度，如果是学数学统计类专业小伙伴就非常有优势了，其他专业的小伙伴也不用担心，毕竟工作后还可以继续学习，在工作中用的比较多的是聚类、关联、决策树、线性回归等，如果你不去做模型和算法工程师那么只需要会用就可以了，实在不行有专业的工具让我们用，阿里云的机器学习PAN是可以直接出结果的工具；。可以到天池大赛上去看一些案例，自己做做训练。如果自学的小伙伴觉得很难坚持，那就只能去报班了，九道门之类的，如果要成为大数据分析师的话就要时间沉定

专业技能。去学习吧！去学习吧！

python是一门相对简单的编程语言，封装了很多功能强大的库，因此，其应用十分广泛，目前比较火的人工智能、大数据、云计算等领域均有用武之地，也有很好的应用前景

目前各处都在讨论大数据专业前景如何好，大数据就业机会如何多，很多人都对大数据这个行业充满了向往。但是可能大多数人都不清楚大数据学出来后究竟能做什么？大数据行业到底有些什么岗位？1. 数据分析师。数据分析师 是数据师的一种，指的是不同行业中，专门从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。在工作中通过运用工具，提取、分析、呈现数据，实现数据的商业意义。作为一名数据分析师、至少需要熟练SPSS、STATISTIC、Eviews、SAS等数据分析软件中的一门，至少能用Acess等进行数据库开发，至少掌握一门数学软件如matalab、mathmatics进行新模型的构建，至少掌握一门编程语言。总之，一个优秀的数据分析师，应该业务、管理、分析、工具、设计都不落下。2. 数据架构师。数据架构师是负责平台的整体数据架构设计，完成从业务模型到数据模型的设计工作 ，根据业务功能、业务模型，进行数据库建模设计，完成各种面向业务目标的数据分析模型的定义和应用开发，平台数据提取、数据挖掘及数据分析。从事数据架构师这个职位，需要具备较强的业务理解和业务抽象能力，具备大容量事物及交易类互联网平台的数据库模型设计能力，对调度系统，元数据系统有非常深刻的认识和理解，熟悉常用的分析、统计、建模方法，熟悉数据仓库相关技术，如 ETL、报表开发，熟悉Hadoop，Hive等系统并有过实战经验。3. 数据挖掘工程师。一般是指从大量的数据中通过算法搜索隐藏于其中知识的工程技术专业人员。这些知识可用使企业决策智能化，自动化，从而使企业提高工作效率，减少错误决策的可能性，以在激烈的竞争中处于不败之地。成为数据挖据工程师需要具备深厚的统计学、数学、数据挖掘理论基础和相关项目经验，熟悉R、SAS、SPSS等统计分析软件之一，参与过完整的数据采集.整理.分析和建模工作。.具有海量数据下机器学习和算法实施相关经验，熟悉hadoop，hive，map-reduce等。4. 数据算法工程师。在企业中负责大数据产品数据挖掘算法与模型部分的设计，将业务场景与模型算法进行融合等；深入研究数据挖掘模型，参与数据挖掘模型的构建、维护、部署和评估，支持产品研发团队模型算法构建，整合等；制定数据建模、数据处理和数据安全等架构规范并落地实施。需要具备的知识有：扎实的数据挖掘基础知识，精通机器学习、数学统计常用算法；熟悉大数据生态，掌握常见分布式计算框架和技术原理，如Hadoop、MapReduce、Yarn、Storm、Spark等；熟悉Linux操作系统和Shell编程，至少熟悉Scala/Java/Python/C++/R等语言中的一种编程；熟悉大规模并行计算的基本原理并具有实现并行计算算法的基本能力。5. 数据产品经理。数据平台建设及维护，客户端数据的分析，进行数据统计协助，数据化运营整理、提炼已有的数据报告，发现数据变化，进行深度专题分析，形成结论，撰写报告；负责公司数据产品的设计及开发实施，并保证业务目标的实现；进行数据产品开发。需要具备的技能有：有数据分析/数据挖掘/用户行为研究的项目实践经验 ；有扎实的分析理论基础，精通1种以上统计分析工具软件，如SPSS、SAS，熟练使用Excel、SQL等工具； 熟悉SQL/HQL语句，工作经历有SQL server/My SQl等的优先 ；熟练操作excel，ppt等办公软件,熟练使用SPSS、SAS等统计分析软件其中之一 ；熟悉hadoop集群架构、有BI实践经验、参与过流式计算相关经验者加分 ；熟悉客户端产品的产品设计、开发流程 。

什么是Map/Reduce，看下面的各种解释：　　(1)MapReduce是hadoop的核心组件之一，hadoop要分布式包括两部分，一是分布式文件系统hdfs,一部是分布式计算框，就是mapreduce,缺一不可，也就是说，可以通过mapreduce很容易在hadoop平台上进行分布式的计算编程。　　(2)Mapreduce是一种编程模型，是一种编程方法，抽象理论。　　(3)下面是一个关于一个程序员是如何个妻子讲解什么是MapReduce？文章很长请耐心的看。　　我问妻子：“你真的想要弄懂什么是MapReduce？” 她很坚定的回答说“是的”。 因此我问道：　　我： 你是如何准备洋葱辣椒酱的？（以下并非准确食谱，请勿在家尝试）　　妻子： 我会取一个洋葱，把它切碎，然后拌入盐和水，最后放进混合研磨机里研磨。这样就能得到洋葱辣椒酱了。　　妻子： 但这和MapReduce有什么关系？　　我： 你等一下。让我来编一个完整的情节，这样你肯定可以在15分钟内弄懂MapReduce.　　妻子： 好吧。　　我：现在，假设你想用薄荷、洋葱、番茄、辣椒、大蒜弄一瓶混合辣椒酱。你会怎么做呢？　　妻子： 我会取薄荷叶一撮，洋葱一个，番茄一个，辣椒一根，大蒜一根，切碎后加入适量的盐和水，再放入混合研磨机里研磨，这样你就可以得到一瓶混合辣椒酱了。　　我： 没错，让我们把MapReduce的概念应用到食谱上。Map和Reduce其实是两种操作，我来给你详细讲解下。　　Map（映射）: 把洋葱、番茄、辣椒和大蒜切碎，是各自作用在这些物体上的一个Map操作。所以你给Map一个洋葱，Map就会把洋葱切碎。 同样的，你把辣椒，大蒜和番茄一一地拿给Map，你也会得到各种碎块。 所以，当你在切像洋葱这样的蔬菜时，你执行就是一个Map操作。 Map操作适用于每一种蔬菜，它会相应地生产出一种或多种碎块，在我们的例子中生产的是蔬菜块。在Map操作中可能会出现有个洋葱坏掉了的情况，你只要把坏洋葱丢了就行了。所以，如果出现坏洋葱了，Map操作就会过滤掉坏洋葱而不会生产出任何的坏洋葱块。　　Reduce（化简）:在这一阶段，你将各种蔬菜碎都放入研磨机里进行研磨，你就可以得到一瓶辣椒酱了。这意味要制成一瓶辣椒酱，你得研磨所有的原料。因此，研磨机通常将map操作的蔬菜碎聚集在了一起。　　妻子： 所以，这就是MapReduce?　　我： 你可以说是，也可以说不是。 其实这只是MapReduce的一部分，MapReduce的强大在于分布式计算。　　妻子： 分布式计算？ 那是什么？请给我解释下吧。　　我： 没问题。　　我： 假设你参加了一个辣椒酱比赛并且你的食谱赢得了最佳辣椒酱奖。得奖之后，辣椒酱食谱大受欢迎，于是你想要开始出售自制品牌的辣椒酱。假设你每天需要生产10000瓶辣椒酱，你会怎么办呢？　　妻子： 我会找一个能为我大量提供原料的供应商。　　我：是的..就是那样的。那你能否独自完成制作呢？也就是说，独自将原料都切碎？ 仅仅一部研磨机又是否能满足需要？而且现在，我们还需要供应不同种类的辣椒酱，像洋葱辣椒酱、青椒辣椒酱、番茄辣椒酱等等。　　妻子： 当然不能了，我会雇佣更多的工人来切蔬菜。我还需要更多的研磨机，这样我就可以更快地生产辣椒酱了。　　我：没错，所以现在你就不得不分配工作了，你将需要几个人一起切蔬菜。每个人都要处理满满一袋的蔬菜，而每一个人都相当于在执行一个简单的Map操作。每一个人都将不断的从袋子里拿出蔬菜来，并且每次只对一种蔬菜进行处理，也就是将它们切碎，直到袋子空了为止。　　这样，当所有的工人都切完以后，工作台（每个人工作的地方）上就有了洋葱块、番茄块、和蒜蓉等等。　　妻子：但是我怎么会制造出不同种类的番茄酱呢？　　我：现在你会看到MapReduce遗漏的阶段—搅拌阶段。MapReduce将所有输出的蔬菜碎都搅拌在了一起，这些蔬菜碎都是在以key为基础的 map操作下产生的。搅拌将自动完成，你可以假设key是一种原料的名字，就像洋葱一样。 所以全部的洋葱keys都会搅拌在一起，并转移到研磨洋葱的研磨器里。这样，你就能得到洋葱辣椒酱了。同样地，所有的番茄也会被转移到标记着番茄的研磨器里，并制造出番茄辣椒酱。　　（4）上面都是从理论上来说明什么是MapReduce，那么咱们在MapReduce产生的过程和代码的角度来理解这个问题。　　如果想统计下过去10年计算机论文出现最多的几个单词，看看大家都在研究些什么，那收集好论文后，该怎么办呢？　　方法一：　　我可以写一个小程序，把所有论文按顺序遍历一遍，统计每一个遇到的单词的出现次数，最后就可以知道哪几个单词最热门了。 这种方法在数据集比较小时，是非常有效的，而且实现最简单，用来解决这个问题很合适。　　方法二：　　写一个多线程程序，并发遍历论文。　　这个问题理论上是可以高度并发的，因为统计一个文件时不会影响统计另一个文件。当我们的机器是多核或者多处理器，方法二肯定比方法一高效。但是写一个多线程程序要比方法一困难多了，我们必须自己同步共享数据，比如要防止两个线程重复统计文件。　　方法三：　　把作业交给多个计算机去完成。　　我们可以使用方法一的程序，部署到N台机器上去，然后把论文集分成N份，一台机器跑一个作业。这个方法跑得足够快，但是部署起来很麻烦，我们要人工把程序copy到别的机器，要人工把论文集分开，最痛苦的是还要把N个运行结果进行整合（当然我们也可以再写一个程序）。

可以先在网上查询一些资料，了解一下学校的师资、教学模式、学员就业等等一些情况，了解之后再做决定也不迟。其次可以选择一些国内比较知名的学校进行学习，像青鸟，达内这些。

什么是Map/Reduce，看下面的各种解释：　　(1)MapReduce是hadoop的核心组件之一，hadoop要分布式包括两部分，一是分布式文件系统hdfs,一部是分布式计算框，就是mapreduce,缺一不可，也就是说，可以通过mapreduce很容易在hadoop平台上进行分布式的计算编程。　　(2)Mapreduce是一种编程模型，是一种编程方法，抽象理论。　　(3)下面是一个关于一个程序员是如何个妻子讲解什么是MapReduce？文章很长请耐心的看。　　我问妻子：“你真的想要弄懂什么是MapReduce？” 她很坚定的回答说“是的”。 因此我问道：　　我： 你是如何准备洋葱辣椒酱的？（以下并非准确食谱，请勿在家尝试）　　妻子： 我会取一个洋葱，把它切碎，然后拌入盐和水，最后放进混合研磨机里研磨。这样就能得到洋葱辣椒酱了。　　妻子： 但这和MapReduce有什么关系？　　我： 你等一下。让我来编一个完整的情节，这样你肯定可以在15分钟内弄懂MapReduce.　　妻子： 好吧。　　我：现在，假设你想用薄荷、洋葱、番茄、辣椒、大蒜弄一瓶混合辣椒酱。你会怎么做呢？　　妻子： 我会取薄荷叶一撮，洋葱一个，番茄一个，辣椒一根，大蒜一根，切碎后加入适量的盐和水，再放入混合研磨机里研磨，这样你就可以得到一瓶混合辣椒酱了。　　我： 没错，让我们把MapReduce的概念应用到食谱上。Map和Reduce其实是两种操作，我来给你详细讲解下。　　Map（映射）: 把洋葱、番茄、辣椒和大蒜切碎，是各自作用在这些物体上的一个Map操作。所以你给Map一个洋葱，Map就会把洋葱切碎。 同样的，你把辣椒，大蒜和番茄一一地拿给Map，你也会得到各种碎块。 所以，当你在切像洋葱这样的蔬菜时，你执行就是一个Map操作。 Map操作适用于每一种蔬菜，它会相应地生产出一种或多种碎块，在我们的例子中生产的是蔬菜块。在Map操作中可能会出现有个洋葱坏掉了的情况，你只要把坏洋葱丢了就行了。所以，如果出现坏洋葱了，Map操作就会过滤掉坏洋葱而不会生产出任何的坏洋葱块。　　Reduce（化简）:在这一阶段，你将各种蔬菜碎都放入研磨机里进行研磨，你就可以得到一瓶辣椒酱了。这意味要制成一瓶辣椒酱，你得研磨所有的原料。因此，研磨机通常将map操作的蔬菜碎聚集在了一起。　　妻子： 所以，这就是MapReduce?　　我： 你可以说是，也可以说不是。 其实这只是MapReduce的一部分，MapReduce的强大在于分布式计算。　　妻子： 分布式计算？ 那是什么？请给我解释下吧。　　我： 没问题。　　我： 假设你参加了一个辣椒酱比赛并且你的食谱赢得了最佳辣椒酱奖。得奖之后，辣椒酱食谱大受欢迎，于是你想要开始出售自制品牌的辣椒酱。假设你每天需要生产10000瓶辣椒酱，你会怎么办呢？　　妻子： 我会找一个能为我大量提供原料的供应商。　　我：是的..就是那样的。那你能否独自完成制作呢？也就是说，独自将原料都切碎？ 仅仅一部研磨机又是否能满足需要？而且现在，我们还需要供应不同种类的辣椒酱，像洋葱辣椒酱、青椒辣椒酱、番茄辣椒酱等等。　　妻子： 当然不能了，我会雇佣更多的工人来切蔬菜。我还需要更多的研磨机，这样我就可以更快地生产辣椒酱了。　　我：没错，所以现在你就不得不分配工作了，你将需要几个人一起切蔬菜。每个人都要处理满满一袋的蔬菜，而每一个人都相当于在执行一个简单的Map操作。每一个人都将不断的从袋子里拿出蔬菜来，并且每次只对一种蔬菜进行处理，也就是将它们切碎，直到袋子空了为止。　　这样，当所有的工人都切完以后，工作台（每个人工作的地方）上就有了洋葱块、番茄块、和蒜蓉等等。　　妻子：但是我怎么会制造出不同种类的番茄酱呢？　　我：现在你会看到MapReduce遗漏的阶段—搅拌阶段。MapReduce将所有输出的蔬菜碎都搅拌在了一起，这些蔬菜碎都是在以key为基础的 map操作下产生的。搅拌将自动完成，你可以假设key是一种原料的名字，就像洋葱一样。 所以全部的洋葱keys都会搅拌在一起，并转移到研磨洋葱的研磨器里。这样，你就能得到洋葱辣椒酱了。同样地，所有的番茄也会被转移到标记着番茄的研磨器里，并制造出番茄辣椒酱。　　（4）上面都是从理论上来说明什么是MapReduce，那么咱们在MapReduce产生的过程和代码的角度来理解这个问题。　　如果想统计下过去10年计算机论文出现最多的几个单词，看看大家都在研究些什么，那收集好论文后，该怎么办呢？　　方法一：　　我可以写一个小程序，把所有论文按顺序遍历一遍，统计每一个遇到的单词的出现次数，最后就可以知道哪几个单词最热门了。 这种方法在数据集比较小时，是非常有效的，而且实现最简单，用来解决这个问题很合适。　　方法二：　　写一个多线程程序，并发遍历论文。　　这个问题理论上是可以高度并发的，因为统计一个文件时不会影响统计另一个文件。当我们的机器是多核或者多处理器，方法二肯定比方法一高效。但是写一个多线程程序要比方法一困难多了，我们必须自己同步共享数据，比如要防止两个线程重复统计文件。　　方法三：　　把作业交给多个计算机去完成。　　我们可以使用方法一的程序，部署到N台机器上去，然后把论文集分成N份，一台机器跑一个作业。这个方法跑得足够快，但是部署起来很麻烦，我们要人工把程序copy到别的机器，要人工把论文集分开，最痛苦的是还要把N个运行结果进行整合（当然我们也可以再写一个程序）。　　方法四：　　让MapReduce来帮帮我们吧！　　MapReduce本质上就是方法三，但是如何拆分文件集，如何copy程序，如何整合结果这些都是框架定义好的。我们只要定义好这个任务（用户程序），其它都交给MapReduce。　　map函数和reduce函数　　map函数和reduce函数是交给用户实现的，这两个函数定义了任务本身。　　map函数：接受一个键值对（key-value pair），产生一组中间键值对。MapReduce框架会将map函数产生的中间键值对里键相同的值传递给一个reduce函数。　　reduce函数：接受一个键，以及相关的一组值，将这组值进行合并产生一组规模更小的值（通常只有一个或零个值）。　　统计词频的MapReduce函数的核心代码非常简短，主要就是实现这两个函数。　　map(String key, String value):　　// key: document name　　// value: document contents　　for each word w in value:　　EmitIntermediate(w, "1");　　reduce(String key, Iterator values):　　// key: a word　　// values: a list of counts　　int result = 0;　　for each v in values:　　result += ParseInt(v);　　Emit(AsString(result));　　在统计词频的例子里，map函数接受的键是文件名，值是文件的内容，map逐个遍历单词，每遇到一个单词w，就产生一个中间键值对<w, "1">，这表示单词w咱又找到了一个；MapReduce将键相同（都是单词w）的键值对传给reduce函数，这样reduce函数接受的键就是单词w，值是一串"1"（最基本的实现是这样，但可以优化），个数等于键为w的键值对的个数，然后将这些“1”累加就得到单词w的出现次数。最后这些单词的出现次数会被写到用户定义的位置，存储在底层的分布式存储系统（GFS或HDFS）。转载

这要看技术和团队的，不过可以到这边看看学习，毕竟互联网it学校

我们在前文中给大家简单介绍了关于大数据运维师的一些基本技能需求的内容。下面我们就一起来了解一下，在学习大数据的时候不同学习阶段都需要了解哪些知识。数据存储阶段：SQL，oracle，IBM等等都有相关的课程，北京java课程培训机构建议根据公司的不同，学习好这些企业的开发工具，基本可以胜任此阶段的职位。数据挖掘清洗筛选：大数据工程师，要学习JAVA，Linux，SQL，Hadoop，数据序列化系统Avro，数据仓库Hive，分布式数据库HBase，数据仓库Hive，Flume分布式日志框架，Kafka分布式队列系统课程，Sqoop数据迁移，pig开发，Storm实时数据处理。学会以上基本可以入门大数据工程师，如果想有一个更好的起点，建议前期学习scala编程，Spark，R语言等基本现在企业里面更专业的技能。数据分析：一方面是搭建数据分析框架，比如确定分析思路需要营销、管理等理论知识;还有针对数据分析结论提出有指导意义的分析建议。产品调整：经过分析后的数据交由老板和PM经过协商后进行产品的更新，然后交由程序员进行修改(快消类进行商品的上下架调整)。接着再来了解大数据需要掌握那些技术Hadoop核心(1)分布式存储基石：HDFSHDFS简介入门演示构成及工作原理解析：数据块，NameNode,DataNode、数据写入与读取过程、数据复制、HA方案、文件类型、HDFS常用设置JavaAPI代码演示(2)分布式计算基础：MapReduceMapReduce简介、编程模型、JavaAPI介绍、编程案例介绍、MapReduce调优(3)Hadoop集群资源管家：YARNYARN基本架构资源调度过程调度算法YARN上的计算框架离线计算(1)离线日志收集利器：FlumeFlume简介核心组件介绍Flume实例：日志收集、适宜场景、常见问题。(2)离线批处理必备工具：HiveHive在大数据平台里的定位、总体架构、使用场景之AccessLog分析HiveDDL&DML介绍视图函数(内置，窗口，自定义函数)表的分区、分桶和抽样优化。

FineBI数据挖掘的参数是针对整体的，且绝大部分参数设置都会根据当前的数据由机器给予较为恰当的默认值。数据分析人员不必对一种算法的原理了如指掌，而可以使用FineBI推荐的默认参数。而由于整个数据挖掘过程的简单性，也可以根据预览的挖掘结果调整参数，进行新的、更接近目标的挖掘过程。

楼上是mapreduce的流程，想了解工作原理，还是看看hadoop权威指南，和google三篇论文吧。

Hadoop由许多元素构成。其最底部是HadoopDistributedFileSystem(HDFS)，它存储Hadoop集群中所有存储节点上的文件。HDFS(对于本文)的上一层是MapReduce引擎，该引擎由JobTrackers和TaskTrackers组成。通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。

我们在前文中给大家简单介绍了关于大数据运维师的一些基本技能需求的内容。下面我们就一起来了解一下，在学习大数据的时候不同学习阶段都需要了解哪些知识。数据存储阶段：SQL，oracle，IBM等等都有相关的课程，回龙观java课程培训机构建议根据公司的不同，学习好这些企业的开发工具，基本可以胜任此阶段的职位。数据挖掘清洗筛选：大数据工程师，要学习JAVA，Linux，SQL，Hadoop，数据序列化系统Avro，数据仓库Hive，分布式数据库HBase，数据仓库Hive，Flume分布式日志框架，Kafka分布式队列系统课程，Sqoop数据迁移，pig开发，Storm实时数据处理。学会以上基本可以入门大数据工程师，如果想有一个更好的起点，建议前期学习scala编程，Spark，R语言等基本现在企业里面更专业的技能。数据分析：一方面是搭建数据分析框架，比如确定分析思路需要营销、管理等理论知识;还有针对数据分析结论提出有指导意义的分析建议。产品调整：经过分析后的数据交由老板和PM经过协商后进行产品的更新，然后交由程序员进行修改(快消类进行商品的上下架调整)。接着再来了解大数据需要掌握那些技术Hadoop核心(1)分布式存储基石：HDFSHDFS简介入门演示构成及工作原理解析：数据块，NameNode,DataNode、数据写入与读取过程、数据复制、HA方案、文件类型、HDFS常用设置JavaAPI代码演示(2)分布式计算基础：MapReduceMapReduce简介、编程模型、JavaAPI介绍、编程案例介绍、MapReduce调优(3)Hadoop集群资源管家：YARNYARN基本架构资源调度过程调度算法YARN上的计算框架离线计算(1)离线日志收集利器：FlumeFlume简介核心组件介绍Flume实例：日志收集、适宜场景、常见问题。(2)离线批处理必备工具：HiveHive在大数据平台里的定位、总体架构、使用场景之AccessLog分析HiveDDL&DML介绍视图函数(内置，窗口，自定义函数)表的分区、分桶和抽样优化。

这个没有固定多少的，看你报的是什么培训班吧，我一个哥们花了1万多点，还是分期付款，很合理~远标好像有大数据，具体就不太清楚了哦

我们在前文中给大家简单介绍了关于大数据运维师的一些基本技能需求的内容。下面我们就一起来了解一下，在学习大数据的时候不同学习阶段都需要了解哪些知识。数据存储阶段：SQL，oracle，IBM等等都有相关的课程，昌平镇java课程培训机构建议根据公司的不同，学习好这些企业的开发工具，基本可以胜任此阶段的职位。数据挖掘清洗筛选：大数据工程师，要学习JAVA，Linux，SQL，Hadoop，数据序列化系统Avro，数据仓库Hive，分布式数据库HBase，数据仓库Hive，Flume分布式日志框架，Kafka分布式队列系统课程，Sqoop数据迁移，pig开发，Storm实时数据处理。学会以上基本可以入门大数据工程师，如果想有一个更好的起点，建议前期学习scala编程，Spark，R语言等基本现在企业里面更专业的技能。数据分析：一方面是搭建数据分析框架，比如确定分析思路需要营销、管理等理论知识;还有针对数据分析结论提出有指导意义的分析建议。产品调整：经过分析后的数据交由老板和PM经过协商后进行产品的更新，然后交由程序员进行修改(快消类进行商品的上下架调整)。接着再来了解大数据需要掌握那些技术Hadoop核心(1)分布式存储基石：HDFSHDFS简介入门演示构成及工作原理解析：数据块，NameNode,DataNode、数据写入与读取过程、数据复制、HA方案、文件类型、HDFS常用设置JavaAPI代码演示(2)分布式计算基础：MapReduceMapReduce简介、编程模型、JavaAPI介绍、编程案例介绍、MapReduce调优(3)Hadoop集群资源管家：YARNYARN基本架构资源调度过程调度算法YARN上的计算框架离线计算(1)离线日志收集利器：FlumeFlume简介核心组件介绍Flume实例：日志收集、适宜场景、常见问题。(2)离线批处理必备工具：HiveHive在大数据平台里的定位、总体架构、使用场景之AccessLog分析HiveDDL&DML介绍视图函数(内置，窗口，自定义函数)表的分区、分桶和抽样优化。

我们在前文中给大家简单介绍了关于大数据运维师的一些基本技能需求的内容。下面IT培训就一起来了解一下，在学习大数据的时候不同学习阶段都需要了解哪些知识。数据存储阶段：SQL，oracle，IBM等等都有相关的课程，根据公司的不同，学习好这些企业的开发工具，基本可以胜任此阶段的职位。数据挖掘清洗筛选：大数据工程师，要学习JAVA，Linux，SQL，Hadoop，数据序列化系统Avro，数据仓库Hive，分布式数据库HBase，数据仓库Hive，Flume分布式日志框架，Kafka分布式队列系统课程，Sqoop数据迁移，pig开发，Storm实时数据处理。学会以上基本可以入门大数据工程师，如果想有一个更好的起点，建议前期学习scala编程，Spark，R语言等基本现在企业里面更专业的技能。数据分析：一方面是搭建数据分析框架，比如确定分析思路需要营销、管理等理论知识;还有针对数据分析结论提出有指导意义的分析建议。产品调整：经过分析后的数据交由老板和PM经过协商后进行产品的更新，然后交由程序员进行修改(快消类进行商品的上下架调整)。接着再来了解大数据需要掌握那些技术Hadoop核心(1)分布式存储基石：HDFSHDFS简介入门演示构成及工作原理解析：数据块，NameNode,DataNode、数据写入与读取过程、数据复制、HA方案、文件类型、HDFS常用设置JavaAPI代码演示(2)分布式计算基础：MapReduceMapReduce简介、编程模型、JavaAPI介绍、编程案例介绍、MapReduce调优(3)Hadoop集群资源管家：YARNYARN基本架构资源调度过程调度算法YARN上的计算框架

我们在前文中给大家简单介绍了关于大数据运维师的一些基本技能需求的内容。下面IT培训就一起来了解一下，在学习大数据的时候不同学习阶段都需要了解哪些知识。数据存储阶段：SQL，oracle，IBM等等都有相关的课程，根据公司的不同，学习好这些企业的开发工具，基本可以胜任此阶段的职位。数据挖掘清洗筛选：大数据工程师，要学习JAVA，Linux，SQL，Hadoop，数据序列化系统Avro，数据仓库Hive，分布式数据库HBase，数据仓库Hive，Flume分布式日志框架，Kafka分布式队列系统课程，Sqoop数据迁移，pig开发，Storm实时数据处理。学会以上基本可以入门大数据工程师，如果想有一个更好的起点，建议前期学习scala编程，Spark，R语言等基本现在企业里面更专业的技能。数据分析：一方面是搭建数据分析框架，比如确定分析思路需要营销、管理等理论知识;还有针对数据分析结论提出有指导意义的分析建议。产品调整：经过分析后的数据交由老板和PM经过协商后进行产品的更新，然后交由程序员进行修改(快消类进行商品的上下架调整)。接着再来了解大数据需要掌握那些技术Hadoop核心(1)分布式存储基石：HDFSHDFS简介入门演示构成及工作原理解析：数据块，NameNode,DataNode、数据写入与读取过程、数据复制、HA方案、文件类型、HDFS常用设置JavaAPI代码演示(2)分布式计算基础：MapReduceMapReduce简介、编程模型、JavaAPI介绍、编程案例介绍、MapReduce调优(3)Hadoop集群资源管家：YARNYARN基本架构资源调度过程调度算法YARN上的计算框架

我们在前文中给大家简单介绍了关于大数据运维师的一些基本技能需求的内容。下面IT培训就一起来了解一下，在学习大数据的时候不同学习阶段都需要了解哪些知识。数据存储阶段：SQL，oracle，IBM等等都有相关的课程，根据公司的不同，学习好这些企业的开发工具，基本可以胜任此阶段的职位。数据挖掘清洗筛选：大数据工程师，要学习JAVA，Linux，SQL，Hadoop，数据序列化系统Avro，数据仓库Hive，分布式数据库HBase，数据仓库Hive，Flume分布式日志框架，Kafka分布式队列系统课程，Sqoop数据迁移，pig开发，Storm实时数据处理。学会以上基本可以入门大数据工程师，如果想有一个更好的起点，建议前期学习scala编程，Spark，R语言等基本现在企业里面更专业的技能。数据分析：一方面是搭建数据分析框架，比如确定分析思路需要营销、管理等理论知识;还有针对数据分析结论提出有指导意义的分析建议。产品调整：经过分析后的数据交由老板和PM经过协商后进行产品的更新，然后交由程序员进行修改(快消类进行商品的上下架调整)。接着再来了解大数据需要掌握那些技术Hadoop核心(1)分布式存储基石：HDFSHDFS简介入门演示构成及工作原理解析：数据块，NameNode,DataNode、数据写入与读取过程、数据复制、HA方案、文件类型、HDFS常用设置JavaAPI代码演示(2)分布式计算基础：MapReduceMapReduce简介、编程模型、JavaAPI介绍、编程案例介绍、MapReduce调优(3)Hadoop集群资源管家：YARNYARN基本架构资源调度过程调度算法YARN上的计算框架

我们在前文中给大家简单介绍了关于大数据运维师的一些基本技能需求的内容。下面我们就一起来了解一下，在学习大数据的时候不同学习阶段都需要了解哪些知识。数据存储阶段：SQL，oracle，IBM等等都有相关的课程，南邵java课程培训机构建议根据公司的不同，学习好这些企业的开发工具，基本可以胜任此阶段的职位。数据挖掘清洗筛选：大数据工程师，要学习JAVA，Linux，SQL，Hadoop，数据序列化系统Avro，数据仓库Hive，分布式数据库HBase，数据仓库Hive，Flume分布式日志框架，Kafka分布式队列系统课程，Sqoop数据迁移，pig开发，Storm实时数据处理。学会以上基本可以入门大数据工程师，如果想有一个更好的起点，建议前期学习scala编程，Spark，R语言等基本现在企业里面更专业的技能。数据分析：一方面是搭建数据分析框架，比如确定分析思路需要营销、管理等理论知识;还有针对数据分析结论提出有指导意义的分析建议。产品调整：经过分析后的数据交由老板和PM经过协商后进行产品的更新，然后交由程序员进行修改(快消类进行商品的上下架调整)。接着再来了解大数据需要掌握那些技术Hadoop核心(1)分布式存储基石：HDFSHDFS简介入门演示构成及工作原理解析：数据块，NameNode,DataNode、数据写入与读取过程、数据复制、HA方案、文件类型、HDFS常用设置JavaAPI代码演示(2)分布式计算基础：MapReduceMapReduce简介、编程模型、JavaAPI介绍、编程案例介绍、MapReduce调优(3)Hadoop集群资源管家：YARNYARN基本架构资源调度过程调度算法YARN上的计算框架离线计算(1)离线日志收集利器：FlumeFlume简介核心组件介绍Flume实例：日志收集、适宜场景、常见问题。(2)离线批处理必备工具：HiveHive在大数据平台里的定位、总体架构、使用场景之AccessLog分析HiveDDL&DML介绍视图函数(内置，窗口，自定义函数)表的分区、分桶和抽样优化。

我们在前文中给大家简单介绍了关于大数据运维师的一些基本技能需求的内容。下面我们就一起来了解一下，在学习大数据的时候不同学习阶段都需要了解哪些知识。数据存储阶段：SQL，oracle，IBM等等都有相关的课程，北京java课程培训机构建议根据公司的不同，学习好这些企业的开发工具，基本可以胜任此阶段的职位。数据挖掘清洗筛选：大数据工程师，要学习JAVA，Linux，SQL，Hadoop，数据序列化系统Avro，数据仓库Hive，分布式数据库HBase，数据仓库Hive，Flume分布式日志框架，Kafka分布式队列系统课程，Sqoop数据迁移，pig开发，Storm实时数据处理。学会以上基本可以入门大数据工程师，如果想有一个更好的起点，建议前期学习scala编程，Spark，R语言等基本现在企业里面更专业的技能。数据分析：一方面是搭建数据分析框架，比如确定分析思路需要营销、管理等理论知识;还有针对数据分析结论提出有指导意义的分析建议。产品调整：经过分析后的数据交由老板和PM经过协商后进行产品的更新，然后交由程序员进行修改(快消类进行商品的上下架调整)。接着再来了解大数据需要掌握那些技术Hadoop核心(1)分布式存储基石：HDFSHDFS简介入门演示构成及工作原理解析：数据块，NameNode,DataNode、数据写入与读取过程、数据复制、HA方案、文件类型、HDFS常用设置JavaAPI代码演示(2)分布式计算基础：MapReduceMapReduce简介、编程模型、JavaAPI介绍、编程案例介绍、MapReduce调优(3)Hadoop集群资源管家：YARNYARN基本架构资源调度过程调度算法YARN上的计算框架离线计算(1)离线日志收集利器：FlumeFlume简介核心组件介绍Flume实例：日志收集、适宜场景、常见问题。(2)离线批处理必备工具：HiveHive在大数据平台里的定位、总体架构、使用场景之AccessLog分析HiveDDL&DML介绍视图函数(内置，窗口，自定义函数)表的分区、分桶和抽样优化。

我们在前文中给大家简单介绍了关于大数据运维师的一些基本技能需求的内容。下面我们就一起来了解一下，在学习大数据的时候不同学习阶段都需要了解哪些知识。数据存储阶段：SQL，oracle，IBM等等都有相关的课程，北京java课程培训机构建议根据公司的不同，学习好这些企业的开发工具，基本可以胜任此阶段的职位。数据挖掘清洗筛选：大数据工程师，要学习JAVA，Linux，SQL，Hadoop，数据序列化系统Avro，数据仓库Hive，分布式数据库HBase，数据仓库Hive，Flume分布式日志框架，Kafka分布式队列系统课程，Sqoop数据迁移，pig开发，Storm实时数据处理。学会以上基本可以入门大数据工程师，如果想有一个更好的起点，建议前期学习scala编程，Spark，R语言等基本现在企业里面更专业的技能。数据分析：一方面是搭建数据分析框架，比如确定分析思路需要营销、管理等理论知识;还有针对数据分析结论提出有指导意义的分析建议。产品调整：经过分析后的数据交由老板和PM经过协商后进行产品的更新，然后交由程序员进行修改(快消类进行商品的上下架调整)。接着再来了解大数据需要掌握那些技术Hadoop核心(1)分布式存储基石：HDFSHDFS简介入门演示构成及工作原理解析：数据块，NameNode,DataNode、数据写入与读取过程、数据复制、HA方案、文件类型、HDFS常用设置JavaAPI代码演示(2)分布式计算基础：MapReduceMapReduce简介、编程模型、JavaAPI介绍、编程案例介绍、MapReduce调优(3)Hadoop集群资源管家：YARNYARN基本架构资源调度过程调度算法YARN上的计算框架离线计算(1)离线日志收集利器：FlumeFlume简介核心组件介绍Flume实例：日志收集、适宜场景、常见问题。(2)离线批处理必备工具：HiveHive在大数据平台里的定位、总体架构、使用场景之AccessLog分析HiveDDL&DML介绍视图函数(内置，窗口，自定义函数)表的分区、分桶和抽样优化。

我们在前文中给大家简单介绍了关于大数据运维师的一些基本技能需求的内容。下面IT培训就一起来了解一下，在学习大数据的时候不同学习阶段都需要了解哪些知识。数据存储阶段：SQL，oracle，IBM等等都有相关的课程，根据公司的不同，学习好这些企业的开发工具，基本可以胜任此阶段的职位。数据挖掘清洗筛选：大数据工程师，要学习JAVA，Linux，SQL，Hadoop，数据序列化系统Avro，数据仓库Hive，分布式数据库HBase，数据仓库Hive，Flume分布式日志框架，Kafka分布式队列系统课程，Sqoop数据迁移，pig开发，Storm实时数据处理。学会以上基本可以入门大数据工程师，如果想有一个更好的起点，建议前期学习scala编程，Spark，R语言等基本现在企业里面更专业的技能。数据分析：一方面是搭建数据分析框架，比如确定分析思路需要营销、管理等理论知识;还有针对数据分析结论提出有指导意义的分析建议。产品调整：经过分析后的数据交由老板和PM经过协商后进行产品的更新，然后交由程序员进行修改(快消类进行商品的上下架调整)。接着再来了解大数据需要掌握那些技术Hadoop核心(1)分布式存储基石：HDFSHDFS简介入门演示构成及工作原理解析：数据块，NameNode,DataNode、数据写入与读取过程、数据复制、HA方案、文件类型、HDFS常用设置JavaAPI代码演示(2)分布式计算基础：MapReduceMapReduce简介、编程模型、JavaAPI介绍、编程案例介绍、MapReduce调优(3)Hadoop集群资源管家：YARNYARN基本架构资源调度过程调度算法YARN上的计算框架

我们在前文中给大家简单介绍了关于大数据运维师的一些基本技能需求的内容。下面IT培训就一起来了解一下，在学习大数据的时候不同学习阶段都需要了解哪些知识。数据存储阶段：SQL，oracle，IBM等等都有相关的课程，根据公司的不同，学习好这些企业的开发工具，基本可以胜任此阶段的职位。数据挖掘清洗筛选：大数据工程师，要学习JAVA，Linux，SQL，Hadoop，数据序列化系统Avro，数据仓库Hive，分布式数据库HBase，数据仓库Hive，Flume分布式日志框架，Kafka分布式队列系统课程，Sqoop数据迁移，pig开发，Storm实时数据处理。学会以上基本可以入门大数据工程师，如果想有一个更好的起点，建议前期学习scala编程，Spark，R语言等基本现在企业里面更专业的技能。数据分析：一方面是搭建数据分析框架，比如确定分析思路需要营销、管理等理论知识;还有针对数据分析结论提出有指导意义的分析建议。产品调整：经过分析后的数据交由老板和PM经过协商后进行产品的更新，然后交由程序员进行修改(快消类进行商品的上下架调整)。接着再来了解大数据需要掌握那些技术Hadoop核心(1)分布式存储基石：HDFSHDFS简介入门演示构成及工作原理解析：数据块，NameNode,DataNode、数据写入与读取过程、数据复制、HA方案、文件类型、HDFS常用设置JavaAPI代码演示(2)分布式计算基础：MapReduceMapReduce简介、编程模型、JavaAPI介绍、编程案例介绍、MapReduce调优(3)Hadoop集群资源管家：YARNYARN基本架构资源调度过程调度算法YARN上的计算框架

　　大数据的时代， 到处张嘴闭嘴都是Hadoop, MapReduce, 不跟上时代怎么行？ 可是对一个hadoop的新手， 写一个属于自己的MapReduce程序还是小有点难度的， 需要建立一个maven项目， 还要搞清楚各种库的依赖， 再加上编译运行， 基本上头大两圈了吧。 这也使得很多只是想简单了解一下MapReduce的人望而却步。　　本文会教你如何用最快最简单的方法编写和运行一个属于自己的MapReduce程序， let"s go!　　首先有两个前提：　　1. 有一个已经可以运行的hadoop 集群（也可以是伪分布系统)， 上面的hdfs和mapreduce工作正常 （这个真的是最基本的了， 不再累述， 不会的请参考 http://hadoop.apache.org/docs/current/)　　2. 集群上安装了JDK (编译运行时会用到）　　正式开始　　1. 首先登入hadoop 集群里面的一个节点， 创建一个java源文件， 偷懒起见， 基本盗用官方的word count (因为本文的目的是教会你如何快编写和运行一个MapReduce程序， 而不是如何写好一个功能齐全的MapReduce程序）　　内容如下：　　view sourceprint?　　01.import java.io.IOException;　　02.import java.util.StringTokenizer;　　03.　　04.import org.apache.hadoop.conf.Configuration;　　05.import org.apache.hadoop.fs.Path;　　06.import org.apache.hadoop.io.IntWritable;　　07.import org.apache.hadoop.io.Text;　　08.import org.apache.hadoop.mapreduce.Job;　　09.import org.apache.hadoop.mapreduce.Mapper;　　10.import org.apache.hadoop.mapreduce.Reducer;　　11.import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;　　12.import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;　　13.import org.apache.hadoop.util.GenericOptionsParser;　　14.　　15.public class my<a href="http://www.it165.net/edu/ebg/" target="_blank" class="keylink">word</a> {　　16.　　17.public static class TokenizerMapper　　18.extends Mapper<Object, Text, Text, IntWritable>{　　19.　　20.private final static IntWritable one = new IntWritable(1);　　21.private Text word = new Text();　　22.　　23.public void map(Object key, Text value, Context context　　24.) throws IOException, InterruptedException {　　25.StringTokenizer itr = new StringTokenizer(value.toString());　　26.while (itr.hasMoreTokens()) {　　27.word.set(itr.nextToken());　　28.context.write(word, one);　　29.}　　30.}　　31.}　　32.　　33.public static class IntSumReducer　　34.extends Reducer<Text,IntWritable,Text,IntWritable> {　　35.private IntWritable result = new IntWritable();　　36.　　37.public void reduce(Text key, Iterable<IntWritable> values,　　38.Context context　　39.) throws IOException, InterruptedException {　　40.int sum = 0;　　41.for (IntWritable val : values) {　　42.sum += val.get();　　43.}　　44.result.set(sum);　　45.context.write(key, result);　　46.}　　47.}　　48.　　49.public static void main(String[] args) throws Exception {　　50.Configuration conf = new Configuration();　　51.String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();　　52.if (otherArgs.length != 2) {　　53.System.err.println("Usage: wordcount <in> <out>");　　54.System.exit(2);　　55.}　　56.Job job = new Job(conf, "word count");　　57.job.setJarByClass(myword.class);　　58.job.setMapperClass(TokenizerMapper.class);　　59.job.setCombinerClass(IntSumReducer.class);　　60.job.setReducerClass(IntSumReducer.class);　　61.job.setOutputKeyClass(Text.class);　　62.job.setOutputValueClass(IntWritable.class);　　63.FileInputFormat.addInputPath(job, new Path(otherArgs[0]));　　64.FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));　　65.System.exit(job.waitForCompletion(true) ? 0 : 1);　　66.}　　67.}　　与官方版本相比， 主要做了两处修改　　1） 为了简单起见，去掉了开头的 package org.apache.hadoop.examples;　　2） 将类名从 WordCount 改为 myword, 以体现是我们自己的工作成果 :)　　2. 拿到hadoop 运行的class path, 主要为编译所用　　运行命令　　view sourceprint?　　1.hadoop classpath　　保存打出的结果，本文用的hadoop 版本是Pivotal 公司的Pivotal hadoop, 例子：　　view sourceprint?　　1./etc/gphd/hadoop/conf:/usr/lib/gphd/hadoop/lib/*:/usr/lib/gphd/hadoop/.//*:/usr/lib/gphd/hadoop-hdfs/./:/usr/lib/gphd/hadoop-hdfs/lib/*:/usr/lib/gphd/hadoop-hdfs/.//*:/usr/lib/gphd/hadoop-yarn/lib/*:/usr/lib/gphd/hadoop-yarn/.//*:/usr/lib/gphd/hadoop-mapreduce/lib/*:/usr/lib/gphd/hadoop-mapreduce/.//*::/etc/gphd/pxf/conf::/usr/lib/gphd/pxf/pxf-core.jar:/usr/lib/gphd/pxf/pxf-api.jar:/usr/lib/gphd/publicstage:/usr/lib/gphd/gfxd/lib/gemfirexd.jar::/usr/lib/gphd/zookeeper/zookeeper.jar:/usr/lib/gphd/hbase/lib/hbase-common.jar:/usr/lib/gphd/hbase/lib/hbase-protocol.jar:/usr/lib/gphd/hbase/lib/hbase-client.jar:/usr/lib/gphd/hbase/lib/hbase-thrift.jar:/usr/lib/gphd/hbase/lib/htrace-core-2.01.jar:/etc/gphd/hbase/conf::/usr/lib/gphd/hive/lib/hive-service.jar:/usr/lib/gphd/hive/lib/libthrift-0.9.0.jar:/usr/lib/gphd/hive/lib/hive-metastore.jar:/usr/lib/gphd/hive/lib/libfb303-0.9.0.jar:/usr/lib/gphd/hive/lib/hive-common.jar:/usr/lib/gphd/hive/lib/hive-exec.jar:/usr/lib/gphd/hive/lib/postgresql-jdbc.jar:/etc/gphd/hive/conf::/usr/lib/gphd/sm-plugins/*:　　3. 编译　　运行命令　　view sourceprint?　　1.javac -classpath xxx ./myword.java　　xxx部分就是上一步里面取到的class path　　运行完此命令后， 当前目录下会生成一些.class 文件， 例如：　　myword.class myword$IntSumReducer.class myword$TokenizerMapper.class　　4. 将class文件打包成.jar文件　　运行命令　　view sourceprint?　　1.jar -cvf myword.jar ./*.class　　至此, 目标jar 文件成功生成　　5. 准备一些文本文件， 上传到hdfs, 以做word count的input　　例子：　　随意创建一些文本文件， 保存到mapred_test 文件夹　　运行命令　　view sourceprint?　　1.hadoop fs -put ./mapred_test/　　确保此文件夹成功上传到hdfs 当前用户根目录下　　6. 运行我们的程序　　运行命令　　view sourceprint?　　1.hadoop jar ./myword.jar myword mapred_test output　　顺利的话， 此命令会正常进行， 一个MapReduce job 会开始工作， 输出的结果会保存在 hdfs 当前用户根目录下的output 文件夹里面。　　至此大功告成！　　如果还需要更多的功能， 我们可以修改前面的源文件以达到一个真正有用的MapReduce job。　　但是原理大同小异， 练手的话， 基本够了。　　一个抛砖引玉的简单例子， 欢迎板砖。

大数据的时代， 到处张嘴闭嘴都是Hadoop, MapReduce, 不跟上时代怎么行？ 可是对一个hadoop的新手， 写一个属于自己的MapReduce程序还是小有点难度的， 需要建立一个maven项目， 还要搞清楚各种库的依赖， 再加上编译运行， 基本上头大两圈了吧。 这也使得很多只是想简单了解一下MapReduce的人望而却步。　　本文会教你如何用最快最简单的方法编写和运行一个属于自己的MapReduce程序， let"s go!　　首先有两个前提：　　1. 有一个已经可以运行的hadoop 集群（也可以是伪分布系统)， 上面的hdfs和mapreduce工作正常 （这个真的是最基本的了， 不再累述， 不会的请参考 http://hadoop.apache.org/docs/current/)　　2. 集群上安装了JDK (编译运行时会用到）　　正式开始　　1. 首先登入hadoop 集群里面的一个节点， 创建一个java源文件， 偷懒起见， 基本盗用官方的word count (因为本文的目的是教会你如何快编写和运行一个MapReduce程序， 而不是如何写好一个功能齐全的MapReduce程序）　　内容如下：　　import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.mapreduce.Reducer;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import org.apache.hadoop.util.GenericOptionsParser;public class myword { public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>{ private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Context context ) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); } } } public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<IntWritable> values, Context context ) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); if (otherArgs.length != 2) { System.err.println("Usage: wordcount <in> <out>"); System.exit(2); } Job job = new Job(conf, "word count"); job.setJarByClass(myword.class); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(IntSumReducer.class); job.setReducerClass(IntSumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(otherArgs[0])); FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); }}　　与官方版本相比， 主要做了两处修改　　1） 为了简单起见，去掉了开头的 package org.apache.hadoop.examples;　　2） 将类名从 WordCount 改为 myword, 以体现是我们自己的工作成果 :)　　2. 拿到hadoop 运行的class path, 主要为编译所用　　运行命令　　hadoop classpath　　保存打出的结果，本文用的hadoop 版本是Pivotal 公司的Pivotal hadoop, 例子：　　/etc/gphd/hadoop/conf:/usr/lib/gphd/hadoop/lib/*:/usr/lib/gphd/hadoop/.//*:/usr/lib/gphd/hadoop-hdfs/./:/usr/lib/gphd/hadoop-hdfs/lib/*:/usr/lib/gphd/hadoop-hdfs/.//*:/usr/lib/gphd/hadoop-yarn/lib/*:/usr/lib/gphd/hadoop-yarn/.//*:/usr/lib/gphd/hadoop-mapreduce/lib/*:/usr/lib/gphd/hadoop-mapreduce/.//*::/etc/gphd/pxf/conf::/usr/lib/gphd/pxf/pxf-core.jar:/usr/lib/gphd/pxf/pxf-api.jar:/usr/lib/gphd/publicstage:/usr/lib/gphd/gfxd/lib/gemfirexd.jar::/usr/lib/gphd/zookeeper/zookeeper.jar:/usr/lib/gphd/hbase/lib/hbase-common.jar:/usr/lib/gphd/hbase/lib/hbase-protocol.jar:/usr/lib/gphd/hbase/lib/hbase-client.jar:/usr/lib/gphd/hbase/lib/hbase-thrift.jar:/usr/lib/gphd/hbase/lib/htrace-core-2.01.jar:/etc/gphd/hbase/conf::/usr/lib/gphd/hive/lib/hive-service.jar:/usr/lib/gphd/hive/lib/libthrift-0.9.0.jar:/usr/lib/gphd/hive/lib/hive-metastore.jar:/usr/lib/gphd/hive/lib/libfb303-0.9.0.jar:/usr/lib/gphd/hive/lib/hive-common.jar:/usr/lib/gphd/hive/lib/hive-exec.jar:/usr/lib/gphd/hive/lib/postgresql-jdbc.jar:/etc/gphd/hive/conf::/usr/lib/gphd/sm-plugins/*:　　3. 编译　　运行命令　　javac -classpath xxx ./myword.java　　xxx部分就是上一步里面取到的class path　　运行完此命令后， 当前目录下会生成一些.class 文件， 例如：　　myword.class myword$IntSumReducer.class myword$TokenizerMapper.class　　4. 将class文件打包成.jar文件　　运行命令　　jar -cvf myword.jar ./*.class　　至此, 目标jar 文件成功生成　　5. 准备一些文本文件， 上传到hdfs, 以做word count的input　　例子：　　随意创建一些文本文件， 保存到mapred_test 文件夹　　运行命令　　hadoop fs -put ./mapred_test/　　确保此文件夹成功上传到hdfs 当前用户根目录下　　6. 运行我们的程序　　运行命令　　hadoop jar ./myword.jar myword mapred_test output　　顺利的话， 此命令会正常进行， 一个MapReduce job 会开始工作， 输出的结果会保存在 hdfs 当前用户根目录下的output 文件夹里面。　　至此大功告成！　　如果还需要更多的功能， 我们可以修改前面的源文件以达到一个真正有用的MapReduce job。　　但是原理大同小异， 练手的话， 基本够了。　　一个抛砖引玉的简单例子， 欢迎板砖。

大数据专业。大数据专业未来的发展前景非常广阔，由于大数据行业的产业链涉及到多个环节，包括数据采集、数据整理、数据存储、数据安全、数据分析、数据应用等，所以大数据领域的就业岗位也比较丰富

个人谈谈阅读hadoop源代码的经验。首先，不得不说，hadoop发展到现在这个阶段，代码已经变得非常庞大臃肿，如果你直接阅读最新版本的源代码，难度比较大，需要足够的耐心和时间，所以，如果你觉得认真一次，认真阅读一次hadoop源代码，一定要有足够的心理准备和时间预期。其次，需要注意，阅读Hadoop源代码的效率，因人而异，如果你有足够的分布式系统知识储备，看过类似的系统，则能够很快地读它的源代码进行通读，并快速切入你最关注的局部细节，比如你之前看过某个分布式数据库的源代码，对分布式系统的网络通信模块，调度模块等有一定了解，这对阅读hadoop源代码有极大帮助；如果你是一个初学者，对hadoop一无所知，只了解一些java语法，那阅读hadoop源代码是极具挑战的一件事情，尤其是从无到开始入门的过程，是极度煎熬和困惑的，这时候需要你在阅读代码过程中，不断补充缺乏的相关知识（比如RPC，NIO，设计模式等），循序渐进，直到入门。接下来进入主题，说一下阅读源代码的个人经验。由于我也是从无到入门，再到修改源代码，逐步过渡的，所以，对于很多人而言，具有借鉴意义。============第一个阶段：学习hadoop基本使用和基本原理，从应用角度对hadoop进行了解和学习这是第一个阶段，你开始尝试使用hadoop，从应用层面，对hadoop有一定了解，比如你可以使用hadoop shell对hdfs进行操作，使用hdfs API编写一些程序上传，下载文件；使用MapReduce API编写一个数据处理程序。一旦你对hadoop的基本使用方法比较熟悉了，接下来可以尝试了解它的内部原理，注意，不需要通过阅读源代码了解内部原理，只需看一些博客，书籍，比如《Hadoop权威指南》，对于HDFS而言，你应该知道它的基本架构以及各个模块的功能；对于MapReduce而言，你应该知道其具体的工作流程，知道partition，shuffle，sort等工作原理，可以自己在纸上完整个画完mapreduce的流程，越详细越好。在这个阶段，建议你多看一些知名博客，多读读《hadoop权威指南》（可选择性看相关的几章）。如果你有实际项目驱动，那是再好不过了，理论联系实际是最好的hadoop学习方法；如果你没有项目驱动，那建议你不要自己一个人闷头学，多跟别人交流，多主动给别人讲讲，最好的学习方式还是“讲给别人听”。============第二个阶段：从无到入门，开始阅读hadoop源代码这个阶段是最困苦和漫长的，尤其对于那些没有任何分布式经验的人。 很多人这个阶段没有走完，就放弃了，最后停留在hadoop应用层面。这个阶段，第一件要做的事情是，选择一个hadoop组件。如果你对分布式存储感兴趣，那么你可以选择HDFS，如果你读分布式计算感兴趣，你可以选择MapReduce，如果你对资源管理系统感兴趣，你可以选择YARN。选择好系统后，接下来的经历是最困苦的。当你把hadoop源代码导入eclipse或intellij idea，沏上一杯茶，开始准备优哉游哉地看hadoop源代码时，你懵逼了：你展开那数不尽的package和class，觉得无从下手，好不容易找到了入口点，然后你屁颠屁颠地通过eclipse的查找引用功能，顺着类的调用关系一层层找下去，最后迷失在了代码的海洋中，如同你在不尽的压栈，最后栈溢出了，你忘记在最初的位置。很多人经历过上面的过程，最后没有顺利逃出来，而放弃。如果你正在经历这个过程，我的经验如下：首先，你要摸清hadoop的代码模块，知道client，master，slave各自对应的模块（hadoop中核心系统都是master/slave架构，非常类似），并在阅读源代码过程中，时刻谨记你当前阅读的代码属于哪一个模块，会在哪个组件中执行；之后你需要摸清各个组件的交互协议，也就是分布式中的RPC，这是hadoop自己实现的，你需要对hadoop RPC的使用方式有所了解，然后看各模块间的RPC protocol，到此，你把握了系统的骨架，这是接下来阅读源代码的基础；接着，你要选择一个模块开始阅读，我一般会选择Client，这个模块相对简单些，会给自己增加信心，为了在阅读代码过程中，不至于迷失自己，建议在纸上画出类的调用关系，边看边画，我记得我阅读hadoop源代码时，花了一叠纸。注意，看源代码过程中，很容易烦躁不安，建议经常起来走走，不要把自己逼得太紧。在这个阶段，建议大家多看一些源代码分析博客和书籍，比如《Hadoop技术内幕》系列丛书（轩相关网站：Hadoop技术内幕）就是最好的参考资料。借助这些博客和书籍，你可以在前人的帮助下，更快地学习hadoop源代码，节省大量时间，注意，目前博客和书籍很多，建议大家广泛收集资料，找出最适合自己的参考资料。这个阶段最终达到的目的，是对hadoop源代码整体架构和局部的很多细节，有了一定的了解。比如你知道MapReduce Scheduler是怎样实现的，MapReduce shuffle过程中，map端做了哪些事情，reduce端做了哪些事情，是如何实现的，等等。这个阶段完成后，当你遇到问题或者困惑点时，可以迅速地在Hadoop源代码中定位相关的类和具体的函数，通过阅读源代码解决问题，这时候，hadoop源代码变成了你解决问题的参考书。============第三个阶段：根据需求，修改源代码。这个阶段，是验证你阅读源代码成效的时候。你根据leader给你的需求，修改相关代码完成功能模块的开发。在修改源代码过程中，你发现之前阅读源代码仍过于粗糙，这时候你再进一步深入阅读相关代码，弥补第二个阶段中薄弱的部分。当然，很多人不需要经历第三个阶段，仅仅第二阶段就够了：一来能够通过阅读代码解决自己长久以来的技术困惑，满足自己的好奇心，二来从根源上解决解决自己遇到的各种问题。 这个阶段，没有太多的参考书籍或者博客，多跟周围的同事交流，通过代码review和测试，证明自己的正确性。============阅读hadoop源代码的目的不一定非是工作的需要，你可以把他看成一种修养，通过阅读hadoop源代码，加深自己对分布式系统的理解，培养自己踏实做事的心态。

MapReduce极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。MapReduce保证结果文件中key的唯一性的方法为：1、打开Hadoop集群，打开主机master的终端，输入【ifconfig】命令查看主机IP地址。2、使用SecureCRT软件连接到Hadoop集群的主机。3、首先进入到hadoop目录下的bin目录下，因为要将代码文件上传到这个目录下，所以先要打开这个目录，然后输入【rz】命令准备上传代码文件。4、选中已经写好的两个代码文件，然后点击【添加】，然后点击【确定】开始文件的上传。5、在软件中观察上传进度，上传成功之后就是下图中的显示。6、运行结果如下图。注意事项：MapReduce借助于函数式程序设计语言Lisp的设计思想，提供了一种简便的并行程序设计方法，用Map和Reduce两个函数编程实现基本的并行计算任务，提供了抽象的操作和并行编程接口，以简单方便地完成大规模数据的编程和计算处理。

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产　大数据技术可以帮助企业准确zhidao定位意向客户;通过数据分析我们可以建立城市规划、解决医疗发展难题;传统行业转型互联网也可以利用大数据价值。所以大数回据技术被广泛应用在各行各业，现在越来越多的企业开始重视大数据技术，并招聘大数据人才。

大数据学习路线第1阶段 Java第2阶段 JavaEE核心第3阶段 Hadoop生态体系第4阶段 大数据spark生态体系

　　一、 首先要知道此前提 转载　　若在windows的Eclipse工程中直接启动mapreduc程序，需要先把hadoop集群的配置目录下的xml都拷贝到src目录下，让程序自动读取集群的地址后去进行分布式运行(您也可以自己写java代码去设置job的configuration属性)。　　若不拷贝，工程中bin目录没有完整的xml配置文件，则windows执行的mapreduce程序全部通过本机的jvm执行，作业名也是带有“local"字眼的作业，如 job_local2062122004_0001。 这不是真正的分布式运行mapreduce程序。　　估计得研究org.apache.hadoop.conf.Configuration的源码，反正xml配置文件会影响执行mapreduce使用的文件系统是本机的windows文件系统还是远程的hdfs系统; 还有影响执行mapreduce的mapper和reducer的是本机的jvm还是集群里面机器的jvm　　二、 本文的结论　　第一点就是： windows上执行mapreduce，必须打jar包到所有slave节点才能正确分布式运行mapreduce程序。（我有个需求是要windows上触发一个mapreduce分布式运行）　　第二点就是： Linux上，只需拷贝jar文件到集群master上,执行命令hadoop jarPackage.jar MainClassName即可分布式运行mapreduce程序。　　第三点就是： 推荐使用附一，实现了自动打jar包并上传，分布式执行的mapreduce程序。　　附一、 推荐使用此方法：实现了自动打jar包并上传，分布式执行的mapreduce程序：　　请先参考博文五篇：　　Hadoop作业提交分析（一）~~（五）　　引用博文的附件中EJob.java到你的工程中，然后main中添加如下方法和代码。　　public static File createPack() throws IOException {　　File jarFile = EJob.createTempJar("bin");　　ClassLoader classLoader = EJob.getClassLoader();　　Thread.currentThread().setContextClassLoader(classLoader);　　return jarFile;　　}　　在作业启动代码中使用打包：　　Job job = Job.getInstance(conf, "testAnaAction");　　添加：　　String jarPath = createPack().getPath();　　job.setJar(jarPath);　　即可实现直接run as java application 在windows跑分布式的mapreduce程序，不用手工上传jar文件。　　附二、得出结论的测试过程　　（未有空看书，只能通过愚笨的测试方法得出结论了）　　一. 直接通过windows上Eclipse右击main程序的java文件，然后"run as application"或选择hadoop插件"run on hadoop"来触发执行MapReduce程序的测试。　　1，如果不打jar包到进集群任意linux机器上，它报错如下：　　[work] 2012-06-25 15:42:47,360 - org.apache.hadoop.mapreduce.Job -10244 [main] INFO org.apache.hadoop.mapreduce.Job - map 0% reduce 0%　　[work] 2012-06-25 15:42:52,223 - org.apache.hadoop.mapreduce.Job -15107 [main] INFO org.apache.hadoop.mapreduce.Job - Task Id : attempt_1403517983686_0056_m_000000_0, Status : FAILED　　Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class bookCount.BookCount$BookCountMapper not found　　at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:1720)　　at org.apache.hadoop.mapreduce.task.JobContextImpl.getMapperClass(JobContextImpl.java:186)　　at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:721)　　at org.apache.hadoop.mapred.MapTask.run(MapTask.java:339)　　at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:162)　　at java.security.AccessController.doPrivileged(Native Method)　　at javax.security.auth.Subject.doAs(Subject.java:415)　　at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)　　at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:157)　　Caused by: java.lang.ClassNotFoundException: Class bookCount.BookCount$BookCountMapper not found　　at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:1626)　　at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:1718)　　... 8 more　　# Error:后重复三次　　2012-06-25 15:44:53,234 - org.apache.hadoop.mapreduce.Job -37813 [main] INFO org.apache.hadoop.mapreduce.Job - map 100% reduce 100%　　现象就是：报错，无进度，无运行结果。　　　　2，拷贝jar包到“只是”集群master的$HADOOP_HOME/share/hadoop/mapreduce/目录上，直接通过windows的eclipse "run as application"和通过hadoop插件"run on hadoop"来触发执行，它报错同上。　　现象就是：报错，无进度，无运行结果。　　3，拷贝jar包到集群某些slave的$HADOOP_HOME/share/hadoop/mapreduce/目录上，直接通过windows的eclipse "run as application"和通过hadoop插件"run on hadoop"来触发执行　　和报错：　　Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class bookCount.BookCount$BookCountMapper not found　　at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:1720)　　at org.apache.hadoop.mapreduce.task.JobContextImpl.getMapperClass(JobContextImpl.java:186)　　和报错：　　Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class bookCount.BookCount$BookCountReducer not found　　　　现象就是：有报错，但仍然有进度，有运行结果。　　4，拷贝jar包到集群所有slave的$HADOOP_HOME/share/hadoop/mapreduce/目录上，直接通过windows的eclipse "run as application"和通过hadoop插件"run on hadoop"来触发执行：　　现象就是：无报错，有进度，有运行结果。　　第一点结论就是： windows上执行mapreduce，必须打jar包到所有slave节点才能正确分布式运行mapreduce程序。　　二 在Linux上的通过以下命令触发MapReduce程序的测试。　　hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/bookCount.jar bookCount.BookCount　　　　1，只拷贝到master，在master上执行。　　现象就是：无报错，有进度，有运行结果。　　2，拷贝随便一个slave节点,在slave上执行。　　现象就是：无报错，有进度，有运行结果。　　但某些节点上运行会报错如下，且运行结果。：　　14/06/25 16:44:02 INFO mapreduce.JobSubmitter: Cleaning up the staging area /tmp/hadoop-yarn/staging/hduser/.staging/job_1403517983686_0071　　Exception in thread "main" java.lang.NoSuchFieldError: DEFAULT_MAPREDUCE_APPLICATION_CLASSPATH　　at org.apache.hadoop.mapreduce.v2.util.MRApps.setMRFrameworkClasspath(MRApps.java:157)　　at org.apache.hadoop.mapreduce.v2.util.MRApps.setClasspath(MRApps.java:198)　　at org.apache.hadoop.mapred.YARNRunner.createApplicationSubmissionContext(YARNRunner.java:443)　　at org.apache.hadoop.mapred.YARNRunner.submitJob(YARNRunner.java:283)　　at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:415)　　at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1268)　　at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1265)　　at java.security.AccessController.doPrivileged(Native Method)　　at javax.security.auth.Subject.doAs(Subject.java:415)　　at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)　　at org.apache.hadoop.mapreduce.Job.submit(Job.java:1265)　　at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1286)　　at com.etrans.anaSpeed.AnaActionMr.run(AnaActionMr.java:207)　　at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)　　at com.etrans.anaSpeed.AnaActionMr.main(AnaActionMr.java:44)　　at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)　　at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)　　at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)　　at java.lang.reflect.Method.invoke(Method.java:606)　　at org.apache.hadoop.util.RunJar.main(RunJar.java:212)　　第二点结论就是： Linux上，只需拷贝jar文件到集群master上,执行命令hadoop jarPackage.jar MainClassName即可分布式运行mapreduce程序。

你得配置下 在map-reduce 右键eidt 配置下你的HDFS系统信息嘛，