apr

因为april四月指花开的季节。generalprologue是一般序言，总引，指的就是某一事物，某一文章的开头，四月花开是春天的开始，一年四季的开头，所以一般序言指是四月。

all the past is a prologue .刚刚那些是开场白。

1、XperiaPRO-I发布时间2021年10月26日。入网型号XQ-BE72。手机类型5G手机,智能手机,拍照。手机操作系统Android。硬件参数CPU品牌高通骁龙888。CPU频率1×2.84GHz+3×2.40GHz+4×1.80GHz。运行内存12GB。机身容量512GB。传感器重力感应,距离感应,光线感应。NFC功能支持。后置摄像头1200万像素,广角摄像头,1英寸传感器。后置摄像头2是1200万像素,超广角摄像头。后置摄像头3是1200万像素,标准摄像头。后置摄像头4是3DiTOF，LED闪光灯。屏幕大小6.6英寸。屏幕比例21:9。屏幕分辨率3840×2160像素。屏幕刷新率120Hz。屏幕材质OLED。网络制式全网通,移动5G,联通5G,电信5G,移动4G,联通4G,电信4G,移动3G,联通3G,电信3G,双4G。SIM卡类型nanoSIM卡,双卡。支持蓝牙、WiFi(WLAN)、支持WiFi、定位系统、支持GPS。尺寸166×72×8.9mm。重量211g。2、索尼Xperia1III发布时间2021年,4月14日全球发布，5月20日国内发布。手机类型5G手机,智能手机,拍照手机,快充手机。操作系统 Android11。CPU高通骁龙888。CPU频率1×2.84GHz+3×2.40GHz+4×1.80GHz。运行内存12GB。机身容量256GB,512GB。电池容量4500mAh。充电30W有线快充。传感器有重力感应、距离感应、光线感应、电子罗盘、陀螺仪、NFC功能。后置摄像头1200万像素,主摄。后置摄像头2是1200万像素,广角摄像头。后置摄像头3是1200万像素,潜望式摄像头。后置摄像头4是3DiToF传感器。后置摄像头传感器类型CMOS传感器。后置摄像头光圈F/1.7,F/2.2,F/2.3。前置摄像头传感器类型CMOS传感器。闪光灯LED闪光灯。屏幕大小6.5英寸。屏幕比例21:9。屏幕分辨率4KHDR。屏幕刷新率120Hz。网络制式全网通,移动5G,联通5G,电信5G,移动4G,联通4G,电信4G,移动3G,联通3G,电信3G。SIM卡类型nanoSIM卡,双卡。支持蓝牙、WiFi(WLAN)、支持WiFi,2.4G/5G双频、定位系统、支持GPS,GLONASS,北斗,Galileo,支持A-GPS。机身特点IP65/68防尘防水设计。尺寸是165×71×8.2mm。重量约187g。

我的生日在4月

首先要重新开机，进入vivaprojectv，然后删除docker安装包。然后重新安装下docker，配置DOCKERHOST，添加内容，使配置文件生效。最后配置启动文件，就可以卡掉衣服了。

四月的英文缩写是Apr，英语全拼是April。英文中的4月（April）来源于单词aperire，表示“开”，可能意味着植物在春天开始生长。每年4月，塞维利亚都要迎来标志西班牙夏天开始的传统节日“四月节”。而农历四月则是柑橘等作物扬华之时。扩展资料：英文月份的来历：1、January,在罗马传说中，有一位名叫雅努斯的守护神，生有前后两副脸，一副回顾过去，一副眺望未来。人们认为选择他的名字作为除旧迎新的第一个月月名，很有意义。英语1月，便是由这位守护神的拉丁文名字Januarius演变而来的。2、February,每年2月初，罗马都要杀牲饮酒，欢庆菲勃卢姆节。这一天，人们常用一种牛草制成的名叫Februa的鞭子，抽打不育的妇女，以求怀孕生子。这一天，人们还要忏悔自己过去一年的罪过，洗刷自己的灵魂，求得神明的饶恕，使自己成为一个贞洁的人。英语2月February，便是由拉丁文 Februarius（即菲勃卢姆节）演变而来。3、March，原是罗马旧历法的1月，新年的开始。凯撒大帝改革历法后，原来的1月变成3月，但罗马人仍然把3月看做是一年的开始。另外，按照传统习惯，3月是每年出征的季节。为了纪念战神玛尔斯，人们便把这位战神的拉丁文名字作为3月的月名。英语3月March，便是由这位战神的名字演变而来的。4、may，罗马神话中的女神玛雅，专门司管春天和生命。为了纪念这位女神 ，罗马人便用她的名字——拉丁文 Maius命名5月，英文5月May便由这位女神的名字演变而来。5、June，罗马神话中的裘诺，是众神之王，又是司管生育和保护妇女的神。古罗马人对她十分崇敬，便把6月奉献给她，以她的名字——拉丁文Junius来命名6月。英语6月June 便由这位女神的名字演变而来。也有学者认为，Junius可能是古代拉丁家庭中的一个显赫贵族的姓氏。

hadoop是google的云计算系统的开源实现，谷歌集群系统主要包括三个部分：分布式文件系统GFS，分布式并行计算模型map/reduce，以及分布式数据库Bigtable，hadoop也实现了这三个，GFS对应HDFS，hadoop的map/reduce对应谷歌的map/reduce模型，Hbase对应Bigtable。也就是map/reduce是谷歌提出的一种云计算模型，hadoop用java开源实现了

客户端（client） 提交MapReduce作业 JobTracker 1.作业调度：将一个作业（Job）分成若干个子任务分发到taskTraker中去执行 2.任务监控：TaskTracker发送心跳给JobTracker报告自己的运行状态，以让JobTracker能够监控到他 3.资源管理：每个任务向JobTracker申请资源 4.监控过程中发现失败或者运行过慢的任务，对他进行重新启动 TaskTracker 主动发送心跳给jobTracker并与JobTracker通信，从而接受到JobTracker发送过来需要执行的任务 资源表示模型 用于描述资源表示形式，Hadoop1.0使用“槽位（slot）”组织各个节点的资源，为了简化资源的管理，Hadoop将各个节点上资源（CPU、内存、网络IO、磁盘IO等等）等量切分成若干份，每一份用“slot”表示，同时规定一个task可根据实际情况需要占用多个”slot”。 简单的说：hadoop1.0将多维度的资源进行了抽象，使用“slot”来表示，从而简化对资源的管理。 资源分配模型 而资源分配模型则决定如何将资源分配给各个作业/任务，在Hadoop中，这一部分由一个插拔式的调度器完成。 更进一步说，slot相当于运行的“许可证”，一个任务只有获得“许可证”后，才能够获得运行的机会，这也意味着，每一个节点上的slot的数量决定了当前节点能够并发执行多少个任务。Hadoop1.0为了区分MapTask跟ReduceTask所使用资源的差异，进一步将slot分为MapSlot跟ReduceSlot，他们分别只能被MapTask跟ReduceTask使用。 Hadoop集群管理员可根据各个节点硬件配置和应用特点为它们分配不同的map slot数（由参数mapred.tasktracker.map.tasks.maximum指定）和reduce slot数（由参数mapred.tasktrackerreduce.tasks.maximum指定） 静态资源配置 。 采用了静态资源设置策略，即每个节点事先配置好可用的slot总数，这些slot数目一旦启动后无法再动态修改。 资源无法共享 。 Hadoop 1.0将slot分为Map slot和Reduce slot两种，且不允许共享。对于一个作业，刚开始运行时，Map slot资源紧缺而Reduce slot空闲，当Map Task全部运行完成后，Reduce slot紧缺而Map slot空闲。很明显，这种区分slot类别的资源管理方案在一定程度上降低了slot的利用率。 资源划分粒度过大 。资源划分粒度过大，往往会造成节点资源利用率过高或者过低 ，比如，管理员事先规划好一个slot代表2GB内存和1个CPU，如果一个应用程序的任务只需要1GB内存，则会产生“资源碎片”，从而降低集群资源的利用率，同样，如果一个应用程序的任务需要3GB内存，则会隐式地抢占其他任务的资源，从而产生资源抢占现象，可能导致集群利用率过高。 没引入有效的资源隔离机制 。Hadoop 1.0仅采用了基于jvm的资源隔离机制，这种方式仍过于粗糙，很多资源，比如CPU，无法进行隔离，这会造成同一个节点上的任务之间干扰严重。 主要是InputFormat。InputFormat类有2个重要的作用： 1）将输入的数据切分为多个逻辑上的InputSplit，其中每一个InputSplit作为一个map的输入。 2）提供一个RecordReader，用于将InputSplit的内容转换为可以作为map输入的k,v键值对。 系统默认的RecordReader是 LineRecordReader ，它是 TextInputFormat (FileInputFormat的子类)对应的RecordReader; Map读入的Key值是偏移量，Value是行内容。 两个Mapper各自输入一块数据，由键值对构成，对它进行加工（加上了个字符n），然后按加工后的数据的键进行分组，相同的键到相同的机器。这样的话，第一台机器分到了键nk1和nk3，第二台机器分到了键nk2。 接下来再在这些Reducers上执行聚合操作（这里执行的是是count），输出就是nk1出现了2次，nk3出现了1次，nk2出现了3次。从全局上来看，MapReduce就是一个分布式的GroupBy的过程。 从上图可以看到，Global Shuffle左边，两台机器执行的是Map。Global Shuffle右边，两台机器执行的是Reduce。 Hadoop会将输入数据划分成等长的数据块，成为数据分片。Hadoop会为每个分片构建一个map任务。并行的处理分片时间肯定会少于处理整个大数据块的时间，但由于各个节点性能及作业运行情况的不同，每个分片的处理时间可能不一样，因此， 把数据分片切分的更细可以得到更好的负载均衡 。 但另一方面，分片太小的话，管理分片和构建map任务的时间将会增多。因此，需要在hadoop分片大小和处理分片时间之间做一个权衡。对大多数作业来说，一个分片大小为64MB比较合适，其实，Hadoop的默认块大小也是64MB。 我们上面看到了hadoop的数据块大小与最佳分片大小相同，这样的话，数据分片就不容易跨数据块存储，因此，一个map任务的输入分片便可以直接读取本地数据块，这就 避免了再从其它节点读取分片数据 ，从而节省了网络开销。 map的任务输出是 写入到本地磁盘而非HDFS的 。那么为什么呢？因为map任务输出的是中间结果，一旦map任务完成即会被删除，如果把它存入HDFS中并实现备份容错，未免有点大题小做。如果一个map任务失败，hadoop会再另一个节点重启map一个map任务。 而reduce任务并不具备数据本地化优势——单个reduce任务的输入通常来自所有mapper输出。一般排序过的map输出需要通过 网络传输 发送到运行reduce任务的节点，并在reduce端进行合并。reduce的输出通常需要存储到HDFS中以实现可靠存储。每个reduce输出HDFS块第一个复本会存储在本地节点，而其它复本则存储到其它节点，因此reduce输出也需要占用网络带宽。 1.调整reduce个数方法（1） （1）每个Reduce处理的数据量默认是256MB （2）每个任务最大的reduce数，默认为1009 （3）计算reducer数的公式 2.调整reduce个数方法（2） 在hadoop的mapred-default.xml文件中修改，设置每个job的Reduce个数 3.reduce个数并不是越多越好 （1）过多的启动和初始化reduce也会消耗时间和资源； （2）另外，有多少个reduce，就会有多少个输出文件，如果产生了很多个小文件，那么如果这些小文件作为下一个任务的输入，则也会出现小文件过多的问题； 在设置reduce个数的时候也需要考虑这两个原则：处理大数据利用适合的reduce数；使单个reduce任务处理数据大小要合适； 在进行map计算之前，mapreduce会根据输入文件计算输入分片（input split），每个输入分片（input split）针对一个map任务，输入分片（input split）存储的并非数据本身，而是一个分片长度和一个记录数据的位置的数组，输入分片（input split）往往和hdfs的block（块）关系很密切，我们没有设置分片的范围的时候，分片大小是由block块大小决定的，和它的大小一样。 比如把一个258MB的文件上传到HDFS上，假设block块大小是128MB，那么它就会被分成三个block块，与之对应产生三个split，所以最终会产生三个map task。我又发现了另一个问题，第三个block块里存的文件大小只有2MB，而它的block块大小是128MB，那它实际占用Linux file system的多大空间？答案是实际的文件大小，而非一个块的大小。最后一个问题是： 如果hdfs占用Linux file system的磁盘空间按实际文件大小算，那么这个”块大小“有必要存在吗？其实块大小还是必要的，一个显而易见的作用就是当文件通过append操作不断增长的过程中，可以通过来block size决定何时split文件。 1．每个输入分片会让一个map任务来处理，map输出的结果会暂且放在一个环形内存缓冲区中（该缓冲区的大小默认为100M，由io.sort.mb属性控制），当该缓冲区快要溢出时（默认为缓冲区大小的80%，由io.sort.spill.percent属性控制），会在本地文件系统中创建一个溢出文件，将该缓冲区中的数据写入这个文件。 2．在写入磁盘之前，线程首先根据reduce任务的数目将数据划分为相同数目的分区，也就是一个reduce任务对应一个分区的数据。这样做是为了避免有些reduce任务分配到大量数据，而有些reduce任务却分到很少数据，甚至没有分到数据的尴尬局面。其实分区就是对数据进行hash的过程。然后对每个分区中的数据进行 排序 ，如果此时设置了Combiner，将排序后的结果进行Combiner操作，主要是在map计算出中间文件前做一个简单的合并重复key值的操作，这样做的目的是让尽可能少的数据写入到磁盘。 3．当map任务输出最后一个记录时，可能会有很多的溢出文件，这时需要将这些文件合并。合并的过程中会不断地进行排序和Combiner操作，目的有两个：1.尽量减少每次写入磁盘的数据量；2.尽量减少下一复制阶段网络传输的数据量。最后合并成了一个 已分区且已排序 的文件。为了减少网络传输的数据量，这里可以将数据压缩，只要将mapred.compress.map.out设置为true就可以了。 4．将分区中的数据 拷贝 （网络传输）给相对应的reduce任务。有人可能会问：分区中的数据怎么知道它对应的reduce是哪个呢？其实map任务一直和其父TaskTracker保持联系，而TaskTracker又一直和JobTracker保持心跳。所以JobTracker中保存了整个集群中的宏观信息。只要reduce任务向JobTracker获取对应的map输出位置就ok了哦。 Reduce端： 1．Reduce会接收到不同map任务传来的数据，并且每个map传来的数据都是有序的。如果reduce端接受的数据量相当小，则直接存储在内存中（缓冲区大小由mapred.job.shuffle.input.buffer.percent属性控制，表示用作此用途的堆空间的百分比），如果数据量超过了该缓冲区大小的一定比例（由mapred.job.shuffle.merge.percent决定），则对 数据合并 后 溢写 到磁盘中。 2．随着溢写文件的增多，后台线程会将它们合并成一个更大的有序的文件，这样做是为了给后面的合并节省时间。其实不管在map端还是reduce端，MapReduce都是反复地执行排序，合并操作，现在终于明白了有些人为什么会说：排序是hadoop的灵魂。 3．合并的过程中会产生许多的中间文件（写入磁盘了），但MapReduce会让写入磁盘的数据尽可能地少，并且 最后一次合并的结果 并没有写入磁盘，而是直接输入到reduce函数。 Read阶段 ：MapTask通过用户编写的RecordReader，从输入InputSplit中解析出一个个key/value Map阶段 ：该节点主要是将解析出的key/value交给用户编写map()函数处理，并产生一系列新的key/value。 Collect收集阶段 ：在用户编写map()函数中，当数据处理完成后，一般会调用OutputCollection.collect()输出结果。在该函数内部，它会将生成的 key/value分区 （调用Partitioner），并写入一个环形内存缓冲区中。 Spill阶段 ：即“溢写”，当环形缓冲区满后，MapReduce会将数据写入本地磁盘上，生成一个临时文件。需要注意的是，将数据写入本地磁盘之前，先要对数据进行一次本地 排序 ，并在必要时对数据进行 combiner 、 压缩 等操作。 溢写阶段详情： 合并阶段 ：当所有数据处理完成后，MapTask对所有临时文件进行一次合并，以确保最终只会生成一个数据文件。在进行文件合并过程中，MapTask以分区为单位进行合并。对于某个分区，它将采用多轮递归合并的方式。每轮合并io.sort.factor（默认100）个文件，并将产生的文件重新加入待合并列表中，对文件排序后，重复以上过程，直到最终得到一个大文件。让一个MapTask最终只生成一个数据文件，可避免同时打开大量文件和同时读取大量小文件产生的随机读取带来的开销。

这函数实际是完成AFIO->MAPR寄存器的配置，我就是嫌这代码写的太烦了，所以直接对寄存器进行操作。比如将串口2重映射时，就是：AFIO->MAPR|=GPIO_Remap_USART2;要取消重映射，就是：AFIO->MAPR&=~GPIO_Remap_USART2;GPIO_Remap_USART2在stm32f10x_GPIO.h中是有定义的，AFIO->MAPR寄存器各个位的定义在参考手册中有详细描述。

caprini评分是一个评估术后VTE风险的模型。在APP里有应用可以下载。一起研究下ACCP的指南。

A，需要一个动词，has是第三人称单数，这里不是。will不是动词，是表示将来时的一个词，后面要有个have，就是更好的选项了。

这个节点是maya材质节点中的Rgb to Hsv节点

vitapro是vitavp唯它牌子电子烟。vitapro是vitavp唯它牌子电子烟，材质为氧化铝，是一款一次性的电子烟设备。电子烟是一种模仿卷烟的电子产品，有着与卷烟一样的外观、烟雾、味道和感觉，它是一种以可充电锂聚合物电池供电驱动雾化器。

say a prayer说一个祈祷做个祷告双语例句1They knew their kids would say a prayer at night before they left.他们知道，在自己去矿上之前，孩子会在夜晚祈祷。2Take some time to say a prayer and “ have a talk with God ”.花点时间做个祷告，和上帝好好谈谈吧。3Read a poem or say a prayer. Or just rest your brain.读一首诗或是祷告，哪怕只是让大脑休息一下。

PaulaPrettaPaulaPretta是一名演员，代表作品有《幸福在哪里?》、《世界上最好的东西》等。外文名：PaulaPretta职业：演员代表作品：《幸福在哪里?》合作人物：CarlosAlbertoRiccelli

列奥纳多.达.芬奇于1452年四月15日在意大利出生。他是现在最为闻名的画家。他的名作之一称为蒙娜丽莎。然而，列奥纳多还有很多其他的天生的能力。他也是一位伟大的发明家。他有许多发明已经成为了现代生活中重要的一部分。虽然列奥纳多恨恶战争，他还是发明了很多不同的机械，最后被用于战争。他最特别的一个发明是机械枪，这也在很多年之后被生产出来用于战争。通过观察鸟儿飞翔的方式，列奥纳多成功地解开了飞行之谜。从他的素描中我们可以看到几个物品。我们认为那是现代飞行器。列奥纳多可以花很长时间来思考如何充分利用时间。他拓展了自己的一些想法，想出一些劳力节省机械，比如切割机。列奥纳多是个很奇怪的人。他不吃肉，这在当时是很不寻常的。他从不发表他的点子和科学发现。他通常倒着写作，看起来就像是在一面镜子里写作，就是从一页的最右边开始写，一直写到左边。今天的我们只拥有他作品很少的一部分。列奥纳多只完成了一些画作。他留下了许多未完成的作品，因为他觉得它们不够完美。在他的一生中，没有人知道他究竟有多伟大。但我们现在坚信，他是就我们所知有史以来世界上最聪明的人之一。

Wells 评分法。Wells评分量表是加拿大学者Wells于1995年提出DVT的评分量表。深静脉血栓的临床症状和体征(3.0 分)、 临床提示肺栓塞可能性大于其他疾病(3.0 分)、 既往静脉血栓栓塞症病史(1.5 分)、 咯血(1.0 分)。在Caprini评分中只纳入6个危险因素（年龄≥50岁，高血压，静脉曲张，手术时间≥3h，术后卧床时间≥48h，开腹手术），每个危险因素赋值1分。临床分级：低危0分，中危1分，高危2分，极高危≥3分。极大的提高了使用的便利性和客观性。

PamelaPratiPamelaPrati是一名演员，代表作品有《回阳寻方》、《魔女》等。外文名：PamelaPrati职业：演员代表作品：《回阳寻方》合作人物：MicheleGuaglieri

part-r-0000这个文件时存放在hdfs上的，并非本地文件系统，所以你当然找不到了，你只能通过hdfs的命令查看，或者使用插件。hdfs的文件虽然底层也是存放在本地文件系统的，但是你是没法显式查看的，跟数据库一样的。

分析在MongoDB中正成为越来越重要的话题，因为它在越来越多的大型项目中使用。人们厌倦了使用不同的软件来做分析（包括Hadoop），分析在MongoDB中正成为越来越重要的话题，因为它在越来越多的大型项目中使用。人们厌倦了使用不同的软件来做分析（包括Hadoop），它们显然需要传输大量开销的数据。MongoDB提供了两种内置分析数据的方法：Map Reduce和Aggregation框架。MR非常灵活，很容易部署。它通过分区工作良好，，并允许大量输出。MR在MongoDB v2.4中，通过使用JavaScript引擎把Spider Monkey替换成V8,性能提升很多。老板抱怨它太慢了，尤其是和Agg框架（使用C++）相比。让我们看看能否从中榨出点果汁。练习让我们插入1千万条文档，每个文档包含一个从0到1000000的整数。这意味着平均有10个文档会具有相同的值。> for (var i = 0; i < 10000000; ++i){ db.uniques.insert({ dim0: Math.floor(Math.random()*1000000) });}> db.uniques.findOne(){ "_id" : ObjectId("51d3c386acd412e22c188dec"), "dim0" : 570859 }> db.uniques.ensureIndex({dim0: 1})> db.uniques.stats(){ "ns" : "test.uniques", "count" : 10000000, "size" : 360000052, "avgObjSize" : 36.0000052, "storageSize" : 582864896, "numExtents" : 18, "nindexes" : 2, "lastExtentSize" : 153874432, "paddingFactor" : 1, "systemFlags" : 1, "userFlags" : 0, "totalIndexSize" : 576040080, "indexSizes" : { "_id_" : 324456384, "dim0_1" : 251583696 }, "ok" : 1}从这其中，我们想要计算出现的不同值的个数。可以用下列MR任务轻松完成这个工作: > db.runCommand({ mapreduce: "uniques", map: function () { emit(this.dim0, 1); }, reduce: function (key, values) { return Array.sum(values); }, out: "mrout" }){ "result" : "mrout", "timeMillis" : 1161960, "counts" : { "input" : 10000000, "emit" : 10000000, "reduce" : 1059138, "output" : 999961 }, "ok" : 1}正如你在输出内容中看到的，这耗费了大概1200秒(在EC2 M3实例上进行的测试)。有1千万个map，1百万个reduce，输出了999961个文档。结果就像下面这样: > db.mrout.find(){ "_id" : 1, "value" : 10 }{ "_id" : 2, "value" : 5 }{ "_id" : 3, "value" : 6 }{ "_id" : 4, "value" : 10 }{ "_id" : 5, "value" : 9 }{ "_id" : 6, "value" : 12 }{ "_id" : 7, "value" : 5 }{ "_id" : 8, "value" : 16 }{ "_id" : 9, "value" : 10 }{ "_id" : 10, "value" : 13 }...更多详情见请继续阅读下一页的精彩内容： MongoDB 的详细介绍：请点这里MongoDB 的下载地址：请点这里推荐阅读：Java实现MongoDB中自增长字段 CentOS编译安装MongoDB CentOS 编译安装 MongoDB与mongoDB的php扩展 CentOS 6 使用 yum 安装MongoDB及服务器端配置 Ubuntu 13.04下安装MongoDB2.4.3 如何在MongoDB中建立新数据库和集合 MongoDB入门必读(概念与实战并重) 《MongoDB 权威指南》(MongoDB: The Definitive Guide)英文文字版[PDF]

是一个开源的框架，可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。

　　一、 首先要知道此前提 转载　　若在windows的Eclipse工程中直接启动mapreduc程序，需要先把hadoop集群的配置目录下的xml都拷贝到src目录下，让程序自动读取集群的地址后去进行分布式运行(您也可以自己写java代码去设置job的configuration属性)。　　若不拷贝，工程中bin目录没有完整的xml配置文件，则windows执行的mapreduce程序全部通过本机的jvm执行，作业名也是带有“local"字眼的作业，如 job_local2062122004_0001。 这不是真正的分布式运行mapreduce程序。　　估计得研究org.apache.hadoop.conf.Configuration的源码，反正xml配置文件会影响执行mapreduce使用的文件系统是本机的windows文件系统还是远程的hdfs系统; 还有影响执行mapreduce的mapper和reducer的是本机的jvm还是集群里面机器的jvm　　二、 本文的结论　　第一点就是： windows上执行mapreduce，必须打jar包到所有slave节点才能正确分布式运行mapreduce程序。（我有个需求是要windows上触发一个mapreduce分布式运行）　　第二点就是： Linux上，只需拷贝jar文件到集群master上,执行命令hadoop jarPackage.jar MainClassName即可分布式运行mapreduce程序。　　第三点就是： 推荐使用附一，实现了自动打jar包并上传，分布式执行的mapreduce程序。　　附一、 推荐使用此方法：实现了自动打jar包并上传，分布式执行的mapreduce程序：　　请先参考博文五篇：　　Hadoop作业提交分析（一）~~（五）　　引用博文的附件中EJob.java到你的工程中，然后main中添加如下方法和代码。　　public static File createPack() throws IOException {　　File jarFile = EJob.createTempJar("bin");　　ClassLoader classLoader = EJob.getClassLoader();　　Thread.currentThread().setContextClassLoader(classLoader);　　return jarFile;　　}　　在作业启动代码中使用打包：　　Job job = Job.getInstance(conf, "testAnaAction");　　添加：　　String jarPath = createPack().getPath();　　job.setJar(jarPath);　　即可实现直接run as java application 在windows跑分布式的mapreduce程序，不用手工上传jar文件。　　附二、得出结论的测试过程　　（未有空看书，只能通过愚笨的测试方法得出结论了）　　一. 直接通过windows上Eclipse右击main程序的java文件，然后"run as application"或选择hadoop插件"run on hadoop"来触发执行MapReduce程序的测试。　　1，如果不打jar包到进集群任意linux机器上，它报错如下：　　[work] 2012-06-25 15:42:47,360 - org.apache.hadoop.mapreduce.Job -10244 [main] INFO org.apache.hadoop.mapreduce.Job - map 0% reduce 0%　　[work] 2012-06-25 15:42:52,223 - org.apache.hadoop.mapreduce.Job -15107 [main] INFO org.apache.hadoop.mapreduce.Job - Task Id : attempt_1403517983686_0056_m_000000_0, Status : FAILED　　Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class bookCount.BookCount$BookCountMapper not found　　at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:1720)　　at org.apache.hadoop.mapreduce.task.JobContextImpl.getMapperClass(JobContextImpl.java:186)　　at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:721)　　at org.apache.hadoop.mapred.MapTask.run(MapTask.java:339)　　at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:162)　　at java.security.AccessController.doPrivileged(Native Method)　　at javax.security.auth.Subject.doAs(Subject.java:415)　　at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)　　at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:157)　　Caused by: java.lang.ClassNotFoundException: Class bookCount.BookCount$BookCountMapper not found　　at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:1626)　　at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:1718)　　... 8 more　　# Error:后重复三次　　2012-06-25 15:44:53,234 - org.apache.hadoop.mapreduce.Job -37813 [main] INFO org.apache.hadoop.mapreduce.Job - map 100% reduce 100%　　现象就是：报错，无进度，无运行结果。　　　　2，拷贝jar包到“只是”集群master的$HADOOP_HOME/share/hadoop/mapreduce/目录上，直接通过windows的eclipse "run as application"和通过hadoop插件"run on hadoop"来触发执行，它报错同上。　　现象就是：报错，无进度，无运行结果。　　3，拷贝jar包到集群某些slave的$HADOOP_HOME/share/hadoop/mapreduce/目录上，直接通过windows的eclipse "run as application"和通过hadoop插件"run on hadoop"来触发执行　　和报错：　　Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class bookCount.BookCount$BookCountMapper not found　　at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:1720)　　at org.apache.hadoop.mapreduce.task.JobContextImpl.getMapperClass(JobContextImpl.java:186)　　和报错：　　Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class bookCount.BookCount$BookCountReducer not found　　　　现象就是：有报错，但仍然有进度，有运行结果。　　4，拷贝jar包到集群所有slave的$HADOOP_HOME/share/hadoop/mapreduce/目录上，直接通过windows的eclipse "run as application"和通过hadoop插件"run on hadoop"来触发执行：　　现象就是：无报错，有进度，有运行结果。　　第一点结论就是： windows上执行mapreduce，必须打jar包到所有slave节点才能正确分布式运行mapreduce程序。　　二 在Linux上的通过以下命令触发MapReduce程序的测试。　　hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/bookCount.jar bookCount.BookCount　　　　1，只拷贝到master，在master上执行。　　现象就是：无报错，有进度，有运行结果。　　2，拷贝随便一个slave节点,在slave上执行。　　现象就是：无报错，有进度，有运行结果。　　但某些节点上运行会报错如下，且运行结果。：　　14/06/25 16:44:02 INFO mapreduce.JobSubmitter: Cleaning up the staging area /tmp/hadoop-yarn/staging/hduser/.staging/job_1403517983686_0071　　Exception in thread "main" java.lang.NoSuchFieldError: DEFAULT_MAPREDUCE_APPLICATION_CLASSPATH　　at org.apache.hadoop.mapreduce.v2.util.MRApps.setMRFrameworkClasspath(MRApps.java:157)　　at org.apache.hadoop.mapreduce.v2.util.MRApps.setClasspath(MRApps.java:198)　　at org.apache.hadoop.mapred.YARNRunner.createApplicationSubmissionContext(YARNRunner.java:443)　　at org.apache.hadoop.mapred.YARNRunner.submitJob(YARNRunner.java:283)　　at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:415)　　at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1268)　　at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1265)　　at java.security.AccessController.doPrivileged(Native Method)　　at javax.security.auth.Subject.doAs(Subject.java:415)　　at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)　　at org.apache.hadoop.mapreduce.Job.submit(Job.java:1265)　　at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1286)　　at com.etrans.anaSpeed.AnaActionMr.run(AnaActionMr.java:207)　　at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)　　at com.etrans.anaSpeed.AnaActionMr.main(AnaActionMr.java:44)　　at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)　　at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)　　at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)　　at java.lang.reflect.Method.invoke(Method.java:606)　　at org.apache.hadoop.util.RunJar.main(RunJar.java:212)　　第二点结论就是： Linux上，只需拷贝jar文件到集群master上,执行命令hadoop jarPackage.jar MainClassName即可分布式运行mapreduce程序。

MapReduce极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。MapReduce保证结果文件中key的唯一性的方法为：1、打开Hadoop集群，打开主机master的终端，输入【ifconfig】命令查看主机IP地址。2、使用SecureCRT软件连接到Hadoop集群的主机。3、首先进入到hadoop目录下的bin目录下，因为要将代码文件上传到这个目录下，所以先要打开这个目录，然后输入【rz】命令准备上传代码文件。4、选中已经写好的两个代码文件，然后点击【添加】，然后点击【确定】开始文件的上传。5、在软件中观察上传进度，上传成功之后就是下图中的显示。6、运行结果如下图。注意事项：MapReduce借助于函数式程序设计语言Lisp的设计思想，提供了一种简便的并行程序设计方法，用Map和Reduce两个函数编程实现基本的并行计算任务，提供了抽象的操作和并行编程接口，以简单方便地完成大规模数据的编程和计算处理。

大数据的时代， 到处张嘴闭嘴都是Hadoop, MapReduce, 不跟上时代怎么行？ 可是对一个hadoop的新手， 写一个属于自己的MapReduce程序还是小有点难度的， 需要建立一个maven项目， 还要搞清楚各种库的依赖， 再加上编译运行， 基本上头大两圈了吧。 这也使得很多只是想简单了解一下MapReduce的人望而却步。　　本文会教你如何用最快最简单的方法编写和运行一个属于自己的MapReduce程序， let"s go!　　首先有两个前提：　　1. 有一个已经可以运行的hadoop 集群（也可以是伪分布系统)， 上面的hdfs和mapreduce工作正常 （这个真的是最基本的了， 不再累述， 不会的请参考 http://hadoop.apache.org/docs/current/)　　2. 集群上安装了JDK (编译运行时会用到）　　正式开始　　1. 首先登入hadoop 集群里面的一个节点， 创建一个java源文件， 偷懒起见， 基本盗用官方的word count (因为本文的目的是教会你如何快编写和运行一个MapReduce程序， 而不是如何写好一个功能齐全的MapReduce程序）　　内容如下：　　import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.mapreduce.Reducer;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import org.apache.hadoop.util.GenericOptionsParser;public class myword { public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>{ private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Context context ) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); } } } public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<IntWritable> values, Context context ) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); if (otherArgs.length != 2) { System.err.println("Usage: wordcount <in> <out>"); System.exit(2); } Job job = new Job(conf, "word count"); job.setJarByClass(myword.class); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(IntSumReducer.class); job.setReducerClass(IntSumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(otherArgs[0])); FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); }}　　与官方版本相比， 主要做了两处修改　　1） 为了简单起见，去掉了开头的 package org.apache.hadoop.examples;　　2） 将类名从 WordCount 改为 myword, 以体现是我们自己的工作成果 :)　　2. 拿到hadoop 运行的class path, 主要为编译所用　　运行命令　　hadoop classpath　　保存打出的结果，本文用的hadoop 版本是Pivotal 公司的Pivotal hadoop, 例子：　　/etc/gphd/hadoop/conf:/usr/lib/gphd/hadoop/lib/*:/usr/lib/gphd/hadoop/.//*:/usr/lib/gphd/hadoop-hdfs/./:/usr/lib/gphd/hadoop-hdfs/lib/*:/usr/lib/gphd/hadoop-hdfs/.//*:/usr/lib/gphd/hadoop-yarn/lib/*:/usr/lib/gphd/hadoop-yarn/.//*:/usr/lib/gphd/hadoop-mapreduce/lib/*:/usr/lib/gphd/hadoop-mapreduce/.//*::/etc/gphd/pxf/conf::/usr/lib/gphd/pxf/pxf-core.jar:/usr/lib/gphd/pxf/pxf-api.jar:/usr/lib/gphd/publicstage:/usr/lib/gphd/gfxd/lib/gemfirexd.jar::/usr/lib/gphd/zookeeper/zookeeper.jar:/usr/lib/gphd/hbase/lib/hbase-common.jar:/usr/lib/gphd/hbase/lib/hbase-protocol.jar:/usr/lib/gphd/hbase/lib/hbase-client.jar:/usr/lib/gphd/hbase/lib/hbase-thrift.jar:/usr/lib/gphd/hbase/lib/htrace-core-2.01.jar:/etc/gphd/hbase/conf::/usr/lib/gphd/hive/lib/hive-service.jar:/usr/lib/gphd/hive/lib/libthrift-0.9.0.jar:/usr/lib/gphd/hive/lib/hive-metastore.jar:/usr/lib/gphd/hive/lib/libfb303-0.9.0.jar:/usr/lib/gphd/hive/lib/hive-common.jar:/usr/lib/gphd/hive/lib/hive-exec.jar:/usr/lib/gphd/hive/lib/postgresql-jdbc.jar:/etc/gphd/hive/conf::/usr/lib/gphd/sm-plugins/*:　　3. 编译　　运行命令　　javac -classpath xxx ./myword.java　　xxx部分就是上一步里面取到的class path　　运行完此命令后， 当前目录下会生成一些.class 文件， 例如：　　myword.class myword$IntSumReducer.class myword$TokenizerMapper.class　　4. 将class文件打包成.jar文件　　运行命令　　jar -cvf myword.jar ./*.class　　至此, 目标jar 文件成功生成　　5. 准备一些文本文件， 上传到hdfs, 以做word count的input　　例子：　　随意创建一些文本文件， 保存到mapred_test 文件夹　　运行命令　　hadoop fs -put ./mapred_test/　　确保此文件夹成功上传到hdfs 当前用户根目录下　　6. 运行我们的程序　　运行命令　　hadoop jar ./myword.jar myword mapred_test output　　顺利的话， 此命令会正常进行， 一个MapReduce job 会开始工作， 输出的结果会保存在 hdfs 当前用户根目录下的output 文件夹里面。　　至此大功告成！　　如果还需要更多的功能， 我们可以修改前面的源文件以达到一个真正有用的MapReduce job。　　但是原理大同小异， 练手的话， 基本够了。　　一个抛砖引玉的简单例子， 欢迎板砖。

　　大数据的时代， 到处张嘴闭嘴都是Hadoop, MapReduce, 不跟上时代怎么行？ 可是对一个hadoop的新手， 写一个属于自己的MapReduce程序还是小有点难度的， 需要建立一个maven项目， 还要搞清楚各种库的依赖， 再加上编译运行， 基本上头大两圈了吧。 这也使得很多只是想简单了解一下MapReduce的人望而却步。　　本文会教你如何用最快最简单的方法编写和运行一个属于自己的MapReduce程序， let"s go!　　首先有两个前提：　　1. 有一个已经可以运行的hadoop 集群（也可以是伪分布系统)， 上面的hdfs和mapreduce工作正常 （这个真的是最基本的了， 不再累述， 不会的请参考 http://hadoop.apache.org/docs/current/)　　2. 集群上安装了JDK (编译运行时会用到）　　正式开始　　1. 首先登入hadoop 集群里面的一个节点， 创建一个java源文件， 偷懒起见， 基本盗用官方的word count (因为本文的目的是教会你如何快编写和运行一个MapReduce程序， 而不是如何写好一个功能齐全的MapReduce程序）　　内容如下：　　view sourceprint?　　01.import java.io.IOException;　　02.import java.util.StringTokenizer;　　03.　　04.import org.apache.hadoop.conf.Configuration;　　05.import org.apache.hadoop.fs.Path;　　06.import org.apache.hadoop.io.IntWritable;　　07.import org.apache.hadoop.io.Text;　　08.import org.apache.hadoop.mapreduce.Job;　　09.import org.apache.hadoop.mapreduce.Mapper;　　10.import org.apache.hadoop.mapreduce.Reducer;　　11.import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;　　12.import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;　　13.import org.apache.hadoop.util.GenericOptionsParser;　　14.　　15.public class my<a href="http://www.it165.net/edu/ebg/" target="_blank" class="keylink">word</a> {　　16.　　17.public static class TokenizerMapper　　18.extends Mapper<Object, Text, Text, IntWritable>{　　19.　　20.private final static IntWritable one = new IntWritable(1);　　21.private Text word = new Text();　　22.　　23.public void map(Object key, Text value, Context context　　24.) throws IOException, InterruptedException {　　25.StringTokenizer itr = new StringTokenizer(value.toString());　　26.while (itr.hasMoreTokens()) {　　27.word.set(itr.nextToken());　　28.context.write(word, one);　　29.}　　30.}　　31.}　　32.　　33.public static class IntSumReducer　　34.extends Reducer<Text,IntWritable,Text,IntWritable> {　　35.private IntWritable result = new IntWritable();　　36.　　37.public void reduce(Text key, Iterable<IntWritable> values,　　38.Context context　　39.) throws IOException, InterruptedException {　　40.int sum = 0;　　41.for (IntWritable val : values) {　　42.sum += val.get();　　43.}　　44.result.set(sum);　　45.context.write(key, result);　　46.}　　47.}　　48.　　49.public static void main(String[] args) throws Exception {　　50.Configuration conf = new Configuration();　　51.String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();　　52.if (otherArgs.length != 2) {　　53.System.err.println("Usage: wordcount <in> <out>");　　54.System.exit(2);　　55.}　　56.Job job = new Job(conf, "word count");　　57.job.setJarByClass(myword.class);　　58.job.setMapperClass(TokenizerMapper.class);　　59.job.setCombinerClass(IntSumReducer.class);　　60.job.setReducerClass(IntSumReducer.class);　　61.job.setOutputKeyClass(Text.class);　　62.job.setOutputValueClass(IntWritable.class);　　63.FileInputFormat.addInputPath(job, new Path(otherArgs[0]));　　64.FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));　　65.System.exit(job.waitForCompletion(true) ? 0 : 1);　　66.}　　67.}　　与官方版本相比， 主要做了两处修改　　1） 为了简单起见，去掉了开头的 package org.apache.hadoop.examples;　　2） 将类名从 WordCount 改为 myword, 以体现是我们自己的工作成果 :)　　2. 拿到hadoop 运行的class path, 主要为编译所用　　运行命令　　view sourceprint?　　1.hadoop classpath　　保存打出的结果，本文用的hadoop 版本是Pivotal 公司的Pivotal hadoop, 例子：　　view sourceprint?　　1./etc/gphd/hadoop/conf:/usr/lib/gphd/hadoop/lib/*:/usr/lib/gphd/hadoop/.//*:/usr/lib/gphd/hadoop-hdfs/./:/usr/lib/gphd/hadoop-hdfs/lib/*:/usr/lib/gphd/hadoop-hdfs/.//*:/usr/lib/gphd/hadoop-yarn/lib/*:/usr/lib/gphd/hadoop-yarn/.//*:/usr/lib/gphd/hadoop-mapreduce/lib/*:/usr/lib/gphd/hadoop-mapreduce/.//*::/etc/gphd/pxf/conf::/usr/lib/gphd/pxf/pxf-core.jar:/usr/lib/gphd/pxf/pxf-api.jar:/usr/lib/gphd/publicstage:/usr/lib/gphd/gfxd/lib/gemfirexd.jar::/usr/lib/gphd/zookeeper/zookeeper.jar:/usr/lib/gphd/hbase/lib/hbase-common.jar:/usr/lib/gphd/hbase/lib/hbase-protocol.jar:/usr/lib/gphd/hbase/lib/hbase-client.jar:/usr/lib/gphd/hbase/lib/hbase-thrift.jar:/usr/lib/gphd/hbase/lib/htrace-core-2.01.jar:/etc/gphd/hbase/conf::/usr/lib/gphd/hive/lib/hive-service.jar:/usr/lib/gphd/hive/lib/libthrift-0.9.0.jar:/usr/lib/gphd/hive/lib/hive-metastore.jar:/usr/lib/gphd/hive/lib/libfb303-0.9.0.jar:/usr/lib/gphd/hive/lib/hive-common.jar:/usr/lib/gphd/hive/lib/hive-exec.jar:/usr/lib/gphd/hive/lib/postgresql-jdbc.jar:/etc/gphd/hive/conf::/usr/lib/gphd/sm-plugins/*:　　3. 编译　　运行命令　　view sourceprint?　　1.javac -classpath xxx ./myword.java　　xxx部分就是上一步里面取到的class path　　运行完此命令后， 当前目录下会生成一些.class 文件， 例如：　　myword.class myword$IntSumReducer.class myword$TokenizerMapper.class　　4. 将class文件打包成.jar文件　　运行命令　　view sourceprint?　　1.jar -cvf myword.jar ./*.class　　至此, 目标jar 文件成功生成　　5. 准备一些文本文件， 上传到hdfs, 以做word count的input　　例子：　　随意创建一些文本文件， 保存到mapred_test 文件夹　　运行命令　　view sourceprint?　　1.hadoop fs -put ./mapred_test/　　确保此文件夹成功上传到hdfs 当前用户根目录下　　6. 运行我们的程序　　运行命令　　view sourceprint?　　1.hadoop jar ./myword.jar myword mapred_test output　　顺利的话， 此命令会正常进行， 一个MapReduce job 会开始工作， 输出的结果会保存在 hdfs 当前用户根目录下的output 文件夹里面。　　至此大功告成！　　如果还需要更多的功能， 我们可以修改前面的源文件以达到一个真正有用的MapReduce job。　　但是原理大同小异， 练手的话， 基本够了。　　一个抛砖引玉的简单例子， 欢迎板砖。

什么是Map/Reduce，看下面的各种解释：　　(1)MapReduce是hadoop的核心组件之一，hadoop要分布式包括两部分，一是分布式文件系统hdfs,一部是分布式计算框，就是mapreduce,缺一不可，也就是说，可以通过mapreduce很容易在hadoop平台上进行分布式的计算编程。　　(2)Mapreduce是一种编程模型，是一种编程方法，抽象理论。　　(3)下面是一个关于一个程序员是如何个妻子讲解什么是MapReduce？文章很长请耐心的看。　　我问妻子：“你真的想要弄懂什么是MapReduce？” 她很坚定的回答说“是的”。 因此我问道：　　我： 你是如何准备洋葱辣椒酱的？（以下并非准确食谱，请勿在家尝试）　　妻子： 我会取一个洋葱，把它切碎，然后拌入盐和水，最后放进混合研磨机里研磨。这样就能得到洋葱辣椒酱了。　　妻子： 但这和MapReduce有什么关系？　　我： 你等一下。让我来编一个完整的情节，这样你肯定可以在15分钟内弄懂MapReduce.　　妻子： 好吧。　　我：现在，假设你想用薄荷、洋葱、番茄、辣椒、大蒜弄一瓶混合辣椒酱。你会怎么做呢？　　妻子： 我会取薄荷叶一撮，洋葱一个，番茄一个，辣椒一根，大蒜一根，切碎后加入适量的盐和水，再放入混合研磨机里研磨，这样你就可以得到一瓶混合辣椒酱了。　　我： 没错，让我们把MapReduce的概念应用到食谱上。Map和Reduce其实是两种操作，我来给你详细讲解下。　　Map（映射）: 把洋葱、番茄、辣椒和大蒜切碎，是各自作用在这些物体上的一个Map操作。所以你给Map一个洋葱，Map就会把洋葱切碎。 同样的，你把辣椒，大蒜和番茄一一地拿给Map，你也会得到各种碎块。 所以，当你在切像洋葱这样的蔬菜时，你执行就是一个Map操作。 Map操作适用于每一种蔬菜，它会相应地生产出一种或多种碎块，在我们的例子中生产的是蔬菜块。在Map操作中可能会出现有个洋葱坏掉了的情况，你只要把坏洋葱丢了就行了。所以，如果出现坏洋葱了，Map操作就会过滤掉坏洋葱而不会生产出任何的坏洋葱块。　　Reduce（化简）:在这一阶段，你将各种蔬菜碎都放入研磨机里进行研磨，你就可以得到一瓶辣椒酱了。这意味要制成一瓶辣椒酱，你得研磨所有的原料。因此，研磨机通常将map操作的蔬菜碎聚集在了一起。　　妻子： 所以，这就是MapReduce?　　我： 你可以说是，也可以说不是。 其实这只是MapReduce的一部分，MapReduce的强大在于分布式计算。　　妻子： 分布式计算？ 那是什么？请给我解释下吧。　　我： 没问题。　　我： 假设你参加了一个辣椒酱比赛并且你的食谱赢得了最佳辣椒酱奖。得奖之后，辣椒酱食谱大受欢迎，于是你想要开始出售自制品牌的辣椒酱。假设你每天需要生产10000瓶辣椒酱，你会怎么办呢？　　妻子： 我会找一个能为我大量提供原料的供应商。　　我：是的..就是那样的。那你能否独自完成制作呢？也就是说，独自将原料都切碎？ 仅仅一部研磨机又是否能满足需要？而且现在，我们还需要供应不同种类的辣椒酱，像洋葱辣椒酱、青椒辣椒酱、番茄辣椒酱等等。　　妻子： 当然不能了，我会雇佣更多的工人来切蔬菜。我还需要更多的研磨机，这样我就可以更快地生产辣椒酱了。　　我：没错，所以现在你就不得不分配工作了，你将需要几个人一起切蔬菜。每个人都要处理满满一袋的蔬菜，而每一个人都相当于在执行一个简单的Map操作。每一个人都将不断的从袋子里拿出蔬菜来，并且每次只对一种蔬菜进行处理，也就是将它们切碎，直到袋子空了为止。　　这样，当所有的工人都切完以后，工作台（每个人工作的地方）上就有了洋葱块、番茄块、和蒜蓉等等。　　妻子：但是我怎么会制造出不同种类的番茄酱呢？　　我：现在你会看到MapReduce遗漏的阶段—搅拌阶段。MapReduce将所有输出的蔬菜碎都搅拌在了一起，这些蔬菜碎都是在以key为基础的 map操作下产生的。搅拌将自动完成，你可以假设key是一种原料的名字，就像洋葱一样。 所以全部的洋葱keys都会搅拌在一起，并转移到研磨洋葱的研磨器里。这样，你就能得到洋葱辣椒酱了。同样地，所有的番茄也会被转移到标记着番茄的研磨器里，并制造出番茄辣椒酱。　　（4）上面都是从理论上来说明什么是MapReduce，那么咱们在MapReduce产生的过程和代码的角度来理解这个问题。　　如果想统计下过去10年计算机论文出现最多的几个单词，看看大家都在研究些什么，那收集好论文后，该怎么办呢？　　方法一：　　我可以写一个小程序，把所有论文按顺序遍历一遍，统计每一个遇到的单词的出现次数，最后就可以知道哪几个单词最热门了。 这种方法在数据集比较小时，是非常有效的，而且实现最简单，用来解决这个问题很合适。　　方法二：　　写一个多线程程序，并发遍历论文。　　这个问题理论上是可以高度并发的，因为统计一个文件时不会影响统计另一个文件。当我们的机器是多核或者多处理器，方法二肯定比方法一高效。但是写一个多线程程序要比方法一困难多了，我们必须自己同步共享数据，比如要防止两个线程重复统计文件。　　方法三：　　把作业交给多个计算机去完成。　　我们可以使用方法一的程序，部署到N台机器上去，然后把论文集分成N份，一台机器跑一个作业。这个方法跑得足够快，但是部署起来很麻烦，我们要人工把程序copy到别的机器，要人工把论文集分开，最痛苦的是还要把N个运行结果进行整合（当然我们也可以再写一个程序）。　　方法四：　　让MapReduce来帮帮我们吧！　　MapReduce本质上就是方法三，但是如何拆分文件集，如何copy程序，如何整合结果这些都是框架定义好的。我们只要定义好这个任务（用户程序），其它都交给MapReduce。　　map函数和reduce函数　　map函数和reduce函数是交给用户实现的，这两个函数定义了任务本身。　　map函数：接受一个键值对（key-value pair），产生一组中间键值对。MapReduce框架会将map函数产生的中间键值对里键相同的值传递给一个reduce函数。　　reduce函数：接受一个键，以及相关的一组值，将这组值进行合并产生一组规模更小的值（通常只有一个或零个值）。　　统计词频的MapReduce函数的核心代码非常简短，主要就是实现这两个函数。　　map(String key, String value):　　// key: document name　　// value: document contents　　for each word w in value:　　EmitIntermediate(w, "1");　　reduce(String key, Iterator values):　　// key: a word　　// values: a list of counts　　int result = 0;　　for each v in values:　　result += ParseInt(v);　　Emit(AsString(result));　　在统计词频的例子里，map函数接受的键是文件名，值是文件的内容，map逐个遍历单词，每遇到一个单词w，就产生一个中间键值对<w, "1">，这表示单词w咱又找到了一个；MapReduce将键相同（都是单词w）的键值对传给reduce函数，这样reduce函数接受的键就是单词w，值是一串"1"（最基本的实现是这样，但可以优化），个数等于键为w的键值对的个数，然后将这些“1”累加就得到单词w的出现次数。最后这些单词的出现次数会被写到用户定义的位置，存储在底层的分布式存储系统（GFS或HDFS）。转载

什么是Map/Reduce，看下面的各种解释：　　(1)MapReduce是hadoop的核心组件之一，hadoop要分布式包括两部分，一是分布式文件系统hdfs,一部是分布式计算框，就是mapreduce,缺一不可，也就是说，可以通过mapreduce很容易在hadoop平台上进行分布式的计算编程。　　(2)Mapreduce是一种编程模型，是一种编程方法，抽象理论。　　(3)下面是一个关于一个程序员是如何个妻子讲解什么是MapReduce？文章很长请耐心的看。　　我问妻子：“你真的想要弄懂什么是MapReduce？” 她很坚定的回答说“是的”。 因此我问道：　　我： 你是如何准备洋葱辣椒酱的？（以下并非准确食谱，请勿在家尝试）　　妻子： 我会取一个洋葱，把它切碎，然后拌入盐和水，最后放进混合研磨机里研磨。这样就能得到洋葱辣椒酱了。　　妻子： 但这和MapReduce有什么关系？　　我： 你等一下。让我来编一个完整的情节，这样你肯定可以在15分钟内弄懂MapReduce.　　妻子： 好吧。　　我：现在，假设你想用薄荷、洋葱、番茄、辣椒、大蒜弄一瓶混合辣椒酱。你会怎么做呢？　　妻子： 我会取薄荷叶一撮，洋葱一个，番茄一个，辣椒一根，大蒜一根，切碎后加入适量的盐和水，再放入混合研磨机里研磨，这样你就可以得到一瓶混合辣椒酱了。　　我： 没错，让我们把MapReduce的概念应用到食谱上。Map和Reduce其实是两种操作，我来给你详细讲解下。　　Map（映射）: 把洋葱、番茄、辣椒和大蒜切碎，是各自作用在这些物体上的一个Map操作。所以你给Map一个洋葱，Map就会把洋葱切碎。 同样的，你把辣椒，大蒜和番茄一一地拿给Map，你也会得到各种碎块。 所以，当你在切像洋葱这样的蔬菜时，你执行就是一个Map操作。 Map操作适用于每一种蔬菜，它会相应地生产出一种或多种碎块，在我们的例子中生产的是蔬菜块。在Map操作中可能会出现有个洋葱坏掉了的情况，你只要把坏洋葱丢了就行了。所以，如果出现坏洋葱了，Map操作就会过滤掉坏洋葱而不会生产出任何的坏洋葱块。　　Reduce（化简）:在这一阶段，你将各种蔬菜碎都放入研磨机里进行研磨，你就可以得到一瓶辣椒酱了。这意味要制成一瓶辣椒酱，你得研磨所有的原料。因此，研磨机通常将map操作的蔬菜碎聚集在了一起。　　妻子： 所以，这就是MapReduce?　　我： 你可以说是，也可以说不是。 其实这只是MapReduce的一部分，MapReduce的强大在于分布式计算。　　妻子： 分布式计算？ 那是什么？请给我解释下吧。　　我： 没问题。　　我： 假设你参加了一个辣椒酱比赛并且你的食谱赢得了最佳辣椒酱奖。得奖之后，辣椒酱食谱大受欢迎，于是你想要开始出售自制品牌的辣椒酱。假设你每天需要生产10000瓶辣椒酱，你会怎么办呢？　　妻子： 我会找一个能为我大量提供原料的供应商。　　我：是的..就是那样的。那你能否独自完成制作呢？也就是说，独自将原料都切碎？ 仅仅一部研磨机又是否能满足需要？而且现在，我们还需要供应不同种类的辣椒酱，像洋葱辣椒酱、青椒辣椒酱、番茄辣椒酱等等。　　妻子： 当然不能了，我会雇佣更多的工人来切蔬菜。我还需要更多的研磨机，这样我就可以更快地生产辣椒酱了。　　我：没错，所以现在你就不得不分配工作了，你将需要几个人一起切蔬菜。每个人都要处理满满一袋的蔬菜，而每一个人都相当于在执行一个简单的Map操作。每一个人都将不断的从袋子里拿出蔬菜来，并且每次只对一种蔬菜进行处理，也就是将它们切碎，直到袋子空了为止。　　这样，当所有的工人都切完以后，工作台（每个人工作的地方）上就有了洋葱块、番茄块、和蒜蓉等等。　　妻子：但是我怎么会制造出不同种类的番茄酱呢？　　我：现在你会看到MapReduce遗漏的阶段—搅拌阶段。MapReduce将所有输出的蔬菜碎都搅拌在了一起，这些蔬菜碎都是在以key为基础的 map操作下产生的。搅拌将自动完成，你可以假设key是一种原料的名字，就像洋葱一样。 所以全部的洋葱keys都会搅拌在一起，并转移到研磨洋葱的研磨器里。这样，你就能得到洋葱辣椒酱了。同样地，所有的番茄也会被转移到标记着番茄的研磨器里，并制造出番茄辣椒酱。　　（4）上面都是从理论上来说明什么是MapReduce，那么咱们在MapReduce产生的过程和代码的角度来理解这个问题。　　如果想统计下过去10年计算机论文出现最多的几个单词，看看大家都在研究些什么，那收集好论文后，该怎么办呢？　　方法一：　　我可以写一个小程序，把所有论文按顺序遍历一遍，统计每一个遇到的单词的出现次数，最后就可以知道哪几个单词最热门了。 这种方法在数据集比较小时，是非常有效的，而且实现最简单，用来解决这个问题很合适。　　方法二：　　写一个多线程程序，并发遍历论文。　　这个问题理论上是可以高度并发的，因为统计一个文件时不会影响统计另一个文件。当我们的机器是多核或者多处理器，方法二肯定比方法一高效。但是写一个多线程程序要比方法一困难多了，我们必须自己同步共享数据，比如要防止两个线程重复统计文件。　　方法三：　　把作业交给多个计算机去完成。　　我们可以使用方法一的程序，部署到N台机器上去，然后把论文集分成N份，一台机器跑一个作业。这个方法跑得足够快，但是部署起来很麻烦，我们要人工把程序copy到别的机器，要人工把论文集分开，最痛苦的是还要把N个运行结果进行整合（当然我们也可以再写一个程序）。

think like a proton像一个质子一样思考 ，质子是很小的粒子结构，

简单点来说，就是Hadoop是继承了Google的MapReduce、GFS思想，开发出来的一套框架，后来又交给了Apache作为开源项目。MapReduce诞生于谷歌实验室，MapReduce与GFS、BigTable并称为谷歌的三驾马车，、而Hadoop则是谷歌三驾马车的开源实现。2003年，Google发表了一篇技术学术论文谷歌文件系统（GFS）。GFS是google公司为了存储海量搜索数据而设计的专用文件系统。2004年，Nutch创始人Doug Cutting基于Google的GFS论文实现了分布式文件存储系统名为NDFS。2004年，Google又发表了一篇技术学术论文MapReduce。MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行分析运算。2005年，Doug Cutting又基于MapReduce，在Nutch搜索引擎实现了该功能。2006年，Yahoo雇用了Doug Cutting，Doug Cutting将NDFS和MapReduce升级命名为Hadoop，Yahoo开建了一个独立的团队给Goug Cutting专门研究发展Hadoop。

　　1. 概述　　1970年，IBM的研究员E.F.Codd博士在刊物《Communication of the ACM》上发表了一篇名为“A Relational Model of Data for Large Shared Data Banks”的论文，提出了关系模型的概念，标志着关系数据库的诞生，随后几十年，关系数据库及其结构化查询语言SQL成为程序员必须掌握的基本技能之一。　　2005年4月，Jeffrey Dean和Sanjay Ghemawat在国际会议OSDI上发表“MapReduce: Simplified Data Processing on Large Cluster”，标志着google的大规模数据处理系统MapReduce公开。受这篇论文的启发，当年秋天，Hadoop 由 Apache Software Foundation 公司作为 Lucene 的子项目 Nutch 的一部分正式被引入，2006 年 3 月份，MapReduce 和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中。如今，Hadoop已经被超过50%的互联网公司使用，其他很多公司正准备使用Hadoop来处理海量数据，随着Hadoop越来越受欢迎，也许在将来的某段时间，Hadoop会成为程序员必须掌握的技能之一，如果真是这样的话，学会如何在Hadoop上编写MapReduce程序便是学习Hadoop的开始。　　本文介绍了在Hadoop上编写MapReduce程序的基本方法，包括MapReduce程序的构成，不同语言开发MapReduce的方法等。　　2. Hadoop 作业构成　　2.1 Hadoop作业执行流程　　用户配置并将一个Hadoop作业提到Hadoop框架中，Hadoop框架会把这个作业分解成一系列map tasks 和reduce tasks。Hadoop框架负责task分发和执行，结果收集和作业进度监控。　　下图给出了一个作业从开始执行到结束所经历的阶段和每个阶段被谁控制（用户 or Hadoop框架）。　　下图详细给出了用户编写MapRedue作业时需要进行那些工作以及Hadoop框架自动完成的工作：　　在编写MapReduce程序时，用户分别通过InputFormat和OutputFormat指定输入和输出格式，并定义Mapper和Reducer指定map阶段和reduce阶段的要做的工作。在Mapper或者Reducer中，用户只需指定一对key/value的处理逻辑，Hadoop框架会自动顺序迭代解析所有key/value，并将每对key/value交给Mapper或者Reducer处理。表面上看来，Hadoop限定数据格式必须为key/value形式，过于简单，很难解决复杂问题，实际上，可以通过组合的方法使key或者value（比如在key或者value中保存多个字段，每个字段用分隔符分开，或者value是个序列化后的对象，在Mapper中使用时，将其反序列化等）保存多重信息，以解决输入格式较复杂的应用。　　2.2 用户的工作　　用户编写MapReduce需要实现的类或者方法有：　　（1） InputFormat接口　　用户需要实现该接口以指定输入文件的内容格式。该接口有两个方法　　1　　2　　3　　4　　5　　6　　7　　8　　9　　10　　11　　　　public interface InputFormat<K, V> {　　　　InputSplit[] getSplits(JobConf job, int numSplits) throws IOException;　　　　RecordReader<K, V> getRecordReader(InputSplit split,　　　　JobConf job,　　　　Reporter reporter) throws IOException;　　　　}　　　　其中getSplits函数将所有输入数据分成numSplits个split，每个split交给一个map task处理。getRecordReader函数提供一个用户解析split的迭代器对象，它将split中的每个record解析成key/value对。　　Hadoop本身提供了一些InputFormat：　　（2）Mapper接口　　用户需继承Mapper接口实现自己的Mapper，Mapper中必须实现的函数是　　1　　2　　3　　4　　5　　6　　7　　8　　9　　　　void map(K1 key,　　　　V1 value,　　　　OutputCollector<K2,V2> output,　　　　Reporter reporter　　　　) throws IOException　　　　其中，<K1 V1>是通过Inputformat中的RecordReader对象解析处理 的，OutputCollector获取map()的输出结果，Reporter保存了当前task处理进度。　　Hadoop本身提供了一些Mapper供用户使用：　　（3）Partitioner接口　　用户需继承该接口实现自己的Partitioner以指定map task产生的key/value对交给哪个reduce task处理，好的Partitioner能让每个reduce task处理的数据相近，从而达到负载均衡。Partitioner中需实现的函数是　　getPartition( K2 key, V2 value, int numPartitions)　　该函数返回<K2 V2>对应的reduce task ID。　　用户如果不提供Partitioner，Hadoop会使用默认的（实际上是个hash函数）。　　（4）Combiner　　Combiner使得map task与reduce task之间的数据传输量大大减小，可明显提高性能。大多数情况下，Combiner与Reducer相同。　　（5）Reducer接口　　用户需继承Reducer接口实现自己的Reducer，Reducer中必须实现的函数是　　1　　2　　3　　4　　5　　6　　7　　8　　9　　　　void reduce(K2 key,　　　　Iterator<V2> values,　　　　OutputCollector<K3,V3> output,　　　　Reporter reporter　　　　) throws IOException　　　　Hadoop本身提供了一些Reducer供用户使用：　　（6）OutputFormat　　用户通过OutputFormat指定输出文件的内容格式，不过它没有split。每个reduce task将其数据写入自己的文件，文件名为part-nnnnn，其中nnnnn为reduce task的ID。　　Hadoop本身提供了几个OutputFormat:　　3. 分布式缓存　　Haoop中自带了一个分布式缓存，即DistributedCache对象，方便map task之间或者reduce task之间共享一些信息，比如某些实际应用中，所有map task要读取同一个配置文件或者字典，则可将该配置文件或者字典放到分布式缓存中。　　4. 多语言编写MapReduce作业　　Hadoop采用java编写，因而Hadoop天生支持java语言编写作业，但在实际应用中，有时候，因要用到非java的第三方库或者其他原因，要采用C/C++或者其他语言编写MapReduce作业，这时候可能要用到Hadoop提供的一些工具。　　如果你要用C/C++编写MpaReduce作业，可使用的工具有Hadoop Streaming或者Hadoop Pipes。　　如果你要用Python编写MapReduce作业，可以使用Hadoop Streaming或者Pydoop。　　如果你要使用其他语言，如shell，php，ruby等，可使用Hadoop Streaming。　　关于Hadoop Streaming编程，可参见我的这篇博文：《Hadoop Streaming编程》（http://dongxicheng.org/mapreduce/hadoop-streaming-programming/ ）　　关于Pydoop编程，可参见其官方网站：http://sourceforge.net/projects/pydoop/　　关于Hadoop pipes编程，可参见《Hadoop Tutorial 2.2 — Running C++ Programs on Hadoop》。　　5. 编程方式比较　　（1）java。 Hadoop支持的最好最全面的语言，而且提供了很多工具方便程序员开发。　　（2）Hadoop Streaming。 它最大的优点是支持多种语言，但效率较低，reduce task需等到map 阶段完成后才能启动；它不支持用户自定义InputFormat，如果用户想指定输入文件格式，可使用java语言编写或者在命令行中指定分隔符；它采用标准输入输出让C/C++与java通信，因而只支持text数据格式。　　（3）Hadoop Pipes。 专门为C/C++语言设计，由于其采用了socket方式让C/C++与java通信，因而其效率较低（其优势在于，但作业需要大量，速度很快）。它支持用户（用C/C++）编写RecordReader。　　（4）Pydoop。它是专门方便python程序员编写MapReduce作业设计的，其底层使用了Hadoop Streaming接口和libhdfs库。　　6. 总结　　Hadoop使得分布式程序的编写变得异常简单，很多情况下，用户只需写map()和reduce()两个函数即可（InputFormat，Outputformat可用系统缺省的）。正是由于Hadoop编程的简单性，越来越多的公司或者研究单位开始使用Hadoop。

MapReduce把Nutch提取的Segment中data文件里信息保存到Hbase里。

在安装Hadoop集群的时候，我们在yarn-site.xml文件中配置了MapReduce的运行方式为yarn.nodemanager.aux-services=mapreduce_shuffle。本节就来详细介绍一下MapReduce的shuffle过程。 shuffle，即混洗、洗牌的意思，是指MapReduce程序在执行过程中，数据在各个Mapper（Combiner、Sorter、Partitioner）、Reducer等进程之间互相交换的过程。 关于上图Shuffle过程的几点说明： 说明：map节点执行map task任务生成map的输出结果。 shuffle的工作内容： 从运算效率的出发点，map输出结果优先存储在map节点的内存中。每个map task都有一个内存缓冲区，存储着map的输出结果，当达到内存缓冲区的阀值（80%）时，需要将缓冲区中的数据以一个临时文件的方式存到磁盘，当整个map task结束后再对磁盘中这个map task所产生的所有临时文件做合并，生成最终的输出文件。最后，等待reduce task来拉取数据。当然，如果map task的结果不大，能够完全存储到内存缓冲区，且未达到内存缓冲区的阀值，那么就不会有写临时文件到磁盘的操作，也不会有后面的合并。 详细过程如下： （1）map task任务执行，输入数据的来源是：HDFS的block。当然在mapreduce概念中，map task读取的是split分片。split与block的对应关系：一对一（默认）。 此处有必要说明一下block与split： block（物理划分）：文件上传到HDFS，就要划分数据成块，这里的划分属于物理的划分，块的大小可配置（默认：第一代为64M，第二代为128M）可通过 dfs.block.size配置。为保证数据的安　全，block采用冗余机制：默认为3份，可通过dfs.replication配置。注意：当更改块大小的配置后，新上传的文件的块大小为新配置的值，以前上传的文件的块大小为以前的配置值。 split（逻辑划分）：Hadoop中split划分属于逻辑上的划分，目的只是为了让map task更好地获取数据。split是通过hadoop中的InputFormat接口中的getSplit()方法得到的。那么，split的大小具体怎么得到呢？ 首先介绍几个数据量： totalSize：整个mapreduce job所有输入的总大小。注意：基本单位是block个数，而不是Bytes个数。 numSplits：来自job.getNumMapTasks()，即在job启动时用户利用 org.apache.hadoop.mapred.JobConf.setNumMapTasks(int n)设置的值，从方法的名称上看，是用于设置map的个数。但是，最终map的个数也就是split的个数并不一定取用户设置的这个值，用户设置的map个数值只是给最终的map个数一个提示，只是一个影响因素，而不是决定因素。 goalSize：totalSize/numSplits，即期望的split的大小，也就是每个mapper处理多少的数据。但是仅仅是期望 minSize：split的最小值，该值可由两个途径设置： 最终取goalSize和minSize中的最大值！ 最终：split大小的计算原则：finalSplitSize=max(minSize,min(goalSize,blockSize)) 那么，map的个数=totalSize/finalSplitSize 注意： 新版的API中InputSplit划分算法不再考虑用户设定的Map Task个数，而是用mapred.max.split.size(记为maxSize)代替 即：InputSplit大小的计算公式为：splitSize=max{minSize,min{maxSize,blockSize}} 接下来就简答说说怎么根据业务需求，调整map的个数。 当我们用hadoop处理大批量的大数据时，一种最常见的情况就是job启动的mapper数量太多而超出系统限制，导致hadoop抛出异常终止执行。 解决方案：减少mapper的数量！具体如下： a.输入文件数量巨大，但不是小文件 这种情况可通过增大每个mapper的inputsize，即增大minSize或者增大blockSize来减少所需的mapper的数量。增大blocksize通常不可行，因为HDFS被hadoop namenode -format之后，blocksize就已经确定了(由格式化时dfs.block.size决定)，如果要更改blocksize，需要重新格式化HDFS，这样当然会丢失已有的数据。所以通常情况下只能增大minSize，即增大mapred.min.split.size的值。 b.输入文件数量巨大，且都是小文件 所谓小文件，就是单个文件的size小于blockSize。这种情况通过增大mapred.min.split.size不可行，需要使用FileInputFormat衍生的CombineFileInputFormat将多个input path合并成一个InputSplit送给mapper处理，从而减少mapper的数量。增加mapper的数量，可以通过减少每个mapper的输入做到，即减小blockSize或者减少mapred.min.split.size的值。 （2）map执行后，得到key/value键值对。接下来的问题就是，这些键值对应该交给哪个reduce做？注意：reduce的个数是允许用户在提交job时，通过设置方法设置的！ MapReduce提供partitioner接口解决上述问题。默认操作是：对key hash后再以reduce task数量取模，返回值决定着该键值对应该由哪个reduce处理。这种默认的取模方式只是为了平均reduce的处理能力，防止数据倾斜，保证负载均衡。如果用户自己对Partition有需求，可以自行定制并设置到job上。 接下来，需要将key/value以及Partition结果都写入到缓冲区，缓冲区的作用：批量收集map结果，减少磁盘IO的影响。当然，写入之前，这些数据都会被序列化成字节数组。而整个内存缓冲区就是一个字节数组。这个内存缓冲区是有大小限制的，默认100MB。当map task的输出结果很多时，就可能撑爆内存。需将缓冲区的数据临时写入磁盘，然后重新利用这块缓冲区。 从内存往磁盘写数据被称为Spill(溢写)，由单独线程完成，不影响往缓冲区写map结果的线程。溢写比例：spill.percent(默认0.8)。 当缓冲区的数据达到阀值，溢写线程启动，锁定这80MB的内存，执行溢写过程。剩下的20MB继续写入map task的输出结果。互不干涉！ 当溢写线程启动后，需要对这80MB空间内的key做排序(Sort)。排序是mapreduce模型的默认行为，也是对序列化的字节做的排序。排序规则：字典排序！ map task的输出结果写入内存后，当溢写线程未启动时，对输出结果并没有做任何的合并。从官方图可以看出，合并是体现在溢写的临时磁盘文件上的，且这种合并是对不同的reduce端的数值做的合并。所以溢写过程一个很重要的细节在于，如果有很多个key/value对需要发送到某个reduce端，那么需要将这些键值对拼接到一块，减少与partition相关的索引记录。如果client设置Combiner，其会将有相同key的key/value对的value加起来，减少溢写到磁盘的数据量。注意：这里的合并并不能保证map结果中所有的相同的key值的键值对的value都合并了，它合并的范围只是这80MB，它能保证的是在每个单独的溢写文件中所有键值对的key值均不相同！ 溢写生成的临时文件的个数随着map输出结果的数据量变大而增多，当整个map task完成，内存中的数据也全部溢写到磁盘的一个溢写文件。也就是说，不论任何情况下，溢写过程生成的溢写文件至少有一个！但是最终的文件只能有一个，需要将这些溢写文件归并到一起，称为merge。merge是将所有的溢写文件归并到一个文件，结合上面所描述的combiner的作用范围，归并得到的文件内键值对有可能拥有相同的key，这个过程如果client设置过Combiner，也会合并相同的key值的键值对，如果没有，merge得到的就是键值集合，如{“aaa”, [5, 8, 2, …]}。注意：combiner的合理设置可以提高效率，但是如果使用不当会影响效率！ 至此，map端的所有工作都已经结束！ 当mapreduce任务提交后，reduce task就不断通过RPC从JobTracker那里获取map task是否完成的信息，如果获知某台TaskTracker上的map task执行完成，Shuffle的后半段过程就开始启动。其实呢，reduce task在执行之前的工作就是：不断地拉取当前job里每个map task的最终结果，并对不同地方拉取过来的数据不断地做merge，也最终形成一个文件作为reduce task的输入文件。 1.Copy过程，简单地拉取数据。Reduce进程启动一些数据copy线程（Fether），通过HTTP方式请求map task所在的TaskTracker获取map task的输出文件。因为map task早已结束，这些文件就归TaskTracker管理在本地磁盘。 2.Merge过程。这里的merge如map端的merge动作，只是数组中存放的是不同map端copy过来的数值。Copy过来的数据会先放入内存缓冲区中，这里缓冲区的大小要比map端的更为灵活，它是基于JVM的heap size设置，因为shuffler阶段reducer不运行，所以应该把绝大部分的内存都给shuffle用。 merge的三种形式：内存到内存、内存到磁盘、磁盘到磁盘。默认情况下，第一种形式不启用。当内存中的数据量达到一定的阀值，就启动内存到磁盘的merge。与map端类似，这也是溢写过程，当然如果这里设置了Combiner，也是会启动的，然后在磁盘中生成了众多的溢写文件。第二种merge方式一直在运行，直到没有map端的数据时才结束，然后启动第三种磁盘到磁盘的merge方式生成最终的那个文件。 3.reducer的输入文件。不断地merge后，最后会生成一个“最终文件”。这个最终文件可能在磁盘中也可能在内存中。当然我们希望它在内存中，直接作为reducer的输入，但默认情况下，这个文件是存放于磁盘中的。当reducer的输入文件已定，整个shuffle才最终结束。然后就是reducer执行，把结果存放到HDFS上。

你好，高兴帮助你。请采纳，谢谢！！！I guessed a riddle and got a prize.这句话的意思是：我猜对了一个谜语，获得了一份奖品。riddle 谜语guess 动词，猜prize 奖品

apres-shampooing conditioner 后洗发护发素.很高兴为你解答！如有不懂，请追问。 谢谢！

elivapress是浙江教育出版社。

去看一下潜水表说明书。按他的操作。去设置时间就可以了。

MK17有适用于冷水防冻设计，MK11没有，仅此而已

一般当地有潜水中心的城市，大多数会销售这个品牌的装备。也可以登录淘宝等购物网站了解产品及价格。

不错！嘻嘻……

试听：http://www.songtaste.com/song/2392486/YEAH, yeahYou feel the grass is always greener And the tears I left behind To know I can take my freedom And my heart isn"t next to line With you the sun is always rising When im with you it"s never dark With you the grounds are free from raining With you my life doesn"t fall apart YeahI miss you more than ever More than I can put to words Every day is getting harder to leave it all behind. I am missing you, more than yesterday, I am missing you.YEAHWe"ll live a life filled with melodies Now the stories is my defriend When we fly free from promises I try to smile but I cant pretend, noI miss you more than ever More than I can put to words Every day is getting harder To leave it all behind. I am missing you, more than yesterday, I am missing you, more than yesterday, yesterday, yesterday. More than yesterday, yesterday, yesterday.The sun is not getting lighter than yesterday As I ever get further from yesterday Can see the echo is closer, than yesterday As I ever get further from yesterdayYesterday, yesterday, yesterday More than yesterdayI miss you more than ever More than I can put to words Every day is getting harder To leave it all behind. I am missing you, more than yesterday, I am missing you, more than yesterday (yesterday) Yesterday (yesterday) Yesterday. More than yesterday (yesterday) Yesterday (yesterday), yesterday.

April([美] [eprl] [英] [eiprl] ) the [美] [] [英] [] twenty[美] [twnt] [英] [twenti] first[美] [fst] [英] [fst]

英文原文：April the twelfth, seven P M.英式音标：[?e?pr?l] [e?] [twelfθ] , [?sev(?)n] [pi?] [em] . 美式音标：[?epr?l] [e?] [tw?lfθ] , [?s?vn] [pi] [em] .

有2种 the eighth of April 或者APRIL EIGHTH

vxd

因为序数词前面要加定冠词theApril 24th 读法是 April the 24th

英语的常用读法是月份后读年份英语的读法为April, 2021

两个 i 母音不一样

April the twenty-first; Twenty-first of April

1、april英[e_pr_l]美[epr_l]2、april，英语单词，名词，意为“四月”。3、HappyApril,thereyouhaveme,haveyou.快乐的四月，有你，有我，有大家。4、MybirthdayisinApril.我的生日是在四月。5、Ifyouwereherewithme,John,uponthisAprilgrass!约翰，如果你能和我一同在这四月的青草上，那该有多好！

读日期的时候，我们要用序数词读，英式的读法是把日子写在月份的前面，说年份时要先说前面两个数字，后说后面两个数字，但是几千年是一个整数，就用千来读，所以我们读成the fifth of April, two thousand and four.美式读法，把月份写在日子的前面，年份依然在后面，写成April the fifth, two thousand and four.

u02c8eu026apru0259l

就April the eleventh

warframe在今天更新了29.9.0版本，本次更新增加了Octavia Prime战甲，同时也对部分内容作了改动，下面一起来看看warframe29.9.0版更新内容详解吧。warframe29.9.0版更新内容详解OCTAVIA PRIME 已经来了!通过 Octavia Prime 放出毁灭性的刺耳声响!Octavia Prime通过 Octavia Prime 放出毁灭性的刺耳声响,女音乐家 Octavia，以其卓绝华美的形态，演奏毁灭的乐章。拥有改造过的 Mod 极性槽，可提供更优秀的自定义空间。与 Octavia Prime 一同而来的还有全新嘻哈风格的浮夸乐器组合包!双簧管 Prime通过这件突击步枪大师之作来为 Octavia 的旋律添加致命的顿挫击打。手鼓 Prime以这把 Octavia 的标志性 Prime 手枪，为死亡之舞敲奏节拍。Equinox Prime、斯特拉迪瓦 Prime，以及提佩多 Prime 已经进入宝库了!随着入库的到来以下集团所需要牺牲的物品进行了改动：_ 将均衡仲裁者需要的 Equinox Prime 头部神经光元换成 Atlas Prime 系统。_ 将均衡仲裁者需要的提佩多 Prime 握柄换成科林斯 Prime 枪管。将血色面纱所要的 Equinox Prime 系统换成 Ivara Prime 机体。_ 将钢铁防线需要的 Equinox Prime 头部神经光元换成 Nezha Prime 头部神经光元。如果这些 Prime 的武器和 Warframe(或它们的蓝图/部件或遗物)已在你的仓库中，在宝库关闭后它们仍会被保留。裂罅倾向性改动：点击查看优化：_ 对 DirectX 12 渲染做了系统级的微优化，减少了预读取时的轻微顿卡问题。_ 对 DirectX 11和 12 的渲染以及预读取进行了个微优化。改动：_ 移除了在另一名玩家的轨道飞行器上时能从密牢发起与 Nihil 战斗的能力。_ 这会导致一个崩溃问题。修正：_ 修正了从希图斯前往夜灵平野可能会出现的崩溃问题。_ 修正了装备了某些武器的 Tenno 魅影在”待命“状态下无需装填，从而导致极高射速的问题。_ 修正了奥布山谷中冷却蛛形机传送到不相关的防御目标的问题(例如索拉里斯之声最终任务，占领基地任务等)。_ 修正了聊天链接 Infested K 式悬浮板显示其普通变种的问题。_ 修正了改变 Ivara 的能量颜色后，月神狩弓 Prime 的能量颜色仍然是默认蓝色的问题。_ 修正了 Ticker 星日爱意静态画中镜头异常的问题。_ 修正了 Nezha 解除圣火尖枪时的脚本错误问题。_ 修正了薇娜丽攻击时的脚本错误问题。

星际战甲在近日新增了OCTAVIA PRIME战甲，下面给大家分享一下OCTAVIA PRIME快速刷核桃方法，希望可以帮助到各位玩家。星际战甲OCTAVIA PRIME快速刷核桃方法推荐本次更新核桃：Octavia Prime前纪D6(铜系统) 古纪G3(铜头) 后纪O5(金蓝图) 中纪Z7(银机体)双簧管 Prime中纪B7(铜蓝图) 前纪T4(金枪机) 古纪T5(金枪管) 后纪T6(银枪托)手鼓 prime中纪P2 (金枪机) 古纪I1(铜蓝图) 后纪C6(银枪管)核桃合计：古纪G3 古纪T5 古纪I1前纪D6 前纪T4中纪Z7 中纪B7 中纪P2后纪O5 后纪T6 后纪C6个人推荐方法：1：最快的(看脸)集团声望换：所有新核桃(我自己换声望出了16个新核桃，概率还是很高的)2：跑图+泡澡+防御的(看脸)古纪I1 古纪T5 古纪G3 (虚空捕捉HEPIT(11.11%))前纪D6 前纪T4 (土星防御HELENE(A轮14.29%))中纪Z7 中纪B7 中纪P2 (赛栏泡澡(A轮10%)塞防HYDRON(A轮10%))后纪O5 后纪T6 后纪C6 (赛栏泡澡(BC轮14.29%)塞防HYDRON(B轮6.67% C轮11.06%))3：另外隔离库赏金 ：也出大部分新核桃(除了古纪T5 古纪G3 古纪I3 后纪T6)

warframe星际战甲近日推出了OCTAVIA PRIME战甲组合包，新战甲有哪些配件？下面给大家带来warframe星际战甲OCTAVIA PRIME组合包内容一览warframe星际战甲OCTAVIA PRIME组合包内容一览OCTAVIA PRIME ACCESS 内含Octavia Prime女音乐家 Octavia，以其卓绝华美的形态，演奏毁灭的乐章。拥有改造过的 Mod 极性槽，可提供更优秀的自定义空间。与 Octavia Prime 一同而来的还有全新嘻哈风格的浮夸乐器组合包!双簧管 Prime通过这件突击步枪大师之作来为 Octavia 的旋律添加致命的顿挫击打。手鼓 Prime以这把 Octavia 的标志性 Prime 手枪，为死亡之舞敲奏节拍。Octavia Prime 浮印展示你的 Octavia Prime 忠诚。浮夸乐器组合包一个为 Octavia 的曼达和弦琴准备的主题乐器包。通过这件重低音乐器包来播放可以让身体动起来的律动。OCTAVIA PRIME 配件滑音 Prime 护甲以这款代表着 Octavia 鲜活音律的护具，来完美展现她的光辉荣耀。小夜曲 Prime 披饰这款华丽曼妙的披饰，不仅能让听众折服，与那位演奏曼达和弦琴的女音乐家更是绝配。无双 Prime 三线琴无双 Prime 三线琴将附带一个独特的音符包。90 天资源数量加成90 天经验值加成Octavia Prime Access 将于美东冬令时间 2 月 23 日在所有区域的全平台登场。当 Octavia Prime 开启 Prime Access 时，以下物品将被封入 Prime Vault：- Equinox Prime- 斯特拉迪瓦 Prime- 提佩多 Prime如果你的仓库中已经有以上物品或包含这些物品的遗物，在宝库关闭后，它们将得以保留。通过 Octavia Prime Access 打造震撼人心的音乐，并主宰任意一场战斗!

通过一个综合数据分析案例：”金庸的江湖——金庸武侠小说中的人物关系挖掘“，来学习和掌握MapReduce程序设计。通过本项目的学习，可以体会如何使用MapReduce完成一个综合性的数据挖掘任务，包括全流程的数据预处理、数据分析、数据后处理等。 1 任务1 数据预处理 1.1 任务描述 从原始的金庸小说文本中，抽取出与人物互动相关的数据，而屏蔽掉与人物关系无关的文本内容，为后面的基于人物共现的分析做准备。 1.2 关键问题 1.2.1 中文分词和人名提取 使用开源的Ansj_seg进行分词。Ansj_seg不仅支持中文分词，还允许用户自定义词典，在分词前，将人名列表到添加用户自定义的词典，可以精确识别金庸武侠小说中的人名。 但实际测试的时候发现，Ansj_seg分词会出现严重的歧义问题，比如“汉子”属于人名列表中的人名(nr)，但Ansj_seg可能会错误地将它分类为名词(n)。因此，如果根据词性提取人名，会导致最后提取的人名太少。解决方法是在提取人名的时候，需要在将人名加入用户自定义词典的同时，构造一个包含所有人名的字典，对分词的结果逐个进行测试，如果在字典里，就是人名。 1.2.2 文件传输 使用HDFS传递数据。考虑到人名列表文件已经存放在了HDFS里，所以使用HDFS的方式不需要移动人名列表文件，只需要在Configuration中设置文件在HDFS文件系统中的路径，然后在Mapper的setup()函数里调用HDFS的函数获取文件内容即可。 1.2.3 单词同现算法 两个单词近邻关系的定义：实验要求中已经说明，同现关系为一个段落。 段落划分：非常庆幸的是，小说原文中一个段落就是一行，因此，不需要自己定义FileInputFormat和RecordReader。 1.3 MapReduce设计 1.3.1 Mapper 1.3.2 Reducer 1.3.3 Driver 2 任务2 特征抽取：人物同现统计 2.1 任务描述 完成基于单词同现算法的人物同现统计。在人物同现分析中，如果两个人在原文的同一段落中出现，则认为两个人发生了一次同现关系。我们需要对人物之间的同现关系次数进行统计，同现关系次数越多，则说明两人的关系越密切。 2.2 关键问题 2.2.1 人名冗余 在同一段中，人名可能多次出现，任务一只负责提取出所有的人名，没有剔除多余的人名，任务必须在输出同现次数之前处理冗余人名。我的做法是在Mapper中创建一个集合，把所有人名放入集合中，集合会自动剔除冗余的人名。 2.2.2 同现次数统计 两个人物之间应该输出两个键值对，如“狄云”和“戚芳”，应该输出“<狄云，戚芳> 1”和“<戚芳，狄云> 1”。多个段落中允许输出相同的键值对，因此，Reducer中需要整合具有相同键的输出，输出总的同现次数。 2.3 MapReduce设计 2.3.1 Mapper 2.3.2 Reducer 3 任务3 特征处理：人物关系图构建与特征归一化 3.1 任务描述 根据任务2人物之间的共现关系，生成人物之间的关系图。人物关系使用邻接表的形式表示，人物是顶点，人物之间关系是边，两个人的关系的密切程度由共现次数体现，共现次数越高，边权重越高。另外需要对共现次数进行归一化处理，确保某个顶点的出边权重和为1。 3.2 关键问题 3.2.1 确保人物的所有邻居输出到相同结点处理 在Mapper结点将输入的键值对“<狄云，戚芳> 1”拆分，输出新的键值对“<狄云> 戚芳:1”，“狄云”的所有邻居会被分配给同一个Reducer结点处理。 3.2.2 归一化 在Reducer结点首先统计该人物与所有邻居同现的次数和sum，每个邻居的的同现次数除以sum就得到共现概率。为了提高效率，在第一次遍历邻居的时候，可以把名字和共现次数保存在链表里，避免重复处理字符串。 3.3 MapReduce设计 3.3.1 Mapper 3.3.2 Reducer 4.1 任务描述 经过数据预处理并获得任务的关系图之后，就可以对人物关系图作数据分析，其中一个典型的分析任务是：PageRank 值计算。通过计算 PageRank，我们就可以定量地获知金庸武侠江湖中的“主角”们是哪些。 4.2 PageRank原理 PageRank算法由Google的两位创始人佩奇和布林在研究网页排序问题时提出，其核心思想是：如果一个网页被很多其它网页链接到，说明这个网页很重要，它的PageRank值也会相应较高；如果一个PageRank值很高的网页链接到另外某个网页，那么那个网页的PageRank值也会相应地提高。 相应地，PageRank算法应用到人物关系图上可以这么理解：如果一个人物与多个人物存在关系连接，说明这个人物是重要的，其PageRank值响应也会较高；如果一个PageRank值很高的人物与另外一个人物之间有关系连接，那么那个人物的PageRank值也会相应地提高。一个人物的PageRank值越高，他就越可能是小说中的主角。 PageRank有两个比较常用的模型：简单模型和随机浏览模型。由于本次设计考虑的是人物关系而不是网页跳转，因此简单模型比较合适。简单模型的计算公式如下，其中Bi为所有连接到人物i的集合，Lj为认为人物j对外连接边的总数： 在本次设计的任务3中，已经对每个人物的边权值进行归一化处理，边的权值可以看做是对应连接的人物占总边数的比例。设表示人物i在人物j所有边中所占的权重，则PageRank计算公式可以改写为： 4.3.2 PageRanklter类 GraphBuilder将数据处理成可供迭代的格式，PageRank的迭代过程由PageRanklter类实现，包含一个Map和Reduce过程。Map过程产生两种类型的<key,value>：<人物名，PageRrank值>，<人物名，关系链表>。第一个人物名是关系链表中的各个链出人物名，其PR值由计算得到；第二个人物名是本身人物名，目的是为了保存该人物的链出关系，以保证完成迭代过程。以上面的输出为例，则Map过程产生的键值对为<完颜萍, 1.0 0.005037>，<小龙女, 1.0 0.017632>，……，<一灯大师, #完颜萍:0.005037783;……>。 Reduce过程将同一人物名的<key,value>汇聚在一起，如果value是PR值，则累加到sum变量；如果value是关系链表则保存为List。遍历完迭代器里所有的元素后输出键值对<人物名，sum#List>，这样就完成了一次迭代过程。 PR值排名不变的比例随迭代次数变化的关系图如下，由于我们考虑的是找出小说中的主角，所以只要关心PR值前100名的人物的排名的变化情况，可以看到迭代次数在10以后，PR值排名不变的比例已经趋于稳定了，所以基于效率考虑，选取10作为PR的迭代次数。 4.3.3 PageRankViewer类 当所有迭代都完成后，我们就可以对所有人物的PageRank值进行排序，该过程由PageRankViewer类完成，包含一个Map和Reduce过程。Map过程只提取迭代过程输出结果中的人物名以及对应的PageRank值，并以PageRank值作为key，人物名作为value输出。为了实现PageRank值从大到小排序，需要实现DescFloatComparator类来重写compare方法以达成逆序排序。由于可能存在PageRank值相同的情况，所以还需要一个reduce过程来把因PageRank值相同而汇聚到一起的人物名拆开并输出。 PageRankMapper PageRankReducer Driver类 5.1 任务描述 标签传播（Label Propagation）是一种半监督的图分析算法，他能为图上的顶点打标签，进行图顶点的聚类分析，从而在一张类似社交网络图中完成社区发现。在人物关系图中，通过标签传播算法可以将关联度比较大的人物分到同一标签，可以直观地分析人物间的关系。 5.2 标签传播算法原理 标签传播算法（Label Propagation Algorithm，后面简称LPA）是由Zhu等人于2002年提出，它是一种基于图的半监督学习方法，其基本思路是用已标记节点的标签信息去预测未标记节点的标签信息。LPA基本过程为：（1）每个结点初始化一个特定的标签值；（2）逐轮更新所有节点的标签，直到所有节点的标签不再发生变化为止。对于每一轮刷新，节点标签的刷新规则如下：对于某一个节点，考察其所有邻居节点的标签，并进行统计，将出现个数最多的那个标签赋值给当前节点。当个数最多的标签不唯一时，随机选择一个标签赋值给当前节点。 LPA与PageRank算法相似，同样需要通过迭代过程来完成。在标签传播算法中，节点的标签更新通常有同步更新和异步更新两种方法。同步更新是指，节点x在t时刻的更新是基于邻接节点在t-1时刻的标签。异步更新是指，节点x在t时刻更新时，其部分邻接节点是t时刻更新的标签，还有部分的邻接节点是t-1时刻更新的标签。若LPA算法在标签传播过程中采用的是同步更新，则在二分结构网络中，容易出现标签震荡的现象。在本次设计中，我们考虑到了两种更新方法，并进行了比较。 5.3 标签传播算法在mapreduce上的实现细节 5.3.1 LPAInit类 为实现LPA的迭代过程，需要先给每个人物赋予一个独特标签，标签初始化由LPAInit类完成，仅包含一个Map过程。标签由数字表示，Map过程由1开始，为每一个人物名赋予一个独特的标签。为了便于后面的可视化分析，我们需要把PageRank值和标签整合在一起，所以LPAInit的输入文件直接采用PageRank过程的输出文件，格式如下： 5.3.2 LPAIteration类 LPAIteration类完成标签的更新过程，其格式与LPAInit的输出格式一致，包含一个Map和Reduce过程。Map过程对输入的每一行进行切割，输出四种格式的<key,value>：<人物名，关系链表>，<人物名，PageRank值>，<人物名，标签>，<链出人物名，标签#起点人物名>。第四种格式个键值对是为了将该节点的标签传给其所有邻居。 Reduce过程对value值进行识别，识别可以通过Map过程把预先定义好的特殊字符如‘#"、‘@"来实现前缀到value上来实现。由于人物关系图中的各个边都是有权重的，并且代表两个人物的相关程度，所以标签更新过程不是用边数最多的标签而是权重最大标签来更新，我们可以预先把权重最大的若干个保存到一个链表中，如果存在多个权重相同的标签，则随机选取一个作为该人名新的标签。异步方法更新标签需要使用一个哈希表来存储已经更新标签的人物名和它们的新标签，并且在更新标签时使用该哈希表里面的标签。同步方法更新标签则不需要存储已更新的标签。 本次设计中比较了同步和异步更新两种方法，下图为标签不变的比例随迭代次数的变化。可以发现，异步收敛速度更快，只要6次迭代即可完全收敛，且标签不变的比例可达100%。而同步更新方法则不能达到100%，说明人物关系图中存在子图是二部子图。 5.3.3 LPAReorganize类 LPA算法迭代收敛后，所有人物名的标签不再变化，但是此时的标签排列是散乱的，需要把同一标签的人物名整合在一起。该过程由LPAReorganize类完成，包含一个Map和Reduce过程。Map过程对输入的每一行进行切割，以<标签，人物名#PageRank值#关系链表>格式输出。Reduce过程中，同一标签的人物名汇聚在一起，然后根据每个标签人物集合的大小从大到小排序，重新赋予标签（从1开始）。这样输出文件中同一标签的人物名就会聚集在一起。最后的输出格式如下： 5.3.2 LPAMapper类 LPAIteration类完成标签的更新过程，其格式与LPAInit的输出格式一致，包含一个Map和Reduce过程。Map过程对输入的每一行进行切割，输出四种格式的<key,value>：<人物名，关系链表>，<人物名，PageRank值>，<人物名，标签>，<链出人物名，标签#起点人物名>。第四种格式个键值对是为了将该节点的标签传给其所有邻居。 5.3.2 LPAReducer类 Reduce过程对value值进行识别，识别可以通过Map过程把预先定义好的特殊字符如‘#"、‘@"来实现前缀到value上来实现。由于人物关系图中的各个边都是有权重的，并且代表两个人物的相关程度，所以标签更新过程不是用边数最多的标签而是权重最大标签来更新，我们可以预先把权重最大的若干个保存到一个链表中，如果存在多个权重相同的标签，则随机选取一个作为该人名新的标签。异步方法更新标签需要使用一个哈希表来存储已经更新标签的人物名和它们的新标签，并且在更新标签时使用该哈希表里面的标签。同步方法更新标签则不需要存储已更新的标签。 Driver类 6.1 可视化工具Gephi Gephi是一款开源的跨平台的基于JVM的复杂网络分析软件。把PageRank和LPA的结果，转化为gexf格式，在Gephi中绘制图像并分析大数据实验结果，更加直观、易于理解。 gexf实际上是一种特殊的XML文件，python的gexf库提供了接口方便我们编辑和生成gexf文件，因此我们选择使用python处理PageRank和LPA的结果。顶点有两种属性，LPA生成的标签和PageRank计算的PR值，每条边的权重是PageRank计算出的值。在可视化的时候，标签决定顶点显示的颜色，PR值决定标签的 6.2 可视化预处理 编写一个python程序transform2xml.py，将数据分析部分得到的PR值，标签以及点连接关系处理成一个可供Gephi读取的gexf文件。 6.3 可视化结果 7 输出结果截图 7.2 同现次数统计 7.4 PageRank

移除即可 就这么简单

ECU价位都不同，主要看原车电脑和所刷程序的品牌，好的ECU世界品牌如:ACR，APR，REVO和MTM等。 是OBD直刷价格在6千左右/阶。如果要拆板差不多就8千至一万多。 另外有些不知名的小程序就比较便宜三四千就可以刷，可以调的很暴利，但缺稳定性和质...

Rasmus - October And April LyricsShe was like April skySunrise in her eyesChild of light, shining starFire in her heartBrightest day, melting (snow)Breaking through the chillOctober and aprilHe was like frozen skyIn October nightDarkest cloud in the stormRaining from his heart?Coldest snow, deepest chill?Tearing down his will?October and AprilLike hate and loveWorld"s apartThis fatal love was like poison right from the startLike light and DarkWorld"s apartThis fatal love was like poison right from the startWe were like loaded gunsSacrificed our livesWe were like love and undone?Craving to entwineFatal torchFinal thrillLove was bound to KillOctober and aprilHate and loveWorld"s apartLight and DarkWorld"s apartThis fatal love was like poison right from the startOctober and aprilOctober and aprilOctober and april

星期五，4月23日今天是个晴朗的日子。早上，我们骑了三个人的自行车。马克斯坐在自行车前部的篮子里。太有趣了！我们为美丽的乡村拍照。我们买了一些礼物，吃了一些美味的食物。下午，妈妈吃了些水果，觉得不舒服。所以我们住在旅馆里。爸爸和我想让她开心。我们盛装打扮，上演了一出有趣的戏。罗宾饰演的狗，他很可爱，麦克斯非常喜欢他，他跳上他并舔他，当然，罗宾不喜欢。我们一直笑。今天是糟糕的一天也是美好的一天！

英文中的4月（April）来源于单词aperire，表示“开”，可能意味着植物在春天开始生长。古罗马的4月，正是大地回春，鲜花初绽的美好季节。英文4月是April，由拉丁文Aprilis（即开花的日子）演变而来。Aprilis又来源于aperio——开花的意思。4月（April）来源于单词aperire，表示“开”，可能意味着植物在春天开始生长。四月天就是春天最美的时候 。“四月蔷薇靠短墙”，四月的代表花是蔷薇花。四月的美好寄语1、四月，花儿吐艳、柳枝婀娜，碧水传情、山峦叠翠，处处芳菲浸染。四月，思念如风，盎然的春意里掠过，姹紫嫣红的季节便着了淡淡的忧伤。思念于四月的春光中成长葱茏，跳动着我无法剥离的心痛。2、终于熬到人间四月。季节如斯，草木将绿未绿，花朵将绽未绽，阳光未至毒辣，冷风不再酷寒。荒芜与繁盛之间，我依稀看到生命的成长与倔强。不至泛滥却无关冷清，一切美好都以不偏不倚恰到好处的姿态存在。3、四月，走在春末的季里。只需舒眉一瞻，便有柔柔的明媚妖娆了眼眸。绿柳吐烟，陌上花艳。微风过处，迷了眉梢，甜了心儿。

Hadoop　　它是一个分布式系统基础架构，由Apache基金会所开发。　　用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。　　Hadoop的框架最核心的设计就是：HDFS和MapReduce.HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。　　Yarn　　它是Hadoop2.0的升级版。　　Yarn 的优点：　　这个设计大大减小了 JobTracker（也就是现在的 ResourceManager）的资源消耗，并且让监测每一个 Job 子任务 (tasks) 状态的程序分布式化了，更安全、更优美。　　在新的 Yarn 中，ApplicationMaster 是一个可变更的部分，用户可以对不同的编程模型写自己的 AppMst，让更多类型的编程模型能够跑在 Hadoop 集群中，可以参考 hadoop Yarn 官方配置模板中的 mapred-site.xml 配置。　　对于资源的表示以内存为单位 ( 在目前版本的 Yarn 中，没有考虑 cpu 的占用 )，比之前以剩余 slot 数目更合理。　　老的框架中，JobTracker 一个很大的负担就是监控 job 下的 tasks 的运行状况，现在，这个部分就扔给 ApplicationMaster 做了，而 ResourceManager 中有一个模块叫做 ApplicationsMasters( 注意不是 ApplicationMaster)，它是监测 ApplicationMaster 的运行状况，如果出问题，会将其在其他机器上重启。　　Container 是 Yarn 为了将来作资源隔离而提出的一个框架。这一点应该借鉴了 Mesos 的工作，目前是一个框架，仅仅提供 java 虚拟机内存的隔离 ,hadoop 团队的设计思路应该后续能支持更多的资源调度和控制 , 既然资源表示成内存量，那就没有了之前的 map slot/reduce slot 分开造成集群资源闲置的尴尬情况。

　　（1） Hadoop 1.0　　第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中，HDFS由一个NameNode和多个DataNode组成，MapReduce由一个JobTracker和多个TaskTracker组成，对应Hadoop版本为Hadoop 1.x和0.21.X，0.22.x。　　（2） Hadoop 2.0　　第二代Hadoop，为克服Hadoop 1.0中HDFS和MapReduce存在的各种问题而提出的。针对Hadoop 1.0中的单NameNode制约HDFS的扩展性问题，提出了HDFS Federation，它让多个NameNode分管不同的目录进而实现访问隔离和横向扩展；针对Hadoop 1.0中的MapReduce在扩展性和多框架支持方面的不足，提出了全新的资源管理框架YARN(Yet Another Resource Negotiator)，它将JobTracker中的资源管理和作业控制功能分开，分别由组件ResourceManager和ApplicationMaster实现，其中，ResourceManager负责所有应用程序的资源分配，而ApplicationMaster仅负责管理一个应用程序。对应Hadoop版本为Hadoop 0.23.x和2.x。　　（3） MapReduce 1.0或者MRv1（MapReduceversion 1）　　第一代MapReduce计算框架，它由两部分组成：编程模型（programming model）和运行时环境（runtime environment）。它的基本编程模型是将问题抽象成Map和Reduce两个阶段，其中Map阶段将输入数据解析成key/value，迭代调用map()函数处理后，再以key/value的形式输出到本地目录，而Reduce阶段则将key相同的value进行规约处理，并将最终结果写到HDFS上。它的运行时环境由两类服务组成：JobTracker和TaskTracker，其中，JobTracker负责资源管理和所有作业的控制，而TaskTracker负责接收来自JobTracker的命令并执行它。　　（4）MapReduce 2.0或者MRv2（MapReduce version 2）或者NextGen MapReduc　　MapReduce 2.0或者MRv2具有与MRv1相同的编程模型，唯一不同的是运行时环境。MRv2是在MRv1基础上经加工之后，运行于资源管理框架YARN之上的MRv1，它不再由JobTracker和TaskTracker组成，而是变为一个作业控制进程ApplicationMaster，且ApplicationMaster仅负责一个作业的管理，至于资源的管理，则由YARN完成。　　简而言之，MRv1是一个独立的离线计算框架，而MRv2则是运行于YARN之上的MRv1。　　（5）Hadoop-MapReduce（一个离线计算框架）　　Hadoop是google分布式计算框架MapReduce与分布式存储系统GFS的开源实现，由分布式计算框架MapReduce和分布式存储系统HDFS（Hadoop Distributed File System）组成，具有高容错性，高扩展性和编程接口简单等特点，现已被大部分互联网公司采用。　　（6）Hadoop-YARN(Hadoop 2.0的一个分支，实际上是一个资源管理系统)　　YARN是Hadoop的一个子项目（与MapReduce并列），它实际上是一个资源统一管理系统，可以在上面运行各种计算框架（包括MapReduce、Spark、Storm、MPI等）。　　　　当前Hadoop版本比较混乱，让很多用户不知所措。实际上，当前Hadoop只有两个版本：Hadoop 1.0和Hadoop 2.0，其中，Hadoop 1.0由一个分布式文件系统HDFS和一个离线计算框架MapReduce组成，而Hadoop 2.0则包含一个支持NameNode横向扩展的HDFS，一个资源管理系统YARN和一个运行在YARN上的离线计算框架MapReduce。相比于Hadoop 1.0，Hadoop 2.0功能更加强大，且具有更好的扩展性、性能，并支持多种计算框架。　　　　Borg/YARN/Mesos/Torca/Corona一类系统可以为公司构建一个内部的生态系统，所有应用程序和服务可以“和平而友好”地运行在该生态系统上。有了这类系统之后，你不必忧愁使用Hadoop的哪个版本，是Hadoop 0.20.2还是 Hadoop 1.0，你也不必为选择何种计算模型而苦恼，因此各种软件版本，各种计算模型可以一起运行在一台“超级计算机”上了。　　从开源角度看，YARN的提出，从一定程度上弱化了多计算框架的优劣之争。YARN是在Hadoop MapReduce基础上演化而来的，在MapReduce时代，很多人批评MapReduce不适合迭代计算和流失计算，于是出现了Spark和Storm等计算框架，而这些系统的开发者则在自己的网站上或者论文里与MapReduce对比，鼓吹自己的系统多么先进高效，而出现了YARN之后，则形势变得明朗：MapReduce只是运行在YARN之上的一类应用程序抽象，Spark和Storm本质上也是，他们只是针对不同类型的应用开发的，没有优劣之别，各有所长，合并共处，而且，今后所有计算框架的开发，不出意外的话，也应是在YARN之上。这样，一个以YARN为底层资源管理平台，多种计算框架运行于其上的生态系统诞生了。　　　　目前spark是一个非常流行的内存计算（或者迭代式计算，DAG计算）框架，在MapReduce因效率低下而被广为诟病的今天，spark的出现不禁让大家眼前一亮。　　从架构和应用角度上看，spark是一个仅包含计算逻辑的开发库（尽管它提供个独立运行的master/slave服务，但考虑到稳定后以及与其他类型作业的继承性，通常不会被采用），而不包含任何资源管理和调度相关的实现，这使得spark可以灵活运行在目前比较主流的资源管理系统上，典型的代表是mesos和yarn，我们称之为“spark on mesos”和“spark on yarn”。将spark运行在资源管理系统上将带来非常多的收益，包括：与其他计算框架共享集群资源；资源按需分配，进而提高集群资源利用率等。　　FrameWork On YARN　　运行在YARN上的框架，包括MapReduce-On-YARN, Spark-On-YARN, Storm-On-YARN和Tez-On-YARN。　　（1）MapReduce-On-YARN：YARN上的离线计算；　　（2）Spark-On-YARN：YARN上的内存计算；　　（3）Storm-On-YARN：YARN上的实时/流式计算；　　（4）Tez-On-YARN：YARN上的DAG计算

YARN允许用户配置每个节点上可用的物理内存资源，注意，这里是“可用的”，因为一个节点上的内存会被若干个服务共享，比如一部分给YARN，一部分给HDFS，一部分给HBase等，YARN配置的只是自己可以使用的，配置参数如下: (1)yarn.nodemanager.resource.memory-mb 表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。 (2)yarn.scheduler.minimum-allocation-mb 单个容器可申请的最少物理内存量，默认是1024（MB），如果一个容器申请的物理内存量少于该值，则该对应的值改为这个数。 (3) yarn.scheduler.maximum-allocation-mb 单个容器可申请的最多物理内存量，默认是8192（MB） 目前的CPU被划分成虚拟CPU（CPU virtual Core），这里的虚拟CPU是YARN自己引入的概念，初衷是，考虑到不同节点的CPU性能可能不同，每个CPU具有的计算能力也是不一样的，比如某个物理CPU的计算能力可能是另外一个物理CPU的2倍，这时候，你可以通过为第一个物理CPU多配置几个虚拟CPU弥补这种差异。用户提交作业时，可以指定每个任务需要的虚拟CPU个数。在YARN中，CPU相关配置参数如下： (1)yarn.nodemanager.resource.cpu-vcores 表示该节点上YARN可使用的虚拟CPU个数，默认是8，注意，目前推荐将该值设值为与物理CPU核数数目相同。如果你的节点CPU核数不够8个，则需要调减小这个值，而YARN不会智能的探测节点的物 理CPU总数。 (2)yarn.scheduler.minimum-allocation-vcores 单个容器可申请的最小虚拟CPU个数，默认是1，如果一个容器申请的CPU个数少于该数，则该对应的值改为这个数 (3)yarn.scheduler.maximum-allocation-vcores 单个容器可申请的最多虚拟CPU个数，默认是4 3.mapreduce---Memory调优 (1)yarn.app.mapreduce.am.resource.mb MR AppMaster需要的内存，默认是1536M (2)yarn.app.mapreduce.am.command-opts MR AppMaster的Java opts ，默认是 -Xmx1024m (3)mapreduce.map.memory.mb 每个map task所需要的内存，默认是1024M。应该是大于或者等于Container的最小内存 (4)mapreduce.reduce.memory.mb 每个reduce task所需要的内存，默认是1024M (5)mapreduce.map.java.opts map task进程的java.opts，默认是 -Xmx200m (6)mapreduce.reduce.java.opts reduce task进程的java.opts，默认是 -Xmx200m 特别注意: mapreduce.map.memory.mb >mapreduce.map.java.opts mapreduce.reduce.memory.mb >mapreduce.reduce.java.opts mapreduce.map.java.opts / mapreduce.map.memory.mb =0.70~0.80 mapreduce.reduce.java.opts / mapreduce.reduce.memory.mb =0.70~0.80 在yarn container这种模式下，JVM进程跑在container中，mapreduce.{map|reduce}.java.opts 能够通过Xmx设置JVM最大的heap的使用， 一般设置为0.75倍的memory.mb， 则预留些空间会存储java,scala code等 4.mapreduce---CPU调优 (1)mapreduce.map.cpu.vcores map task的虚拟核数，默认为1 (2)mapreduce.reduce.cpu.vcores reduce task的虚拟核数，默认为1 (3)yarn.app.mapreduce.am.resource.cpu-vcores am的虚拟核数，默认为1 假设机器的物理配置 64G 16cores 装完系统还剩 62G 预留15~20% 14G:DN 4G + NM 1G=5G 9G DN进程: 生产4G 1000m hadoop-env.sh HADOOP_NAMENODE_OPTS=-Xmx1024m HADOOP_DATANODE_OPTS=-Xmx4096m NM进程: 生产1G yarn-env.sh export YARN_RESOURCEMANAGER_HEAPSIZE=1024 export YARN_NODEMANAGER_HEAPSIZE=1024 部署同一台： 数据本地化 NN RM 经常性部署同一台 说白了 集群节点少 yarn.nodemanager.resource.memory-mb : 48G 计算总内存 固定经验计算值 yarn.nodemanager.resource.cpu-vcores : 24 yarn.scheduler.minimum-allocation-mb : 4G yarn.scheduler.minimum-allocation-vcores： 2 yarn.scheduler.maximum-allocation-mb : 8G yarn.scheduler.maximum-allocation-vcores : 4 固定经验值(不要超过5个) http://blog.itpub.net/30089851/viewspace-2127851/ http://blog.itpub.net/30089851/viewspace-2127850/

PadmapriyaPadmapriya是一名演员，代表作品有《佛陀翠凤蝶》、《前锋》等。外文名：Padmapriya职业：演员代表作品：佛陀翠凤蝶合作人物：JayanCherian

很多小伙伴就问了联想yogapro14s这款笔记本怎么样值得入手吗，联想yogapro14s这款笔记本还是挺不错的轻薄性能好散热也不错，总体来说非常的不错。联想yogapro14s怎么样答：还是不错的联想yogapro14s这款笔记本不仅轻薄品质也很好，性能和散热也是非常的不错。联想yogapro14s介绍：1、品质不错，整体的外观也是非常的轻便方便携带。2、散热方面也是很出色。3、分辨率为3072x1920也是非常的清晰。4、它的cpu为R7-6800HS，用来日常和游戏无压力。

擦，这都有

April 1st is a day on which原文阅读如下并翻译：April 1st is a day on which, in some countries, people try to play tricks (恶作剧) on others．If one succeeds in tricking somebody, one laughs and says, “April Fool．” And then the person who has been tricked usually laughs, too． One April 1st, a country bus was going along a winding road．When it slowed down and stopped, the driver anxiously turned the switches but nothing happened．Then he turned to the passengers with a worried look on his face and said, “This poor bus is getting old and it isn"t going as well as it used to．There"s one thing to do if we want to get home today．I shall count three, and on the word ‘three" I want you all to lean forward suddenly as hard as you can．That should get the bus started again, but if it doesn"t I am afraid there is nothing I can do．Now, all of you lean back as far as you can in your seats and get ready．” The passengers all obeyed and waited anxiously．Then the driver turned to his front and asked whether they were ready．The passengers hardly had enough breath to answer, “Yes．” “One! Two! Three!” counted the driver．The passengers all swung forward suddenly and the bus started up at a great speed． The passengers breathed more easily and began to smile with relief(宽慰)．But their smiles turned to surprise and then delighted laughter when the driver merrily cried, “April Fool．”翻译附后4月1日是那一天，在一些国家，人们尝试别人玩把戏（恶作剧）。如果一个人成功地欺骗了他人，并笑着说，“愚人节快乐。”，然后那被欺骗的人也会大笑。四月一日，一辆乡村公共汽车沿着曲折的道路跑着。当它慢下来，该司机焦急地打开开关，但什么也没有作用。然后他转身向乘客担心看他的脸说，“这个可怜的老车。如果我们要回家，有一件事要做。我要数到三，并在单词“三”我要你们全部往前推。那样的话，公共汽车又可以发动了，但如果它不，我恐怕没什么我能做的。现在，你们所有都向后靠到你可以在你的座位上做好准备。”乘客们全都服从了，焦急地等待着，然后司机转过身来问他们是否准备好了，乘客们几乎没有足够的呼吸来回答，“是的。”“一！二！三！司机数了数，乘客们突然向前，公交车以巨大的速度发动了。乘客可以轻松地呼吸，并开始微笑 互相宽慰。但他们的微笑变成了惊讶，然后高兴的笑声就出来了，司机愉快地说，“愚人节快乐”。

　　什么是Map/Reduce，看下面的各种解释：　　(1)MapReduce是hadoop的核心组件之一，hadoop要分布式包括两部分，一是分布式文件系统hdfs,一部是分布式计算框，就是mapreduce,缺一不可，也就是说，可以通过mapreduce很容易在hadoop平台上进行分布式的计算编程。　　(2)Mapreduce是一种编程模型，是一种编程方法，抽象理论。　　(3)下面是一个关于一个程序员是如何个妻子讲解什么是MapReduce？文章很长请耐心的看。　　我问妻子：“你真的想要弄懂什么是MapReduce？” 她很坚定的回答说“是的”。 因此我问道：　　我： 你是如何准备洋葱辣椒酱的？（以下并非准确食谱，请勿在家尝试）　　妻子： 我会取一个洋葱，把它切碎，然后拌入盐和水，最后放进混合研磨机里研磨。这样就能得到洋葱辣椒酱了。　　妻子： 但这和MapReduce有什么关系？　　我： 你等一下。让我来编一个完整的情节，这样你肯定可以在15分钟内弄懂MapReduce.　　妻子： 好吧。　　我：现在，假设你想用薄荷、洋葱、番茄、辣椒、大蒜弄一瓶混合辣椒酱。你会怎么做呢？　　妻子： 我会取薄荷叶一撮，洋葱一个，番茄一个，辣椒一根，大蒜一根，切碎后加入适量的盐和水，再放入混合研磨机里研磨，这样你就可以得到一瓶混合辣椒酱了。　　我： 没错，让我们把MapReduce的概念应用到食谱上。Map和Reduce其实是两种操作，我来给你详细讲解下。　　Map（映射）: 把洋葱、番茄、辣椒和大蒜切碎，是各自作用在这些物体上的一个Map操作。所以你给Map一个洋葱，Map就会把洋葱切碎。 同样的，你把辣椒，大蒜和番茄一一地拿给Map，你也会得到各种碎块。 所以，当你在切像洋葱这样的蔬菜时，你执行就是一个Map操作。 Map操作适用于每一种蔬菜，它会相应地生产出一种或多种碎块，在我们的例子中生产的是蔬菜块。在Map操作中可能会出现有个洋葱坏掉了的情况，你只要把坏洋葱丢了就行了。所以，如果出现坏洋葱了，Map操作就会过滤掉坏洋葱而不会生产出任何的坏洋葱块。　　Reduce（化简）:在这一阶段，你将各种蔬菜碎都放入研磨机里进行研磨，你就可以得到一瓶辣椒酱了。这意味要制成一瓶辣椒酱，你得研磨所有的原料。因此，研磨机通常将map操作的蔬菜碎聚集在了一起。　　妻子： 所以，这就是MapReduce?　　我： 你可以说是，也可以说不是。 其实这只是MapReduce的一部分，MapReduce的强大在于分布式计算。　　妻子： 分布式计算？ 那是什么？请给我解释下吧。　　我： 没问题。　　我： 假设你参加了一个辣椒酱比赛并且你的食谱赢得了最佳辣椒酱奖。得奖之后，辣椒酱食谱大受欢迎，于是你想要开始出售自制品牌的辣椒酱。假设你每天需要生产10000瓶辣椒酱，你会怎么办呢？　　妻子： 我会找一个能为我大量提供原料的供应商。　　我：是的..就是那样的。那你能否独自完成制作呢？也就是说，独自将原料都切碎？ 仅仅一部研磨机又是否能满足需要？而且现在，我们还需要供应不同种类的辣椒酱，像洋葱辣椒酱、青椒辣椒酱、番茄辣椒酱等等。　　妻子： 当然不能了，我会雇佣更多的工人来切蔬菜。我还需要更多的研磨机，这样我就可以更快地生产辣椒酱了。　　我：没错，所以现在你就不得不分配工作了，你将需要几个人一起切蔬菜。每个人都要处理满满一袋的蔬菜，而每一个人都相当于在执行一个简单的Map操作。每一个人都将不断的从袋子里拿出蔬菜来，并且每次只对一种蔬菜进行处理，也就是将它们切碎，直到袋子空了为止。　　这样，当所有的工人都切完以后，工作台（每个人工作的地方）上就有了洋葱块、番茄块、和蒜蓉等等。　　妻子：但是我怎么会制造出不同种类的番茄酱呢？　　我：现在你会看到MapReduce遗漏的阶段—搅拌阶段。MapReduce将所有输出的蔬菜碎都搅拌在了一起，这些蔬菜碎都是在以key为基础的 map操作下产生的。搅拌将自动完成，你可以假设key是一种原料的名字，就像洋葱一样。 所以全部的洋葱keys都会搅拌在一起，并转移到研磨洋葱的研磨器里。这样，你就能得到洋葱辣椒酱了。同样地，所有的番茄也会被转移到标记着番茄的研磨器里，并制造出番茄辣椒酱。　　（4）上面都是从理论上来说明什么是MapReduce，那么咱们在MapReduce产生的过程和代码的角度来理解这个问题。　　如果想统计下过去10年计算机论文出现最多的几个单词，看看大家都在研究些什么，那收集好论文后，该怎么办呢？　　方法一：　　我可以写一个小程序，把所有论文按顺序遍历一遍，统计每一个遇到的单词的出现次数，最后就可以知道哪几个单词最热门了。 这种方法在数据集比较小时，是非常有效的，而且实现最简单，用来解决这个问题很合适。　　方法二：　　写一个多线程程序，并发遍历论文。　　这个问题理论上是可以高度并发的，因为统计一个文件时不会影响统计另一个文件。当我们的机器是多核或者多处理器，方法二肯定比方法一高效。但是写一个多线程程序要比方法一困难多了，我们必须自己同步共享数据，比如要防止两个线程重复统计文件。　　方法三：　　把作业交给多个计算机去完成。　　我们可以使用方法一的程序，部署到N台机器上去，然后把论文集分成N份，一台机器跑一个作业。这个方法跑得足够快，但是部署起来很麻烦，我们要人工把程序copy到别的机器，要人工把论文集分开，最痛苦的是还要把N个运行结果进行整合（当然我们也可以再写一个程序）。　　方法四：　　让MapReduce来帮帮我们吧！　　MapReduce本质上就是方法三，但是如何拆分文件集，如何copy程序，如何整合结果这些都是框架定义好的。我们只要定义好这个任务（用户程序），其它都交给MapReduce。　　map函数和reduce函数　　map函数和reduce函数是交给用户实现的，这两个函数定义了任务本身。　　map函数：接受一个键值对（key-value pair），产生一组中间键值对。MapReduce框架会将map函数产生的中间键值对里键相同的值传递给一个reduce函数。　　reduce函数：接受一个键，以及相关的一组值，将这组值进行合并产生一组规模更小的值（通常只有一个或零个值）。　　统计词频的MapReduce函数的核心代码非常简短，主要就是实现这两个函数。　　map(String key, String value):　　// key: document name　　// value: document contents　　for each word w in value:　　EmitIntermediate(w, "1");　　reduce(String key, Iterator values):　　// key: a word　　// values: a list of counts　　int result = 0;　　for each v in values:　　result += ParseInt(v);　　Emit(AsString(result));　　在统计词频的例子里，map函数接受的键是文件名，值是文件的内容，map逐个遍历单词，每遇到一个单词w，就产生一个中间键值对<w, "1">，这表示单词w咱又找到了一个；MapReduce将键相同（都是单词w）的键值对传给reduce函数，这样reduce函数接受的键就是单词w，值是一串"1"（最基本的实现是这样，但可以优化），个数等于键为w的键值对的个数，然后将这些“1”累加就得到单词w的出现次数。最后这些单词的出现次数会被写到用户定义的位置，存储在底层的分布式存储系统（GFS或HDFS）。转载

1、皮肤瘙痒、呼吸短促、呼吸困难、哮喘、耳鸣、下肢水肿、胃烧灼感、消化不良、胃痛或不适、便秘、头晕、嗜睡、头痛、恶心及呕吐等，发生率一般为3%～9%。2、视力模糊或视觉障碍、听力减退、腹泻、口腔刺激或痛感、心慌及多汗等，发生率1%～3%。3、胃肠出血、肾脏损害（过敏性肾炎、痛病、肾乳头坏死及肾功能衰竭等）、荨麻疹、过敏性皮疹、精神抑郁、肌肉无力、出血或粒细胞减少及肝功损害等较少见，发生率1%～3%。

歌曲名:Young Men (Bbc In Concert - 29Th Apr 1987)歌手:Spear Of Destiny专辑:Bbc In Concert (29Th April 1987)Young MenSuedeTony only reads Asian BabesDanny"s doing doves down the ravesTerry drinks his money awayOh god, and his sons play drums all dayOn the scene, on the dole,in your eyes, in your soul,the young men, young menYou are the ones,are the scene, are the sons,are the young men, young menYoung men, here we, here we go againLes says punk isn"t deadMick is not impeccably bredPaul he just can"t get out of bedOh god, and Phil"s still off his headOn the scene, on the dole,in your eyes, in your soul,the young men, young menYou are the ones,are the system, are the sons,are the young men, young menYoung men, here we, here we go againOn the scene, on the dole,in your eyes, in your soul,the young men, young menYou are the ones,are the scene, are the sons,are the young men, young menCheating on the wives, all shiny suits and lazy lies,it"s the young men, young menInsulting everyone,picked up your sister, kicked your son,it"s the young men, young menFighting in the clubs,flash on the streets, cash in the pubs,it"s the young men, young menBoozing on the train, p-45"s and cheap champagneit"s the young menyoung men, young menhttp://music.baidu.com/song/2886976

Bible, riddle, able, capalbe, rival, jungle, style, eagle, nostril, file........太多了。。

这些都是英文名字阿... 不需要翻译的!音译照顺利... 洁瑟米, 艾波, 瑟西里亚, 晶洁, 皮里西亚.

When is April fools day? 温 一丝 爱破 腐 得

When is

愚人节是什么时候？

asurveyhasrecentlybeendoneatourschoolthatshowspeople"sattitudetowardaprilfool"sday.itisinterestingtofindthataboutonethird，33%percentreallylovethisdaybecausethedaycouldofferusachancetoamuseourselvesespeciallythosewhounderhugepressure！however，another33%believethatitisunkindtodofunnythingstoothersandwhat"sworse，sometimesaccidentsmayhappenbecauseofsomesillyjokes.

When is April Fool" Day. 四月愚人节是什么时候。 双语对照 例句: 1. April fool"s day is a day for all of us to have some fun and play a few jokes on our friendsor even on strangers. 愚人节是一个所有人都能玩乐的日子，在这一天，我们能拿朋友甚至是跟陌生人开些玩笑。 2. Mexico"s counterpart of april fool"s day is actually observed on december 28. 墨西哥相对应的愚人节实际上是在12月28日这一天庆祝的。

April Fool`s Day is on the April 1st. 愚人节是四月一号.

My April Fool"s Day Maybe April Fool"s Day sounds strange for chinese people,but when you engage yourself in some things in April Fool"s Day,you may feel it interesting!In effect,i think my April Fool"s Day gave me insights into what is American culture,at that day,we played tricks on nearly all of my clas *** ates,from which,i got a great deal of fun.In addition,we decorated our classroom with many strange stuff as if there we would enjoy Christmas,and said happy new year or happy Christmas to all,it is very funny!,2,I was fooled by my friend. It was April Fool"s Day yesterday, but I didn"t realized. When school was over in the morning, my friend Zhang Feng asked me to have lunch with him in a restaurant near the...,2,