park

（1） Hadoop 1.0第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中，HDFS由一个NameNode和多个DataNode组成，MapReduce由一个JobTracker和多个TaskTracker组成，对应Hadoop版本为Hadoop 1.x和0.21.X，0.22.x。（2） Hadoop 2.0第二代Hadoop，为克服Hadoop 1.0中HDFS和MapReduce存在的各种问题而提出的。针对Hadoop 1.0中的单NameNode制约HDFS的扩展性问题，提出了HDFS Federation，它让多个NameNode分管不同的目录进而实现访问隔离和横向扩展；针对Hadoop 1.0中的MapReduce在扩展性和多框架支持方面的不足，提出了全新的资源管理框架YARN(Yet Another Resource Negotiator)，它将JobTracker中的资源管理和作业控制功能分开，分别由组件ResourceManager和ApplicationMaster实现，其中，ResourceManager负责所有应用程序的资源分配，而ApplicationMaster仅负责管理一个应用程序。对应Hadoop版本为Hadoop 0.23.x和2.x。（3） MapReduce 1.0或者MRv1（MapReduceversion 1）第一代MapReduce计算框架，它由两部分组成：编程模型（programming model）和运行时环境（runtime environment）。它的基本编程模型是将问题抽象成Map和Reduce两个阶段，其中Map阶段将输入数据解析成key/value，迭代调用map()函数处理后，再以key/value的形式输出到本地目录，而Reduce阶段则将key相同的value进行规约处理，并将最终结果写到HDFS上。它的运行时环境由两类服务组成：JobTracker和TaskTracker，其中，JobTracker负责资源管理和所有作业的控制，而TaskTracker负责接收来自JobTracker的命令并执行它。（4）MapReduce 2.0或者MRv2（MapReduce version 2）或者NextGen MapReducMapReduce 2.0或者MRv2具有与MRv1相同的编程模型，唯一不同的是运行时环境。MRv2是在MRv1基础上经加工之后，运行于资源管理框架YARN之上的MRv1，它不再由JobTracker和TaskTracker组成，而是变为一个作业控制进程ApplicationMaster，且ApplicationMaster仅负责一个作业的管理，至于资源的管理，则由YARN完成。简而言之，MRv1是一个独立的离线计算框架，而MRv2则是运行于YARN之上的MRv1。（5）Hadoop-MapReduce（一个离线计算框架）Hadoop是google分布式计算框架MapReduce与分布式存储系统GFS的开源实现，由分布式计算框架MapReduce和分布式存储系统HDFS（Hadoop Distributed File System）组成，具有高容错性，高扩展性和编程接口简单等特点，现已被大部分互联网公司采用。（6）Hadoop-YARN(Hadoop 2.0的一个分支，实际上是一个资源管理系统)YARN是Hadoop的一个子项目（与MapReduce并列），它实际上是一个资源统一管理系统，可以在上面运行各种计算框架（包括MapReduce、Spark、Storm、MPI等）。当前Hadoop版本比较混乱，让很多用户不知所措。实际上，当前Hadoop只有两个版本：Hadoop 1.0和Hadoop 2.0，其中，Hadoop 1.0由一个分布式文件系统HDFS和一个离线计算框架MapReduce组成，而Hadoop 2.0则包含一个支持NameNode横向扩展的HDFS，一个资源管理系统YARN和一个运行在YARN上的离线计算框架MapReduce。相比于Hadoop 1.0，Hadoop 2.0功能更加强大，且具有更好的扩展性、性能，并支持多种计算框架。Borg/YARN/Mesos/Torca/Corona一类系统可以为公司构建一个内部的生态系统，所有应用程序和服务可以“和平而友好”地运行在该生态系统上。有了这类系统之后，你不必忧愁使用Hadoop的哪个版本，是Hadoop 0.20.2还是 Hadoop 1.0，你也不必为选择何种计算模型而苦恼，因此各种软件版本，各种计算模型可以一起运行在一台“超级计算机”上了。从开源角度看，YARN的提出，从一定程度上弱化了多计算框架的优劣之争。YARN是在Hadoop MapReduce基础上演化而来的，在MapReduce时代，很多人批评MapReduce不适合迭代计算和流失计算，于是出现了Spark和Storm等计算框架，而这些系统的开发者则在自己的网站上或者论文里与MapReduce对比，鼓吹自己的系统多么先进高效，而出现了YARN之后，则形势变得明朗：MapReduce只是运行在YARN之上的一类应用程序抽象，Spark和Storm本质上也是，他们只是针对不同类型的应用开发的，没有优劣之别，各有所长，合并共处，而且，今后所有计算框架的开发，不出意外的话，也应是在YARN之上。这样，一个以YARN为底层资源管理平台，多种计算框架运行于其上的生态系统诞生了。目前spark是一个非常流行的内存计算（或者迭代式计算，DAG计算）框架，在MapReduce因效率低下而被广为诟病的今天，spark的出现不禁让大家眼前一亮。从架构和应用角度上看，spark是一个仅包含计算逻辑的开发库（尽管它提供个独立运行的master/slave服务，但考虑到稳定后以及与其他类型作业的继承性，通常不会被采用），而不包含任何资源管理和调度相关的实现，这使得spark可以灵活运行在目前比较主流的资源管理系统上，典型的代表是mesos和yarn，我们称之为“spark on mesos”和“spark on yarn”。将spark运行在资源管理系统上将带来非常多的收益，包括：与其他计算框架共享集群资源；资源按需分配，进而提高集群资源利用率等。FrameWork On YARN运行在YARN上的框架，包括MapReduce-On-YARN, Spark-On-YARN, Storm-On-YARN和Tez-On-YARN。（1）MapReduce-On-YARN：YARN上的离线计算；（2）Spark-On-YARN：YARN上的内存计算；（3）Storm-On-YARN：YARN上的实时/流式计算；（4）Tez-On-YARN：YARN上的DAG计算

科普Spark，Spark是什么，如何使用Spark1.Spark基于什么算法的分布式计算（很简单）2.Spark与MapReduce不同在什么地方3.Spark为什么比Hadoop灵活4.Spark局限是什么5.什么情况下适合使用Spark什么是SparkSpark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的mapreduce的算法。其架构如下图所示：Spark与Hadoop的对比Spark的中间数据放到内存中，对于迭代运算效率更高。Spark更适合于迭代运算比较多的ML和DM运算。因为在Spark里面，有RDD的抽象概念。Spark比Hadoop更通用Spark提供的数据集操作类型有很多种，不像Hadoop只提供了Map和Reduce两种操作。比如map,filter,flatMap,sample,groupByKey,reduceByKey,union,join,cogroup,mapValues,sort,partionBy等多种操作类型，Spark把这些操作称为Transformations。同时还提供Count,collect,reduce,lookup,save等多种actions操作。这些多种多样的数据集操作类型，给给开发上层应用的用户提供了方便。各个处理节点之间的通信模型不再像Hadoop那样就是唯一的DataShuffle一种模式。用户可以命名，物化，控制中间结果的存储、分区等。可以说编程模型比Hadoop更灵活。不过由于RDD的特性，Spark不适用那种异步细粒度更新状态的应用，例如web服务的存储或者是增量的web爬虫和索引。就是对于那种增量修改的应用模型不适合。容错性在分布式数据集计算时通过checkpoint来实现容错，而checkpoint有两种方式，一个是checkpointdata，一个是loggingtheupdates。用户可以控制采用哪种方式来实现容错。可用性Spark通过提供丰富的Scala,Java，PythonAPI及交互式Shell来提高可用性。Spark与Hadoop的结合Spark可以直接对HDFS进行数据的读写，同样支持SparkonYARN。Spark可以与MapReduce运行于同集群中，共享存储资源与计算，数据仓库Shark实现上借用Hive，几乎与Hive完全兼容。Spark的适用场景Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小（大数据库架构中这是是否考虑使用Spark的重要因素）由于RDD的特性，Spark不适用那种异步细粒度更新状态的应用，例如web服务的存储或者是增量的web爬虫和索引。就是对于那种增量修改的应用模型不适合。总的来说Spark的适用面比较广泛且比较通用。运行模式本地模式Standalone模式Mesoes模式yarn模式Spark生态系统Shark(HiveonSpark):Shark基本上就是在Spark的框架基础上提供和Hive一样的HiveQL命令接口，为了最大程度的保持和Hive的兼容性，Shark使用了Hive的API来实现queryParsing和LogicPlangeneration，最后的PhysicalPlanexecution阶段用Spark代替HadoopMapReduce。通过配置Shark参数，Shark可以自动在内存中缓存特定的RDD，实现数据重用，进而加快特定数据集的检索。同时，Shark通过UDF用户自定义函数实现特定的数据分析学习算法，使得SQL数据查询和运算分析能结合在一起，最大化RDD的重复使用。Sparkstreaming:构建在Spark上处理Stream数据的框架，基本的原理是将Stream数据分成小的时间片断（几秒），以类似batch批量处理的方式来处理这小部分数据。SparkStreaming构建在Spark上，一方面是因为Spark的低延迟执行引擎（100ms+）可以用于实时计算，另一方面相比基于Record的其它处理框架（如Storm），RDD数据集更容易做高效的容错处理。此外小批量处理的方式使得它可以同时兼容批量和实时数据处理的逻辑和算法。方便了一些需要历史数据和实时数据联合分析的特定应用场合。Bagel:PregelonSpark，可以用Spark进行图计算，这是个非常有用的小项目。Bagel自带了一个例子，实现了Google的PageRank算法。End.

Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询等方面的所有核心问题，具有完善的生态系统，这直接奠定了其一统云计算大数据领域的霸主地位；要想成为Spark高手，需要经历一下阶段：第一阶段：熟练地掌握Scala语言1， Spark框架是采用Scala语言编写的，精致而优雅。要想成为Spark高手，你就必须阅读Spark的源代码，就必须掌握Scala,；2， 虽然说现在的Spark可以采用多语言Java、Python等进行应用程序开发，但是最快速的和支持最好的开发API依然并将永远是Scala方式的API，所以你必须掌握Scala来编写复杂的和高性能的Spark分布式程序；3， 尤其要熟练掌握Scala的trait、apply、函数式编程、泛型、逆变与协变等；第二阶段：精通Spark平台本身提供给开发者API1， 掌握Spark中面向RDD的开发模式，掌握各种transformation和action函数的使用；2， 掌握Spark中的宽依赖和窄依赖以及lineage机制；3， 掌握RDD的计算流程，例如Stage的划分、Spark应用程序提交给集群的基本过程和Worker节点基础的工作原理等第三阶段：深入Spark内核此阶段主要是通过Spark框架的源码研读来深入Spark内核部分：1， 通过源码掌握Spark的任务提交过程；2， 通过源码掌握Spark集群的任务调度；3， 尤其要精通DAGScheduler、TaskScheduler和Worker节点内部的工作的每一步的细节；第四阶级:掌握基于Spark上的核心框架的使用Spark作为云计算大数据时代的集大成者，在实时流处理、图技术、机器学习、NoSQL查询等方面具有显著的优势，我们使用Spark的时候大部分时间都是在使用其上的框架例如Shark、Spark Streaming等：1， Spark Streaming是非常出色的实时流处理框架，要掌握其DStream、transformation和checkpoint等；2， Spark的离线统计分析功能，Spark 1.0.0版本在Shark的基础上推出了Spark SQL，离线统计分析的功能的效率有显著的提升，需要重点掌握；3， 对于Spark的机器学习和GraphX等要掌握其原理和用法；第五阶级:做商业级别的Spark项目通过一个完整的具有代表性的Spark项目来贯穿Spark的方方面面，包括项目的架构设计、用到的技术的剖析、开发实现、运维等，完整掌握其中的每一个阶段和细节，这样就可以让您以后可以从容面对绝大多数Spark项目。第六阶级：提供Spark解决方案1， 彻底掌握Spark框架源码的每一个细节；

百度词典说　spark　可数名词　 n. [C]spark名词 n. [C]1.火花,火星A cigarette spark started the fire.

熟悉Hadoop的人应该都知道，用户先编写好一个程序，我们称为Mapreduce程序，一个Mapreduce程序就是一个Job，而一个Job里面可以有一个或多个Task，Task又可以区分为Map Task和Reduce Task.　　而在Spark中，也有Job概念，但是这里的Job和Mapreduce中的Job不一样，它不是作业的最高级别的粒度，在它只上还有Application的概念。我们先来看看Spark文档是怎么定义Application，Task ，Job和Stage的：Application：User program built on Spark. Consists of a driver program and executors on the cluster.Task：A unit of work that will be sent to one executorJob：A parallel computation consisting of multiple tasks that gets spawned in response to a Spark action (e.g. save, collect); you"ll see this term used in the driver"s logs.Stage：Each job gets divided into smaller sets of tasks called stages that depend on each other (similar to the map and reduce stages in MapReduce); you"ll see this term used in the driver"s logs.　　一个Application和一个SparkContext相关联，每个Application中可以有一个或多个Job，可以并行或者串行运行Job。Spark中的一个Action可以触发一个Job的运行。在Job里面又包含了多个Stage，Stage是以Shuffle进行划分的。在Stage中又包含了多个Task，多个Task构成了Task Set。　　Mapreduce中的每个Task分别在自己的进程中运行，当该Task运行完的时候，该进程也就结束了。和Mapreduce不一样的是，Spark中多个Task可以运行在一个进程里面，而且这个进程的生命周期和Application一样，即使没有Job在运行。　　这个模型有什么好处呢？可以加快Spark的运行速度！Tasks可以快速地启动，并且处理内存中的数据。但是这个模型有的缺点就是粗粒度的资源管理，每个Application拥有固定数量的executor和固定数量的内存。 这些就是他们之间的区别啦。希望帮到您。

最主要的问题是内存，内存不稳定特别是shuffle阶段内存分配不足容易失败，对数据不均匀比较敏感

1）应用场景不同Hadoop和Spark两者都是大数据框架，但是各自应用场景是不同的。Hadoop是一个分布式数据存储架构，它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，降低了硬件的成本。Spark是那么一个专门用来对那些分布式存储的大数据进行处理的工具，它要借助hdfs的数据存储。2）处理速度不同hadoop的MapReduce是分步对数据进行处理的，从磁盘中读取数据，进行一次处理，将结果写到磁盘，然后在从磁盘中读取更新后的数据，再次进行的处理，最后再将结果存入磁盘，这存取磁盘的过程会影响处理速度。spark从磁盘中读取数据，把中间数据放到内存中，，完成所有必须的分析处理，将结果写回集群，所以spark更快。3）容错性不同Hadoop将每次处理后的数据都写入到磁盘上，基本谈不上断电或者出错数据丢失的情况。Spark的数据对象存储在弹性分布式数据集 RDD，RDD是分布在一组节点中的只读对象集合，如果数据集一部分丢失，则可以根据于数据衍生过程对它们进行重建。而且RDD 计算时可以通过 CheckPoint 来实现容错。

2.1.2　在Windows上安装与配置Spark本节介绍在Windows系统上安装Spark的过程。在Windows环境下需要安装Cygwin模拟Linux的命令行环境来安装Spark。（1）安装JDK相对于Linux、Windows的JDK安装更加自动化，用户可以下载安装Oracle JDK或者OpenJDK。只安装JRE是不够的，用户应该下载整个JDK。安装过程十分简单，运行二进制可执行文件即可，程序会自动配置环境变量。（2）安装CygwinCygwin是在Windows平台下模拟Linux环境的一个非常有用的工具，只有通过它才可以在Windows环境下安装Hadoop和Spark。具体安装步骤如下。1）运行安装程序，选择install from internet。2）选择网络最好的下载源进行下载。3）进入Select Packages界面（见图2-2），然后进入Net，选择openssl及openssh。因为之后还是会用到ssh无密钥登录的。另外应该安装“Editors Category”下面的“vim”。这样就可以在Cygwin上方便地修改配置文件。最后需要配置环境变量，依次选择“我的电脑”→“属性”→“高级系统设置”→“环境变量”命令，更新环境变量中的path设置，在其后添加Cygwin的bin目录和Cygwin的usrin两个目录。（3）安装sshd并配置免密码登录1）双击桌面上的Cygwin图标，启动Cygwin，执行ssh-host-config -y命令，出现如图2-3所示的界面。2）执行后，提示输入密码，否则会退出该配置，此时输入密码和确认密码，按回车键。最后出现Host configuration finished.Have fun!表示安装成功。3）输入net start sshd，启动服务。或者在系统的服务中找到并启动Cygwin sshd服务。注意，如果是Windows 8操作系统，启动Cygwin时，需要以管理员身份运行（右击图标，选择以管理员身份运行），否则会因为权限问题，提示“发生系统错误5”。（4）配置SSH免密码登录1）执行ssh-keygen命令生成密钥文件，如图2-4所示。2）执行此命令后，在你的Cygwinhome用户名路径下面会生成.ssh文件夹，可以通过命令ls -a /home/用户名 查看，通过ssh -version命令查看版本。3）执行完ssh-keygen命令后，再执行下面命令，生成authorized_keys文件。cd ~/.ssh/ cp id_dsa.pub authorized_keys 这样就配置好了sshd服务。（5）配置Hadoop修改和配置相关文件与Linux的配置一致，读者可以参照上文Linux中的配置方式，这里不再赘述。（6）配置Spark修改和配置相关文件与Linux的配置一致，读者可以参照上文Linux中的配置方式，这里不再赘述。（7）运行Spark1）Spark的启动与关闭①在Spark根目录启动Spark。./sbin/start-all.sh ②关闭Spark。./sbin/stop-all.sh 2）Hadoop的启动与关闭①在Hadoop根目录启动Hadoop。./sbin/start-all.sh ②关闭Hadoop。./sbin/stop-all.sh 3）检测是否安装成功正常状态下会出现如下内容。-bash-4.1# jps 23526 Jps 2127 Master 7396 NameNode 7594 SecondaryNameNode 7681 ResourceManager 1053 DataNode 31935 NodeManager 1405 Worker 如缺少进程请到logs文件夹下查看相应日志，针对具体问题进行解决。

Hadoop框架比较侧重离线大批量计算，而spark框架则侧重于内存和实时计算。Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施：它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不需要购买和维护昂贵的服务器硬件。同时，Hadoop还会索引和跟踪这些数据，让大数据处理和分析效率达到前所未有的高度。Spark，则是那么一个专门用来对那些分布式存储的大数据进行处理的工具，它并不会进行分布式数据的存储。Hadoop除了提供为大家所共识的HDFS分布式数据存储功能之外，还提供了叫做MapReduce的数据处理功能。所以这里我们完全可以抛开Spark，使用Hadoop自身的MapReduce来完成数据的处理。相反，Spark也不是非要依附在Hadoop身上才能生存。但如上所述，毕竟它没有提供文件管理系统，所以，它必须和其他的分布式文件系统进行集成才能运作。这里我们可以选择Hadoop的HDFS,也可以选择其他的基于云的数据系统平台。但Spark默认来说还是被用在Hadoop上面的，毕竟，大家都认为它们的结合是最好的。

hadoop:是分布式存储系统，同时提供分布式计算环境，存储称为hdfs，计算称为mapreduce 简称MR。spark：是一个分布式计算框架，类似于hadoop的运算环境，但是比mapreduce提供了更多支持，与其他系统的对接，一些高级算法等，可以独立运行，也可以使用hdfs上的数据，调度任务也可以基于hadoop的yarn来管理。由于整个计算都可以在内存中完成，所以速度自然比传统的MR计算的快。除此之外spark运行时占用的系统资源也比MR小得多，相比较属于轻量级运行。最核心的也是它提供的分析学习算法，这个大部分分布式架构不具有的。一般spark下的编程多数基于scala来完成，而非java，所以想学习spark一定要学习scala语言

雪佛兰斯帕可（Spark)是上海通用汽车雪佛兰推出的首款1.0排量高端进口微型车，原名乐驰。于2010年12月底正式上市，排量均为1.0的两款车型分别是斯帕可1.0 SE MT（经济手动款）和斯帕可1.0 SX AT(豪华自动款），售价为6.78-8.86万元，油耗为5.6L-6.2L，主要竞争对手定位为大众POLO，现代i30、瑞纳（两厢），东风悦达起亚K2（两厢），铃木雨燕、北斗星等A00级小型车。名称定义SPARK 在英文当中是“火花”的意思。用这个词来形容上汽通用五菱2003年12月8日上市10余年，全球总销量接近110万辆。国产的Spark改挂雪佛兰标志，整车与国外车型并无两样。扩展资料2019年雪佛兰Spark有四种装饰级别，主要区别于标准功能内容。Spark LS是基本型号，1LT增加了更多功能。该2LT拥有更多的便利和驾驶员辅助功能，而ACTIV模型增加了离地间隙和图钉的车顶行李架更积极的生活方式。所有Sparks都配备1.4升四缸发动机，可产生98马力和94磅 - 英尺的扭矩。发动机通过五速手动变速器或无级变速自动变速器（CVT）驱动前轮。Spark LS配备15英寸钢轮，空调，后视摄像头，7英寸触摸屏，Android Auto和Apple CarPlay功能，蓝牙和USB连接，四扬声器音响系统以及雪佛兰OnStar通信系统，包括4G LTE车载Wi-Fi热点。该1LT包括铝合金轮毂，动力配件（窗口，反射镜和门锁），巡航控制，远程无钥匙进入，雾灯，和六扬声器音频系统。接下来就是Activ。 它增加了模拟皮革座椅表面，加热前排座椅，皮革包裹的方向盘，车顶纵梁，特殊的15英寸车轮和车身，以及提升0.4英寸额外离地间隙的凸起悬架。或者，去2LT。与1LT相比，它配备了后部停车传感器，模拟皮革座椅表面，按钮启动，升级的驾驶员信息显示，加热前排座椅，镀铬门把手和装饰。1LT和2LT装饰可选择天窗。仅对于2LT，您可以获得驾驶员信心包，其中添加了具有低速紧急自动制动和车道偏离警告系统的前方碰撞警告系统。2019年Spark的小型四缸发动机最适合在城镇周围使用。CVT自动装备的Spark需要11秒才能从停止时间达到60英里/小时，因此高速公路上坡需要一些规划。令人惊讶的是，Spark在城镇周围非常灵活，整体上提供了良好的驾驶体验。虽然它很吵，但Spark与同级车中的其他车型相比毫不逊色。座椅位置直立，侧向支撑最小。后排座椅最适合较小的乘客。是的，Spark很小，但它的内部布局很实用。高高的车顶线条使其具有良好的通道和可视性。但其他超小型车提供更多后排腿部空间。使用后座的货舱很小。但折叠座椅，并有足够的存储空间来解决适合这款超小型掀背车的典型差事。信息娱乐系统增添了Spark的现代氛围。菜单直观，图形清晰。触摸屏支持Apple CarPlay和Android Auto连接。您还可以通过OnStar系统获得板载Wi-Fi。参考资料来源：百度百科-通用雪佛兰SPARK

n.火花; 火星A cigarette spark started the forest fire.香烟的火星引起了这场森林火灾。丝毫, 略微, 一点点vi.发出火星; 发出闪光Fireflies sparked in the darkness.萤火虫在黑暗中发光。vt.使大感兴趣

1、n.火花; 火星; 电火花; (指品质或感情)一星，丝毫，一丁点;2、v.引发; 触发; 冒火花; 飞火星; 产生电火花;3、[例句]A spark ignites the fuel in a car engine.汽车发动机中的燃料由火花点燃。4、[其他]第三人称单数：sparks 复数：sparks 现在分词：sparking 过去式：sparked 过去分词：sparked

1、 Spark VSHadoop有哪些异同点？ Hadoop:分布式批处理计算，强调批处理，常用于数据挖掘、分析 Spark:是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速, Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。 Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。 尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop 文件系统中并行运行。通过名为Mesos的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms,Machines,and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。 虽然 Spark 与 Hadoop 有相似之处，但它提供了具有有用差异的一个新的集群计算框架。首先，Spark 是为集群计算中的特定类型的工作负载而设计，即那些在并行操作之间重用工作数据集（比如机器学习算法）的工作负载。为了优化这些类型的工作负载，Spark 引进了内存集群计算的概念，可在内存集群计算中将数据集缓存在内存中，以缩短访问延迟. 在大数据处理方面相信大家对hadoop已经耳熟能详，基于GoogleMap/Reduce来实现的Hadoop为开发者提供了map、reduce原语，使并行批处理程序变得非常地简单和优美。Spark提供的数据集操作类型有很多种，不像Hadoop只提供了Map和Reduce两种操作。比如map,filter, flatMap,sample, groupByKey, reduceByKey, union,join, cogroup,mapValues, sort,partionBy等多种操作类型，他们把这些操作称为Transformations。同时还提供Count,collect, reduce, lookup, save等多种actions。这些多种多样的数据集操作类型，给上层应用者提供了方便。各个处理节点之间的通信模型不再像Hadoop那样就是唯一的Data Shuffle一种模式。用户可以命名，物化，控制中间结果的分区等。可以说编程模型比Hadoop更灵活.2、Spark在容错性方面是否比其他工具更有优越性？ 从Spark的论文《Resilient Distributed Datasets: AFault-TolerantAbstraction for In-Memory Cluster Computing》中没看出容错性做的有多好。倒是提到了分布式数据集计算，做checkpoint的两种方式，一个是checkpoint data，一个是loggingthe updates。貌似Spark采用了后者。但是文中后来又提到，虽然后者看似节省存储空间。但是由于数据处理模型是类似DAG的操作过程，由于图中的某个节点出错，由于lineage chains的依赖复杂性，可能会引起全部计算节点的重新计算，这样成本也不低。他们后来说，是存数据，还是存更新日志，做checkpoint还是由用户说了算吧。相当于什么都没说，又把这个皮球踢给了用户。所以我看就是由用户根据业务类型，衡量是存储数据IO和磁盘空间的代价和重新计算的代价，选择代价较小的一种策略。取代给中间结果进行持久化或建立检查点，Spark会记住产生某些数据集的操作序列。因此，当一个节点出现故障时，Spark会根据存储信息重新构造数据集。他们认为这样也不错，因为其他节点将会帮助重建。3、Spark对于数据处理能力和效率有哪些特色？ Spark提供了高的性能和大数据处理能力，使得用户可以快速得到反馈体验更好。另一类应用是做数据挖掘，因为Spark充分利用内存进行缓存，利用DAG消除不必要的步骤，所以比较合适做迭代式的运算。而有相当一部分机器学习算法是通过多次迭代收敛的算法，所以适合用Spark来实现。我们把一些常用的算法并行化用Spark实现，可以从R语言中方便地调用，降低了用户进行数据挖掘的学习成本。Spark配有一个流数据处理模型，与Twitter的 Storm框架相比，Spark采用了一种有趣而且独特的办法。Storm基本上是像是放入独立事务的管道，在其中事务会得到分布式的处理。相反，Spark采用一个模型收集事务，然后在短时间内（我们假设是5秒）以批处理的方式处理事件。所收集的数据成为他们自己的RDD，然后使用Spark应用程序中常用的一组进行处理。作者声称这种模式是在缓慢节点和故障情况下会更加稳健，而且5秒的时间间隔通常对于大多数应用已经足够快了。这种方法也很好地统一了流式处理与非流式处理部分。总结 这几天在看Hadoop权威指南、hbase权威指南、hive权威指南、大规模分布式存储系统、zoopkeeper、大数据互联网大规模数据挖掘与分布式处理等书同时补充，能静下心来好好的完整的看完一本书，是相当不错的。

大讲台Hadoop为你解答：1. Hadoop 3.0简介 Hadoop 2.0是基于JDK 1.7开发的，而JDK 1.7在2015年4月已停止更新，这直接迫使Hadoop社区基于JDK 1.8重新发布一个新的Hadoop版本，而这正是hadoop 3.0。 Hadoop 3.0的alpha版预计今年夏天发布，GA版本11月或12月发布。 Hadoop 3.0中引入了一些重要的功能和优化，包括HDFS 可擦除编码、多Namenode支持、MR Native Task优化、YARN基于cgroup的内存和磁盘IO隔离、YARN container resizing等。 2. Hadoop 3.0新特性 Hadoop 3.0在功能和性能方面，对hadoop内核进行了多项重大改进，主要包括： 2.1 Hadoop Common （1）精简Hadoop内核，包括剔除过期的API和实现，将默认组件实现替换成最高效的实现（比如将FileOutputCommitter缺省实现换为v2版本，废除hftp转由webhdfs替代，移除Hadoop子实现序列化库org.apache.hadoop.Records （2）Classpath isolation以防止不同版本jar包冲突，比如google Guava在混合使用Hadoop、HBase和Spark时，很容易产生冲突。（3）Shell脚本重构。 Hadoop 3.0对Hadoop的管理脚本进行了重构，修复了大量bug，增加了新特性，支持动态命令等。

Spark是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速。Spark非常小巧玲珑，由加州伯克利大学AMP实验室的Matei为主的小团队所开发。使用的语言是Scala，项目的core部分的代码只有63个Scala文件，非常短小精悍。Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop 文件系统中并行运行。通过名为Mesos的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。Spark 集群计算架构虽然 Spark 与 Hadoop 有相似之处，但它提供了具有有用差异的一个新的集群计算框架。首先，Spark 是为集群计算中的特定类型的工作负载而设计，即那些在并行操作之间重用工作数据集（比如机器学习算法）的工作负载。为了优化这些类型的工作负载，Spark 引进了内存集群计算的概念，可在内存集群计算中将数据集缓存在内存中，以缩短访问延迟。Spark 还引进了名为弹性分布式数据集(RDD) 的抽象。RDD 是分布在一组节点中的只读对象集合。这些集合是弹性的，如果数据集一部分丢失，则可以对它们进行重建。重建部分数据集的过程依赖于容错机制，该机制可以维护 "血统"（即允许基于数据衍生过程重建部分数据集的信息）。RDD 被表示为一个 Scala 对象，并且可以从文件中创建它；一个并行化的切片（遍布于节点之间）；另一个 RDD 的转换形式；并且最终会彻底改变现有 RDD 的持久性，比如请求缓存在内存中。Spark 中的应用程序称为驱动程序，这些驱动程序可实现在单一节点上执行的操作或在一组节点上并行执行的操作。与 Hadoop 类似，Spark 支持单节点集群或多节点集群。对于多节点操作，Spark 依赖于 Mesos 集群管理器。Mesos 为分布式应用程序的资源共享和隔离提供了一个有效平台。该设置充许 Spark 与 Hadoop 共存于节点的一个共享池中。

park 是一个通用引擎，可用它来完成各种各样的运算，包括 SQL 查询、文本处理、机器学习等，而在 Spark 出现之前，我们一般需要学习各种各样的引擎来分别处理这些需求。

波司登spark是活力的意思。spark的意思是火花，火星，在衣服上常会看到这个词，也指代活力的意思。

大疆晓Spark飞行器状态指示灯分为机头指示灯和飞行器状态指示灯。机头指示灯有红、绿、黄三种颜色。红灯常亮时，表示机头方向指示；红灯慢闪时，表示飞行器低电量报警；红灯快闪时，表示飞行器严重低电量报警；红灯间歇闪烁，表示飞行器执行系统自检；红灯和蓝灯交替闪烁，表示飞行器进入指南针数据错误，需要进行校准。飞行器状态指示灯也分为红、绿、黄三种颜色。绿灯常亮时，表示飞行器已经解锁，准备起飞；绿灯慢闪时，表示飞行器使用GPS定位；绿灯双闪时，表示飞行器使用视觉系统定位；黄灯慢闪时，表示飞行器无GPS无视觉定位；蓝灯闪时，表示已加锁，GPS搜星中。当出现黄灯双闪的情况时，表示系统拒绝解锁，需要进行故障排查。请注意，在操作飞行器之前，一定要详细阅读用户手册并遵循飞行器的操作指南和安全准则。对于其他飞行器或者设备的使用和操作，也请参考相应的用户手册和安全准则进行操作。

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop也是apache开源大数据的一个生态圈总称,里面包含跟大数据开源框架的一些软件,包含hdfs,hive,zookeeper,hbase等等;Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。hadoop(hive)<-spark(扩展)

spark是汽车牌子。雪佛兰斯帕可（Spark）是上海通用汽车雪佛兰推出的首款1.0排量高端进口微型车，原名乐驰。这款车的名字是根据英文名直接音译过来的，而“SPARK”原意有“火花”的意思，意在厂家希望这款车能在汽车市场产生一片属于精彩火花。2010年12月，雪佛兰全新Spark亮相广州车展，同时中文由原先的“乐驰”改名为斯帕可。这款作为在许多国家都有上市销售的全球车型，一经推出便深受全球创意年轻人的喜爱，全新雪佛兰SPARK在短时间内就引爆了全球个性化微型车市场。这款车外形小巧却又有几分威猛，具备一定的时尚、运动风格，整体造型上有着一股欧洲气息。这样的小车身比较吸引女孩子的目光，适合女生或是年轻个人日常代步驾驶。当前这款车的市场主要竞争对手为大众POLO、起亚K2两厢、铃木雨燕等。雪佛兰介绍：作为通用汽车旗下最为国际化和大众化的品牌，雪佛兰拥有强大的技术和市场资源，其品牌定位是一个大众化的值得信赖的国际汽车品牌。雪佛兰品牌个性是：值得信赖、聪明务实、亲和友善、充满活力。

Spark为结构化数据处理引入了一个称为Spark SQL的编程模块。简而言之，sparkSQL是Spark的前身，是在Hadoop发展过程中，为了给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具。sparkSQL提供了一个称为DataFrame（数据框）的编程抽象，DF的底层仍然是RDD，并且可以充当分布式SQL查询引擎。SparkSql有哪些特点呢？1）引入了新的RDD类型SchemaRDD，可以像传统数据库定义表一样来定义SchemaRDD。2）在应用程序中可以混合使用不同来源的数据，如可以将来自HiveQL的数据和来自SQL的数据进行Join操作。3）内嵌了查询优化框架，在把SQL解析成逻辑执行计划之后，最后变成RDD的计算。

火星

Storm优势就在于Storm是实时的连续性的分布式的计算框架,一旦运行起来,除非你将它杀掉,否则它一直处理计算或等待计算的状态.Spark和hadoop都做不到.当然它们各自都有其应用场景,各有各的优势.可以配合使用.下面我转一份别人的资料,讲的很清楚.Storm与Spark、Hadoop这三种框架，各有各的优点，每个框架都有自己的最佳应用场景。所以，在不同的应用场景下，应该选择不同的框架。Storm是最佳的流式计算框架，Storm由Java和Clojure写成，Storm的优点是全内存计算，所以它的定位是分布式实时计算系统，按照Storm作者的说法，Storm对于实时计算的意义类似于Hadoop对于批处理的意义。Storm的适用场景：1）流数据处理Storm可以用来处理源源不断流进来的消息，处理之后将结果写入到某个存储中去。2）分布式RPC。由于Storm的处理组件是分布式的，而且处理延迟极低，所以可以作为一个通用的分布式RPC框架来使用。SparkSpark是一个基于内存计算的开源集群计算系统，目的是更快速的进行数据分析。Spark由加州伯克利大学AMP实验室Matei为主的小团队使用Scala开发开发，类似于Hadoop MapReduce的通用并行计算框架，Spark基于Map Reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点，但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的Map Reduce的算法。Spark的适用场景：1）多次操作特定数据集的应用场合Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小。2）粗粒度更新状态的应用由于RDD的特性，Spark不适用那种异步细粒度更新状态的应用，例如Web服务的存储或者是增量的Web爬虫和索引。就是对于那种增量修改的应用模型不适合。总的来说Spark的适用面比较广泛且比较通用。Hadoop是实现了MapReduce的思想，将数据切片计算来处理大量的离线数据数据。Hadoop处理的数据必须是已经存放在HDFS上或者类似HBase的数据库中，所以Hadoop实现的时候是通过移动计算到这些存放数据的机器上来提高效率。Hadoop的适用场景：1）海量数据的离线分析处理2）大规模Web信息搜索3）数据密集型并行计算简单来说：Hadoop适合于离线的批量数据处理适用于对实时性要求极低的场景Storm适合于实时流数据处理，实时性方面做得极好Spark是内存分布式计算框架，试图吞并Hadoop的Map-Reduce批处理框架和Storm的流处理框架，但是Spark已经做得很不错了，批处理方面性能优于Map-Reduce，但是流处理目前还是弱于Storm，产品仍在改进之中

　　本文前提是已经正确安装好scala,sbt以及spark了 简述将程序挂载到集群上运行的步骤：　　1、构建sbt标准的项目工程结构：SBT项目工程结构图其中：~/build.sbt文件用来配置项目的基本信息（项目名、组织名、项目版本、使用的scala版本或者再次配置些项目所需的依赖包）；project/build.properties文件配置你要使用什么版本的sbt对项目操作；project/plugins.sbt文件是给项目添加所需的插件；project/Build.scala文件是对项目进行些复杂的高级配置；详细的sbt安装配置实用参见博文：　　2、到相应目录下编写程序，spark程序必须要创建一个SparkContext实例。SparkContext("master", "projectName", "SPARK_HOME", "yourProject.jar path")　　3、sbt compile命令编译程序无错后，sbt package命令将程序打包。默认打包的jar文件存放路径为：项目根目录/target/scala-xx.xx.xx/your-project-name_xx.xx.xx-xx.jar　　4、将打包好的jar问价添加到SPAK_CLASSPATH中（在linux中根据作用范围的不同有多种更改环境变量的方式，这里只说我的配置方式：spark根目录下的conf/spark-env.sh文件添加SPARK_CLASSPATH:xxxxxxxx）　　5、配置好环境变量后就可以在spark的根目录下使用./run脚本运行你的程序了例如：./run spark.examples.SparkPi spark://masterIP:port注意，如果程序涉及IO操作起默认路径为SPARK_HOME；至于如何修改这个路径，有待研究转载，仅供参考。

本质上spark跟mapreduce一样都是计算框架apache spark是通过hadoop yarn管理的，需要运行在hadoop集群上

一、hadoop、Storm该选哪一个？为了区别hadoop和Storm，该部分将回答如下问题：1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景，什么情况下使用hadoop4.什么是吞吐量首先整体认识：Hadoop是磁盘级计算，进行计算时，数据在磁盘上，需要读写磁盘；Storm是内存级计算，数据直接通过网络导入内存。读写内存比读写磁盘速度快n个数量级。根据Harvard CS61课件，磁盘访问延迟约为内存访问延迟的75000倍。所以Storm更快。注释：1. 延时 ， 指数据从产生到运算产生结果的时间，“快”应该主要指这个。2. 吞吐， 指系统单位时间处理的数据量。storm的网络直传、内存计算，其时延必然比hadoop的通过hdfs传输低得多；当计算模型比较适合流式时，storm的流式处理，省去了批处理的收集数据的时间；因为storm是服务型的作业，也省去了作业调度的时延。所以从时延上来看，storm要快于hadoop。从原理角度来讲：Hadoop M/R基于HDFS，需要切分输入数据、产生中间数据文件、排序、数据压缩、多份复制等，效率较低。Storm 基于ZeroMQ这个高性能的消息通讯库，不持久化数据。为什么storm比hadoop快，下面举一个应用场景说一个典型的场景，几千个日志生产方产生日志文件，需要进行一些ETL操作存入一个数据库。假设利用hadoop，则需要先存入hdfs，按每一分钟切一个文件的粒度来算（这个粒度已经极端的细了，再小的话hdfs上会一堆小文件），hadoop开始计算时，1分钟已经过去了，然后再开始调度任务又花了一分钟，然后作业运行起来，假设机器特别多，几钞钟就算完了，然后写数据库假设也花了很少的时间，这样，从数据产生到最后可以使用已经过去了至少两分多钟。而流式计算则是数据产生时，则有一个程序去一直监控日志的产生，产生一行就通过一个传输系统发给流式计算系统，然后流式计算系统直接处理，处理完之后直接写入数据库，每条数据从产生到写入数据库，在资源充足时可以在毫秒级别完成。同时说一下另外一个场景：如果一个大文件的wordcount，把它放到storm上进行流式的处理，等所有已有数据处理完才让storm输出结果，这时候，你再把它和hadoop比较快慢，这时，其实比较的不是时延，而是比较的吞吐了。--------------------------------------------------------------------------------------------------------------------------------最主要的方面：Hadoop使用磁盘作为中间交换的介质，而storm的数据是一直在内存中流转的。两者面向的领域也不完全相同，一个是批量处理，基于任务调度的；另外一个是实时处理，基于流。以水为例，Hadoop可以看作是纯净水，一桶桶地搬；而Storm是用水管，预先接好（Topology），然后打开水龙头，水就源源不断地流出来了。--------------------------------------------------------------------------------------------------------------------------------Storm的主工程师Nathan Marz表示： Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算，Storm之于实时处理，就好比Hadoop之于批处理。Storm保证每个消息都会得到处理，而且它很快——在一个小集群中，每秒可以处理数以百万计的消息。更棒的是你可以使用任意编程语言来做开发。Storm的主要特点如下：1.简单的编程模型。类似于MapReduce降低了并行批处理复杂性，Storm降低了进行实时处理的复杂性。2.可以使用各种编程语言。你可以在Storm之上使用各种编程语言。默认支持Clojure、Java、Ruby和Python。要增加对其他语言的支持，只需实现一个简单的Storm通信协议即可。3.容错性。Storm会管理工作进程和节点的故障。4.水平扩展。计算是在多个线程、进程和服务器之间并行进行的。5.可靠的消息处理。Storm保证每个消息至少能得到一次完整处理。任务失败时，它会负责从消息源重试消息。6.快速。系统的设计保证了消息能得到快速的处理，使用MQ作为其底层消息队列。7.本地模式。Storm有一个“本地模式”，可以在处理过程中完全模拟Storm集群。这让你可以快速进行开发和单元测试。--------------------------------------------------------------------------------------------------------------------------------在消耗资源相同的情况下，一般来说storm的延时低于mapreduce。但是吞吐也低于mapreduce。storm是典型的流计算系统，mapreduce是典型的批处理系统。下面对流计算和批处理系统流程这个个数据处理流程来说大致可以分三个阶段：1. 数据采集与准备2. 数据计算（涉及计算中的中间存储）， 题主中的“那些方面决定”应该主要是指这个阶段处理方式。3. 数据结果展现（反馈）1）数据采集阶段，目前典型的处理处理策略：数据的产生系统一般出自页面打点和解析DB的log，流计算将数据采集中消息队列（比如kafaka,metaQ,timetunle）等。批处理系统一般将数据采集进分布式文件系统（比如HDFS），当然也有使用消息队列的。我们暂且把消息队列和文件系统称为预处理存储。二者在延时和吞吐上没太大区别，接下来从这个预处理存储进入到数据计算阶段有很大的区别，流计算一般在实时的读取消息队列进入流计算系统（storm）的数据进行运算，批处理一系统一般会攒一大批后批量导入到计算系统（hadoop），这里就有了延时的区别。2）数据计算阶段，流计算系统（storm）的延时低主要有一下几个方面（针对题主的问题）A： storm 进程是常驻的，有数据就可以进行实时的处理mapreduce 数据攒一批后由作业管理系统启动任务，Jobtracker计算任务分配，tasktacker启动相关的运算进程B： stom每个计算单元之间数据之间通过网络（zeromq）直接传输。mapreduce map任务运算的结果要写入到HDFS，在于reduce任务通过网络拖过去运算。相对来说多了磁盘读写，比较慢C： 对于复杂运算storm的运算模型直接支持DAG（有向无环图）mapreduce 需要肯多个MR过程组成，有些map操作没有意义的3）数据结果展现流计算一般运算结果直接反馈到最终结果集中（展示页面，数据库，搜索引擎的索引）。而mapreduce一般需要整个运算结束后将结果批量导入到结果集中。实际流计算和批处理系统没有本质的区别，像storm的trident也有批概念，而mapreduce可以将每次运算的数据集缩小（比如几分钟启动一次），facebook的puma就是基于hadoop做的流计算系统。二、高性能并行计算引擎Storm和Spark比较Spark基于这样的理念，当数据庞大时，把计算过程传递给数据要比把数据传递给计算过程要更富效率。每个节点存储（或缓存）它的数据集，然后任务被提交给节点。所以这是把过程传递给数据。这和Hadoop map/reduce非常相似，除了积极使用内存来避免I/O操作，以使得迭代算法（前一步计算输出是下一步计算的输入）性能更高。Shark只是一个基于Spark的查询引擎（支持ad-hoc临时性的分析查询）而Storm的架构和Spark截然相反。Storm是一个分布式流计算引擎。每个节点实现一个基本的计算过程，而数据项在互相连接的网络节点中流进流出。和Spark相反，这个是把数据传递给过程。两个框架都用于处理大量数据的并行计算。Storm在动态处理大量生成的“小数据块”上要更好（比如在Twitter数据流上实时计算一些汇聚功能或分析）。Spark工作于现有的数据全集（如Hadoop数据）已经被导入Spark集群，Spark基于in-memory管理可以进行快讯扫描，并最小化迭代算法的全局I/O操作。不过Spark流模块（Streaming Module）倒是和Storm相类似（都是流计算引擎），尽管并非完全一样。Spark流模块先汇聚批量数据然后进行数据块分发（视作不可变数据进行处理），而Storm是只要接收到数据就实时处理并分发。不确定哪种方式在数据吞吐量上要具优势，不过Storm计算时间延迟要小。总结下，Spark和Storm设计相反，而Spark Steaming才和Storm类似，前者有数据平滑窗口（sliding window），而后者需要自己去维护这个窗口。

SPARK-点亮精彩瞬间小身型，大身手。障碍感知结合机器视觉，操控易如反掌。机械云台配以 UltraSmooth，航拍稳定流畅。最高时速 50 公里1，2 公里高清图传2，手掌大小的 “晓” Spark，让你尽享飞行乐趣。1.快速启动开机后 25 秒内准备就绪，放上手掌3开启人脸检测，解锁后启动升空，随时为你拍照。2.简单操控飞行、拍摄、返航，这些原本需要移动设备或遥控器的操作，现在挥挥手也可以完成。3.轻松拍摄只需在移动设备上轻轻一点，即使你从未接触过无人机，也能拍出精彩的航拍视频4.剪辑分享自动剪辑、加入滤镜、套上模板，全在 DJI GO 4 应用实现，并一键在社交网络上分享。

　　Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法　　数据科学家为了回答一个问题或进行深入研究，会使用相关的技术分析数据。通常，他们的工作包含特殊的分析，所以他们使用交互式shell，以使得他们能在最短的时间内看到查询结果和代码片段。Spark的速度和简单的API接口很好地符合这个目标，它的内建库意味着很多算法可以随时使用。　　Spark通过若干组件支持不同的数据科学任务。Spark shell使得用Python或Scala进行交互式数据分析变得简单。Spark SQL也有一个独立的SQL shell，可以用SQL进行数据分析，也可以在Spark程序中或Spark shell中使用Spark SQL。MLlib库支持机器学习和数据分析。而且，支持调用外部的MATLAB或R语言编写的程序。Spark使得数据科学家可以用R或Pandas等工具处理包含大量数据的问题。

spark 英[spɑ:k] 美[spɑrk] n. 燃烧的颗粒;火星，火花，余火;（金属的）发光的颗粒;电火花 vi. 发出火星，发出闪光;热烈赞同;正常运转 vt. 发动，触发;激起运动，鼓舞 [例句]Rekindling the spark in a marriage may seem impossible.重燃婚姻的火花似乎是不可能的。

大概4.5个小时Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。

要清楚hdfs只是用来分布式存储数据的，spark总共有四种模式，local，standlone，yarn，mesos。只有yarn模式会用到hadoop的yarn集群

2.1.2　在Windows上安装与配置Spark本节介绍在Windows系统上安装Spark的过程。在Windows环境下需要安装Cygwin模拟Linux的命令行环境来安装Spark。（1）安装JDK相对于Linux、Windows的JDK安装更加自动化，用户可以下载安装Oracle JDK或者OpenJDK。只安装JRE是不够的，用户应该下载整个JDK。安装过程十分简单，运行二进制可执行文件即可，程序会自动配置环境变量。（2）安装CygwinCygwin是在Windows平台下模拟Linux环境的一个非常有用的工具，只有通过它才可以在Windows环境下安装Hadoop和Spark。具体安装步骤如下。1）运行安装程序，选择install from internet。2）选择网络最好的下载源进行下载。3）进入Select Packages界面（见图2-2），然后进入Net，选择openssl及openssh。因为之后还是会用到ssh无密钥登录的。另外应该安装“Editors Category”下面的“vim”。这样就可以在Cygwin上方便地修改配置文件。最后需要配置环境变量，依次选择“我的电脑”→“属性”→“高级系统设置”→“环境变量”命令，更新环境变量中的path设置，在其后添加Cygwin的bin目录和Cygwin的usrin两个目录。（3）安装sshd并配置免密码登录1）双击桌面上的Cygwin图标，启动Cygwin，执行ssh-host-config -y命令，出现如图2-3所示的界面。2）执行后，提示输入密码，否则会退出该配置，此时输入密码和确认密码，按回车键。最后出现Host configuration finished.Have fun!表示安装成功。3）输入net start sshd，启动服务。或者在系统的服务中找到并启动Cygwin sshd服务。注意，如果是Windows 8操作系统，启动Cygwin时，需要以管理员身份运行（右击图标，选择以管理员身份运行），否则会因为权限问题，提示“发生系统错误5”。（4）配置SSH免密码登录1）执行ssh-keygen命令生成密钥文件，如图2-4所示。2）执行此命令后，在你的Cygwinhome用户名路径下面会生成.ssh文件夹，可以通过命令ls -a /home/用户名 查看，通过ssh -version命令查看版本。3）执行完ssh-keygen命令后，再执行下面命令，生成authorized_keys文件。cd ~/.ssh/ cp id_dsa.pub authorized_keys 这样就配置好了sshd服务。（5）配置Hadoop修改和配置相关文件与Linux的配置一致，读者可以参照上文Linux中的配置方式，这里不再赘述。（6）配置Spark修改和配置相关文件与Linux的配置一致，读者可以参照上文Linux中的配置方式，这里不再赘述。（7）运行Spark1）Spark的启动与关闭①在Spark根目录启动Spark。./sbin/start-all.sh ②关闭Spark。./sbin/stop-all.sh 2）Hadoop的启动与关闭①在Hadoop根目录启动Hadoop。./sbin/start-all.sh ②关闭Hadoop。./sbin/stop-all.sh 3）检测是否安装成功正常状态下会出现如下内容。-bash-4.1# jps 23526 Jps 2127 Master 7396 NameNode 7594 SecondaryNameNode 7681 ResourceManager 1053 DataNode 31935 NodeManager 1405 Worker 如缺少进程请到logs文件夹下查看相应日志，针对具体问题进行解决。

老师说要我们学习LINUX，说是要在哪个里面编程，但是我还是不知道为什么要在LINUX里面编呢？听说LINUX很稳定，是不是这个原因呢？本文前提已经确安装scala,sbt及spark 简述程序挂载集群运行步骤：1、构建sbt标准项目工程结构：SBT项目工程结构图其：~/build.sbt文件用配置项目基本信息（项目名、组织名、项目版本、使用scala版本或者再配置些项目所需依赖包）；project/build.properties文件配置要使用版本sbt项目操作；project/plugins.sbt文件给项目添加所需插件；project/Build.scala文件项目进行些复杂高级配置；详细sbt安装配置实用参见博文：2、相应目录编写程序spark程序必须要创建SparkContext实例SparkContext(＂master＂, ＂projectName＂, ＂SPARK_HOME＂, ＂yourProject.jar path＂)3、sbt compile命令编译程序错sbt package命令程序打包默认打包jar文件存放路径：项目根目录/target/scala-xx.xx.xx/your-project-name_xx.xx.xx-xx.jar4、打包jar问价添加SPAK_CLASSPATH(linux根据作用范围同种更改环境变量式说我配置式：spark根目录conf/spark-env.sh文件添加SPARK_CLASSPATH:xxxxxxxx)5、配置环境变量spark根目录使用./run脚本运行程序例：./runspark.examples.SparkPispark://masterIP:port注意程序涉及IO操作起默认路径SPARK_HOME；至于何修改路径待研究

·速度快：Spark基于内存进行计算（当然也有部分计算基于磁盘，比如shuffle）。 ·容易上手开发：Spark的基于RDD的计算模型，比Hadoop的基于Map-Reduce的计算模型要更加易于理解，更加易于上手开发，实现各种复杂功能，比如二次排序、topn等复杂操作时，更加便捷。 ·超强的通用性：Spark提供了Spark RDD、Spark SQL、Spark Streaming、Spark MLlib、Spark GraphX等技术组件，可以一站式地完成大数据领域的离线批处理、交互式查询、流式计算、机器学习、图计算等常见的任务。 ·集成Hadoop：Spark并不是要成为一个大数据领域的“独裁者”，一个人霸占大数据领域所有的“地盘”，而是与Hadoop进行了高度的集成，两者可以完美的配合使用。Hadoop的HDFS、Hive、HBase负责存储，YARN负责资源调度；Spark负责大数据计算。实际上，Hadoop+Spark的组合，是一种“double win”的组合。 ·极高的活跃度：Spark目前是Apache基金会的顶级项目，全世界有大量的优秀工程师是Spark的committer。并且世界上很多顶级的IT公司都在大规模地使用Spark。

Spark是基于内存，是云计算领域的继Hadoop之后的下一代的最热门的通用的并行计算框架开源项目，尤其出色的支持Interactive Query、流计算、图计算等。Spark在机器学习方面有着无与伦比的优势，特别适合需要多次迭代计算的算法。同时Spark的拥有非常出色的容错和调度机制，确保系统的稳定运行，Spark目前的发展理念是通过一个计算框架集合SQL、Machine Learning、Graph Computing、Streaming Computing等多种功能于一个项目中，具有非常好的易用性。目前SPARK已经构建了自己的整个大数据处理生态系统，如流处理、图技术、机器学习、NoSQL查询等方面都有自己的技术，并且是Apache顶级Project，可以预计的是2014年下半年在社区和商业应用上会有爆发式的增长。 国内的淘宝、优酷土豆等已经使用Spark技术用于自己的商业生产系统中，国内外的应用开始越来越广泛，国外一些大型互联网公司已经部署了Spark。甚至连Yahoo是Hadoop的早期主要贡献者，现在也在多个项目中部署使用Spark，国内我们已经在运营商、电商等传统行业部署了Spark.百度百科传送门：http://baike.baidu.com/link?url=shmVM5DFONr5uEvXvs953fzvzl9lkUhSSdZQRYOJWqClPQv3K74LeTcPI-wFVgur2F9i4FyfNeBylkT1Y7occvT4Jn2_JZlyizhEYJFsZ1e

停产了，想买雪佛兰搜索名字低首付购车还能上私户

https://zhuanlan.zhihu.com/p/34436165 https://zhuanlan.zhihu.com/p/70424613 Spark 是专为大规模数据处理而设计的快速通用的计算引擎。是Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 1.RDD：是弹性分布式数据集（Resilient Distributed Dataset）的简称，是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模型。 2.DAG：是Directed Acyclic Graph（有向无环图）的简称，反映RDD之间的依赖关系。如果一个有向图无法从某个顶点出发经过若干条边回到该点，则这个图是一个有向无环图（DAG图）。 3.Driver Program：控制程序，负责为Application构建DAG图。 4.Cluster Manager：集群资源管理中心，负责分配计算资源。 5.Worker Node：工作节点，负责完成具体计算。 6.Executor：是运行在工作节点（Worker Node）上的一个进程，负责运行Task，并为应用程序存储数据。 7.Application：用户编写的Spark应用程序，一个Application包含多个Job。 8.Job：作业，一个Job包含多个RDD及作用于相应RDD上的各种操作。 9.Stage：阶段，是作业的基本调度单位，一个作业会分为多组任务，每组任务被称为“阶段”。 10.Task：任务，运行在Executor上的工作单元，是Executor中的一个线程。 1.构建Spark Application的运行环境，启动SparkContext 2.SparkContext向资源管理器（可以是Standalone，Mesos，Yarn）申请运行Executor资源，并启动StandaloneExecutorbackend， 3.Executor向SparkContext申请Task 4.SparkContext将应用程序分发给Executor 5.SparkContext构建成DAG图，将DAG图分解成Stage、将Taskset发送给Task Scheduler，最后由Task Scheduler将Task发送给Executor运行 6.Task在Executor上运行，运行完释放所有资源

Spark是一种通用的大数据计算框架，相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中，Spark 使用了内存内运算技术，能在数据尚未写入硬盘时即在内存内分析运算。Spark包含了大数据领域常见的各种计算框架：比如Spark Core用于离线计算，Spark SQL用于交互式查询，Spark Streaming用于实时流式计算，Spark MLlib用于机器学习，Spark GraphX用于图计算。

.[C]1. 火花,火星A cigarette spark started the fire.香烟的火星引起这场火灾。2. (宝石等的)闪耀We saw a spark of light through the trees.我们透过树丛看到闪光。3. 【电】火花;火星Close the circuit and you"ll see a blue spark.接通电路你就会看到一个蓝色的电火花。4. (常用于否定句)微量;丝毫[S][(+of)]He showed not a spark of interest in the plan.他对这个计划一点不感兴趣。5. 生气,活力;(才智等的)焕发The spark of life still flickered in him.他的生命之火还在闪烁。6. 迹象,痕迹He still retains a spark of decency.他仍然保持着一点起码的体面。vt.1. 发动;点燃[(+off)]They were scheming to spark a revolt.他们策划发起反叛。2. 激励;鼓舞It was this incident that sparked her interest in politics.是这个事件激起了她对政治的兴趣。vi.1. 发出火花;飞出火星This wood burns steadily with no sparking.这木柴长时间燃烧正常,不爆火花。2. 闪耀,闪光Her eyes sparked.她双眼闪闪发光。3. 热烈赞同Her mother sparked to the idea of an early wedding date.她母亲欣然同意早日举行婚礼的打算。spark2KK: []DJ: []n.[C]1. 翩翩少年;花花公子2. 情郎;求婚者vt.1. 【美】【口】向...求婚;向...求爱The railroad didn"t pay him to spark a girl on its time.铁路付他工资不是让他在上班时间去向女孩子求爱的。vi.1. 【美】【口】求婚;求爱

第一阶段：熟练的掌握Scala语言 1，Spark框架是采用Scala语言编写的，精致而优雅。要想成为Spark高手，你就必须阅读Spark的源代码，就必须掌握Scala,; 2， 虽然说现在的Spark可以采用多语言Java、Python等进行应用程序开发，但是最快速的和支持最好的开发API依然并将永远是Scala方式的API，所以你必须掌握Scala来编写复杂的和高性能的Spark分布式程序; 3， 尤其要熟练掌握Scala的trait、apply、函数式编程、泛型、逆变与协变等;第二阶段：精通Spark平台本身提供给开发者API 1， 掌握Spark中面向RDD的开发模式，掌握各种transformation和action函数的使用; 2， 掌握Spark中的宽依赖和窄依赖以及lineage机制; 3， 掌握RDD的计算流程，例如Stage的划分、Spark应用程序提交给集群的基本过程和Worker节点基础的工作原理等 第三阶段：深入Spark内核 此阶段主要是通过Spark框架的源码研读来深入Spark内核部分： 1， 通过源码掌握Spark的任务提交过程; 2， 通过源码掌握Spark集群的任务调度; 3， 尤其要精通DAGScheduler、TaskScheduler和Worker节点内部的工作的每一步的细节; 第四阶级:掌握基于Spark上的核心框架的使用 Spark作为云计算大数据时代的集大成者，在实时流处理、图技术、机器学习、NoSQL查询等方面具有显著的优势，我们使用Spark的时候大部分时间都是在使用其上的框架例如Shark、Spark Streaming等： 1， Spark Streaming是非常出色的实时流处理框架，要掌握其DStream、transformation和checkpoint等; 2， Spark的离线统计分析功能，Spark 1.0.0版本在Shark的基础上推出了Spark SQL，离线统计分析的功能的效率有显著的提升，需要重点掌握; 3， 对于Spark的机器学习和GraphX等要掌握其原理和用法; 第五阶级:做商业级别的Spark项目 通过一个完整的具有代表性的Spark项目来贯穿Spark的方方面面，包括项目的架构设计、用到的技术的剖析、开发实现、运维等，完整掌握其中的每一个阶段和细节，这样就可以让您以后可以从容面对绝大多数Spark项目。 第六阶级：提供Spark解决方案 1， 彻底掌握Spark框架源码的每一个细节; 2， 根据不同的业务场景的需要提供Spark在不同场景的下的解决方案; 3， 根据实际需要，在Spark框架基础上进行二次开发，打造自己的Spark框架; u200b

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是--Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。

n.火花,火星,闪光,电信技师,活力,朝气,瞬间放电,花花公子,情郎vi.闪烁vt.发动,鼓舞,使有朝气,求婚

spark English 星火英语不知道有没有听说过！

spark[英][spɑ:k][美][spɑ:rk]n.燃烧的颗粒; 火星，火花，余火; （金属的）发光的颗粒; 电火花; vi.发出火星，发出闪光; 热烈赞同; 正常运转; vt.发动，触发; 激起运动，鼓舞; 第三人称单数：sparks过去分词：sparked复数：sparks现在进行时：sparking过去式：sparked例句:1.It might also spark fresh consumer price inflation. 刺激措施还可能引发新一轮消费价格通胀。

在曼谷往芭提雅的路上，有一家叫Central Bangna的百货商场，这个商场顶楼有一个水上乐园，当年叫LeoLand，今时今日已改名Pororo Aqua Park，他们用了很多韩国公仔来作造型设计。这个重新装修过的水上乐园，总共有九个池，四条滑梯，大人小朋友都适合。曼谷专车免费接送你到商场上玩水上乐园Pororo Aqua Park，要来这里，可以坐BTS到 Udomsuk 站，再坐Central的免费接驳巴士或小巴到达。 由早上十时开始，每半小时便有一班车。 来到这里除了行商场之外，亦可到他们的水上乐园玩。 入场费小朋友 90cm下免费，90－120cm 280铢，大人 400铢，长者60岁以上 280铢。入后，需要储物柜、水泡或毛巾的话需要另外再计，但费用不贵。很多当地人或住在那里的外国人都会去玩，尤其当中有一条滑梯，设计成有一部份有如抛岀天台泛围，感觉像被抛到马路再被拉回来，颇刺激。这里所有配套都不俗，人客可以不用带毛巾来，到这里租都可以，甚至可以不带泳衣，到这里买。 但对香港人来说，有件事情可能不太习惯，入场后游客会被要求先进入更衣室换上拖鞋，而拖鞋是公共胶拖鞋，即是很多人着过的，在乐园范围内走动都需要穿着乐园提供的胶拖鞋，是否接受则见仁见智。 他们的储物柜及泳池配套都做得非常足够，园内亦有熟食档。水上乐园下午五时便停止入场但入面的人客可以玩至接近晚上七时。总结来说，作为一个在曼谷市内商场百货天台的水上乐园绝对合格但请不要与芭提雅或华欣的水上乐园来相比较，毕竟性质不同规模也不一样，以当地人的标准，来开开心心玩一天绝对没有问题，但如果你有洁癖的话，不喜欢穿别人穿过的拖鞋，你可能会接受不了。飞猪上还可以查看更多有关于曼谷中心百货波鲁鲁水（Pororo AquaPark Bangkok）的介绍和玩法还有周边的景点

One Sunday morning ,Millie and Amy went to Sunshine Park. They love to chat there. As usual, they sat under the big tree. Suddenly, they heard a whisper from the bushes behind the tree. They turned around but could not see anything unusual. They were frightened."Is anybody there ?" Millie asked. Nobody answered. They listened very carefully and heard the strang noise again. The two girls were very afraid. They ran away quickly. On their way, they saw Andy."What happened?" Andy asked."There"s a ghost in the park. Please help us." Millie said."Really? Tell me more." Andy said.Millie told Andy everything. Andy went to the park, stood beside the tree and listened carefully. Then he heard the whisper! He looked behind the tree and heard another whisper. He was now sure the sound came from the bushes. He searched carefully ."Oh! Here it is." Andy said to himself. He found a littIe cat in the bushes. It was very weak .When it miaowed, it made a sound like a whisper.Andy put the little cat into a box and went to find Millie and Amy. They were still frightened. Andy opened the box and showed them the "ghost"."This is the ghost in the park,"Andy said.Millie and Amy were surprised — it was a little cat!Later that day,they took the little cat to the animal centre.People in the centre would take care of it.The following Sunday,Millie and Amy went to Sunshine Park again and had a great time there.They were not afraid any more.一个星期日的早晨，米丽和艾米去阳光公园，他们喜欢在那里闲聊。像平常一样，他们坐在一棵大树下，突然，他们从大树后面的灌木丛中听到一阵窃窃私语声。他们转过身，但是没有发现任何不寻常的东西，他们很害怕，米丽问：“有人在吗？” 没有一个人回答. 他们很认真的听，并且又听到那个奇怪的声音响起来了。这两个女生非常的害怕，因此她们飞快的跑了起来，在路上，她们看见了安迪，“发生什么事了？”安迪问道。“公园里有一个怪物，请帮助我们”米丽说。安迪说“真的吗？多告诉我一些吧。”因此，米丽告诉安迪刚刚发生的一切，安迪就去了公园，站在那棵树下仔细的听。然后，他听到了私语声，往树后面看，又听到另外的声音。他现在肯定声音来自灌木丛。他小心地搜寻着，"哦! 它在这里。”安迪自言自语。 他发现了灌木丛中有一只小猫。 它是非常微弱的。当它呻吟的时候，听起来就象私语的声音。安迪把小猫放入箱子并且去找米丽和艾米。 他们两个人仍然被吓坏了。 安迪打开了箱子并且给他们看所谓的‘怪物"。“"这个就是公园里的怪物”， 安迪说。米丽和艾米非常的惊奇—它居然只是一只小的猫! 那天以后，他们把小猫送到了动物中心，那里的人们会好好照料它。下一个星期天、米丽和艾米再去阳光公园并且有在那里度过了愉快的时光。他们再也不害怕了。

One Sunday morning ,Millie and Amy went to Sunshine Park.They love to chat there.As usual,they sat under the big tree.Suddenly,they heard a whisper from the bushes behind the tree.They turned around but could not see anything unusual.They were frightened. "Is anybody there " Millie asked.Nobody answered.They listened very carefully and heard the strang noise again.The two girls were very afraid.They ran away quickly.On their way,they saw Andy. "What happened?" Andy asked. "There"s a ghost in the park.Please help us." Millie said. "Really?Tell me more." Andy said. Millie told Andy everything.Andy went to the park,stood beside the tree and listened carefully.Then he heard the whisper!He looked behind the tree and heard another whisper.He was now sure the sound came from the bushes.He searched carefully . "Oh!Here it is." Andy said to himself.He found a littIe cat in the bushes.It was very weak .When it miaowed,it made a sound like a whisper. Andy put the little cat into a box and went to find Millie and Amy.They were still frightened.Andy opened the box and showed them the "ghost". "This is the ghost in the park,"Andy said.Millie and Amy were surprised — it was a little cat!Later that day,they took the little cat to the animal centre.People in the centre would take care of it. The following Sunday,Millie and Amy went to Sunshine Park again and had a great time there.They were not afraid any more. 一个星期日的早晨,米丽和艾米去阳光公园,他们喜欢在那里闲聊.像平常一样,他们坐在一棵大树下,突然,他们从大树后面的灌木丛中听到一阵窃窃私语声.他们转过身,但是没有发现任何不寻常的东西,他们很害怕,米丽问：“有人在吗?” 没有一个人回答.他们很认真的听,并且又听到那个奇怪的声音响起来了.这两个女生非常的害怕,因此她们飞快的跑了起来,在路上,她们看见了安迪,“发生什么事了?”安迪问道.“公园里有一个怪物,请帮助我们”米丽说.安迪说“真的吗?多告诉我一些吧.”因此,米丽告诉安迪刚刚发生的一切,安迪就去了公园,站在那棵树下仔细的听.然后,他听到了私语声,往树后面看,又听到另外的声音.他现在肯定声音来自灌木丛.他小心地搜寻着,"哦!它在这里.”安迪自言自语.他发现了灌木丛中有一只小猫.它是非常微弱的.当它呻吟的时候,听起来就象私语的声音. 安迪把小猫放入箱子并且去找米丽和艾米.他们两个人仍然被吓坏了.安迪打开了箱子并且给他们看所谓的‘怪物".“"这个就是公园里的怪物”,安迪说.米丽和艾米非常的惊奇—它居然只是一只小的猫!那天以后,他们把小猫送到了动物中心,那里的人们会好好照料它. 下一个星期天、米丽和艾米再去阳光公园并且有在那里度过了愉快的时光.他们再也不害怕了.

不知道是不是这个？？？？One Sunday morning ,Millie and Amy went to Sunshine Park .They love to chat there . As usual ,they sat under the big tree ,Suddenly,they heard a whisper from the bushes behind the tree .They turned around but could not see anything unusual.They ran away quickly.On their way,they saw Andy." What happened?" Andy asked ." There"s a ghost in the park .Please help us, " Millie said." Really? Tell me more ," Andy said .Millie told Andy everything .Andy went to the park ,stood beside the tree and listened carefully.Then he heard the whisper ! He looked behind the tree and heard another whisper .He was now sure the sound came from the bushes .He searched carefully." Oh! Here it is ," Andy said to himself .He found a little cat in the bushes .It was very weak .When it miaowed, it made a sound like a whisper .Andy put the little cat into a box and went to find Millie and Amy .They were still frightened. Andy opened the box and showed them the "ghost"." This is the ghost in the park,"Andy said.Millie and Amy were surprised------it was a little cat ! Later that day,they took the little cat to the animal centre. People in the centre would take care of it .The following Sunday , Millie and Amy went to Sunshine Park again and had a great time there .They were not afraid any more .一个星期日的早晨，米莉和艾米去了阳光公园。他们喜欢在那里聊天。像往常一样，他们坐在那棵大树下，突然，他们从树后灌木丛中听到耳语。他们转过身，但没看到什么不寻常的事。他们跑得很快。在路上，他们看见安迪。出什么事了。安迪问。在公园里有一个幽灵。请帮助我们，”米莉说。“真的吗？告诉我更多，”安迪说。米莉把一切都告诉了安迪。安迪去了公园，站在树旁，仔细听。然后他听到耳语！他看了看树后面，又听到一声低语。他现在确定声音来自灌木丛。他仔细地搜查。哦。在这里，”安迪对自己说。他在草丛中发现了一只猫。它非常虚弱。当它喵喵叫时，它发出像低语的声音。安迪把小猫放进一个盒子，去找米莉和艾米。他们仍然感到害怕。安迪打开盒子，发现他们的“鬼”。这是在公园里，鬼"andy说。米莉和艾米都很惊讶------它是一只猫！那天的晚些时候，他们把小猫送到了动物中心。中心的人会照顾它。接下来的星期日，米莉和艾米去了阳光公园又有很大的时间。他们再也不害怕了。

道卡SMART,CARD,PARKⅠNG接地感射像头步骤：1、首先第一步、准备一个视频线BNC转座头。2、第二步、将视频线缆的BNC插头（请参阅左边）插入相机头的BNC接口。3、第三步、将视频线的另一端（右侧为借口）连接到显示器的信号输入接口。车辆识别系统：那什么是车辆识别呢系统？以RFID射频识别技术产品为核心，利用无线射频代替传统人工门禁管理。为企业车辆分发IC卡作为身份识别，能够进行实时定位功能。此卡包含了车辆车主身份信息，每次进出门禁系统将自动记录时间、车辆活动区域等讯息。门禁处设置车辆识别读卡器，可进行远距离识别无需停车等待，门禁处的智能地磅可进行智能车辆称重，此系统十分适用于停车场管理。车辆识别系统能有效提高车辆识别率，防止遗漏和错误放行，大大减少因识别不明确引起的各种纠纷，提高了工作效率，加强了企业门禁的管理。

计划了很久的环绕安大略湖自驾游终于成行，遗憾的是天公不作美，一周的计划，只能走3天，只能是浮光掠影了。 1. 沙洲公园 第一站去的是位于爱德华王子县（Prince Edward）的沙洲公园（Sandbanks Provincial Park）。上图是路过Belleville大桥时河边的一道景色。 这就是沙洲公园的西湖（West Lake），这个湖就是由这沙洲、或者叫沙坝（Sandbank）从安大略湖里分割开来的。 图中箭头所指就是我们站立的地方。 由于天阴，景色不够鲜明，但安静的意味或许更浓。 看过去的就是沙丘，这可是世界上最大的淡水沙洲、沙丘。 倒下的残木与新生的嫩草点缀在湖边。 水慢慢地在沙滩上停止。 而沙滩边上的树大约都是这个造型，不知是不是沙滩退向湖里，才使得这些树根裸露到外边。 我们要走一走这个Dunes Trail，到沙丘上面去看看。 喜欢这路边湿地里的细细软软的野草。 湿地的后面就是沙丘。 顺着木板小路往湖边的沙丘走去。 这里是如此的开阔，简直就像沙漠里的沙丘，想象不出这竟然是在湖边。 摆上一个野餐小桌子，更能感受沙丘的广阔。 爬上去，沙丘顶上这棵树的树根几乎全部出来，真不知是否还能活下去。 登顶后，看看美丽的西湖景色。 安宁、幽美。 沙丘连绵不断。 沿着湖边伸展。 有时会是这么一幅衰败景色。 但也有很多是不屈的生机。 这个更是茁壮。 突然明白，沙漠里没有生物，不是因为沙，而是因为没水，这湖边，水是不缺的，所以沙里长出东西来一点也不奇怪。 顺着木板小径再去另一处沙丘。 回望一下近处的湿地、远处的西湖，中间的沙丘就是刚才去的地方。其实这个公园还有很多地方可以去看的，今天一者天气不理想，二者我们还有下面的计划，这里其它的景致就留待下次吧。 2017年5月2日

spark本义是火花、火星儿，用做动词“鼓舞”是引申义。因火星儿所具备的特点，这个词做动词时也有类似的含义。主要有两点。一是因为火星儿不同火苗，一般只起很小的引燃作用，所以在指鼓舞、激励时，也仅仅起到触发、激发的作用。二是火星儿所引发的是大火、火灾，所以在做动词讲时，所激发的也经常是辩论、争吵、打架等带有火药味的事件。spark另外一个含义是激发灵感，恰似黑暗中骤然出现的亮光。例子：the severity of the plan sparked off street protests.这项计划太过严厉，引发了街头示威。inspire指用激励的方式使某人愿意尝试做某事。所鼓舞的事情对受鼓舞者常常是新鲜事物，同时也是他们能够做到的。his passion for romantic literature inspired him to begin writing.他对浪漫主义文学的激情激励他开始写作。此外，inspire还指唤起某人的某种感情。their past record does not inspire confidence.他们过去的经历并没有带来信心。

=>24小时停泊的出入特权

影子的英语挺强的么！

百度地图吧，这个很难讲的

叫 博纳国际影城（龙岗店）

驾车路线：全程约3.1公里起点：国安居装饰建材龙岗...1.从起点向东北方向出发，行驶120米，右转2.行驶50米，右转进入龙翔大道3.沿龙翔大道行驶420米，左转进入怡翠路4.沿怡翠路行驶580米，朝机荷高速/如意路/黄阁路方向，右转进入龙岗大道5.沿龙岗大道行驶1.4公里，朝黄阁路/新龙城交警中队/大运中心/S28方向，稍向右转进入龙岗大道辅路6.沿龙岗大道辅路行驶190米，朝黄阁路/体育新城/新龙城交警中队/S28方向，稍向右转上匝道7.沿匝道行驶110米，到达终点(在道路右侧)终点：星河cocopar...

最优方案1[推荐]行车路线（公交转车方案）步行，到达益田村搭乘<71路[公交大厦-上沙村]<6:30-21:30>(票价:冷巴2.5元)<往程单边:金海湾花园,返程单边:福荣中路>>，到达卓越大厦;步行319米，到达路线长约512.0米）。沿途经过的的公共汽车站:卓越大厦。方案2行车路线（公交转车方案）步行，到达益田村搭乘<76路[梅林检查站-月亮湾花园总站（妈湾）]<梅林6:10-21:30,妈湾6:20-21:30>(票价:分段收费,起步2元,全程8元)<往程单边:光大木材,返程单边:武警支队/信诺公司/太子山庄/月亮湾总站>><80路[蛇口渔港(望海路)-草埔(理想新城)]<6:30-22:00>(票价:分段收费,上车2元,全程8元)<往程单边:新能源/下沙/上沙/彩福大厦/岗厦/航苑大厦/华强宾馆/赛博数码广场/振华中/二医院门诊部/天地大厦/泥岗桥/独树村,返程单边:福华新村/海外装饰大厦/华富路口/华强路口/振兴中/华发大厦/建艺大厦/田心村/笋岗村/洪湖公园/布吉农贸市场/草埔>>，到达益田中路;步行368米，到达路线长约414.0米）。沿途经过的的公共汽车站:益田村，皇岗公园，东方雅苑，益田中路。方案3行车路线（公交转车方案）步行400米，到达石厦搭乘<50路[清水河-下沙总站]<7:00-19:00>(票价:普巴1.5元)<回程单边:税务登记分局/福田医院三分院>>，到达中海华庭;步行116米，到达路线长约121.0米）。沿途经过的的公共汽车站:石厦，众孚小学，新洲花园，中海华庭。要是还不清楚自己去下面的网站看看

800

可以从购物公园座一个站地铁到会展中心站上来走到金中环商务大厦对面金田路上的福华三路口公交站台座K113到总站

在“星河COCO Park”附近 165米龙岗cocopark东-公交车站途经公交车：309路, 351路, 358路, 366路, 380a线, 651路, 812路, 833路, 905路, m266路, m268路, m320路, m322路, m359路 328米富生酒店-公交车站途经公交车：811路, 905路, m278路 433米龙岗cocopark西-公交车站途经公交车：923路, m229路, m317路, m318路, m368路 452米爱联社区-公交车站途经公交车：长18路, 深惠3a线

您好！很高兴可以帮到你在“大运地铁站”下车后从“C出入口出”往前直走约780米到龙岗星河cocopark

公交线路：3路，全程约3.6公里1、从福田中学步行约300米,到达田面站2、乘坐3路,经过5站,到达购物公园地铁站（也可乘坐海滨④路）3、步行约260米,到达COCOPARK鐧惧害鍦板浘

公交线路：4号线 → b655路，全程约4.1公里1、从深圳北站步行约110米,到达深圳北站2、乘坐4号线,经过1站, 到达白石龙站3、步行约180米,到达白石龙地铁站4、乘坐b655路,经过4站, 到达五和大道南站5、步行约200米,到达星河WORLD·C...

老板是深圳星河集团董事长名字叫：黄楚龙我能确定，望采纳我的回答。

方案一：301路 → 地铁1号线 约1小时40分钟 / 40.4公里沙井汽车站 28站乘坐 301路, 在 大冲站 下车10米步行至 高新园站 8站乘坐 地铁1号线(罗湖方向), 在 购物公园站 下车(B口出)290米步行至 星河COCOPARK方案二：301路 约1小时50分钟 / 40.6公里沙井汽车站 35站乘坐 301路, 在 广电大厦站 下车640米步行至 星河COCOPARK方案三：301路 → 109路 约1小时40分钟 / 41.0公里沙井汽车站 34站乘坐 301路, 在 深南香蜜立交站 下车10米步行至 深南香蜜立交①站 3站乘坐 109路, 在 中海华庭站 下车90米步行至 星河COCOPARK

公交线路：3号线 → 5号线 → 4号线 → b655路，全程约25.9公里1、从横岗乘坐3号线,经过6站, 到达布吉站2、步行约30米,换乘5号线3、乘坐5号线,经过8站, 到达深圳北站4、步行约70米,换乘4号线5、乘坐4号线,经过1站, 到达白石龙站6、步行约180米,到达白石龙地铁站7、乘坐b655路,经过4站, 到达五和大道南站8、步行约50米,到达星河COCOPar...

世纪汇到星河COCO PARK可坐3路公交车。公交线路：3路，全程约4.2公里1、从世纪汇步行约150米,到达上海宾馆站2、乘坐3路,经过7站, 到达购物公园总站3、步行约350米,到达星河Coco Pa...

公交线路：812路，全程约4.8公里1、从龙岗书城步行约370米,到达建设大厦站2、乘坐812路,经过9站, 到达龙岗cocopark东站3、步行约220米,到达COCO Park

公交线路：4号线 → 1号线，全程约9.2公里1、从白石龙地铁站步行约170米,到达白石龙站2、乘坐4号线,经过6站, 到达会展中心站3、乘坐1号线,经过1站, 到达购物公园站4、步行约360米,到达CARLI

公交线路：1号线，全程约7.5公里1、从东门老街步行约570米,到达老街站2、乘坐1号线,经过6站, 到达购物公园站3、步行约190米,到达福田星河COCOP...

公交线路：3号线，全程约8.9公里1、从六约乘坐3号线,经过5站, 到达大运站2、步行约850米,到达COCO Park

公交线路：4号线 → 3号线，全程约10.3公里1、从深圳北站乘坐4号线,经过5站, 到达少年宫站2、步行约80米,换乘3号线3、乘坐3号线,经过1站, 到达福田站4、步行约520米,到达甜蜜一刻蛋糕坊(购...

公交线路：4号线 → 1号线，全程约3.2公里1、从福田口岸乘坐4号线,经过2站, 到达会展中心站2、乘坐1号线,经过1站, 到达购物公园站3、步行约150米,到达福田星河COCOPARK。

公交线路：1号线，全程约7.6公里1、从福田星河COCOP...步行约340米,到达购物公园站2、乘坐1号线,经过6站, 到达老街站3、步行约570米,到达东门老街

公交线路：366路，全程约14.7公里1、从坪山文化广场步行约540米,到达宝山派出所站2、乘坐366路,经过21站, 到达龙岗cocopark东站（也可乘坐深惠3a线、812路）3、步行约210米,到达星河COCOPar...

公交线路：4号线 → 1号线，全程约16.7公里1、从龙华地铁站步行约170米,到达龙华站2、乘坐4号线,经过11站, 到达会展中心站3、乘坐1号线,经过1站, 到达购物公园站4、步行约360米,到达CARLI

公交线路：1号线，全程约7.5公里1、从福田星河COCOPARK步行约190米,到达购物公园站2、乘坐1号线,经过6站, 到达老街站3、步行约570米,到达东门老街

COCO Park，深圳唯一公园版情景式购物中心，CBD版块新商业代表。于2006年9月30日正式对外开放。总建筑面积85000平方米，共五层，由福华三路、民田路、福华路和中心二路四条主干道合围，紧邻国际会展中心和正在建设中的深圳第一高楼平安国际金融中心，无缝衔接深圳地铁和未来CBD公交总站。COCO Park是深圳最具时尚气质的购物中心，集餐饮、购物、休闲、娱乐多功能于一体。拥有200余家国际国内知名品牌。负一楼为吉之岛超市、国际连锁餐饮、珠宝配饰、个人护理、家居生活、影音、礼品店。一楼为国际精品服饰店、珠宝、名表、经典配饰名店、中国移动信息生活馆、COCO露天国际酒吧街。二楼为商务休闲服饰、时尚女装、休闲运动城、国际特色餐饮、流行配饰、家居生活、影音礼品店和百老汇影城。三楼为高档美食概念餐厅、美容护理SPA。潍坊泰华城COCO PARK 是在泰华城假日广场裙楼商业的南侧透过美丽的音乐喷泉、景观水幕，紧挨着是一个与整个泰华城贯穿并遥相呼应的娱乐美食中心，门前设有超大的景观中空，外形就像壮观动感的玻璃盒子，这里将成为潍坊娱乐休闲新的时尚聚会基地，里面设有山东第一块跨三层楼高的超大的IMAX巨幕影院，超大的迪士高、酒吧夜店、体验撞球厅及若干中型豪华主题中西餐厅。

公交线路：64路，全程约4.1公里1、从下沙①乘坐64路,经过3站, 到达购物公园地铁站2、步行约320米,到达CARLI