spar

2.1.2　在Windows上安装与配置Spark本节介绍在Windows系统上安装Spark的过程。在Windows环境下需要安装Cygwin模拟Linux的命令行环境来安装Spark。（1）安装JDK相对于Linux、Windows的JDK安装更加自动化，用户可以下载安装Oracle JDK或者OpenJDK。只安装JRE是不够的，用户应该下载整个JDK。安装过程十分简单，运行二进制可执行文件即可，程序会自动配置环境变量。（2）安装CygwinCygwin是在Windows平台下模拟Linux环境的一个非常有用的工具，只有通过它才可以在Windows环境下安装Hadoop和Spark。具体安装步骤如下。1）运行安装程序，选择install from internet。2）选择网络最好的下载源进行下载。3）进入Select Packages界面（见图2-2），然后进入Net，选择openssl及openssh。因为之后还是会用到ssh无密钥登录的。另外应该安装“Editors Category”下面的“vim”。这样就可以在Cygwin上方便地修改配置文件。最后需要配置环境变量，依次选择“我的电脑”→“属性”→“高级系统设置”→“环境变量”命令，更新环境变量中的path设置，在其后添加Cygwin的bin目录和Cygwin的usrin两个目录。（3）安装sshd并配置免密码登录1）双击桌面上的Cygwin图标，启动Cygwin，执行ssh-host-config -y命令，出现如图2-3所示的界面。2）执行后，提示输入密码，否则会退出该配置，此时输入密码和确认密码，按回车键。最后出现Host configuration finished.Have fun!表示安装成功。3）输入net start sshd，启动服务。或者在系统的服务中找到并启动Cygwin sshd服务。注意，如果是Windows 8操作系统，启动Cygwin时，需要以管理员身份运行（右击图标，选择以管理员身份运行），否则会因为权限问题，提示“发生系统错误5”。（4）配置SSH免密码登录1）执行ssh-keygen命令生成密钥文件，如图2-4所示。2）执行此命令后，在你的Cygwinhome用户名路径下面会生成.ssh文件夹，可以通过命令ls -a /home/用户名 查看，通过ssh -version命令查看版本。3）执行完ssh-keygen命令后，再执行下面命令，生成authorized_keys文件。cd ~/.ssh/ cp id_dsa.pub authorized_keys 这样就配置好了sshd服务。（5）配置Hadoop修改和配置相关文件与Linux的配置一致，读者可以参照上文Linux中的配置方式，这里不再赘述。（6）配置Spark修改和配置相关文件与Linux的配置一致，读者可以参照上文Linux中的配置方式，这里不再赘述。（7）运行Spark1）Spark的启动与关闭①在Spark根目录启动Spark。./sbin/start-all.sh ②关闭Spark。./sbin/stop-all.sh 2）Hadoop的启动与关闭①在Hadoop根目录启动Hadoop。./sbin/start-all.sh ②关闭Hadoop。./sbin/stop-all.sh 3）检测是否安装成功正常状态下会出现如下内容。-bash-4.1# jps 23526 Jps 2127 Master 7396 NameNode 7594 SecondaryNameNode 7681 ResourceManager 1053 DataNode 31935 NodeManager 1405 Worker 如缺少进程请到logs文件夹下查看相应日志，针对具体问题进行解决。

老师说要我们学习LINUX，说是要在哪个里面编程，但是我还是不知道为什么要在LINUX里面编呢？听说LINUX很稳定，是不是这个原因呢？本文前提已经确安装scala,sbt及spark 简述程序挂载集群运行步骤：1、构建sbt标准项目工程结构：SBT项目工程结构图其：~/build.sbt文件用配置项目基本信息（项目名、组织名、项目版本、使用scala版本或者再配置些项目所需依赖包）；project/build.properties文件配置要使用版本sbt项目操作；project/plugins.sbt文件给项目添加所需插件；project/Build.scala文件项目进行些复杂高级配置；详细sbt安装配置实用参见博文：2、相应目录编写程序spark程序必须要创建SparkContext实例SparkContext(＂master＂, ＂projectName＂, ＂SPARK_HOME＂, ＂yourProject.jar path＂)3、sbt compile命令编译程序错sbt package命令程序打包默认打包jar文件存放路径：项目根目录/target/scala-xx.xx.xx/your-project-name_xx.xx.xx-xx.jar4、打包jar问价添加SPAK_CLASSPATH(linux根据作用范围同种更改环境变量式说我配置式：spark根目录conf/spark-env.sh文件添加SPARK_CLASSPATH:xxxxxxxx)5、配置环境变量spark根目录使用./run脚本运行程序例：./runspark.examples.SparkPispark://masterIP:port注意程序涉及IO操作起默认路径SPARK_HOME；至于何修改路径待研究

·速度快：Spark基于内存进行计算（当然也有部分计算基于磁盘，比如shuffle）。 ·容易上手开发：Spark的基于RDD的计算模型，比Hadoop的基于Map-Reduce的计算模型要更加易于理解，更加易于上手开发，实现各种复杂功能，比如二次排序、topn等复杂操作时，更加便捷。 ·超强的通用性：Spark提供了Spark RDD、Spark SQL、Spark Streaming、Spark MLlib、Spark GraphX等技术组件，可以一站式地完成大数据领域的离线批处理、交互式查询、流式计算、机器学习、图计算等常见的任务。 ·集成Hadoop：Spark并不是要成为一个大数据领域的“独裁者”，一个人霸占大数据领域所有的“地盘”，而是与Hadoop进行了高度的集成，两者可以完美的配合使用。Hadoop的HDFS、Hive、HBase负责存储，YARN负责资源调度；Spark负责大数据计算。实际上，Hadoop+Spark的组合，是一种“double win”的组合。 ·极高的活跃度：Spark目前是Apache基金会的顶级项目，全世界有大量的优秀工程师是Spark的committer。并且世界上很多顶级的IT公司都在大规模地使用Spark。

Spark是基于内存，是云计算领域的继Hadoop之后的下一代的最热门的通用的并行计算框架开源项目，尤其出色的支持Interactive Query、流计算、图计算等。Spark在机器学习方面有着无与伦比的优势，特别适合需要多次迭代计算的算法。同时Spark的拥有非常出色的容错和调度机制，确保系统的稳定运行，Spark目前的发展理念是通过一个计算框架集合SQL、Machine Learning、Graph Computing、Streaming Computing等多种功能于一个项目中，具有非常好的易用性。目前SPARK已经构建了自己的整个大数据处理生态系统，如流处理、图技术、机器学习、NoSQL查询等方面都有自己的技术，并且是Apache顶级Project，可以预计的是2014年下半年在社区和商业应用上会有爆发式的增长。 国内的淘宝、优酷土豆等已经使用Spark技术用于自己的商业生产系统中，国内外的应用开始越来越广泛，国外一些大型互联网公司已经部署了Spark。甚至连Yahoo是Hadoop的早期主要贡献者，现在也在多个项目中部署使用Spark，国内我们已经在运营商、电商等传统行业部署了Spark.百度百科传送门：http://baike.baidu.com/link?url=shmVM5DFONr5uEvXvs953fzvzl9lkUhSSdZQRYOJWqClPQv3K74LeTcPI-wFVgur2F9i4FyfNeBylkT1Y7occvT4Jn2_JZlyizhEYJFsZ1e

停产了，想买雪佛兰搜索名字低首付购车还能上私户

https://zhuanlan.zhihu.com/p/34436165 https://zhuanlan.zhihu.com/p/70424613 Spark 是专为大规模数据处理而设计的快速通用的计算引擎。是Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 1.RDD：是弹性分布式数据集（Resilient Distributed Dataset）的简称，是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模型。 2.DAG：是Directed Acyclic Graph（有向无环图）的简称，反映RDD之间的依赖关系。如果一个有向图无法从某个顶点出发经过若干条边回到该点，则这个图是一个有向无环图（DAG图）。 3.Driver Program：控制程序，负责为Application构建DAG图。 4.Cluster Manager：集群资源管理中心，负责分配计算资源。 5.Worker Node：工作节点，负责完成具体计算。 6.Executor：是运行在工作节点（Worker Node）上的一个进程，负责运行Task，并为应用程序存储数据。 7.Application：用户编写的Spark应用程序，一个Application包含多个Job。 8.Job：作业，一个Job包含多个RDD及作用于相应RDD上的各种操作。 9.Stage：阶段，是作业的基本调度单位，一个作业会分为多组任务，每组任务被称为“阶段”。 10.Task：任务，运行在Executor上的工作单元，是Executor中的一个线程。 1.构建Spark Application的运行环境，启动SparkContext 2.SparkContext向资源管理器（可以是Standalone，Mesos，Yarn）申请运行Executor资源，并启动StandaloneExecutorbackend， 3.Executor向SparkContext申请Task 4.SparkContext将应用程序分发给Executor 5.SparkContext构建成DAG图，将DAG图分解成Stage、将Taskset发送给Task Scheduler，最后由Task Scheduler将Task发送给Executor运行 6.Task在Executor上运行，运行完释放所有资源

Spark是一种通用的大数据计算框架，相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中，Spark 使用了内存内运算技术，能在数据尚未写入硬盘时即在内存内分析运算。Spark包含了大数据领域常见的各种计算框架：比如Spark Core用于离线计算，Spark SQL用于交互式查询，Spark Streaming用于实时流式计算，Spark MLlib用于机器学习，Spark GraphX用于图计算。

.[C]1. 火花,火星A cigarette spark started the fire.香烟的火星引起这场火灾。2. (宝石等的)闪耀We saw a spark of light through the trees.我们透过树丛看到闪光。3. 【电】火花;火星Close the circuit and you"ll see a blue spark.接通电路你就会看到一个蓝色的电火花。4. (常用于否定句)微量;丝毫[S][(+of)]He showed not a spark of interest in the plan.他对这个计划一点不感兴趣。5. 生气,活力;(才智等的)焕发The spark of life still flickered in him.他的生命之火还在闪烁。6. 迹象,痕迹He still retains a spark of decency.他仍然保持着一点起码的体面。vt.1. 发动;点燃[(+off)]They were scheming to spark a revolt.他们策划发起反叛。2. 激励;鼓舞It was this incident that sparked her interest in politics.是这个事件激起了她对政治的兴趣。vi.1. 发出火花;飞出火星This wood burns steadily with no sparking.这木柴长时间燃烧正常,不爆火花。2. 闪耀,闪光Her eyes sparked.她双眼闪闪发光。3. 热烈赞同Her mother sparked to the idea of an early wedding date.她母亲欣然同意早日举行婚礼的打算。spark2KK: []DJ: []n.[C]1. 翩翩少年;花花公子2. 情郎;求婚者vt.1. 【美】【口】向...求婚;向...求爱The railroad didn"t pay him to spark a girl on its time.铁路付他工资不是让他在上班时间去向女孩子求爱的。vi.1. 【美】【口】求婚;求爱

第一阶段：熟练的掌握Scala语言 1，Spark框架是采用Scala语言编写的，精致而优雅。要想成为Spark高手，你就必须阅读Spark的源代码，就必须掌握Scala,; 2， 虽然说现在的Spark可以采用多语言Java、Python等进行应用程序开发，但是最快速的和支持最好的开发API依然并将永远是Scala方式的API，所以你必须掌握Scala来编写复杂的和高性能的Spark分布式程序; 3， 尤其要熟练掌握Scala的trait、apply、函数式编程、泛型、逆变与协变等;第二阶段：精通Spark平台本身提供给开发者API 1， 掌握Spark中面向RDD的开发模式，掌握各种transformation和action函数的使用; 2， 掌握Spark中的宽依赖和窄依赖以及lineage机制; 3， 掌握RDD的计算流程，例如Stage的划分、Spark应用程序提交给集群的基本过程和Worker节点基础的工作原理等 第三阶段：深入Spark内核 此阶段主要是通过Spark框架的源码研读来深入Spark内核部分： 1， 通过源码掌握Spark的任务提交过程; 2， 通过源码掌握Spark集群的任务调度; 3， 尤其要精通DAGScheduler、TaskScheduler和Worker节点内部的工作的每一步的细节; 第四阶级:掌握基于Spark上的核心框架的使用 Spark作为云计算大数据时代的集大成者，在实时流处理、图技术、机器学习、NoSQL查询等方面具有显著的优势，我们使用Spark的时候大部分时间都是在使用其上的框架例如Shark、Spark Streaming等： 1， Spark Streaming是非常出色的实时流处理框架，要掌握其DStream、transformation和checkpoint等; 2， Spark的离线统计分析功能，Spark 1.0.0版本在Shark的基础上推出了Spark SQL，离线统计分析的功能的效率有显著的提升，需要重点掌握; 3， 对于Spark的机器学习和GraphX等要掌握其原理和用法; 第五阶级:做商业级别的Spark项目 通过一个完整的具有代表性的Spark项目来贯穿Spark的方方面面，包括项目的架构设计、用到的技术的剖析、开发实现、运维等，完整掌握其中的每一个阶段和细节，这样就可以让您以后可以从容面对绝大多数Spark项目。 第六阶级：提供Spark解决方案 1， 彻底掌握Spark框架源码的每一个细节; 2， 根据不同的业务场景的需要提供Spark在不同场景的下的解决方案; 3， 根据实际需要，在Spark框架基础上进行二次开发，打造自己的Spark框架; u200b

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是--Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。

n.火花,火星,闪光,电信技师,活力,朝气,瞬间放电,花花公子,情郎vi.闪烁vt.发动,鼓舞,使有朝气,求婚

spark English 星火英语不知道有没有听说过！

spark[英][spɑ:k][美][spɑ:rk]n.燃烧的颗粒; 火星，火花，余火; （金属的）发光的颗粒; 电火花; vi.发出火星，发出闪光; 热烈赞同; 正常运转; vt.发动，触发; 激起运动，鼓舞; 第三人称单数：sparks过去分词：sparked复数：sparks现在进行时：sparking过去式：sparked例句:1.It might also spark fresh consumer price inflation. 刺激措施还可能引发新一轮消费价格通胀。

歌曲名:Connected歌手:sparkadia专辑:PostcardsSparkadia - Connected★ lrc 编辑 妙一法师Sitting in your little car it"sfeels like something"s pulling us apartMaybe it"s just gravity someforce of nature bigger than the two of usIf we wait and see,we could live like this forever and never really see,that you and are not meant to be alone,floating in the nightDon"t tell me that we"re not connectedDon"t tell me that we"re not the sameDon"t say that we"ll be the only ones floating all aloneNot you, not me, not usMaybe it"s the hand of god, the twist of fate,the lucky break that never comes...(till it"s too late)Sitting in your little car it feels like something"s pulling us apartIf we wait and see,we could live like this forever and never really see,that you and are not meant to be alone,floating in the nightDon"t tell me that we"re not connectedDon"t tell me that we"re not the sameDon"t say that we"ll be the only ones floating all aloneNot you, not me, not usIf we wait and see,we could live like this forever and never really see,that you and are not meant to be alone,floating in the sky until the morning sun comes up.We don"t have the time,to wonder what connects us to each other"s lives,I guess we"ll never know,so don"t compromise what we have nowEndSparkadia - Connected★ lrc 编辑 妙一法师http://music.baidu.com/song/54208767

spark本义是火花、火星儿，用做动词“鼓舞”是引申义。因火星儿所具备的特点，这个词做动词时也有类似的含义。主要有两点。一是因为火星儿不同火苗，一般只起很小的引燃作用，所以在指鼓舞、激励时，也仅仅起到触发、激发的作用。二是火星儿所引发的是大火、火灾，所以在做动词讲时，所激发的也经常是辩论、争吵、打架等带有火药味的事件。spark另外一个含义是激发灵感，恰似黑暗中骤然出现的亮光。例子：the severity of the plan sparked off street protests.这项计划太过严厉，引发了街头示威。inspire指用激励的方式使某人愿意尝试做某事。所鼓舞的事情对受鼓舞者常常是新鲜事物，同时也是他们能够做到的。his passion for romantic literature inspired him to begin writing.他对浪漫主义文学的激情激励他开始写作。此外，inspire还指唤起某人的某种感情。their past record does not inspire confidence.他们过去的经历并没有带来信心。

apache官网找spark，然后看下载的文件夹，里面有这个包

填what。这句话可以转化为：The home improvements have taken what little of my spare time there is. 可以发现该句为一个含有感叹式宾语从句，连接代词what和它所修饰的在从句中作主语的名词little，一起提到从句之首。表示“多么少”的感叹。 There is是表示存在性的句型，little在这里是名词。全句意思是“我几乎没有什么空闲时间。” 将这个句子变成强调名词little的感叹句，就要用what引导。被强调的名词little放在what之后，其他成分保持位置不变。 宾语从句由what引导，但是从句并不缺少成分，可以判定是一个感叹句。用what表示强调的是名词，即little在这里是名词。there is是一个表示存在的插入语结构，可以跳过或忽略。

C?这是一个宾语从句。havetaken后接感叹句,其正常语序是whatlittleofmysparetimethereis。由于调换了语序,增加了题目的难度,许多考生把它理解成了“在我业余时间里”,因而选了B。所以在做题时,一定要审准题目,区分句子结构,理解句子意思,才能做出正确答案。这句话的意思是“房屋装修占据了我那么少的业余时间”。?

Sparks flew from fire翻译之后，他的意思就是：火花飞溅

less radical fertility sparing surgery 保留生育能力的次广泛切除手术less radical: 次广泛切除fertility sparing: 保留生育能力这个短语充分表现了早期的不恰当翻译造成的困难。radical surgery以前一直翻译为根治手术。这个翻译实际上误解了的radical意思。结果西方来了个less radical surgery，我们就不知道怎么翻了，译成少根治手术显然是错的，说明以前的翻译也是错的。我查了一下中文文献，发现有的文献把radical surgery翻译成广泛切除手术，相应的就把less radical surgery翻译成次广泛切除手术。这就比较接近英文原意了。

选的时候呢，一定要选深一下一点的，不要有噪音

《Spark in Action》（Marko Bonau0107i）电子书网盘下载免费在线阅读资源链接：链接：https://pan.baidu.com/s/1m9bJ2Ez5igMRJIAdnWqwqg 提取码：esbq书名：Spark in Action作者：Marko Bonau0107i豆瓣评分：7.7出版社：Manning出版年份：2016-1页数：400内容简介：Working with big data can be complex and challenging, in part because of the multiple analysis frameworks and tools required. Apache Spark is a big data processing framework perfect for analyzing near-real-time streams and discovering historical patterns in batched data sets. But Spark goes much further than other frameworks. By including machine learning and graph processing capabilities, it makes many specialized data processing platforms obsolete. Spark"s unified framework and programming model significantly lowers the initial infrastructure investment, and Spark"s core abstractions are intuitive for most Scala, Java, and Python developers.Spark in Action teaches you to use Spark for stream and batch data processing. It starts with an introduction to the Spark architecture and ecosystem followed by a taste of Spark"s command line interface. You then discover the most fundamental concepts and abstractions of Spark, particularly Resilient Distributed Datasets (RDDs) and the basic data transformations that RDDs provide. The first part of the book also introduces you to writing Spark applications using the the core APIs. Next, you learn about different Spark components: how to work with structured data using Spark SQL, how to process near-real time data with Spark Streaming, how to apply machine learning algorithms with Spark MLlib, how to apply graph algorithms on graph-shaped data using Spark GraphX, and a clear introduction to Spark clustering.作者简介：Marko Bonau0107i has worked with Java for 13 years. He currently works as IBM Enterprise Content Management team lead at SV Group. Petar Zeu010deviu0107 is a CTO at SV Group. During the last 14 years he has worked on various projects as a Java developer, team leader, consultant and software specialist. He is the founder and, with Marko, organizer of popular Spark@Zg meetup group.

　　hdfs中的block是分布式存储的最小单元，类似于盛放文件的盒子，一个文件可能要占多个盒子，但一个盒子里的内容只可能来自同一份文件。假设block设置为128M，你的文件是250M，那么这份文件占3个block（128+128+2）。这样的设计虽然会有一部分磁盘空间的浪费，但是整齐的block大小，便于快速找到、读取对应的内容。（p.s. 考虑到hdfs冗余设计，默认三份拷贝，实际上3*3=9个block的物理空间。）　　spark中的partion是弹性分布式数据集RDD的最小单元，RDD是由分布在各个节点上的partion组成的。partion是指的spark在计算过程中，生成的数据在计算空间内最小单元，同一份数据（RDD）的partion大小不一，数量不定，是根据application里的算子和最初读入的数据分块数量决定的，这也是为什么叫“弹性分布式”数据集的原因之一。　　总结：　　block位于存储空间、partion位于计算空间，　　block的大小是固定的、partion大小是不固定的，　　block是有冗余的、不会轻易丢失，partion（RDD）没有冗余设计、丢失之后重新计算得到

看到一篇关于spark partition的文件，讲的简单易懂通俗，故转。 我们要想对spark中RDD的分区进行一个简单的了解的话，就不免要先了解一下hdfs的前世今生。 众所周知，hdfs是一个非常不错的分布式文件系统，这是这么多年来大家有目共睹的。 hdfs文件为分布式存储，每个文件都被切分为block(默认为128M）。为了达到容错的目的，他们还提供为每个block存放了N个副本(默认为3个）。当然，以上说的这些也可以根据实际的环境业务调整。 多副本除了可以达到容错的目的，也为计算时数据的本地性提供了便捷。当数据所在节点的计算资源不充足时，多副本机制可以不用迁移数据，直接在另一个副本所在节点计算即可。此时看到这里，肯定就有人会问了，那如果所有副本所在的节点计算资源都不充足那该怎么办? 问的很好，一般会有一个配置来设置一个等待时长来等待的，假设等待时长为三秒，如果超过三秒，还没有空闲资源，就会分配给别的副本所在节点计算的，如果再别的副本所在节点也需等待且超过了三秒。则就会启动数据迁移了(诸多因素影响，代价就比较大了）。 接下来我们就介绍RDD，RDD是什么?弹性分布式数据集。 弹性:并不是指他可以动态扩展，而是血统容错机制。 分布式:顾名思义，RDD会在多个节点上存储，就和hdfs的分布式道理是一样的。hdfs文件被切分为多个block存储在各个节点上，而RDD是被切分为多个partition。不同的partition可能在不同的节点上。 再spark读取hdfs的场景下，spark把hdfs的block读到内存就会抽象为spark的partition。至于后续遇到shuffle的操作，RDD的partition可以根据Hash再次进行划分(一般pairRDD是使用key做Hash再取余来划分partition）。 再spark计算末尾，一般会把数据做持久化到hive，hbase，hdfs等等。我们就拿hdfs举例，将RDD持久化到hdfs上，RDD的每个partition就会存成一个文件，如果文件小于128M，就可以理解为一个partition对应hdfs的一个block。反之，如果大于128M，就会被且分为多个block，这样，一个partition就会对应多个block。 鉴于上述partition大于128M的情况，在做sparkStreaming增量数据累加时一定要记得调整RDD的分区数。假设，第一次保存RDD时10个partition，每个partition有140M。那么该RDD保存在hdfs上就会有20个block，下一批次重新读取hdfs上的这些数据，RDD的partition个数就会变为20个。再后续有类似union的操作，导致partition增加，但是程序有没有repartition或者进过shuffle的重新分区，这样就导致这部分数据的partition无限增加，这样一直下去肯定是会出问题的。所以，类似这样的情景，再程序开发结束一定要审查需不需要重新分区。 转自：https://www.jianshu.com/p/3e79db80c43c

二者都有显而易见的意思，但前者的显而易见只用于借口谎言等。

还有可能内存条冲突，拿掉一个吧

您好，感谢您选择惠普产品。电池贴纸上的信息是HP对电池分类的信息。希望以上回复能够对您有所帮助。

您好，感谢您选择惠普产品。电池贴纸上的信息是HP对电池分类的信息。希望以上回复能够对您有所帮助。

咨询HP问真伪

vt. 指定；详细说明；列举；把…列入说明书

storage内存用于broadcast、缓存cache 数据 ： Storage 堆内内存=(spark.executor.memory–300MB) * spark.memory.fraction * spark.memory.storageFraction Execution执行Shuffle、Join、Sort 等计算过程中的临时数据： Execution 堆内内存=(spark.executor.memory–300MB) * spark.memory.fraction * (1-spark.memory.storageFraction) other ：主要用于存储 RDD 转换操作所需要的数据，例如 RDD 依赖等信息： Reserved Memory：系统预留内存，会用来存储Spark内部对象 堆外内存：一种是DirectMemory, 一种是JVM Overhead。主要用于程序的共享库、Perm Space、 线程Stack和一些Memory mapping等, 或者类C方式allocate object

题主是否想询问“transparent，peer，review一般同意吗”？同意，transparent，peer，review将他们的名字与他们为我们审查的手稿上的报告联系起来，但如果他们的身份将被公开分享，则有大量的审查人员不想参与审查过程。

百度百科，很详细的，，

The way you move is like a full on rainstorm 你的每一个动作就好像暴雨旋风一般划过我的心上and I"m a house of cards 而我就像一座纸牌搭起的房子般脆弱，轻易的被你攻入You"re the kinda reckless that should send me run 你是那种能让我不计后果迷上的人，我应该远离But I kinda know that I wont get far 但是我知道，我就像小磁铁一样离不开磁场And you stood there in front of me just 你就这样站在我的面前Close enough to touch 距离是如此的近，我可以触碰到你Close enough to hope you couldn"t see 距离是如此的近，但愿你不能看清What I was thinking of 我正在想的事情Drop everything now 放下所有的事情吧Meet me in the pouring rain 我和你约在瓢泼大雨之中Kiss me on the sidewalk 亲吻在街边的人行道上Take away the pain 将所有的痛楚都带离了我cause I see, sparks fly whenever you smile 我好像能看见，当你微笑的时候，火花正在绽放Get me with those green eyes, baby 宝贝，你绿色的眼睛就这样得到了我的心As the lights go down 就好像绚丽的灯光都黯然失色,Something that"ll haunt me when you"re not around 当你不在我身边的时候，有些东西会萦绕于脑际，难以忘却cause I see, sparks fly whenever you smile我好像能看见，当你微笑的时候，火花正在绽放My mind forgets to remind me 我的理智忘记了提醒我自己You"re a bad idea 你是一个容易让我入迷的坏念头You touch me once and it"s 当你第一次触碰到我的时候Really something 我能感觉到，美妙的事情即将上演you find I"m even betterThan you imagined I would be你会发现我比你想象中的更美好I"m on my guard for the rest of the world 我对于外面的世界保持我的小戒心But with you I know it"s no good 但是，和你在一起的时候，我却毫无防备And I could wait patiently but 我可以按捺自己的心思，耐心的等待I really wish you would 但是，我真的希望你会：Drop everything now 放下所有的事情Meet me in the pouring rain 我和你约在瓢泼大雨之中Kiss me on the sidewalk 亲吻在街边的人行道上Take away the pain 将所有的痛楚都带离了我cause I see, sparks fly whenever you smile 我好像能看见，当你微笑的时候，火花正在绽放Get me with those green eyes, baby 宝贝，你绿色的眼睛就这样得到了我的心As the lights go down 就好像绚丽的灯光都黯然失色,Something that"ll haunt me when you"re not around 当你不在我身边的时候，有些东西会萦绕于脑际，难以忘却cause I see, sparks fly whenever you smile我好像能看见，当你微笑的时候，火花正在绽放I run my fingers through your hair 我的手指穿过你柔软的头发And watch the lights go out 看着灯火就这样的消失在你的光芒下Just keep on keepin your eyes on me 就让你美丽的双眼一直注视着我，It"s just wrong enough to make it feel right 这样的错误,让我感觉如此美妙Lead me up the staircase 在微弱的光亮下，将我领上楼梯Won"t you whisper soft and slow你会温柔的在我耳边说着悄悄话吗？I"m captivated by you baby 你已经彻底迷住了我的心like a fireworks show 如同烟火般灿烂于天际Drop everything now 放下所有的事情吧Meet me in the pouring rain 我和你约在瓢泼大雨之中Kiss me on the sidewalk 亲吻在街边的人行道上Take away the pain 将所有的痛楚都带离了我cause I see, sparks fly whenever you smile 我好像能看见，当你微笑的时候，火花正在绽放Get me with those green eyes, baby 宝贝，你绿色的眼睛就这样得到了我的心As the lights go down 就好像绚丽的灯光都黯然失色Something that"ll haunt me when you"re not around 当你不在我身边的时候，有些东西会萦绕于脑际，难以忘却cause I see, sparks fly whenever you smile我好像能看见，当你微笑的时候，火花正在绽放

请及时采纳Taylor Swift - Sparks Fly.mp3试听下载链接

怎么可能一样啦 taylor这首歌写了这么久了

u2192_u2192

　Taylor Swift - Sparks Fly（烟花飞舞）　　The way you move is like a full on rainstorm 你的一举一动都如暴风雨般让我刻骨铭心　　And I"m a house of cards 而我就像纸牌搭起的房子脆弱，轻易被攻陷　　You"re the kind of reckless that should send me running 你有点让我不计后果的迷恋，我应该远离　　But I kinda know that I won"t get far 但我深知我办不到　　And you stood there in front of me 你站在我面前　　Just close enough to touch 近的触手可及　　Close enough to hope you couldn"t see 希望你没有察觉　　What I was thinking of 我正在想什么　　Drop everything now 不顾一切　　Meet me in the pouring rain 与我相约在倾盆大雨中　　Kiss me on the sidewalk 在街边忘情拥吻　　Take away the pain 带走所有的痛楚　　Cause" I see sparks fly whenever you smile 因为我看见，你的微笑如烟花飞舞般灿烂　　Get me with those green eyes, baby 宝贝，得到我的心，让那些嫉妒的眼神　　As the lights go down 就好像灯光都黯然失色　　Give me something that"ll haunt me when you"re not around 当你不在身边时，总有东西萦绕在脑边　　Cause I see, sparks fly whenever you smile 因为我看见，你的微笑如烟花飞舞般灿烂　　My mind forgets to remind me you"re a bad idea 理智忘了提醒自己你是容易让我入迷的坏念头 　　You touch me once and it"s really something 当你第一次抚摸我　　You find I"m even better than you imagined I would be 你会发现我比你想象中的还要好　　I"m on my guard for the rest of the world 我对外界保持着戒心　　But with you I know it"s no good 但与你在一起，却毫无防备　　And I could wait patiently but I really wish you would 我可以耐心等待　　Drop everything now 不顾一切　　Meet me in the pouring rain 与我相约在倾盆大雨中　　Kiss me on the sidewalk 在街边忘情拥吻　　Take away the pain 带走所有的痛楚　　Cause I see, sparks fly whenever you smile 因为我看见，你的微笑如烟花飞舞般灿烂　　Get me with those green eyes, baby 宝贝，得到我的心，让那些嫉妒的眼神 　　As the lights go down 就好像灯光都黯然失色　　Give me something that"ll haunt me when you"re not around 当你不在身边时，总有东西萦绕在脑边　　Cause I see, sparks fly whenever you smile 因为我看见，你的微笑如烟花飞舞般灿烂　　I run my fingers through your hair 指间划过你的发丝　　And watch the lights go wild 凝望着灯火熄灭　　Just keep on keeping your eyes on me 就让你美丽的双眼注视着我　　It"s just strong enough to make it feel right 那足矣让我感到满足　　And lead me up the staircase 将我领上楼梯　　Won"t you whisper soft and slow 会在我耳边温柔的呢喃么？　　I"m captivated by you baby我彻底被你俘获　　Like a fireworks show 如同一场烟花秀　　

歌曲名:Let The Sparks Fly歌手:Thousand Foot Krutch专辑:The End Is Where We BeginHahahaha..There"s no such thing as maybe,Burn it like you fading,No more HesitatingLet the sparks fly baby!Drive it like you"re racing,You can call me crazy,I"m just tired of waiting,Let the sparks fly baby!Give me one if it"s realand two if you can feel it,Give me three signs that you"re awake,It only takes one sparkFor two to fall apartand three more to blow it awayGive me one if it"s realand two if you can feel it,Give me three signs that you"re awake,It only takes one sparkFor two to fall apartAnd three more to blow it awayLet me take you into the light,There"s nowhere to hide,There"s nothing but darkness left hereShake it up and let"s take a ride"cause heaven"s not far awayAnd I"m not gonna leave you here.There"s no such thing as maybe,Burn it like you fading,No more HesitatingLet the sparks fly baby!Drive it like you"re racing,You can call me crazy,I"m just tired of waiting,Let the sparks fly baby!Give me one good reasonTwo more to believe inThree shots and watch your weight"cause I got one more match,Two strikes leftYou got to three to get out of my wayGive me one if it"s realAnd two if you can feel it,Give me three signs that you"re awake,It only takes one sparkFor two to fall apartAnd three more to blow it awayLet me take you into the light,There"s nowhere to hide,There"s nothing but darkness left hereShake it up and let"s take a ride"cause heaven"s not far awayAnd I"m not gonna leave you here.There"s no such thing as maybe,Burn it like you fading,No more HesitatingLet the sparks fly baby!Drive it like you"re racing,You can call me crazy,I"m just tired of waiting,Let the sparks fly baby!Hahahaha..Let me take you into the light,There"s nowhere to hide,There"s nothing but darkness left hereShake it up and let"s take a ride"cause heaven"s not far awayAnd I"m not gonna leave you here.Let me take you into the light!There"s nowhere to hide,There"s nothing but darkness left hereShake it up and let"s take a ride"cause heaven"s not far awayAnd I"m not gonna leave you..Let me take you into the lightThere"s nowhere to hide,There"s nothing but darkness left hereShake it up and let"s take a ride"cause heaven"s not far awayAnd I"m not gonna leave you here.There"s no such thing as maybe,Burn it like you fading,No more Hesitating,Let the sparks fly baby!Drive it like you"re racing,You can call me crazy,I"m just tired of waiting,Let the sparks fly baby!http://music.baidu.com/song/18175593

Sparks Fly 歌手：Taylor Swift所属专辑：Speak Now (Extended Version)作曲 : Taylor Swift作词 : Taylor Swift中英文歌词：The way you move is like a full on rainstorm你的一举一动都如暴风雨般让我刻骨铭心and I"m a house of cards而我就像纸牌搭起的房子脆弱，轻易被攻陷You"re the kinda reckless that should send me run你有点让我不计后果的迷恋，我应该远离But I kinda know that I won‘t get far但我深知我办不到And you stood there in front of me just你站在我面前Close enough to touch近的触手可及Close enough to hope you couldn"t see希望你没有察觉What I was thinking of我正在想什么Drop everything now不顾一切Meet me in the pouring rain与我相约在倾盆大雨中Kiss me on the sidewalk在街边忘情拥吻Take away the pain带走所有的痛楚cause I see, sparks fly whenever you smile因为我看见，你的微笑如烟花飞舞般灿烂Get me with those green eyes, baby宝贝，得到我的心，让那些嫉妒的眼神As the lights go down就好像灯光都黯然失色Give me something that"ll haunt me when you"re not around当你不在身边时，总有东西萦绕在脑边cause I see, sparks fly whenever you smile因为我看见，你的微笑如烟花飞舞般灿烂My mind forgets to remind me理智忘了提醒自己You"re a bad idea（爱上）你是一个的坏注意You touch me once and it"s当你第一次抚摸我Really something我能感觉到，美妙的事情即将上演you find I"m even better Than you imagined I would be你会发现我比你想象中的还要好I"m on my guard for the rest of the world我对外界保持着戒心But with you I know it"s no good但与你在一起，却毫无防备And I could wait patiently but我可以耐心等待I really wish you would但是我真的希望你也一样Drop everything now不顾一切Meet me in the pouring rain与我相约在倾盆大雨中Kiss me on the sidewalk在街边忘情拥吻Take away the pain带走所有的痛楚cause I see, sparks fly whenever you smile因为我看见，你的微笑如烟花飞舞般灿烂Get me with those green eyes, baby宝贝，得到我的心，让那些嫉妒的眼神As the lights go down就好像灯光都黯然失色give me something that"ll haunt me when you are not around当你不在身边时，总有东西萦绕在脑边cause I see, sparks fly whenever you smile因为我看见，你的微笑如烟花飞舞般灿烂I run my fingers through your hair指间划过你的发丝And watch the lights go out凝望着灯火熄灭Just keep on keepin your eyes on me就让你美丽的双眼注视着我It"s just wrong enough to make it feel right那足矣让我感到满足Lead me up the staircase将我领上楼梯Won"t you whisper soft and slow会在我耳边温柔的呢喃么？I"m captivated by you baby我彻底被你俘获like a fireworks show如同一场烟花秀Drop everything now不顾一切Meet me in the pouring rain与我相约在倾盆大雨中Kiss me on the sidewalk在街边忘情拥吻Take away the pain带走所有的痛楚cause I see, sparks fly whenever you smile因为我看见，你的微笑如烟花飞舞般灿烂Get me with those green eyes, baby宝贝，得到我的心，让那些嫉妒的眼神As the lights go down就好像灯光都黯然失色give me something that"ll haunt me when you"re not around当你不在身边时，总有东西萦绕在脑边cause I see, sparks fly whenever you smile因为我看见，你的微笑如烟花飞舞般灿烂oh baby smile哦 宝贝 莞尔一笑and the sparks fly火花飞舞sparks fly火花飞舞

新版 Sparks Fly 翻译SelCampbell （转载的时候请加上这个~~谢谢你！）The way you move is like a full on rainstorm 你的每一个动作就好像暴雨旋风一般划过我的心上and I"m a house of cards 而我就像一座纸牌搭起的房子般脆弱，轻易的被你攻入You"re the kinda reckless that should send me run 你是那种能让我不计后果迷上的人，我应该远离But I kinda know that I wont get far 但是我知道，我就像小磁铁一样离不开磁场And you stood there in front of me just 你就这样站在我的面前Close enough to touch 距离是如此的近，我可以触碰到你Close enough to hope you couldn"t see 距离是如此的近，但愿你不能看清What I was thinking of 我正在想的事情Drop everything now 放下所有的事情吧Meet me in the pouring rain 我和你约在瓢泼大雨之中Kiss me on the sidewalk 亲吻在街边的人行道上Take away the pain 将所有的痛楚都带离了我cause I see, sparks fly whenever you smile 我好像能看见，当你微笑的时候，火花正在绽放Get me with those green eyes, baby 宝贝，你绿色的眼睛就这样得到了我的心As the lights go down 就好像绚丽的灯光都黯然失色,Something that"ll haunt me when you"re not around 当你不在我身边的时候，有些东西会萦绕于脑际，难以忘却cause I see, sparks fly whenever you smile我好像能看见，当你微笑的时候，火花正在绽放My mind forgets to remind me 我的理智忘记了提醒我自己You"re a bad idea 你是一个容易让我入迷的坏念头You touch me once and it"s 当你第一次触碰到我的时候Really something 我能感觉到，美妙的事情即将上演you find I"m even betterThan you imagined I would be你会发现我比你想象中的更美好I"m on my guard for the rest of the world 我对于外面的世界保持我的小戒心But with you I know it"s no good 但是，和你在一起的时候，我却毫无防备And I could wait patiently but 我可以按捺自己的心思，耐心的等待I really wish you would 但是，我真的希望你会：Drop everything now 放下所有的事情Meet me in the pouring rain 我和你约在瓢泼大雨之中Kiss me on the sidewalk 亲吻在街边的人行道上Take away the pain 将所有的痛楚都带离了我cause I see, sparks fly whenever you smile 我好像能看见，当你微笑的时候，火花正在绽放Get me with those green eyes, baby 宝贝，你绿色的眼睛就这样得到了我的心As the lights go down 就好像绚丽的灯光都黯然失色,Something that"ll haunt me when you"re not around 当你不在我身边的时候，有些东西会萦绕于脑际，难以忘却cause I see, sparks fly whenever you smile我好像能看见，当你微笑的时候，火花正在绽放I run my fingers through your hair 我的手指穿过你柔软的头发And watch the lights go out 看着灯火就这样的消失在你的光芒下Just keep on keepin your eyes on me 就让你美丽的双眼一直注视着我，It"s just wrong enough to make it feel right 这样的错误,让我感觉如此美妙Lead me up the staircase 在微弱的光亮下，将我领上楼梯Won"t you whisper soft and slow你会温柔的在我耳边说着悄悄话吗？I"m captivated by you baby 你已经彻底迷住了我的心like a fireworks show 如同烟火般灿烂于天际Drop everything now 放下所有的事情吧Meet me in the pouring rain 我和你约在瓢泼大雨之中Kiss me on the sidewalk 亲吻在街边的人行道上Take away the pain 将所有的痛楚都带离了我cause I see, sparks fly whenever you smile 我好像能看见，当你微笑的时候，火花正在绽放Get me with those green eyes, baby 宝贝，你绿色的眼睛就这样得到了我的心As the lights go down 就好像绚丽的灯光都黯然失色Something that"ll haunt me when you"re not around 当你不在我身边的时候，有些东西会萦绕于脑际，难以忘却cause I see, sparks fly whenever you smile我好像能看见，当你微笑的时候，火花正在绽放参考资料： http://tieba.baidu.com/f?kz=921171891

[TI：火花 飞 ] [AR：泰勒迅速] []：现在发言] [：活在当下] 泰勒迅速- 火花 飞移动的方式就像是一个充满暴雨，我的卡你的房子 “ 再鲁莽，应该送我运行，，但我还挺知道，我不会得远，你站在我面前有足够接近触摸足够接近，希望你看不到我是想放下一切现在满足在瓢泼大雨中， 我吻在人行道上我带走疼痛的原因：“ 我 看到火花飞，每当你的微笑我与那些绿色的眼睛，婴儿灯下去给我的东西，就缠着我 ，当你不在身边因为我看到，火花 飞时，你的微笑我心中不忘提醒我，你是一个坏主意，你碰我一次，它真的是你找我甚至比你想象的，我想我在我的警觉为世界其他地区，但与你我知道它是没有很好的和我可以等待耐心，但我真的希望你会下降的一切现在满足倾盆大雨我吻在人行道上我采取远离疼痛的原因我看， 火花飞时你的微笑让我与那些绿色的眼睛，婴儿灯下去给我的东西，就缠着我，当你不在身边使我看到，火花 飞，每当你的微笑我通过你的头发上运行我的手指，看灯去野生只是保持你的眼睛，我保持它的强大到足以令其感到权利，并导致我的楼梯不会你耳语软，慢，我由你迷住婴儿像烟花秀放下一切现在我在满足瓢泼大雨吻我在人行道上带走的疼痛使我看到，火花 飞时，你的微笑我与那些绿色的眼睛， 宝宝的灯光下去给我的东西，就缠着我，当你不在身边使我看到，火花 飞，只要你的微笑

什么啊？去网上查一下就知道了

Sparks Fly 火花四溅 The way you move is like a full on rainstorm 你的每一个动作就好像暴雨旋风一般划过我的心上and I"m a house of cards 而我就像一座纸牌搭起的房子般脆弱，轻易的被你攻入You"re the kinda reckless that should send me run 你是那种能让我不计后果迷上的人，我应该远离But I kinda know that I wont get far 但是我知道，我就像小磁铁一样离不开磁场And you stood there in front of me just 你就这样站在我的面前Close enough to touch 距离是如此的近，我可以触碰到你Close enough to hope you couldn"t see 距离是如此的近，但愿你不能看清What I was thinking of 我正在想的事情Drop everything now 放下所有的事情吧Meet me in the pouring rain 我和你约在瓢泼大雨之中Kiss me on the sidewalk 亲吻在街边的人行道上Take away the pain 将所有的痛楚都带离了我cause I see, sparks fly whenever you smile 我好像能看见，当你微笑的时候，火花正在绽放Get me with those green eyes, baby 宝贝，你绿色的眼睛就这样得到了我的心As the lights go down 就好像绚丽的灯光都黯然失色,Something that"ll haunt me when you"re not around 当你不在我身边的时候，有些东西会萦绕于脑际，难以忘却cause I see, sparks fly whenever you smile我好像能看见，当你微笑的时候，火花正在绽放My mind forgets to remind me 我的理智忘记了提醒我自己You"re a bad idea 你是一个容易让我入迷的坏念头You touch me once and it"s 当你第一次触碰到我的时候Really something 我能感觉到，美妙的事情即将上演you find I"m even betterThan you imagined I would be你会发现我比你想象中的更美好I"m on my guard for the rest of the world 我对于外面的世界保持我的小戒心But with you I know it"s no good 但是，和你在一起的时候，我却毫无防备And I could wait patiently but 我可以按捺自己的心思，耐心的等待I really wish you would 但是，我真的希望你会：Drop everything now 放下所有的事情Meet me in the pouring rain 我和你约在瓢泼大雨之中Kiss me on the sidewalk 亲吻在街边的人行道上Take away the pain 将所有的痛楚都带离了我cause I see, sparks fly whenever you smile 我好像能看见，当你微笑的时候，火花正在绽放Get me with those green eyes, baby 宝贝，你绿色的眼睛就这样得到了我的心As the lights go down 就好像绚丽的灯光都黯然失色,Something that"ll haunt me when you"re not around 当你不在我身边的时候，有些东西会萦绕于脑际，难以忘却cause I see, sparks fly whenever you smile我好像能看见，当你微笑的时候，火花正在绽放I run my fingers through your hair 我的手指穿过你柔软的头发And watch the lights go out 看着灯火就这样的消失在你的光芒下Just keep on keepin your eyes on me 就让你美丽的双眼一直注视着我，It"s just wrong enough to make it feel right 这样的错误,让我感觉如此美妙Lead me up the staircase 在微弱的光亮下，将我领上楼梯Won"t you whisper soft and slow你会温柔的在我耳边说着悄悄话吗？I"m captivated by you baby 你已经彻底迷住了我的心like a fireworks show 如同烟火般灿烂于天际Drop everything now 放下所有的事情吧Meet me in the pouring rain 我和你约在瓢泼大雨之中Kiss me on the sidewalk 亲吻在街边的人行道上Take away the pain 将所有的痛楚都带离了我cause I see, sparks fly whenever you smile 我好像能看见，当你微笑的时候，火花正在绽放Get me with those green eyes, baby 宝贝，你绿色的眼睛就这样得到了我的心As the lights go down 就好像绚丽的灯光都黯然失色Something that"ll haunt me when you"re not around 当你不在我身边的时候，有些东西会萦绕于脑际，难以忘却cause I see, sparks fly whenever you smile我好像能看见，当你微笑的时候，火花正在绽放

我有一个，里面有挺多可以看的，都是的，感兴趣的可以看点我个性签名。。，了解一下

这个是中国歌迷这么叫她。因为taylor十分漂亮，年龄又小，美国那边都叫她美国甜心之类的，中国这边就叫她小美女，美和“霉”读音相同，而且Taylor每次有强势的单曲冲击Billboard Hot100榜单冠军时，都会遇到各种妖孽，非常倒霉的屈居亚军。而且这是一种爱称，没有任何贬低的意思

网上有一个TS自己介绍新专辑的歌的视屏集的。

我刚看完，很精彩，可以找我拿。。。

The way you move is like a full on rainstorm 你的每一个动作就好像暴雨旋风一般划过我的心上and I"m a house of cards 而我就像一座纸牌搭起的房子般脆弱，轻易的被你攻入You"re the kinda reckless that should send me run 你是那种能让我不计后果迷上的人，我应该远离But I kinda know that I wont get far 但是我知道，我就像小磁铁一样离不开磁场And you stood there in front of me just 你就这样站在我的面前Close enough to touch 距离是如此的近，我可以触碰到你Close enough to hope you couldn"t see 距离是如此的近，但愿你不能看清What I was thinking of 我正在想的事情Drop everything now 放下所有的事情吧Meet me in the pouring rain 我和你约在瓢泼大雨之中Kiss me on the sidewalk 亲吻在街边的人行道上Take away the pain 将所有的痛楚都带离了我cause I see, sparks fly whenever you smile 我好像能看见，当你微笑的时候，火花正在绽放Get me with those green eyes, baby 宝贝，你绿色的眼睛就这样得到了我的心As the lights go down 就好像绚丽的灯光都黯然失色,Something that"ll haunt me when you"re not around 当你不在我身边的时候，有些东西会萦绕于脑际，难以忘却cause I see, sparks fly whenever you smile我好像能看见，当你微笑的时候，火花正在绽放My mind forgets to remind me 我的理智忘记了提醒我自己You"re a bad idea 你是一个容易让我入迷的坏念头You touch me once and it"s 当你第一次触碰到我的时候Really something 我能感觉到，美妙的事情即将上演you find I"m even betterThan you imagined I would be你会发现我比你想象中的更美好I"m on my guard for the rest of the world 我对于外面的世界保持我的小戒心But with you I know it"s no good 但是，和你在一起的时候，我却毫无防备And I could wait patiently but 我可以按捺自己的心思，耐心的等待I really wish you would 但是，我真的希望你会：Drop everything now 放下所有的事情Meet me in the pouring rain 我和你约在瓢泼大雨之中Kiss me on the sidewalk 亲吻在街边的人行道上Take away the pain 将所有的痛楚都带离了我cause I see, sparks fly whenever you smile 我好像能看见，当你微笑的时候，火花正在绽放Get me with those green eyes, baby 宝贝，你绿色的眼睛就这样得到了我的心As the lights go down 就好像绚丽的灯光都黯然失色,Something that"ll haunt me when you"re not around 当你不在我身边的时候，有些东西会萦绕于脑际，难以忘却cause I see, sparks fly whenever you smile我好像能看见，当你微笑的时候，火花正在绽放I run my fingers through your hair 我的手指穿过你柔软的头发And watch the lights go out 看着灯火就这样的消失在你的光芒下Just keep on keepin your eyes on me 就让你美丽的双眼一直注视着我，It"s just wrong enough to make it feel right 这样的错误,让我感觉如此美妙Lead me up the staircase 在微弱的光亮下，将我领上楼梯Won"t you whisper soft and slow你会温柔的在我耳边说着悄悄话吗？I"m captivated by you baby 你已经彻底迷住了我的心like a fireworks show 如同烟火般灿烂于天际Drop everything now 放下所有的事情吧Meet me in the pouring rain 我和你约在瓢泼大雨之中Kiss me on the sidewalk 亲吻在街边的人行道上Take away the pain 将所有的痛楚都带离了我cause I see, sparks fly whenever you smile 我好像能看见，当你微笑的时候，火花正在绽放Get me with those green eyes, baby 宝贝，你绿色的眼睛就这样得到了我的心As the lights go down 就好像绚丽的灯光都黯然失色Something that"ll haunt me when you"re not around 当你不在我身边的时候，有些东西会萦绕于脑际，难以忘却cause I see, sparks fly whenever you smile我好像能看见，当你微笑的时候，火花正在绽放

655442442211 56645642 655442442211 5664544 654455464 645642 244244455 4545546 564542 65424421 56666 4545465 4564 564 66765424 只有7是降的

不是专辑里的歌这歌只有现场版关于这歌的背景、原唱是谁 对不起 不太清楚

2010年10月25日，Taylor的第三张专辑Speak Now正式发行。在全专辑所有歌曲同时开下载的情况下，Sparks Fly脱颖而出，成为下载上升最快的一首歌，并在25小时后成为新专辑里第一首且唯一一首登顶iTunes下载榜的歌曲（之前单独开下载的宣传单曲除外），足以看出歌迷对它的支持。在新专辑发布的第一个星期，Sparks Fly最终以11万3千的下载量进入Billboard Hot 100，排在第十七，是所有歌曲里成绩最好的一首。当时Taylor同时有11首歌曲进入前100，包括Sparks Fly(17),Mine(21),Innocent(27),The Story of Us(41),Dear John(54),Better Than Revenge(56),Last Kiss(71),Enchanted(75),Never Grow Up(84),Long Live(85)，使她成为史上单周最多歌曲同时在榜的女歌手。2011年1月，Billboard评选出2011年最有潜力的五首歌，Sparks Fly被列在第二位。在专辑发布后，歌迷们对Sparks Fly的关注从是否收录进专辑，变成是否打单。2011年2月，在新加坡的演唱会上，Taylor亲口正式，Sparks Fly将会打单。但是她并没有说明是第几单。2011年7月18日，Sparks Fly最终作为Speak Now这张专辑的第五首单曲，村台的第四首单曲派台打单。到了11月26日，经过4个多月的打单，Sparks Fly终于登顶Billboard乡村榜，成为Speak Now这张专辑里的第一首村冠，也是Taylor自2009年8月2日You Belong With Me获得村冠两年后，再次有歌曲能在村榜登顶。而这也是近10年来再次有歌手在第4单才登顶的，上一次是发生在2002年的2月2日，Steve Holy的专辑《Blue Moon》中第4单“Good Morning Beautiful”登顶村榜。Sparks Fly在Billboard Hot 100及村榜的走势：Billboard Hot 100 Songs：*17*-78-84-70-67-68-64-57-59-60-54-50-49-46-42-49-54-55-65-85Billoard Hot Country Songs:49-39-31-25-23-19-17-16-14-13-13-10-10-9-7-5-3-3-*1*-5-10

火花 在Taylor Swift的这首歌里边我自己理解是那种很艳丽迷人的光芒的感觉吧..

《Sparks Fly》讲述了爱上一个或许你不应该爱上的人，但就像是有一种魔法，让你无法控制自己的故事。

歌曲名:Sparks Fly歌手:Taylor Swift专辑:Speak Now World Tour LiveSparks flyTaylor SwiftDrop everything nowThe way you move is like a full on rainstormAnd I"m a house of cardsYour the kinda reckless that should send me runBut I kinda know that I won"t get farAnd you stood there in front of me justClose enough to touchClose enough to hope you couldn"tSee what I was thinking ofDrop everything nowMeet me in the pouring rainKiss me on the sidewalkTake away the painCause I see Sparks FlyWhenever you smileGet me with those green eyesBaby as the lights go downGive me something that"ll haunt meWhen you"re not aroundI see Sparks FlyWhenever you smileMy mind forgets to remind meYou"re a bad ideaYou touch me once and it"sReally something you find I"m even betterThan you imagined I would beI"m on my guard for the rest of the worldBut with you I know it"s no goodAnd I could wait patiently butI really wish you wouldDrop everything nowMeet me in the pouring rainKiss me on the sidewalkTake away the painCause I see Sparks FlyWhenever you smileGet me with those green eyesBaby as the lights go downGive me something that"ll haunt meWhen you"re not aroundI see Sparks FlyWhenever you smileI run my fingers through your hairAnd watch the lights go wildJust keep on keepin your eyes on meIt"s just wrong enough to make it feel rightAnd lead me up the staircaseWon"t you whisper soft and slowI"m captivated by you babyLike a firework showDrop everything nowMeet me in the pouring rainDrop everything nowTake away Take away the painDrop everything nowMeet me in the pouring rainDrop everything nowTake away Take away the painDrop everything nowMeet me in the pouring rainKiss me on the sidewalkTake away the painCause I see Sparks FlyWhenever you smileGet me with those green eyesBaby as the lights go downGive me something that"ll haunt meWhen you"re not aroundI see Sparks FlyWhenever you smileAnd sparks fly oh babyhttp://music.baidu.com/song/12425308

歌曲名:Sparks Fly歌手:Taylor Swift专辑:Speak NowSparks FlyTaylor SwiftThe way you move is like a full on rainstormAnd I"m a house of cardsYour the kinda reckless that should send me runBut I kinda know that I won"t get farAnd you stood there in front of me justClose enough to touchClose enough to hope you couldn"tSee what I was thinking ofDrop everything nowMeet me in the pouring rainKiss me on the sidewalkTake away the painCause I see Sparks FlyWhenever you smileGet me with those green eyesBaby as the lights go downGive me something that"ll haunt meWhen you"re not aroundCause I see Sparks FlyWhenever you smileMy mind forgets to remind meYou"re a bad ideaYou touch me once and it"sReally something you find I"m even betterThan you imagined I would beI"m on my guard for the rest of the worldBut with you I know it"s no goodAnd I could wait patiently butI really wish you wouldDrop everything nowMeet me in the pouring rainKiss me on the sidewalkTake away the painCause I see Sparks FlyWhenever you smileGet me with those green eyesBaby as the lights go downGive me something that"ll haunt meWhen you"re not aroundCause I see Sparks FlyWhenever you smileI run my fingers through your hairAnd watch the lights go wildJust keep on keepin your eyes on meIt"s just wrong enough to make it feel rightAnd lead me up the staircaseWon"t you whisper soft and slowI"m captivated by you babyLike a firework showDrop everything nowMeet me in the pouring rainKiss me on the sidewalkTake away the painCause I see Sparks FlyWhenever you smileGet me with those green eyesBaby as the lights go downGive me something that"ll haunt meWhen you"re not aroundCause I see Sparks FlyWhenever you smileWhen the sparks flyOh baby smileWhen the sparks flyhttp://music.baidu.com/song/7384453

《Sparks Fly》是专辑《Speak Now》里创作最早的一首歌，也是唯一一首不在发行《Fearless》后的这两年时间里完成创作的新作品。《Sparks Fly》是泰勒16岁创作的（早于2006年发行《泰勒·斯威夫特》），她曾在一些酒吧演出中，面向四五十人的观众演唱过这首歌曲，当时主要用班卓琴和小提琴演奏，歌词也与现在的版本略有不同。2007年5月30日，她在加州奥维尔市的Gold Country Casino表演了《Sparks Fly》，有歌迷将这段表演录了下来，并上传至视频网站YouTube，这首歌随即在歌迷中大受欢迎。2010年7月20日，Taylor在对新专辑介绍的Live Chat上证实《Sparks Fly》会收录进《Speak Now》。《Sparks Fly》这首歌说的是爱上一个或许你不应该爱上的人，但就像是有一种魔法，让你无法控制自己。这是一首她在几年前写下的歌，从那时起她就一直对它进行修改。

parks fly英[spɑ:ks flai]美[spɑrks flai]释义激烈争吵1The dockers worked so hard to get the cargo discharged before dark that they fairly made the sparks fly.码头工人紧张地工作，以便使货物能在天黑前卸完，大伙儿干得热火朝天。2Now just sit back and watch the sparks fly.现在可袖手旁观，看火花飞舞。

Taylor Swift

1.擦出火花2.火花飞溅3.火花飞 大概是这些意思吧

写得有点儿不清楚，原词应该是Transparente，意思是透明。

歌曲名:Walk Away歌手:Mighty Sparrow & Byron Lee专辑:Only A FoolBen Harper--Walk AwayOh no here comes that sun againthat means another day without you my friendAnd it hurts me to look into the mirror at myselfand it hurts even more to have to be with somebody elseand it"s so hard to do and so easy to saybut sometimes sometimes you just have to walk away walk awayWith so many people to love in my lifewhy do I worry about oneBut you put the happy in my nessyou put the good times into my funand it"s so hard to do and so easy to saysometimes sometimes you just have to walk awaywalk awayand head for the doorWe"ve tried the goodbye so many dayswe walk in the same directionso that we could never straythey say if you love somebodythan you have got to set them freebut I would rather be locked to you than live in this pain and miseryThey say time will make all this go awaybut it"s time that has taken my tomorrowsand turned them into yesterdaysand once again that rising sun is dropping on downand once again you my friendare nowhere to be found and it"s so hard to do and so easy to saybut sometimes sometimes you just have to walk away walk awayand head for the dooryou just walk awaywalk awaywalk away...http://music.baidu.com/song/7543246

spare tire 是备胎,auxiliary是辅助而不是备用.

guilty of being innocent of being jack sparrow 有罪无罪的被杰克·斯帕罗

他没受诅咒。因船员叛变，他没拿到受诅咒的金币。

我也没看明白，谢谢哦～～

麻雀的手.?不知道你是要什么的意思额。

不是太清楚这一个。

百度图片有

World"s still the same, there"s just less in it.

在自然界中，海上风暴、火山爆发、大陨石落地、海啸、电闪雷鸣、波浪击岸、水中漩涡、空中湍流、龙卷风、磁暴、极光等都可能伴有次声波的发生.在人类活动中， 次声波的波形诸如核爆炸、导弹飞行、火炮发射、轮船航行、汽车争驰、高楼和大桥摇晃，甚至像鼓风机、搅拌机、扩音喇叭等在发声的同时也都能产生次声波某些频率的次声波由于和人体器官的振动频率相近，容易和人体器官产生共振，对人体有很强的伤害性，危险时可致人死亡。地震波不是次声波。

在《加勒比海盗3》中值得一提的一位客串者是本片中扮演杰克船长父亲Captain Teague的老牌滚石乐队吉他手基思·理查兹Keith Richards。这位63岁的乐坛传奇是Johnny Depp扮演杰克的灵感来源。由于平时Keith Richards的打扮和气质就很像海盗， Johnny Depp本人又是摇滚爱好者并是Keith Richards的歌迷之一，于是Depp坦诚之前扮演杰克船长有很大程度是模仿Keith Richards的风格，这次第三集就派这位老先生出镜客串了一把，虽然戏份不多，也并非什么重要人物， 但由于其在美国人心中“神圣”的地位， 一出场就获得热烈掌声和口哨声。这可是整场电影中间唯一一次有人鼓掌。而且19日首映式上他出现的时候也曾引起全场骚动， 动静不比Depp来时小多少。同时，两人已容登最新一期滚石杂志封面，看一看，真的有父子相哦！

不常用，据我了解是来自于海盗口头禅。 和see?意思相近

“I"m Captain Jack Sparrow” 看完第五季才知道“sparrow”是小麻雀的意思，尽管从第一部就觉得他很猥琐，很怂。但这一点不影响对这个人物的喜欢。知道船长名字里的含义后，才开始明白为什么他这么有魅力——尽管自己只是一只“小麻雀”，却有一个“船长”的梦。刚开始看《加勒比海盗》的时候只有一个感觉——混乱。人物关系的混乱，场景中物品摆放的混乱，一打起来就更混乱了。习惯性追求确定性的我总是在问：“威廉是好人吗？”“巴博萨是好人吗？”“杰克船长怎么这么坏？”“伊丽莎白到底喜欢谁？”……慢慢看下来才发现这些问题根本就没有一个准确的答案。人的好坏也确实没有一个绝对的标准，喜欢的人不止一个又有什么稀奇？ 真实的世界原本的样子就是这样——无序、混乱、瞬息万变。所以我们才会想要追寻确定性的存在。追求对事态的发展有一定的掌控能力，以此来降低我们的无力感。稳操胜券之如杰克船长左手握着琼斯的心脏，右手拿着刀，却还是失去了威廉。生活中的博弈，难就难在时刻保持积极的心态，又必须时刻准备着接受最坏的结果。 不得不提的还有这部电影刷新了我对“背叛”的理解。受中国传统文化的影响，我深信耍诡计、欺骗以及背叛等行为是可耻的。可是当我看到杰克船长耍诡计的时候却觉得是可爱的，伊丽莎白想去救威廉，拿着杰克船长的罗盘却指向了杰克的时候是幸福的。 如果伊丽莎白亲吻杰克不算背叛威廉的话，那她将杰克锁在船上的时候，被自己喜欢的女人背叛的时候杰克是理解的。作为观众，我也一点不觉得伊丽莎白“婊”，相反，我很敬佩她的勇敢，敢于面对自己的心。我们所有的背叛，只要不违背自己的心，应该都是可以被原谅的，至少能被自己原谅。 很多时候，其实，我都希望自己能够有一个杰克船长那样的罗盘，帮我分辨清楚什么是我最想要的，便可以义无反顾地启航了。以前，哀怨不已的是自己没有；仔细想想才发现，其实我们每个人都有。只是在打开的一瞬间，你是否相信那就是你最想要的？

任何虚构的人物都是有其原型的,假如从这个角度上说,的确存在着加勒比海盗中的一切人物,包括周润发演的那个中国人海盗,都是有他们现实中的原型人物的。既然你只是问他，我也就只回答他的原型（因为他的传说很多，所以有些居然是前后矛盾的观点）：黑胡子（绰号，Blackbeard），真名爱德华·蒂奇（Edward Teach，或Edward Thatch，1680年－1718年）生于英国布里斯托尔，是世界航海史上最臭名昭彰的海盗之一。历史学教授林德利·巴特勒说，相传黑胡子是个身材高大瘦削且颇具领袖魅力的人。“虽然没有关于黑胡子身高的详细纪录，但他的身高在当时似乎超过常人，”巴特勒说。关于黑胡子的逸闻很多，最著名的就是他的一身行头。巴特勒说，有记载称，上阵之前，他通常全副武装，长长的黑发中插着一根根缓慢燃烧的炮捻子，为的是震慑对手。据说黑胡子还是个颇有道义感的海盗，他并不想夺人性命，希望能不开枪征服对手。尚未发现有任何史料显示，黑胡子有杀人和虐待俘虏纪录。 黑胡子为人敢于冒险，残酷无情，以人的头骨为旗号，曾在英国皇家海军服役，拥有船长的证书。年轻的黑胡子最初便在英国庇护的海盗船上当水手，后来将原来的船长霍尼戈尔德赶走，自己当起了海盗头。1715年他指挥着有40门火炮的“复仇女王”号出海时主动攻击普通海盗不敢惹的英国皇家海军，“黑胡子蒂奇”从此一战成名，整个大西洋两岸陷入“连皇家海军都无法确保安全”的心理恐惧。短短五年间，被黑胡子抢劫的船只却多达40艘，他的故事到处流传。黑胡子在北美英国殖民地北卡罗来纳州的一些港口城市低价销赃，但他的最大嗜好不是金钱而是将人折磨致死。1718年，黑胡子率领的海盗船在维吉尼亚海岸的沙洲被英国皇家海军军舰拦截。在血腥的战斗中，海盗一方几乎获胜的时候，黑胡子本人连挨了五枪、被刺二十刀，死在了英军梅纳德（Maynard）船长的手下。梅纳德船长把黑胡子蒂奇的人头挂在军舰的旗杆上宣示胜利。相比，他的传说还有着确切的一些影子的话，飞翔的荷兰人那条被诅咒的海盗船则是真的一直飘在水手的传说中，一直没有消失，也一直没有确定的历史。飞翔的荷兰人（德语：Fliegender Holl01nder；英语：The Flying Dutchman。又译作漂泊的荷兰人，彷徨的荷兰人等），是传说中一艘永远无法返乡的幽灵船，注定在海上漂泊航行。飞翔的荷兰人通常在远距离被发现，有时还散发着幽灵般的光芒。据说如果有其他船只向她打招呼，她的船员会试图托人向陆地上或早已死去的人捎信。在海上传说中，与这艘幽灵船相遇在航海者看来是毁灭的征兆。在德文里（fliegend）是用来表示一种持续飞行的状态，形容受诅的荷兰人永远飘流在海上，四处航行，却始终无法靠岸的悲惨宿命。关于飞翔的荷兰人的故事在航海传说中有很多个版本，与之相关的是福肯伯格船长（Captain Falkenburg）的中世纪传奇故事，他以自己的灵魂为赌注与魔鬼掷骰子，被诅咒在北海不停往返直到审判日。飞翔的荷兰人第一次在书中被提到是在乔治·巴林顿《Voyage to Botany Bay》（1795年）一书的第6章： 译文：我对海员崇敬幻影的迷信常有耳闻，但从未对这类记录给予太多信任。据传一艘荷兰军舰在好望角之外失事，船上无人生还。同行的船只经受住了暴风，随后抵达好望角。整修后返回欧洲的途中，他们在相同的纬度遭到猛烈的暴风雨的袭击。值夜的一些水手看到，或者在想象中看到，一艘船满帆向他们驶来，仿佛要将他们撞沉：一名水手尤其确定这正是在前一场暴风中沉没的船，或者是她的幻影。但暴风雨稍停的时候，黑云似的船就消失了。幻影在海员心里挥之不去，等船靠岸，故事也就像野火般在人中传开了，幻影也被称作飞翔的荷兰人。根据一些来源，这艘幽灵船的船长原型是17世纪的荷兰船长伯纳德·福克（Bernard Fokke）。福克因从荷兰到爪哇航行的离奇神速而出名，当时的人因而怀疑他与魔鬼为伍以达到如此的速度。对飞翔的荷兰人的第一次详细的描述应该是布莱克伍德杂志（Blackwood"s Magazine）1821年五月刊上的一篇文章。事件发生的地点是好望角： 译文：她是一艘阿姆斯特丹船，于70年前起航。她的主人是亨德里克·范德戴肯（Hendrik van der Decken）船长。他是一个坚定可靠的海员，就算与魔鬼为敌也会按自己的意见行事。从来没有哪个他手下的船员有任何抱怨，虽然船上的具体情形外人无从知晓。故事是这样：在好望角转弯的时候他们正试图在恶劣天气中通过桌湾。然而，风越来越大，不断的向船冲击，范德戴肯在甲板上咒骂大风。日落稍后，一艘经过的船问他是否不打算当晚入港，范德戴肯回答“如果我进港，就让我永世受诅咒，因为我将在此迎风航行直至审判日。”他确实一直没有进港，人们相信他仍在海面上大风中航行，每次有人遇到这艘船，她都有恶劣的天气相伴。19到20世纪之间在外海上有很多起对“飞翔的荷兰人”的目击事件。威尔士亲王乔治（后来的乔治五世）的目击是最著名的几次之一。1880年，在他十五岁时，他与兄长威尔士亲王阿尔伯特·维克多（其父是后来的爱德华七世）一起正由辅导老师达尔顿（John Neale Dalton）陪伴，乘4000吨的轻巡洋舰巴坎堤号（HMS Bacchante），进行为期三年的航行。在澳大利亚悉尼和墨尔本之间海面上，达尔顿写到： 译文：在早晨4点“飞翔的荷兰人”出现在我们的船首方向。它像幻影般发着红色的光，照亮了200码以外双桅船的桅杆和船帆。她从船首左侧靠近时，在舰桥上值班的军官和后甲板上的见习军官显然都看到了她。见习军官立刻被派往前甲板，但到达时她在附近出现过的痕迹已经消失的无影无踪了，连在地平线上都找不到她的任何踪迹。10点45分，早先发现飞翔的荷兰人的海员从前桅中部顶横桁坠落到前甲板上，摔得粉身碎骨。

杰克-斯帕罗在历史上没有这个人。杰克·斯帕罗，蒂格船长称他Jackie，是美国魔幻冒险电影《加勒比海盗》系列虚构出来的人物，在系列电影中，杰克·斯帕罗是一名纵横四大洋的传奇海盗，也是一名玩世不恭的加勒比海域的骗子。虽然他是一名道德与节操备受质疑的船长，但他拥有一个海盗应有的勇气，在危急时刻会站出来拯救自己的朋友。杰克的最爱是自由，其次是黑珍珠号。扩展资料：在整个加勒比海盗系列中，杰克向来命运多舛，却在最绝望的时候总有幸运女神的照顾。杰克原本拥有一艘非常优秀的海盗船，黑珍珠号。然而，他只当了两年船长，就遭到了巴博萨的背叛，将他扔在一座荒岛上，只给他一支只有一发子弹的枪，让他等死。幸运的杰克乘坐一艘商船逃脱，在将近十年之后，他终于找到巴博萨的命脉，杀死了巴博萨，抢回了属于他的海盗船。然而，本该在大海上畅游的他，却又遭到了面目狰狞，残忍至极的深海阎王戴维·琼斯追债。原来黑珍珠号是戴维·琼斯打捞起了被卡特勒·贝克特烧毁的坏女孩号并换上黑帆后得名BlackPearl。杰克在当13年船长后就必须回琼斯的荷兰人号船上服役100年。杰克至此又开始了疯狂的逃命生涯，可最终还是没能逃脱恶魔的追债，被海怪拖向深渊海底。直到复活后的巴博萨率人到了世界的尽头，才将其救出。直面琼斯，杰克最终摒弃恐惧，为自由而战。令他万万没有想到的是，大战胜利之后，他的黑珍珠号再次被巴博萨悄悄开走了，直到加勒比海盗四的末尾，他才重获黑珍珠号。参考资料来源：百度百科—杰克·斯帕罗

leleandhisparentsliveinavillagenearalakr莱兰和他的父母

spark机器学习-聚类 聚类算法是一种无监督学习任务，用于将对象分到具有高度相似性的聚类中，聚类算法的思想简单的说就是物以类聚的思想，相同性质的点在空间中表现的较为紧密和接近，主要用于数据探索与异常检测，最常用的一种聚类算法是K均值(K-means)聚类算法算法原理kmeans的计算方法如下：1 选取k个中心点2 遍历所有数据，将每个数据划分到最近的中心点中3 计算每个聚类的平均值，并作为新的中心点4 重复2-3，直到这k个中线点不再变化（收敛了），或执行了足够多的迭代算法的时间复杂度上界为O(n*k*t), 其中k为输入的聚类个数，n为数据量，t为迭代次数。一般t,k,n均可认为是常量，时间和空间复杂度可以简化为O(n)，即线性的spark ml编码实践可在spark-shell环境下修改参数调试以下代码，可以用实际的业务数据做测试评估，业务数据一般是多列，可以把维度列用VectorAssembler组装成向量列做为Kmeans算法的输入列，考虑现实的应用场景，比如做异常数据检测，正常数据分为一类，异常数据分为几类，分别统计正常数据与异常数据的数据量，求百分比等<span style="font-size:18px;">import org.apache.spark.ml.clustering.KMeans import org.apache.spark.mllib.linalg.Vectors val dataset = sqlContext.createDataFrame(Seq( (1, Vectors.dense(0.0, 0.0, 0.0)), (2, Vectors.dense(0.1, 0.1, 0.1)), (3, Vectors.dense(0.2, 0.2, 0.2)), (4, Vectors.dense(9.0, 9.0, 9.0)), (5, Vectors.dense(1.1, 1.1, 0.1)), (6, Vectors.dense(12, 14, 100)), (6, Vectors.dense(1.1, 0.1, 0.2)), (6, Vectors.dense(-2, -3, -4)), (6, Vectors.dense(1.6, 0.6, 0.2)) )).toDF("id", "features") // Trains a k-means model val kmeans = new KMeans().setK(3).setMaxIter(20).setFeaturesCol("features").setPredictionCol("prediction") val model = kmeans.fit(dataset) // Shows the result println("Final Centers: ") model.clusterCenters.foreach(println) model.clusterCenters.zipWithIndex.foreach(println) val myres = model.transform(dataset).select("features","prediction") myres.show()</span> 聚类算法是一类无监督式机器学习算法，聚类效果怎么评估，模型训练参数怎么调优，是否能用管道来训练模型来比较各种不同组合的参数的效果，即网格搜索法(gridsearch),先设置好待测试的参数，MLLib就会自动完成这些参数的不同组合,管道搭建了一条工作流，一次性完成了整个模型的调优，而不是独立对每个参数进行调优，这个还要再确认一下，查看SPARK-14516好像目前还没有一个聚类效果通用的自动的度量方法像这种代码（不过现在这个代码有问题）：<span style="font-size:18px;">import org.apache.spark.ml.clustering.KMeans import org.apache.spark.mllib.linalg.Vectors import org.apache.spark.ml.tuning.{ ParamGridBuilder, CrossValidator } import org.apache.spark.ml.{ Pipeline, PipelineStage } val dataset = sqlContext.createDataFrame(Seq( (1, Vectors.dense(0.0, 0.0, 0.0)), (2, Vectors.dense(0.1, 0.1, 0.1)), (3, Vectors.dense(0.2, 0.2, 0.2)), (4, Vectors.dense(9.0, 9.0, 9.0)), (5, Vectors.dense(1.1, 1.1, 0.1)), (6, Vectors.dense(12, 14, 100)), (6, Vectors.dense(1.1, 0.1, 0.2)), (6, Vectors.dense(-2, -3, -4)), (6, Vectors.dense(1.6, 0.6, 0.2)) )).toDF("id", "features") val kmeans = new KMeans().setK(2).setMaxIter(20).setFeaturesCol("features").setPredictionCol("prediction") //主要问题在这里，没有可用的评估器与label列设置 val evaluator = new BinaryClassificationEvaluator().setLabelCol("prediction") val paramGrid = new ParamGridBuilder().addGrid(kmeans.initMode, Array("random")).addGrid(kmeans.k, Array(3, 4)).addGrid(kmeans.maxIter, Array(20, 60)).addGrid(kmeans.seed, Array(1L, 2L)).build() val steps: Array[PipelineStage] = Array(kmeans) val pipeline = new Pipeline().setStages(steps) val cv = new CrossValidator().setEstimator(pipeline).setEvaluator(evaluator).setEstimatorParamMaps(paramGrid).setNumFolds(10) // Trains a model val pipelineFittedModel = cv.fit(dataset)</span>

歌曲名:Collecting sparkles歌手:Olivia专辑:Trinka TrinkaOLIVIA - Collecting sparkles作词∶OLIVIA作曲∶OLIVIA/Jeffrey LufkinDarling I"m eagerTo know of your everlasting beamMy melancholy drama hasUltimately puzzled meWhat is it that you doThat makes you the way you areI keep my eye on youWatch what you doExplode!The ground begins to trembleEverybody"s screamingNo matter how chaoticYou always come to show meCollect sparklesIn a catastrophe all you can see is a shineYou pick it upCollecting sparklesYou find them everywhereThey"re recognized by youGiving your love to themCatch a sparkleBefore you let a flawSteal this wondrous momentWalls close in on youIt"s easy getting caught intoBut when you let them get to youYou"ll only seeOne of a million thingsShame!That you could strip yourself from thisLuscious universeWake yourself to thisImmense luxuryCollecting sparklesI put them in my pocketThey melt into meFeeding me shineCollecting sparklesTwinkle in my eye and back to the originCarrying my heart toCollect a sparklesIn a catastrophe all you can see is a shineYou pick it upCollecting sparklesYou find them everywhereThey"re recognized by youGiving your love to themhttp://music.baidu.com/song/14679472