spark

1这款板子在打削球时不能发挥最大的性能，更不推荐用长胶削球。2这个板子配sriver不错，不过不能太硬，中硬即可。3以上的只适合横板，如果你是直板推挡型的那可以考虑长胶反手。

酸味。此类啤酒在发酵过程中，液体表面大量聚集泡沫而发酵。Darksparkle发酵后，酒液呈铜红色，风味浓厚，有点酸味，酒精含量为百分之4至百分之8。

英文原文：Twilight sparkle音标怎么写英式音标：[ˈtwaɪlaɪt] [ˈspɑːk(ə)l] 美式音标：[ˈtwaɪlaɪt] [ˈspɑrkl]

Rulewords：ayumi hamasakimusic: Miki Watanabearrangement: H∧L谁かに决められたルールdarekani kimerareta ru-ruそんなもん必要ないsonna mon hitsuyou naiだってこの仆らがルールdatte kono bokuraga ru-ruそこんとこ譲れないsokontoko yuzure naiこんな时代の一体どこにkonna jidaino ittai dokoni希望なんてあるのかって？kibou nante arunoka tte目に见えないものを触れられないものをmeni mienai monoo furerarenai monoo信じていられるのかって？shinjite irarerunoka tte仆は黙ってただ颔いてbokuwa tamatte tada unazuite静かに目を闭じるshizukani meo tojiruだって仆らはそう确かにねdatte bokurawa sou tashikani ne繋がってるんだって事をtsunagatteru nda tte kotoo今はっきりと感じられるからima hakkirito kanjirareru kara谁かに决められたルールdarekani kimerareta ru-ruそんなもん必要ないsonna mon hitsuyou naiだってこの仆らがルールdatte kono bokuraga ru-ruそこんとこ譲れないsokontoko yuzurenaiこんな世界もまだまだ舍てたkonna sekaimo madamada sutetaもんじゃないどこも残ってるmon janai dokomo nokotteruどんなに怖くっても谁かを信じてみるdonnani kowakuttemo darekao shinjitemiruだけの価値はじゅうぶんにあるdakeno kachikuwa juubunni aru仆は大きく深呼吸してbokuwa ookiku shinkokkyushite高らかに叫ぶよtakarakani sakebu yoだって全ては偶然じゃなくdatte subetewa guuzen janaku必然なんだって事をhitsuzen nanda tte kotooあの日の君に教えられたからano hino kimini oshierareta karaお决まりのつまんないルールokimarino tumannai ru-ru押しつけられたくないoshitsukerare taku naiまずは君と仆でルールmazuwa kimito bokude ru-ruぶっ壊して始めようbukkowashite hajimeyo u强さが优しさへとtsuyosaga yasashisa eto优しさが强さへとyasashisaga tsuyosa eto変わってった瞬间からkawattetta shunkan karaもう怖いものはないmou kowai monowa naiそんな気がしてるんだsonna kiga shiteru nda谁かに决められたルールdarekani kimerareta ru-ruそんなもん必要ないsonna mon hitsuyou naiだってこの仆らがルールdatte kono bokuraga ru-ruそこんとこ譲れないsokontoko yuzurenaiお决まりのつまんないルールokimarino tumannai ru-ru押しつけられたくないoshitsukerare taku naiまずは君と仆でルールmazuha kimito bokude ru-ruぶっ壊して始めようbukkowashite hajimeyo u

shiny 英[ˈʃaɪni]美[ˈʃaɪni]adj. 发光的，光亮的; 闪耀的; 磨亮的; 磨损的;[网络] 新力; 发亮的; 闪亮;[例句]Her blonde hair was shiny and clean.她的金发干净而有光泽。[其他] 比较级：shinier 最高级：shiniestsparkly 英["spɑ:klɪ]美[ˈspɑrkli][词典] 闪耀的;[网络] 耀眼的;[例句]Her eyes were sparkly.她的眼睛闪闪发亮。[其他] 形近词： sparkle sparked sparker

不知道……LZ要不去买RULE/SPARKLE单曲好了

闪亮的星星

这是发生在过去的动作，表示她过去的状态。

まだこの世界は　仆を饲いならしてたいみたいだmada kono sekaiwa bokuwo kai narashite tai mitaida望み通りいいだろう　美しくもがくよnozomi toori iidarou utsukushiku mogakuyo互いの砂时计　眺めながらキスをしようよtagai no sunadokei nagame nagara kisuwo shiyouyo「さよなら」から一番　远い　场所で待ち合わせようsayonara kara ichiban tooi bashode machiawase you辞书にある言叶で　出来上がった世界を憎んだjishoni aru kotobade deki agatta sekaiwo nikunda万华镜の中で　八月のある朝mangekyou no nakade hachigatsu noaru asa君は仆の前で　ハニかんでは澄ましてみせたkimiwa bokuno maede hani kandewa sumashite misetaこの世界の教科书のような笑颜でkono sekaino kyoukasho no youna egaodeついに时はきた　昨日までは序章の序章でtsuini tokiwa kita kinou madewa joshouno joshoude飞ばし読みでいいから　ここからが仆だよtobashi yomide iikara kokokara ga bokudayo経験と知识と　カビの生えかかった勇気を持ってkeikento chishikito kabino hae kakatta yuukiwo motteいまだかつてないスピードで　君のもとへダイブをimada katsute nai supi-dode kimino motoe daibuwoまどろみの中で　生温いコーラにmadoromi no nakade namanurui ko-raniここでないどこかを　梦见たよkokode nai dokokawo yumemitayo教室の窓の外にkyoushitsu no madono sotoni电车に揺られ　运ばれる朝にdenshani yurare hakobareru asani爱し方さえも　君の匂いがしたaishikata saemo kimino nioiga shita歩き方さえも　その笑い声がしたarukikata saemo sono waraigoega shitaいつか消えてなくなる　君のすべてをitsuka kiete nakunaru kimino subetewoこの眼に焼き付けておくことはkonomeni yakitsukete okukotowaもう権利なんかじゃない　义务だと思うんだmou kenri nanka janai gimudato omounda运命だとか未来とかって　言叶がどれだけ手をunmei datoka mirai tokatte kotobaga doredake tewo伸ばそうと届かない　场所で仆ら恋をするnobosouto todoka nai bashode bokura koiwo suru时计の针も二人を　横目に见ながら进むtokeino harimo futariwo yokomeni minagara susumuそんな世界を二人で　一生　いや、何章でもsonna sekaiwo futaride isshou iya nanshou demo生き抜いていこうiki nuite yukou

spark 火花，火星例句：A cigarette spark started the fire. 香烟的火星引起这场火灾。sparkle 闪耀，闪光例句：People always mention the sparkle of her eyes. 人们总是说她的眼睛炯炯有神。

歌曲名:Sparkle歌手:Cameo专辑:The Definitive Collection浜崎あゆみ - Sparkle作词：ayumi hamasaki作曲：Kazuhiro Haraほんのそこで熏っている可爱いBoys达と今夜だけはこのGirls达も强がりはおやすみ体で感じて心のままに头ん中の理性ばかり优先しちゃうとしてそんな时はただbeatに身を任せればいい眺めるだけじゃ始まんない君のものにはならないいつまでそこでそうやって指をくわえてるつもりNo no no...守りに入らないで攻撃的に见せてみて可能だとか不可能だとかどこの谁のものさしもっと大胆に騒々しい程後になって悔やむなんてありきたりな话々聴こえてるこのbeatに従えば间违いない中途半端じゃ伝わんない触れてみなきゃわかんないいつまでそこでそうやって怖じ気づいてるつもりNo no no...眺めるだけじゃ始まんない君のものにはならないいつまでそこでそうやって指をくわえてるつもり中途半端じゃ伝わんない触れてみなきゃわかんないいつまでそこでそうやって怖じ気づいてるつもりNo no no...浜崎あゆみ - Sparklehttp://music.baidu.com/song/551270

歌曲名:Sparkle歌手:艾维克利儿专辑:World Of NoiseSparkBoAChum bohn yuh ja wah dan doohl eenuh moo da jung haet uh nae ga deel reun Favorite clubgoo suk ae nuh wah geu nyuahja geuk juhk in haeng dong aena do geu mahn noon ee muhm chwuh buh ryut suhnuhl bohn soon ganOh~ nuh reul chah ji hal nae ga dwi neun nal kka jiyoo hok ha go shi puh jyuh nae ga duh na reul won ha do rohkee jae kwan shi meun nuh reul dohl ri neun guht ppoonI"ll doanything for you* Cuz it"s the fire in your eyesnae mahm sohk gip ee dam ah suhha ji mahn deel ri ji ahn gae nansoom kil kkeh sarang ei soh riSo Hi~heun deel ril mahn keum So Hi~duh ppa jyuh ga donae gae o neun geu ddae juhn hal gaeMi soh jin neun yuh ja deel nae joo whi aehn mahn gaet ji mahnThere"s no chance, Cuz I"ll danceuh roo mahn jyuh jwuh ya halna reul bahl gyun ha go ma neungeu ddae reul nan ki da ryuhAh moo pyo jung ups ji mahnga seum eu ro nan neu kkyuhsa rahm deel teum sa ee rona mohl rae bo go ees da neun gulee jae duh ee sahnggeu mahm moot uh doo ji maI"ll do anything for you* Cuz it"s the fire in your eyesnae mahm sohk gip ee dam ah suhha ji mahn deel ri ji ahn gae nansoom kil kkeh sarang ei soh riSo Hi~heun deel ril mahn keum So Hi~duh ppa jyuh ga donae gae o neun geu ddae juhn hal gaeNae ga yuhl ri neun joo moo neul gul uhuh neu noo goo wah do na noon juhk ups neungip eun sarang eu ro ee wo ji do rohknan no ryuk hae bo ki moht haeNae doo noon sohk ae dam kil sa rahmkkok nae ga dwi go mal guh yaSo Hi~nae ki dae ahn ae So Hi~meo moor kil won haekat kil bah rae nuh do na mahn keumCuz it"s the fire in your eyesnae mahm sohk gip ee dam ah suhha ji mahn deel ri ji ahn gae nan soom kil kkeh sarang ei soh riSo Hi~heun deel ril mahn keum So Hi~duh ppa jyuh ga donae ga muhn juh wah jool ddaeCome OnSo Hi~Heun deel ril mahn keum So Hi~duh ppa jyuh ga donae peum ae o neun geu ddae juhn hal gaehttp://music.baidu.com/song/15247097

1、英语单词sparkle、twinkle、glitter的区别，意思都是闪烁，用法上有什么不同？2、sparkles是什么意思3、sparkle是什么意思4、火花英语怎么说？5、SPARKLE是什么意思英语单词sparkle、twinkle、glitter的区别，意思都是闪烁，用法上有什么不同？sparkle、twinkle、glitter用法上sparkle的区别为sparkle：意思不同、用法不同、侧重点不同。一、意思不同1、sparkle：闪烁，闪耀，生气勃勃，热情奔放，神采飞扬。2、twinkle：(眼睛因高兴或兴奋)闪光，发亮。3、glitter：闪现(某种强烈情感)。二、用法不同1、sparkle：闪耀着泪花是专有用法。就像我们汉语不说放射着泪花，而说放射着光芒，闪烁着泪花一样。所以sparkle只限于这种用法。2、twinkle：twinkle指如星光等sparkle的闪烁。用法广泛。3、glitter：glitter指连续发出闪烁不定的光。三、侧重点不同1、sparkle：sparkle with tears是固定搭配。2、twinkle：除了不和泪花搭配外，普遍用它。3、glitter：辐射状的闪光用glitter。sparkles是什么意思sparkle [英]_spɑ:kl [美]_spɑ:rkl vi. 闪耀，闪烁;活跃，焕发活力和才智 n. 光亮;活力 [例句]In today "s sharp sparkle , this winter air , anything can be made , any sentence begun.在今天的耀眼闪光中，在这个冬天的空气中，一切皆可造就，一切从此开始。sparkle是什么意思sparkle的意思是闪耀sparkle，活泼。v.（使）闪耀；（使）发光；（酒类饮料）发泡；活跃sparkle，生机勃勃；活泼机智；n.闪耀；火花；起泡；亮点；活力sparkle，活跃机智；生动新颖。双语例句1、I saw something on the prairie sparkling at night.sparkle我看到草原上有个东西在夜里闪闪发光。2、There will be sparkles when the accelerator is running at high speed.加速器高速运作的时候会产生出火花。3、She is usually silent, but she sparkles as soon as she goes on stage.她平时沉默寡言sparkle，一上舞台却变得活力四射。4、Having a more multifaceted surface on a diamond makes it sparkle more.钻石越多面就越闪亮。火花英语怎么说？light[lait]n.光, 光亮, 灯, 日光, 发光体, 光源, 杰出人物, 火花, 眼光scintilla[sin"til_]n.火花, 闪烁, 微量[法] 火花, 一点点spark[spɑ:k]n.火花, 火星, 闪光, 无线电报务员, 瞬间放电, 活力, 朝气, 花花公子, 情郎vi.闪光, 发火花, 求婚sparkle["spɑ:kl]n.闪耀, 火花, 活力, 发泡vi.闪耀, 冒火花vt.使闪耀SPARKLE是什么意思sparkle英[_spɑ:kl]美[_spɑ:rkl]vi.闪耀，闪烁; 活跃，焕发活力和才智;n.光亮; 活力;[网络]闪动的祖玛; 亮晶晶; 发火花;[例句]The jewels on her fingers sparkled.她手指上戴的首饰闪闪发光。[其他]第三人称单数：sparkles 现在分词：sparkling 过去式：sparkled 过去分词：sparkled 形近词： starkly sparked sparker

It"s really a boring episode during the speech sparkled with amusing witticism.

可以啊

1、先下载安装一个蓝牙驱动2、安装好后，你的电脑右下角会有一个灰色的蓝牙图标3、然后插上蓝牙适配器，这是电脑右下角的灰色蓝牙图标会变成蓝色（笔记本电脑有蓝牙功能的则不需要外接蓝牙适配器）4、右键打开，选择“显示经典界面”5、在雳声蓝牙耳机关机的状态，长按多功能键（大约10秒），知道雳声蓝牙耳机指示灯变为红蓝交替闪烁，耳机进入被搜索状态6、（1）右键点击界面，选择“搜索设备”， 雳声蓝牙耳机一定要在被搜索的状态（雳声蓝牙耳机关机状态长按多功能键约10秒），直到指示灯变为红蓝交替闪烁才是被搜索状态，电脑才能搜索到（2）这是会搜索到附近所有的蓝牙设备（3）右键点击“获得设备名”（4）右键点击“搜索服务”（5）点击“连接蓝牙单声道耳机”，输入密码“0000”（初始密码均为0000）

Rule/Sparkle 滨崎步这张被称作“悟空盘”的新曲碟分三个版本推出：CD+DVD、TYPE A和TYPE B，邀请到日本乐队和音乐人YMCK、80kidz、CMJK等加入制作REMIX曲目，三个版本都会采用《龙珠》原作者鸟山明亲自绘画的肖像做碟面。Rule|sparkle的销量以13万收场，这张单曲为滨崎步2008年后的首张单曲，也结合了滨崎步在歌词里想表达的情感。

sparkle来吧窝在那边的 可爱BOYS们 还有GIRLS们 今夜就跟矜持说晚安 用身体感受 随心所欲 是不是总被满脑子的理性 操控著自己 这时只要把身体 交给节拍就可以 (用身体感受) 只是东张西望 并不会开始 到头什麼都 不会属於你 你到底打算在那 扭扭捏捏到何时？ No No No… No No No… No No No… No No No… No No… 别再躲进防守区 快点释放魅力出击 可能还是不可能 是谁可以做决定 大胆地释放 抛开羞耻心 说什麼事后才后悔 这种老梗别说给我听 只要让自己跟著 耳边节拍就搞定 (大胆地释放) 老是暧昧不清 不会有人懂 不去碰碰看 就不会知道 你到底打算在那 畏畏缩缩到何时？ No No No… No No No… No No No… No No No… No No… 只是东张西望 并不会开始 到头什麼都 不会属於你 你到底打算在那 扭扭捏捏到何时？ 老是暧昧不清 不会有人懂 不去碰碰看 就不会知道 你到底打算在那 畏畏缩缩到何时？ No No No… No No No… No No No… No No No… No No…

可以呀。最重要的是自己感觉有些比较有特别意义的会好一点。好听的很多，最好是中文谐音也对口哦的。sparkle读起来不爽，还没spring好听中文意思是春天谐音是“思伯仁”一时想不到好的希望能帮你

歌曲名:Sparkle歌手:Live专辑:The Distance To Here浜崎あゆみ - Sparkle作词：ayumi hamasaki作曲：Kazuhiro Haraほんのそこで熏っている可爱いBoys达と今夜だけはこのGirls达も强がりはおやすみ体で感じて心のままに头ん中の理性ばかり优先しちゃうとしてそんな时はただbeatに身を任せればいい眺めるだけじゃ始まんない君のものにはならないいつまでそこでそうやって指をくわえてるつもりNo no no...守りに入らないで攻撃的に见せてみて可能だとか不可能だとかどこの谁のものさしもっと大胆に騒々しい程後になって悔やむなんてありきたりな话々聴こえてるこのbeatに従えば间违いない中途半端じゃ伝わんない触れてみなきゃわかんないいつまでそこでそうやって怖じ気づいてるつもりNo no no...眺めるだけじゃ始まんない君のものにはならないいつまでそこでそうやって指をくわえてるつもり中途半端じゃ伝わんない触れてみなきゃわかんないいつまでそこでそうやって怖じ気づいてるつもりNo no no...浜崎あゆみ - Sparklehttp://music.baidu.com/song/554096

歌曲名:Sparkle歌手:滨崎步专辑:Next Level「Sparkle」作∶ayumi hamasaki作曲：Kazuhiro Hara歌∶浜崎あゆみほらそこでくすぶっている可(かわい)いBOYS(たち)と今夜(こんや)だけはGIRLS(たち)も(つよ)がりはおやすみ身体(からだ)で感(かん)じて心(こころ)のままに(あたま)ん中(なか)の理性(りせい)ばかり先(ゆうせん)しちゃうんでしょうそんな(とき)はただビトに身(み)を任(まか)せればいい眺(なが)めるだけじゃ　始(はじ)まんない君(きみ)のものには　ならないいつまでそこでそうやって指(ゆび)をくわえてるつもり？No No No...　No No No...No No No...　No No No...No No...守(まも)りに入(はい)らないで攻的(こうげきてき)に魅(み)せてみて可能(かのう)だとか不可能(ふかのう)だとかどこの(だれ)のものさしもっと大胆(だいたん)に々(ずず)しいほど後(あと)になって悔(く)やむなんてありきたりな(はなし)はナシ(き)こえてるこのビに(したが)えば(まちが)いない中途半端(ちゅうとはんぱ)じゃ　(つた)わんない触(ふ)れてみなきゃ　解(わか)んないいつまでそこでそうやって怖(お)じ(け)づいてるつもり？No No No...　No No No...No No No...　No No No...No No...眺(なが)めるだけじゃ　始(はじ)まんない君(きみ)のものには　ならないいつまでそこでそうやって指(ゆび)をくわえてるつもり？中途半端(ちゅうとはんぱ)じゃ　(つた)わんない触(ふ)れてみなきゃ　解(わか)んないいつまでそこでそうやって怖(お)じ(け)づいてるつもり？No No No...　No No No...No No No...　No No No...No No... 天新编辑http://music.baidu.com/song/14672580

spark火花，火星例句：acigarettesparkstartedthefire.香烟的火星引起这场火灾。sparkle闪耀，闪光例句：peoplealwaysmentionthesparkleofhereyes.人们总是说她的眼睛炯炯有神。

第一季第15季开始出现，到第一季结束一直都有第二季也出现过，不过不多，也是后几集

我是你的唯一吗？

I"m gonna walk straight down to the telephonewires ‘cause that where your parents liveWe"re gonna talk and get this shit out of our headsyou know words are sedativesSpeak loud, speak soft, speak anything you wantJust don"t use your tongue against meI"m feeling your blue skiesThrough an overcast of cloudsAnd I know that you"re the weather nowOh, Mexicoinstead we"re drinking margaritas in the snowAs the world you konw it slowly falls apartOh, my calicoyou know I said we go too fast to take it slowIs it hard with such a heavy heart?I burn up like a chemical firewhen I"m reacting to your touchWe"re gonna walk straight down to the rock coastand pray for the ocean water to cover usSpeak loud, you"re allowedScream “we"re gonna get out of this town”Is it hell?No, it"s not hell when you"re aroundIt"s not hell when you"re aroundI"m feeling your blue skiesThrough an overcast of cloudsAnd I know that you"re the weather nowOh, Mexicoinstead we"re drinking margaritas in the snowAs the worldyou know it slowly falls apartOh, my calicoyou know I said we go too fast to take it slowIs it hard with such a heavy heart?Mexico, MexicoI"m saying hellohello to MexicoWalking on the beachjust holding your handPushing our feet into the sandDo it again I"ll lock it tightlyGivin" you lovin" nightlyFaces of the Saturn peopleKeep it comin" evilI"ve been missin" you againOh, Mexicoinstead we"re drinking margaritas in the snowAs the world you konw it slowly falls apartOh, my calicoyou know I said we go too fast to take it slowIs it hard with such a heavy heart?Oh la la la la laOh la la la la laOh, my calicoyou know I said we go too fast to take it slowI"m saying hellohello to Mexico

导演：Christian Lamb播出时间：2011年8月10日2011年8月7日，Taylor在Teen Choice Awards上获得六项大奖的同一天宣布Sparks Fly的MV即将放出，而这个MV将由巡演片段组成。2011年8月10日，中部时间下午4点30分，Sparks Fly MV在taylorswift.com及CMT官网进行首播。MV的片段主要来自4场北美站演唱会，包括纽瓦克，以及6月25日麻省下着雨的一场。

压制小组不同，X264后面的是小组名称。个人推荐CHD的作品，CHD是中国高清的NO.1

根据公开资料，暂时无法计算LisaSparks的年龄，因为没有具体的出生日期信息。

tatto 刺青

Taylor Swift - Sparks Fly（烟花飞舞） 　　The way you move is like a full on rainstorm 你的一举一动都如暴风雨般让我刻骨铭心 　　And I"m a house of cards 而我就像纸牌搭起的房子脆弱，轻易被攻陷 　　You"re the kind of reckless that should send me running 你有点让我不计后果的迷恋，我应该远离 　　But I kinda know that I won"t get far 但我深知我办不到 　　And you stood there in front of me 你站在我面前 　　Just close enough to touch 近的触手可及 　　Close enough to hope you couldn"t see 希望你没有察觉 　　What I was thinking of 我正在想什么 　　Drop everything now 不顾一切 　　Meet me in the pouring rain 与我相约在倾盆大雨中 　　Kiss me on the sidewalk 在街边忘情拥吻 　　Take away the pain 带走所有的痛楚 　　Cause" I see sparks fly whenever you smile 因为我看见，你的微笑如烟花飞舞般灿烂 　　Get me with those green eyes, baby 宝贝，得到我的心，让那些嫉妒的眼神 　　As the lights go down 就好像灯光都黯然失色 　　Give me something that"ll haunt me when you"re not around 当你不在身边时，总有东西萦绕在脑边 　　Cause I see, sparks fly whenever you smile 因为我看见，你的微笑如烟花飞舞般灿烂 　　My mind forgets to remind me you"re a bad idea 理智忘了提醒自己你是容易让我入迷的坏念头 　　You touch me once and it"s really something 当你第一次抚摸我 　　You find I"m even better than you imagined I would be 你会发现我比你想象中的还要好 　　I"m on my guard for the rest of the world 我对外界保持着戒心 　　But with you I know it"s no good 但与你在一起，却毫无防备 　　And I could wait patiently but I really wish you would 我可以耐心等待 　　Drop everything now 不顾一切 　　Meet me in the pouring rain 与我相约在倾盆大雨中 　　Kiss me on the sidewalk 在街边忘情拥吻 　　Take away the pain 带走所有的痛楚 　　Cause I see, sparks fly whenever you smile 因为我看见，你的微笑如烟花飞舞般灿烂 　　Get me with those green eyes, baby 宝贝，得到我的心，让那些嫉妒的眼神 　　As the lights go down 就好像灯光都黯然失色 　　Give me something that"ll haunt me when you"re not around 当你不在身边时，总有东西萦绕在脑边 　　Cause I see, sparks fly whenever you smile 因为我看见，你的微笑如烟花飞舞般灿烂 　　I run my fingers through your hair 指间划过你的发丝 　　And watch the lights go wild 凝望着灯火熄灭 　　Just keep on keeping your eyes on me 就让你美丽的双眼注视着我 　　It"s just strong enough to make it feel right 那足矣让我感到满足 　　And lead me up the staircase 将我领上楼梯 　　Won"t you whisper soft and slow 会在我耳边温柔的呢喃么？ 　　I"m captivated by you baby我彻底被你俘获 　　Like a fireworks show 如同一场烟花秀　 　　Drop everything now 不顾一切 　　Meet me in the pouring rain 与我相约在倾盆大雨中 　　Kiss me on the sidewalk 在街边忘情拥吻 　　Take away the pain 带走所有的痛楚 　　Cause I see, sparks fly whenever you smile 因为我看见，你的微笑如烟花飞舞般灿烂 　　Get me with those green eyes, baby 宝贝，得到我的心，让那些嫉妒的眼神 　　As the lights go down 就好像灯光都黯然失色 　　Give me something that"ll haunt me when you"re not around当你不在身边时，总有东西萦绕在脑边 　　Cause I see, sparks fly whenever you smile 因为我看见，你的微笑如烟花飞舞般灿烂 　　(Translated By HzlzH)

应该是定义一个下标从1到n的数组

制作小组和发布的网站不一样。其余的，媒体一样、分辨率一样、格式也一样。

欧美 群 57109578 期待你来

歌曲名:sisters歌手:Sparks专辑:pulling rabbits out of a hatThere"s a round-up at the love corralAnd the air is full of dustAnd I think it"s going pretty wellBut I"m trying to adjustAs we walk along the boulevardWith a hand in hand in handAnd who cares if people stare at usCause they"ll never understandSparksCHORUSSisters - where is the jealousy, is it thereSisters - Is this a felony anywhereWho cares - I see a double moon in the skySisters - an oversupplyDo I have to be a diplomatWhen I hear you fuss and fightDo I have to be an acrobatAs I try to set it rightThere"s a double moon up in the skyAnd I know that I"m a lucky guyThat"s my biographyCHORUSArms are fullLips are soreBy morning we could face the lightI would feel a little downWell it wouldn"t be disastrousI would still have you aroundCHORUShttp://music.baidu.com/song/14240002

是发布这个电影资源的网站或者组织名吧。

歌曲名:Sparks歌手:Nikonn专辑:UtopiaSPARKS作词： アウトプットP作曲： アウトプットP编曲： アウトプットP呗：初音ミク翻译：优米nicovideo sm14741419やっと花が咲いてるのに/明明终於繁花盛放了なぜ悲しくなるのかな/却为何感到了悲伤呢命の终わりはすぐ侧で待ってるから/因为生命的终结也近在咫尺了光と影の意味を知った/明白了光与影的含意感じるもの全て 邂逅の先にある/感受的一切 尽在邂逅的前方music...やっと见せた君の笑颜/终於见到你的笑颜なぜ不安になるのかな/却为何感到了不安呢私に见せない心が隠れてるから/是因为我看不见你隐藏起的内心表と裏の意味を知った/明白了表与里的意味心の中叫んでいた君の言叶を知るため…/为了瞭解你在心中叫喊的话语胸を刺した/刺入胸中あの瞬间あの场所には/那个瞬间那个地点确かな奇迹の幕开けがあった/ 确是拉开了奇迹的序幕もしも世界が终わりを告げようとも/即便是这个世界要宣告终结私は生きている证を残したの/我会留下生存的证明闪く光のような…/如闪烁光芒…music...梦や爱で自由なんて夺われるかもしれない/也许梦与爱剥夺了自由可能性だけでいくつも求めていたの/竭尽可能去索求著今以上これ以上で居たい/想要超越当下瞬间的存在爱している 爱されている それ以下にならぬように/为了不身在爱与被爱之下胸を刺した/刺痛胸中この気持は嘘じゃない/这种感受并非谎言何もかもがもう正しいと言えた/一切都可说是正确もしも世界が终わりを告げようとも/即便是这个世界要宣告终结私は生きている证を残したの/我会留下生存的证明瞬く光のような…/如闪耀光芒…music...花は枯れやがて灰になった/花朵枯萎最终化作尘埃美しくこの世に生き続ける/继续美丽生存於这个世界终わりのない 答えのない 使命を知ろう/懂得这无尽无应的使命胸を刺した/刺入胸中あの瞬间あの场所には/那个瞬间那个地点确かな奇迹の幕开けがあった/ 确是拉开了奇迹的序幕もしも世界が终わりを告げようとも/即便是这个世界要宣告终结私は生きている证を残したの/我会留下生存的证明闪く光のような…/如闪烁光芒…-END-http://music.baidu.com/song/2825587

歌曲名:Sparks歌手:Coldplay专辑:The Alternative Album Volume 1 [Red]Sparks-Coldplay 火花（酷玩）Did I drive U away ? 是我把你驱走吗？I know what U"ll say.我知道你会说什么。U say:"Oh,sing one we know."你说:哦,唱首我们会唱的歌。But I promise U this.但我答应你。I"ll always look out 4 U.我会永远照顾你。That"s what I"ll do.这是我会做到的。I say: "Oh !" 我说:哦！My heart is Urs.我的心属于你。It"s U that I hold on 2.正是你,我会把握住不放。That"s what I do.这是我会做的。And I know I was wrong.我知道我错了。But I won"t let U down.但我不会让你失望。(Oh yeah,oh yeah,oh yeah,yeah I will,yes I will...)I cry: "Oh !" 我喊到:哦！Yeah,I saw sparks ! 是的,我看到火花！And I saw sparks ! 我看到过火花！Sing it out.唱出来！La,la,la,la,oh...http://music.baidu.com/song/59680963

歌曲名:Sparks歌手:Coldplay专辑:ParachutesSparks-Coldplay 火花（酷玩）Did I drive U away ? 是我把你驱走吗？I know what U"ll say.我知道你会说什么。U say:"Oh,sing one we know."你说:哦,唱首我们会唱的歌。But I promise U this.但我答应你。I"ll always look out 4 U.我会永远照顾你。That"s what I"ll do.这是我会做到的。I say: "Oh !" 我说:哦！My heart is Urs.我的心属于你。It"s U that I hold on 2.正是你,我会把握住不放。That"s what I do.这是我会做的。And I know I was wrong.我知道我错了。But I won"t let U down.但我不会让你失望。(Oh yeah,oh yeah,oh yeah,yeah I will,yes I will...)I cry: "Oh !" 我喊到:哦！Yeah,I saw sparks ! 是的,我看到火花！And I saw sparks ! 我看到过火花！Sing it out.唱出来！La,la,la,la,oh...http://music.baidu.com/song/7366519

Lisa Sparks是一名美国女演员，主要作品为《TheWitch"sSabbath》。

因为朋友的tws坏了就买了个sparks送她，音质确实，不愧水月雨，我觉得比自己的app要好听，但是也存在一些其他问题。首先这个佩戴啊，主要是它导管特别长，整个腔体基本都是悬在耳朵外面，虽然也掉不出去，但我还是不太习惯这个佩戴就是了。紫色实物好看的很，但是假如腔体能不吊在外面的话更好看。这个佩戴隔音倒是很好。第二就是，特别奇怪不知道为什么，朋友和我的手机几乎音量都需要开到将近满格才能得到一个室内正常音量，不知道是我这副的问题还是别的什么原因。耳机简介：无线耳机和有线耳机相比，在音质上区别不大，无线比较方便，主要是中间的线被电波代替而已。无线耳机分为三个部分：第一部分是发声源，第二部分是接受器，第三部分是耳机部分，这部分的功能主要是用来将手机或接收器传送来的信号转化为声音再传到人的耳朵里。

这种蓝牙耳机在充电时还是红白灯互闪的话。有两个原因：蓝牙耳机的电池坏了或者耳机主板坏了。如果一直是红白灯交互闪烁，那可能是等待配对设备连接。建议重新调整耳机重新连接使用。

具体如下；1. 需确认电池温度是否会过高或者过低，如刚使用完的电池，先将电池放置等温度下降后再充电；2. 需确认充电环境是否超过5°C至 40°C；3. 建议使用设备标配原装的充电线；4. 需确认所搭配的电源适配器是否符合，建议可更换电源适配器尝试充电；5. 如果是长时间没有使用导致电池无法充电，请先将电池充电两小时以上尝试是否能够充进电。电池保养：1.设备不使用时，应将电池取出，并且单独存放。2.不可将电池放置于靠近热源、易燃易爆品的区域。3.避免电池长期放置在低温的室外，否则电池活性将大大降低，甚至造成锂电池性能不可逆的下降。4.保持存放环境干燥，勿将电池放置于可能漏水和潮湿的位置。5.如果您超过10天不使用电池，将电池放电至40%至65%的最佳存放电量进行存放，切勿在完全放电状态下长期放置，以免电池进入过放状态造成电芯损害，否则将无法恢复使用。建议2-3个月重新充放电一次，以保证电池活性。且在长期存储时，务必在-10°C~45°C范围内的环境中存放。

歌曲：Do-Re-Mi歌手：Sparks作词：Sparks作曲：Sparks专辑：《A Woofer In Tweeter"S Clothing》发行时间：2007-04-16 具体歌词：Doe, a deer, a female deerRay, a drop of golden sunMe, a name I call myselfFar, a long, long way to runSew, a needle pulling threadLa, a note to follow SewTea, a drink with jam and breadThat will bring us back to Do (oh-oh-oh)Doe, a deer, a female deerRay, a drop of golden sunMe, a name I call myselfFar, a long, long way to runSew, a needle pulling threadLa, a note to follow SewTea, a drink with jam and breadThat will bring us back to Do (oh-oh-oh)Doe, a deer, a female deerRay, a drop of golden sunMe, a name I call myselfFar, a long, long way to runSew, a needle pulling threadLa, a note to follow SewTea, a drink with jam and breadThat will bring us back to Do (oh-oh-oh)Do-re-mi-fa-so-la-ti-doSo-do!Now children, do-re-mi-fa-so and so onare only the tools we use to build a song.Once you have these notes in your heads,you can sing a million different tunes by mixing them up.Like this.So Do La Fa Mi Do ReCan you do that?So Do La Fa Mi Do ReSo Do La Ti Do Re DoSo Do La Ti Do Re DoNow, put it all together.So Do La Fa Mi Do Re, So Do La Ti Do Re DoGood!But it doesn"t mean anything.So we put in words. One word for every note. Like this.When you know the notes to singYou can sing most anythingTogether!When you know the notes to singYou can sing most anythingDoe, a deer, a female deerRay, a drop of golden sunMe, a name I call myselfFar, a long, long way to runSew, a needle pulling threadLa, a note to follow SewTea, a drink with jam and breadThat will bring us back to DoDo Re Mi Fa So La Ti DoDo Ti La So Fa Mi ReDo Mi MiMi So SoRe Fa FaLa Ti TiDo Mi MiMi So SoRe Fa FaLa Ti TiWhen you know the notes to singYou can sing most anythingDoe, a deer, a female deerRay, a drop of golden sunMe, a name I call myselfFar, a long, long way to runSew, a needle pulling threadLa, a note to follow SewTea, a drink with jam and breadThat will bring us back toDo . . . So DoRe . . . La FaMi . . . Mi DoFa . . . ReSo . . . So DoLa . . . La FaTi . . . La So Fa Mi ReTi Do - oh - oh Ti Do -- So Do

Delicate endless flow微弱却无尽的细流Running down my electric wire在我 的血管中不停窜动Sunshine and midnight glow日或夜的光芒Lightning discharge and eternal fire被闪电取代，放出永恒的火光Sparks are flying in my head火 花在我脑海中飞溅Fading softly, playing dead温柔地消逝，玩火自焚Sparks are flying in my head火花在我脑海中飞溅Sparks are flying in her head火花在她脑 海中飞溅Headlights are glowing dim灯光渐趋暗淡Silly words looking for a meaning掩饰以荒唐的话语，寻找著存在的意义Thinking of who will win思考著 谁会赢Fire is stopped And nobody"s winning火焰熄灭 没人会赢Sunset is burning out晚霞燃尽最後的馀光Getting no sleep til the happy hour快乐 之前 无休无眠What if we lived withoutSomething we always knew was ours若是失去本以为注定属于我们的东西?我们将如何生活？Sparks are flying in my head火花在我的脑海中飞溅Fading softly, playing dead温柔地消逝，玩火自焚Sparks are flying in my head火花在我的脑海中飞溅Sparks are flying in her head火 花在她的脑海中飞溅

嗯，自个儿翻译的 不知行不行是我驱逐你离开的么我知道你会如何回答你说，：[哦，唱一首我们都熟悉的歌吧]但是我却答应你这件事我会永远注视着你，保护着你那就是我会做的事我说[哦]我说[哦]我的心是你的你是我所坚信的唯一那就是我会做的事我知道曾经是我的错但以后，我不会再让你失望[哦耶~，是的，我会的]我说[哦]我大叫[哦]是的，我看到了火花是的，我看到了火花是的，我看到了火花是的，我看到了火花并且把它唱出来

WIKI跟SPARKS不是电影格式，而是压片的小组名字，哪个小组压的片就在文件最后面体现！一样的电影大小不一样，大小主要取决于影片压制出来以后的分辨率、音频格式、视频码率等等，一般来说文件越大各个码率就越高。WIKI小组压制的片源相对来说好一些，SPARKS发布的速度很快，但是码率都不高，WIKI的速度慢，但是质量很不错。

一开始欺骗了所有人（当然除了B和S还有不相关的人），得到了许多人的青睐和信任

明明终於繁花盛放了却为何感到了悲伤呢 因为生命的终结也近在咫尺了 明白了光与影的含意 感受的一切 尽在邂逅的前方 终於见到你的笑颜却为何感到了不安呢 是因为我看不见你隐藏起的内心 明白了表与里的意味 为了了解你在心中叫喊的话语 刺入胸中 那个瞬间那个地点 确是拉开了奇迹的序幕 即便是这个世界要宣告终结 我会留下生存的证明 如闪烁光芒… 也许梦与爱剥夺了自由 竭尽可能去索求著 想要超越当下瞬间的存在 为了不身在爱与被爱之下 刺痛胸中 这种感受并非谎言 一切都可说是正确 即便是这个世界要宣告终结 我会留下生存的证明 如闪耀光芒… 花朵枯萎最终化作尘埃 继续美丽生存於这个世界 懂得这无尽无应的使命 刺入胸中 那个瞬间那个地点 确是拉开了奇迹的序幕 即便是这个世界要宣告终结 我会留下生存的证明 如闪烁光芒…

"Spark" 是一个多义词，具有多个不同的含义和用法。以下是对 "spark" 的几种常见解释及其扩展：1. **火花：** "Spark" 最常见的意思是火花，通常是由摩擦、火焰或电火花等引起的明亮且瞬间的火光。火花在日常生活中常常与火焰、火柴、火花机或电气设备相关。例如，当两个物体摩擦时，可能会产生火花。2. **激发、引发：** "Spark" 可以用作动词，表示激发、引起或导致某种反应或情感的产生。例如，一件事情或一个观点可能会 "spark" 出讨论或争论。3. **焦点、重点：** 在某些情况下，"Spark" 也可以表示焦点或重点，指的是引起兴趣、注意或讨论的核心内容。例如，一本书或一部电影可能有几个 "sparks"，引发读者或观众的兴趣。4. **初步的火花、开端：** "Spark" 有时用来描述某种事物或关系的初步阶段或开端，类似于 "beginning" 或 "start"。例如，一段感情的 "spark" 可能是两个人相遇的初期阶段。5. **Spark编程框架：** 在计算机科学中，"Spark" 是一个开源的、高性能的分布式计算框架，用于大规模数据处理。它支持多种编程语言，并广泛应用于大数据处理和机器学习等领域。总结来说，"Spark" 是一个多义词，最常见的意思是火花，也可以表示激发、引发、焦点或重点。在计算机科学领域中，"Spark" 还指代一种分布式计算框架。根据上下文和领域的不同，"Spark" 可以有不同的含义和用法。

蔚来sparks是新能源汽车。举例说明：蔚来汽车采用1.4T发动机车型，这款先进发动机不但引入了缸内直喷和涡轮增压，更借助7速DSG双离合的变速箱优势，带来了动静皆宜的极佳驾驶感受。值得购买。蔚领是一款具有跨界风格的旅行车，“铠甲式”纹路的前格栅，也能很好地区别之前的大众套娃脸。矩形前大灯内部的“U”型LED日间行车灯带，勾勒出了一副勇往直前、无所畏惧的气势。下部格栅则与菱形雾灯融为一体，搭配银色的下护板，让跨界风格更加明显。车尾的线条亦富有层次感，和前大灯呼应的异形尾灯，质感十足。

歌曲名：《Sparks》歌手： Coldplay所属专辑：《Trouble Norwegian Live Ep (Import)》发行时间：2001-08-27 流派：流行 发行公司：EMI歌词：Did I drive you away?I know what you"ll sayYou say, "Oh, sing one we know"But I promise you thisI"ll always look out for youThat"s what I"ll doI say "oh"I say "oh"My heart is yoursIt"s you that I hold on toThat"s what I doAnd I know I was wrongBut I won"t let you down(Oh yeah, oh yeah, oh yeah,Yes I will, yes I will...)I say "oh"I cry "oh"Yeah I saw sparksYeah I saw sparksAnd I saw sparksYeah I saw sparksSing it outLa, la, la, la, oh...La, la, la, la, oh...La, la, la, la, oh...La, la, la, la, oh...La, la, la, la, oh...试听：http://music.baidu.com/song/1555428

不可以，火是不可数名词，无复数形势

n. 火花; 电火花; 火星; (指品质或感情)一星，丝毫，一丁点; v. 引发; 触发; 产生电火花; 冒火花; 飞火星

歌曲名:Tattoo歌手:Jordin Sparks专辑:TattooTattooJordin Sparksoh oh ohNo matter what you say about loveI keep coming back for moreKeep my hand in the fireSooner or later I get what I"m asking forNo matter what you say about lifeI learn every time I bleedThe truth is a strangerSoul is in danger I gotta let my spirit be freeTo admit that I"m wrong and then change my mindSorry but I have to move on and leave you behindI can"t waste time so give it a momentI realize nothings brokenNo need to worry about everything I"ve doneLive every second like it was my last oneDon"t look back got a new directionI loved you once, needed protectionYou"re still a part of everything I doYou"re on my heart just like a tattooJust like a tattooI"ll always have you (I"ll always have you)Sick of playing all of these gamesIt"s not about taking sidesWhen I looked in the mirror didn"t deliverIt hurt enough to think that I could stopAdmit that I"m wrong and then change my mindSorry but I"ve gotta be strong and leave you behindI can"t waste time so give it a momentI realize nothings brokenNo need to worry about everything I"ve doneLive every second like it was my last oneDon"t look back got a new directionI loved you once, needed protectionYou"re still a part of everything I doYou"re on my heart just like a tattooJust like a tattooI"ll always have you (I"ll always have you)If I live every momentWon"t change any momentThere"s still a part of me in youI will never regret youStill the memory of youMarks everything I doohI can"t waste time so give it a momentI realize nothings broken (yeah)No need to worry about everything I"ve doneLive every second like it was my last oneDon"t look back got a new direction (don"t look back)I loved you once, needed protection (no, no)You"re still a part of everything I doYou"re on my heart just like a tattooI can"t waste time so give it a moment (i can"t waste time)I realized nothings brokenNo need to worry about everything I"ve done (no need to worry)Live every second like it was my last oneDon"t look back at got a new direction (don"t you ever look back)I loved you once and I needed protectionYou"re still a part of everything I doYou"re on my heart just like a tattooJust like a tattooI"ll always have youmore new hits shared in my Q-zonehttp://music.baidu.com/song/7913384

Storm优势就在于Storm是实时的连续性的分布式的计算框架,一旦运行起来,除非你将它杀掉,否则它一直处理计算或等待计算的状态.Spark和hadoop都做不到.当然它们各自都有其应用场景,各有各的优势.可以配合使用.下面我转一份别人的资料,讲的很清楚.Storm与Spark、Hadoop这三种框架，各有各的优点，每个框架都有自己的最佳应用场景。所以，在不同的应用场景下，应该选择不同的框架。Storm是最佳的流式计算框架，Storm由Java和Clojure写成，Storm的优点是全内存计算，所以它的定位是分布式实时计算系统，按照Storm作者的说法，Storm对于实时计算的意义类似于Hadoop对于批处理的意义。Storm的适用场景：1）流数据处理Storm可以用来处理源源不断流进来的消息，处理之后将结果写入到某个存储中去。2）分布式RPC。由于Storm的处理组件是分布式的，而且处理延迟极低，所以可以作为一个通用的分布式RPC框架来使用。SparkSpark是一个基于内存计算的开源集群计算系统，目的是更快速的进行数据分析。Spark由加州伯克利大学AMP实验室Matei为主的小团队使用Scala开发开发，类似于Hadoop MapReduce的通用并行计算框架，Spark基于Map Reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点，但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的Map Reduce的算法。

Spark已经取代Hadoop成为最活跃的开源大数据项目，但是，在选择大数据框架时，企业不能因此就厚此薄彼近日，著名大数据专家Bernard Marr在一篇文章中分析了Spark和 Hadoop 的异同Hadoop和Spark均是大数据框架，都提供了一些执行常见大数据任务的工具，但确切地说，它们所执行的任务并不相同，彼此也并不排斥虽然在特定的情况下，Spark据称要比Hadoop快100倍，但它本身没有一个分布式存储系统而分布式存储是如今许多大数据项目的基础，它可以将 PB 级的数据集存储在几乎无限数量的普通计算机的硬盘上，并提供了良好的可扩展性，只需要随着数据集的增大增加硬盘因此，Spark需要一个第三方的分布式存储，也正是因为这个原因，许多大数据项目都将Spark安装在Hadoop之上，这样，Spark的高级分析应用程序就可以使用存储在HDFS中的数据了与Hadoop相比，Spark真正的优势在于速度，Spark的大部分操作都是在内存中，而Hadoop的MapReduce系统会在每次操作之后将所有数据写回到物理存储介质上，这是为了确保在出现问题时能够完全恢复，但Spark的弹性分布式数据存储也能实现这一点另外，在高级数据处理（如实时流处理、机器学习）方面，Spark的功能要胜过Hadoop在Bernard看来，这一点连同其速度优势是Spark越来越受欢迎的真正原因实时处理意味着可以在数据捕获的瞬间将其提交给分析型应用程序，并立即获得反馈在各种各样的大数据应用程序中，这种处理的用途越来越多，比如，零售商使用的推荐引擎、制造业中的工业机械性能监控Spark平台的速度和流数据处理能力也非常适合机器学习算法，这类算法可以自我学习和改进，直到找到问题的理想解决方案这种技术是最先进制造系统（如预测零件何时损坏）和无人驾驶汽车的核心Spark有自己的机器学习库MLib，而Hadoop系统则需要借助第三方机器学习库，如Apache Mahout实际上，虽然Spark和Hadoop存在一些功能上的重叠，但它们都不是商业产品，并不存在真正的竞争关系，而通过为这类免费系统提供技术支持赢利的公司往往同时提供两种服务例如，Cloudera 就既提供 Spark服务也提供 Hadoop服务，并会根据客户的需要提供最合适的建议Bernard认为，虽然Spark发展迅速，但它尚处于起步阶段，安全和技术支持基础设施方还不发达，在他看来，Spark在开源社区活跃度的上升，表明企业用户正在寻找已存储数据的创新用法

歌曲名:Sparkle歌手:Diana Ross专辑:All The Great Love SongsSparkTori AmosShe"s addicted to nicotine patchesShe"s addicted to nicotine patchesShe"s afraid of the light in the dark6.58 are you sure where my spark isHereHereHereShe"s convinced she could hold back a glacierBut she couldn"t keep Baby aliveDoubting if there"s a woman in there somewhereHereHereHereYou say you don"t want itAgain and againBut you don"t really mean itYou say you don"t want itThis circus we"re inBut you don"tYou don"t really mean it youDon"t really mean itIf the Divine master plan is perfectionMaybe next I"ll give Judas a tryTrusting my soul to the ice cream assassinHereHereHereYou say you don"t want itAgain and againBut you don"t really mean itYou say you don"t want itThis circus we"re inBut you don"t youDon"t really mean it youDon"t really mean itHow fates turn around in the overtimeBallerinas that have fins that you"ll never findYou thought that you were the bombYes well so did ISay you don"t want itSay you don"t want itHow fates turn around in the overtimeBallerinas that have fins that you"ll never findYou thought that you were the bombYes well so did ISay you don"t want itSay you don"t want itSay you don"t want itAgain and againBut you don"t really mean itSay you don"t want itThis circus we"re inBut you don"tYou don"t really mean itYou don"t really mean itShe"s addicted to nicotine patchesShe"s afraid of the light in the dark6.58 are you sure where my spark isHereHereHerehttp://music.baidu.com/song/8040689

本文介绍基于Spark(2.0+)的Json字符串和DataFrame相互转换。json字符串转DataFramespark提供了将json字符串解析为DF的接口，如果不指定生成的DF的schema，默认spark会先扫码一遍给的json字符串，然后推断生成DF的schema：* 若列数据全为null会用String类型* 整数默认会用Long类型* 浮点数默认会用Double类型 val json1 = """{"a":null, "b": 23.1, "c": 1}""" val json2 ="""{"a":null, "b": "hello", "d": 1.2}""" val ds =spark.createDataset(Seq(json1, json2))val df = spark.read.json(ds) df.showdf.printSchema +----+-----+----+----+ | a| b| c| d| +----+-----+----+----+ |null|23.1| 1|null| |null|hello|null| 1.2| +----+-----+----+----+ root |-- a: string(nullable =true) |-- b: string (nullable = true) |-- c: long (nullable = true)|-- d: double (nullable =true)若指定schema会按照schema生成DF：* schema中不存在的列会被忽略* 可以用两种方法指定schema，StructType和String，具体对应关系看后面*若数据无法匹配schema中类型：若schema中列允许为null会转为null；若不允许为null会转为相应类型的空值(如Double类型为0.0值)，若无法转换为值会抛出异常val schema = StructType(List( StructField("a", ByteType, true), StructField("b", FloatType,false), StructField("c", ShortType, true) )) //或 val schema = "bfloat, c short" val df = spark.read.schema(schema).json(ds) df.showdf.printSchema +----+----+----+ | a| b| c| +----+----+----+ |null|23.1| 1| |null|0|null| +----+----+----+ root |-- a: byte (nullable = true) |-- b: float(nullable =true) |-- c: short (nullable = true)json解析相关配置参数primitivesAsString (default false): 把所有列看作string类型prefersDecimal(default false): 将小数看作decimal，如果不匹配decimal,就看做doubles.allowComments (default false): 忽略json字符串中Java/C++风格的注释allowUnquotedFieldNames (default false): 允许不加引号的列名allowSingleQuotes (default true): 除双引号外，还允许用单引号allowNumericLeadingZeros (default false): 允许数字中额外的前导0(如0012)allowBackslashEscapingAnyCharacter (default false): 允许反斜杠机制接受所有字符allowUnquotedControlChars (default false):允许JSON字符串包含未加引号的控制字符(值小于32的ASCII字符，包括制表符和换行字符)。mode (default PERMISSIVE): 允许在解析期间处理损坏记录的模式。PERMISSIVE:当遇到损坏的记录时，将其他字段设置为null，并将格式错误的字符串放入由columnNameOfCorruptRecord配置的字段中。若指定schema，在schema中设置名为columnNameOfCorruptRecord的字符串类型字段。如果schema中不具有该字段，则会在分析过程中删除损坏的记录。若不指定schema(推断模式)，它会在输出模式中隐式添加一个columnNameOfCorruptRecord字段。DROPMALFORMED : 忽略整条损害记录FAILFAST : 遇到损坏记录throws an exceptioncolumnNameOfCorruptRecord(默认值为spark.sql.columnNameOfCorruptRecord的值):允许PERMISSIVEmode添加的新字段，会重写spark.sql.columnNameOfCorruptRecorddateFormat (default yyyy-MM-dd): 自定义日期格式，遵循java.text.SimpleDateFormat格式.只有日期部分(无详细时间)timestampFormat (default yyyy-MM-dd"T"HH:mm:ss.SSSXXX):自定义日期格式，遵循java.text.SimpleDateFormat格式. 可以有详细时间部分(到微秒)multiLine (default false): 解析一个记录，该记录可能跨越多行，每个文件以上参数可用option方法配置：val stringDF = spark.read.option("primitivesAsString", "true").json(ds)stringDF.show stringDF.printSchema +----+-----+----+----+ | a| b| c| d|+----+-----+----+----+ |null| 23.1| 1|null| |null|hello|null| 1.2|+----+-----+----+----+ root |-- a: string (nullable =true) |-- b: string(nullable =true) |-- c: string (nullable = true) |-- d: string (nullable = true)二进制类型会自动用base64编码方式表示‘Man"(ascci) base64编码后为：”TWFu”val byteArr = Array("M".toByte, "a".toByte, "n".toByte) val binaryDs =spark.createDataset(Seq(byteArr))val dsWithB64 = binaryDs.withColumn("b64",base64(col("value"))) dsWithB64.show(false) dsWithB64.printSchema+----------+----+ |value |b64 | +----------+----+ |[4D 61 6E]|TWFu|+----------+----+ root |-- value: binary (nullable =true) |-- b64: string(nullable =true) //=================================================dsWithB64.toJSON.show(false) +-----------------------------+ |value |+-----------------------------+ |{"value":"TWFu","b64":"TWFu"}|+-----------------------------+//================================================= val json ="""{"value":"TWFu"}""" val jsonDs = spark.createDataset(Seq(json)) val binaryDF= spark.read.schema("value binary").json(jsonDs ) binaryDF.showbinaryDF.printSchema +----------+ | value| +----------+ |[4D 61 6E]|+----------+ root |-- value: binary (nullable =true)指定schema示例：以下是Spark SQL支持的所有基本类型：val json = """{"stringc":"abc", "shortc":1, "integerc":null, "longc":3,"floatc":4.5, "doublec":6.7, "decimalc":8.90, "booleanc":true, "bytec":23,"binaryc":"TWFu", "datec":"2010-01-01", "timestampc":"2012-12-1211:22:22.123123"}""" val ds = spark.createDataset(Seq(json)) val schema ="stringc string, shortc short, integerc int, longc long, floatc float, doublecdouble, decimalc decimal(10, 3), booleanc boolean, bytec byte, binaryc binary,datec date, timestampc timestamp" val df = spark.read.schema(schema).json(ds)df.show(false) df.printSchema+-------+------+--------+-----+------+-------+--------+--------+-----+----------+----------+-----------------------+|stringc|shortc|integerc|longc|floatc|doublec|decimalc|booleanc|bytec|binaryc|datec |timestampc |+-------+------+--------+-----+------+-------+--------+--------+-----+----------+----------+-----------------------+|abc |1 |null |3 |4.5 |6.7 |8.900 |true |23 |[4D 61 6E]|2010-01-01|2012-12-12 11:22:22.123|+-------+------+--------+-----+------+-------+--------+--------+-----+----------+----------+-----------------------+root |-- stringc: string (nullable =true) |-- shortc: short (nullable = true)|-- integerc: integer (nullable =true) |-- longc: long (nullable = true) |--floatc: float (nullable =true) |-- doublec: double (nullable = true) |--decimalc: decimal(10,3) (nullable = true) |-- booleanc: boolean (nullable = true) |-- bytec: byte (nullable =true) |-- binaryc: binary (nullable = true) |--datec: date (nullable =true) |-- timestampc: timestamp (nullable = true)复合类型：val json = """ { "arrayc" : [ 1, 2, 3 ], "structc" : { "strc" : "efg","decimalc" : 1.1 }, "mapc" : { "key1" : 1.2, "key2" : 1.1 } } """ val ds =spark.createDataset(Seq(json))val schema = "arrayc array, structcstruct, mapc map" val df =spark.read.schema(schema).json(ds) df.show(false) df.printSchema+---------+--------+--------------------------+ |arrayc |structc |mapc |+---------+--------+--------------------------+ |[1, 2, 3]|[efg, 1]|[key1 -> 1.2, key2 ->1.1]| +---------+--------+--------------------------+ root |-- arrayc:array (nullable =true) | |-- element: short (containsNull = true) |-- structc:struct (nullable =true) | |-- strc: string (nullable = true) | |-- decimalc:decimal(10,0) (nullable = true) |-- mapc: map (nullable = true) | |-- key:string | |-- value: float (valueContainsNull =true)SparkSQL数据类型基本类型：DataType simpleString typeName sql defaultSize catalogString jsonStringType string string STRING 20 string “string”ShortType smallint short SMALLINT 2 smallint “short”IntegerType int integer INT 4 int “integer”LongType bigint long BIGINT 8 bigint “long”FloatType float float FLOAT 4 float “float”DoubleType double double DOUBLE 8 double “double”DecimalType(10,3) decimal(10,3) decimal(10,3) DECIMAL(10,3) 8 decimal(10,3)“decimal(10,3)”BooleanType boolean boolean BOOLEAN 1 boolean “boolean”ByteType tinyint byte TINYINT 1 tinyint “byte”BinaryType binary binary BINARY 100 binary “binary”DateType date date DATE 4 date “date”TimestampType timestamp timestamp TIMESTAMP 8 timestamp “timestamp”三个复合类型：DataType simpleString typeName sql defaultSize catalogString jsonArrayType(IntegerType, true) array array ARRAY 4 array{“type”:”array”,”elementType”:”integer”,”containsNull”:true}MapType(StringType, LongType, true) map map MAP28 map{“type”:”map”,”keyType”:”string”,”valueType”:”long”,”valueContainsNull”:true}StructType(StructField(“sf”, DoubleType)::Nil) struct structSTRUCT 8 struct{“type”:”struct”,”fields”:[{“name”:”sf”,”type”:”double”,”nullable”:true,”metadata”:{}回答于 2022-11-17抢首赞查看全部7个回答IO分类：按照数据流向分类：输入流输出流按照处理的单位划分：字节流：字节流读取的都是文件中的二进制数据，读取到的二进制数据不会经过任何处理字符流：字符流读取的数据都是以字符为单位的，字符流也是读取的文件的二进制数据，只不过会把这些二进制数据转换成我们能识别的字符字符流 = 字节流 + 解码输出字节流：：------------------|OutputStream 所有输出字节流的基类 抽象类-----------|FileOutputStream 向文件输出数据的输出字节流 throws FileNotFoundExceptionFileOutputStream的使用步骤：1.找到目标文件2.建立数据通道3.把数据转换成字节数组写出4.关闭资源FileOutputStream的一些方法:close() 关闭此文件输出流并释放与此流有关的所有系统资源。write(int b) 将指定字节写入此文件输出流。write(byte[] b) 　 将 b.length 个字节从指定 byte 数组写入此文件输出流中。write(byte[] b, int off, int len) 将指定 byte 数组中从偏移量 off 开始的 len 个字节写入此文件输出流。注意：1.write(byte b[])方法实际上是调用了 write(byte b[], int off, int len)方法FileOutputStream要注意的细节：1.使用FileOutputStream的时候，如果目标文件不存在，那么会创建目标文件对象，然后把数据写入2.使用FileOutputStream的时候，如果目标文件已经存在，那么会清空目标文件的数据后再写入数据，如果需要再原数据的上追加数据，需要使用FileOutputStream(file,true)构造函数3.使用FileOutputStream的write方法写数据的时候，虽然接受的是一个int类型的数据，但真正写出的只是一个字节的数据，只是把低八位的二进制数据写出，其他二十四位数据全部丢弃复制代码public class Demo2 {public static void main(String[] args) {//1.找到目标文件File file = new File("D:\新建文件夹 (2)\a.txt");System.out.println("文件的源文数据是："+readFile(file));writeFile(file,"Hello World!");System.out.println("目前文件数据是："+readFile(file));}//输出数据public static void writeFile(File file,String data) {FileOutputStream fileOutputStream = null;try{//2.建立通道(我的源文件数据：abc 追加数据)fileOutputStream = new FileOutputStream(file,true);//3.把要写入的数据转换成字符数组fileOutputStream.write(data.getBytes());}catch(IOException e) {throw new RuntimeException(e);}finally {//关闭资源try {fileOutputStream.close();} catch (IOException e) {throw new RuntimeException(e);}}}//输入数据public static String readFile(File file) {FileInputStream fileInputStream = null;String str = "";try {//建立数据通道fileInputStream = new FileInputStream(file);//创建缓冲字节数组byte[] buf = new byte[1024];int length = 0;while((length = fileInputStream.read(buf))!=-1) {//把字节数组转换成字符串返回str+=new String(buf,0,length);}} catch (IOException e) {throw new RuntimeException();}finally {try {fileInputStream.close();} catch (IOException e) {throw new RuntimeException(e);}}return str;}

json File 日期类型 怎样处理？怎样从字符型，转换为Date或DateTime类型？json文件如下，有字符格式的日期类型```{ "name" : "Andy", "age" : 30, "time" :"2015-03-03T08:25:55.769Z"}{ "name" : "Justin", "age" : 19, "time" : "2015-04-04T08:25:55.769Z" }{ "name" : "pan", "age" : 49, "time" : "2015-05-05T08:25:55.769Z" }{ "name" : "penny", "age" : 29, "time" : "2015-05-05T08:25:55.769Z" }```默认推测的Schema：```root|-- _corrupt_record: string (nullable = true)|-- age: long (nullable = true)|-- name: string (nullable = true)|-- time200: string (nullable = true)```测试代码```val fileName = "person.json"val sc = SparkUtils.getScLocal("json file 测试")val sqlContext = new org.apache.spark.sql.SQLContext(sc)val jsonFile = sqlContext.read.json(fileName)jsonFile.printSchema()```##解决方案### 方案一、json数据 时间为 long 秒或毫秒### 方案二、自定义schema```val fileName = "person.json"val sc = SparkUtils.getScLocal("json file 测试")val sqlContext = new org.apache.spark.sql.SQLContext(sc)val schema: StructType = StructType(mutable.ArraySeq(StructField("name", StringType, true),StructField("age", StringType, true),StructField("time", TimestampType, true)));val jsonFile = sqlContext.read.schema(schema).json(fileName)jsonFile.printSchema()jsonFile.registerTempTable("person")val now: Timestamp = new Timestamp(System.currentTimeMillis())val teenagers = sqlContext.sql("SELECT * FROM person WHERE age >= 20 AND age <= 30 AND time <=‘" +now+"‘")teenagers.foreach(println)val dataFrame = sqlContext.sql("SELECT * FROM person WHERE age >= 20 AND age <= 30 AND time <=‘2015-03-03 16:25:55.769‘")dataFrame.foreach(println)```###方案三、sql建表 创建表sql```CREATE TEMPORARY TABLE person IF NOT EXISTS [(age: long ,name:string ,time:Timestamp)] USING org.apache.spark.sql.jsonOPTIONS ( path ‘person.json‘)语法CREATE [TEMPORARY] TABLE [IF NOT EXISTS][(col-name data-type [, …])]USING [OPTIONS ...][AS ]```### 方案四、用textfile convert

歌曲名:Sparkle歌手:Marion专辑:The ProgramSparkTori AmosShe"s addicted to nicotine patchesShe"s addicted to nicotine patchesShe"s afraid of the light in the dark6.58 are you sure where my spark isHereHereHereShe"s convinced she could hold back a glacierBut she couldn"t keep Baby aliveDoubting if there"s a woman in there somewhereHereHereHereYou say you don"t want itAgain and againBut you don"t really mean itYou say you don"t want itThis circus we"re inBut you don"tYou don"t really mean it youDon"t really mean itIf the Divine master plan is perfectionMaybe next I"ll give Judas a tryTrusting my soul to the ice cream assassinHereHereHereYou say you don"t want itAgain and againBut you don"t really mean itYou say you don"t want itThis circus we"re inBut you don"t youDon"t really mean it youDon"t really mean itHow fates turn around in the overtimeBallerinas that have fins that you"ll never findYou thought that you were the bombYes well so did ISay you don"t want itSay you don"t want itHow fates turn around in the overtimeBallerinas that have fins that you"ll never findYou thought that you were the bombYes well so did ISay you don"t want itSay you don"t want itSay you don"t want itAgain and againBut you don"t really mean itSay you don"t want itThis circus we"re inBut you don"tYou don"t really mean itYou don"t really mean itShe"s addicted to nicotine patchesShe"s afraid of the light in the dark6.58 are you sure where my spark isHereHereHerehttp://music.baidu.com/song/7903522

疼痛我想这是一种感觉但不知何故你有办法避免这一切在我心中我已经把你射和刺伤你通过你的心我只是不明白跳弹的是第二部分因为你无法隐藏你的意愿它在黑暗中发光一旦你寻求复仇的道路没有办法阻止和我要伤害你的它伤害了我奇怪这似乎是一个性格突变虽然我都带给你,笨蛋的手段了我不能让自己摧毁在命令不知何故宽恕让邪恶使法律没有你不能隐藏你的意愿一旦我们成为我们恐惧的东西它越适得其反越多,它却会事与愿违

sparkThriftserver 运行一天后，有人反馈查询报错，我自己测试了下，确实如此 这里学了下HDFS_DELEGATION_TOKEN 相关的知识，然后做出解答 在上述 https://github.com/apache/spark/pull/9168 中，我将问题原因简单解释下。 在hadoop HA模式下，有三种tokens 1、ha token 2、namenode1 token 3、namenode2 token Spark通过调用UserGroupInformation.getCurrentUser.addCredentials（tempCreds）来更新ha令牌，HAUtil.cloneDelegationTokenForLogicalUri会将ha令牌复制到namenode令牌。 spark 为了解决DT失效问题，加了两个参数”–keytab”和”–principal”，分别指定用于kerberos登录的keytab文件和principal。 --keytab参数指定一个keytab文件，Spark会根据--keytab指定的Kerberos认证文件生成 HDFS Token，然后再将生成的Token信息放到HDFS的某一个目录中供Executor和Driver使用。 Spark ApplicationMaster在Delegation Token将要失效的时候（75% of the renewal interval) 会通过Keytab文件重新认证并获取一个新的Delegation Token，然后将新的Delegation Token写入到指定的HDFS文件中； Spark Executor在Delegation Token将要失效的时候（80% of the validity)读取HDFS上的最新的Delegation Token文件，然后更新自己的Delegation Token； 理论上这样就能解决掉Token过期的问题，然而在配置了HA的Hadoop集群上2.9.0之前的版本依然存在问题，问题在于配置了HA的Hadoop集群中，Executor读取新的Token信息之后只更新的HDFS的逻辑地址，而未同步更新真正的HDFS Namenode URI对应的Token，从而导致Namenode URI下面的Token会慢慢过期失效。 1、Spark AM将获得HDFS Delegation Token(称为hatoken)并将其添加到当前用户的凭证中。 "ha-hdfs:hadoop-namenode" -> "Kind: HDFS_DELEGATION_TOKEN, Service: ha-hdfs:hadoop-namenode, Ident: (HDFS_DELEGATION_TOKEN token 328709 for test)". 2、DFSClient将为每个NameNode生成另外2个令牌(namenode Token)。 " ha-hdfs://xxx.xxx.xxx.xxx:8020 " -> "Kind: HDFS_DELEGATION_TOKEN, Service: xxx.xxx.xxx.xxx:8020 , Ident: (HDFS_DELEGATION_TOKEN token 328709 for test)" " ha-hdfs://yyy:yyy:yyy:yyy:8020 " -> "Kind: HDFS_DELEGATION_TOKEN, Service: yyy:yyy:yyy:yyy:8020, Ident: (HDFS_DELEGATION_TOKEN token 328709 for test)" 3、当Spark更新ha token时，DFSClient不会自动生成namenode token。 DFSClient将仅使用namenode token和2个Namenode通信。 4 FileSystem具有缓存，调用FileSystem.get将获得一个缓存的DFSClient，该缓存具有旧的namenode token。 Spark仅更新ha令牌，但DFSClient将使用namenode token。 所以造成了失效的情况 通过spark.hadoop.fs.hdfs.impl.disable.cache=true 配置来禁用缓存，拿到最新DFSClient来更新namenode token。这样就不会有这个问题了。 相关

歌曲名:Metaphor歌手:Sparks专辑:Hello Young LoversmetaphorTVアニメ「圣痕のクェイサーII」EDテーマ作词：少女病作曲：ピクセルビー编曲：ピクセルビー歌：少女病揺(ゆ)らいだ非対称(ひたいしょう)の轨道(きどう)　序曲(じょきょく)に翳(かざ)した虹彩(こうさい)光(ひかり)の终止线(しゅうしせん)は　歪(ひず)んだまま可视化(かしか)された幻想(ゆめ)を骗(かた)る幽暗(ゆうあん)な虚构(きょこう)の深渊(しんえん)にいつか囚(とら)われた　セカイを撃(う)ち抜(ぬ)け！Ah...Break up the fake! Stand in the truth!and you will die in your sins.十字(じゅうじ)を切(き)れ　不在(ふざい)の神(かみ)に覚醒(かくせい)の诗(うた)を奏(かな)でし声(こえ)は　冒涜(ぼうとく)の剣(つるぎ)か？Chain up the pain! Stand up to the sin!Let no one lead you astray.遮断(しゃだん)された　キミとの圣谭曲【oratorio】哀切(あいせつ)を月(つき)が照(て)らして碧(あお)く辉(かがや)く明日(あす)への前夜【eve】嘘(うそ)と理想(りそう)の狭间(はざま)に　揺荡(たゆた)う渇(かわ)きは致死量(ちしりょう)光(ひかり)の终止线(しゅうしせん)を　薙(な)ぎ払(はら)って互(たが)いに背(せ)を预(あず)けあうキミの手(て)を取(と)る矛盾(むじゅん)と虚栄(きょえい)で饰(かざ)られた欺瞒(ぎまん)に涂(まみ)れし　セカイを斩(き)り裂(さ)け！Ah...Break up the pale! Stand in the Cross!and you will live in your sins.さぁ跪(ひざまず)け　架空(かくう)の神(かみ)に革命(かくめい)の时(とき)を刻(きざ)みし秒针(はり)は　罪色(つみいろ)に秽(けが)れてShake up the fate! Stand up to the tale!Don"t be afraid, only believe.ここで终(お)わるならそれも人生(じんせい)无伤(むきず)のまま立(た)ち尽(つ)くすだけで与(あた)えられる未来(あす)などないから……せめてもの饯(はなむけ)を　最果(さいは)てへと谣(うた)って新(あら)たな复縦线(ふくじゅうせん)记(しる)した――――空(そら)を穿(うが)て――――　今(いま)こそ、この手(て)で十字(じゅうじ)を切(き)れ　不在(ふざい)の神(かみ)に覚醒(かくせい)の诗(うた)を奏(かな)でし声(こえ)は　冒涜(ぼうとく)の剣(つるぎ)か？Chain up the pain! Stand up to the sin!and read the God"s metaphor.遮断(しゃだん)された　キミとの圣谭曲【oratorio】哀切(あいせつ)を月(つき)が照(て)らして碧(あお)く辉(かがや)く明日(あす)への前夜【eve】终わりhttp://music.baidu.com/song/444058

hurry up and wait 加快速度可是仍然等待 so close, but so far away 尽管靠近却依然遥远 everything that you"ve always dreamed of 每一件你常常梦想的事情 close enough for you to taste 与你的期待已经如此的接近 but you just can"t touch 而你却就是不能触及 you wanna show the world, 你想要向世界展示你自己 but no one knows your name yet 而还没有人知道你的名字呢 wonder when and where and how you"re gonna make it 你总是在好奇在什么时候在什么地方你能做到 you know you can if you get the chance 你自信你能做到只要你能抓住这机会 in your face as the door keeps slamming 可你脸上写着通向机会的门好像总是关着 now you"re feeling more and more frustrated 现在你感觉到越来越失望和挫败 and you"re getting all kind of impatient waiting 所以现在的你那样不耐烦的等待 we live and we learn to take 我们生活着并学习着如何去 one step at a time 一步一个脚印 there"s no need to rush 真的没有必要着急 it"s like learning to fly 这就像学习飞翔一样 or falling in love 或是坠入爱河一样 it"s gonna happen and it"s supposed to happen that we find the reasons why 它总会发生只要我们找到它的原因 on step at a time 一步一个脚印 you believe and you doubt 你确信着同时又怀疑着 you"re confused, you got it all figured out 你很疑惑,你计算着 everything that you wished for could be yours, should be yours, would be yours 一切你希望的事情可以成为你的,应该成为你的,总会成为你的 if they only knew 只要他们知道 you wanna show the world, 你想要向世界展示你自己 but no one knows your name yet 而还没有人知道你的名字呢 wonder when and where and how you"re gonna make it 你总是在好奇在什么时候在什么地方你能做到 you know you can if you get the chance 你自信你能做到只要你能抓住这机会 in your face as the door keeps slamming 可你脸上写着通向机会的门好像总是关着 now you"re feeling more and more frustrated 现在你感觉到越来越失望和挫败 and you"re getting all kind of impatient waiting 所以现在的你那样不耐烦的等待 we live and we learn to take 我们生活着并学习着如何去 one step at a time 一步一个脚印 there"s no need to rush 真的没有必要着急 it"s like learning to fly 这就像学习飞翔一样 or falling in love 或是坠入爱河一样 it"s gonna happen and it"s supposed to happen that we find the reasons why 它总会发生只要我们找到它的原因 on step at a time 一步一个脚印 when you can"t wait any longer 当你再也不能等待的时候 but there"s no end in sight 而你的眼界却依然高远 it"s the faith that makes you stronger the only way you get there 记住那唯一的真理能让你更强大并达到你的目标 is one step at a time 就是一步一个脚印啊 take one step at a time 一步一个脚印的走下去吧 there"s no need to rush 真的没有必要着急 it"s like learning to fly 这就像学习飞翔一样 or falling in love 或是坠入爱河一样 it"s gonna happen and it"s supposed to happen that we find the reasons why 它总会发生只要我们找到它的原因 on step at a time 一步一个脚印 one step at a time 一步一个脚印 there"s no need to rush 真的没有必要着急 it"s like learning to fly 这就像学习飞翔一样 or falling in love 或是坠入爱河一样 it"s gonna happen and it"s supposed to happen that we find the reasons why 它总会发生只要我们找到它的原因 on step at a time 一步一个脚印 哈哈.完成~！^^

你好，SPARKLE翻译为：闪耀sparkle英 [u02c8spɑ:kl] 美 [u02c8spɑ:rkl] vi.闪耀，闪烁; 活跃，焕发活力和才智n.光亮; 活力网络闪动的祖玛; 亮晶晶; 发火花

n.1. 火花;闪耀,闪光[C][U]People always mention the sparkle of her eyes.人们总是说她的眼睛炯炯有神。2. (才智等)焕发;活力,生气[U][C]These prosaic details take all the sparkle out of the conversation.这些无聊的细节使谈话失去了生气。The film on show doesn"t have much sparkle on it.正放映的那部电影沉闷无生气。3. (酒等的)发泡[C]

火花，发光

Spark主要提供了两种函数：parallelize和makeRDD：1）parallelize的声明：def parallelize[T: ClassTag](seq: Seq[T], numSlices: Int = defaultParallelism): RDD[T]2）makeRDD的声明：def makeRDD[T: ClassTag]( seq: Seq[T],numSlices: Int = defaultParallelism): RDD[T] def makeRDD[T: ClassTag](seq: Seq[(T, Seq[String])]): RDD[T] 3）区别：A）makeRDD函数比parallelize函数多提供了数据的位置信息。B）两者的返回值都是ParallelCollectionRDD，但parallelize函数可以自己指定分区的数量，而makeRDD函数固定为seq参数的size大小。

thrift server可以实现通过jdbc， beeline等工具，实现连接到spark集群，并提交sql查询的机制。 默认情况下，cdh安装的spark没有包含thrift server模块，因此我们需要重新编译spark。 另外，为了不影响cdh自带的spark，而且spark目前都是基于yarn运行的，本身也没有什么独立的服务部署（除了history sever）。 所以，在一个集群中，可以部署安装多个版本的spark。 我们使用源码编译的spark 2.4.0（其中hive的版本是1.2.1） cdh集成的spark版本和Hive版本如下： 使用jdk1.8 修改spark提供的mvn，使用自行安装的maven 3.8.1 使用make-distribution.sh可以帮助与我们编译之后打包成tgz文件 修改pom.xml文件的配置如下。 最后，执行编译命令如下： 这样打出的包，就含有thrift server的jar包了。 最终打包文件，根目录下。 之后就是解压到其他目录下后即可。 将hive-site.xml的文件连接过来，这样spark就可以读取hive的表了。 为了确保spark提交到yarn上运行，需要配置 cp spark-defaults.conf.template spar-defaults.conf 另外，可以在spark-env.sh中设置环境变量。 HADOOP_CONF_DIR 环境变量，也可以在/etc/profile中设置 启动日志可以查看，注意下端口占用问题，如下。 启动时候，使用beeline工具连接上，主要这里不用使用cdh默认安装hive提供的beeline工具，应为版本太高。 使用编译后spark生成beeline工具 参考beeline使用教程。 https://github.com/apache/incubator-kyuubi kyuubi是基于thrift sever二次开发，在系能和安全上优于thrift server。 鉴于目前hive的版本是2.1，而最新的kyuubi的hive是2.3，所以采用前天版本的kyuubi，采用0.7版本，保证hive的版本小于当前集群中的hive版本。 使用build目录下的dist脚本进行编译和打包。 编译成功后，会在更目录下出现tar.gz的压缩文件，如上图。 之后解压到目录下。 配置bin/kyuubi-env.sh脚本，设置spark路径 执行bin/start-kyuubi.sh命令即可。 访问的方式同样采用beelin，注意使用上面章节的beeline工具。 访问后，可以通过beeline访问到hive的表（在spark中已经配置了hive-site.xml） !connect jdbc: hive2://xxxx:10009 即可。

flower作词: 园田凌士 作曲: BOUNCEBACK(セリフ)I have never felt like this.Something has touched my heart…※I just try to feel I just try to findCan you hear my voice I"m gonna get your love※(※くり返し)大地に揺れる夏草 空に浮かぶ无数の云仆たちはやがて たくさんの 梦に出逢ってゆくのかな?伝えたい言叶ばっかりありすぎて迷うけど本当の心の声 耳を倾け探した△花に光を 翼に风を恋する想いに 少しの勇気をくださいああ… 切ないよ 手を伸ばしたらもう君に触れそうな 距离にいるよ△(※くり返し)海にゆれてる波音 暗を照らす月灯り负けそうなときは 傍にいて 仆を励ます君の声この先 Ah… いくつも困难が访れても守れるものがあれば きっと乗り越えゆけるよ□大地に雨を 空に星座を恋する想いに 少しの力をくださいああ… 胸の奥 世界中 だれより君の存在で あふれてるよ□(△くり返し)臆病だよ 强がりだよ でもそれじゃ 壊せないことだって知ってるよ 解っているよ飞び越えたい 羽ばたきたい どこまでも二人知らない场所にねぇ、行こうよ 仆の合図で いますぐ(△くり返し)(□くり返し)罗马音:I have never felt like this.Somebody has touched my heart... *I just try to feel I just try to find Can you hear my voice I"m gonna get your love*RepeatDaiji ni yureru na tsukusa sora ni ukabu musu no kumo Boku-tachi wa yagate dakas ano yume ni de aete yuku no kana? Tsutaeta kotoba bakkari arisukite mayou kedo Honto no kokoro no koe mimi wo kata muke sagashita **Hana ni hikari wo tsubasa ni kaze wo Koi suru omoi ni sukoshi no yuuki mo kudasai Aa... setsu nai yo tai wo nobashitara mou Kimi ni uresou na kyori ni iru yo *RepeatUmi ni yureteru nami oto yami wo terasu tsuki akariMake sou na toki wa soba ni ite boku wo hage masu kimi no koe Kono saki Ah... ikutsumo konnan ga otozurete mo Mamoereru mono gareba kitto nori koe yukeru yo ***Daiji ni ame wo soba ni seise wo Koi suru omoi ni sukoshi no chikara wo kudasai Aa... mune no oku sekaijuu dare yori Kimi no sonzai de afureteru yo **RepeatOkubyou da yo tsuyogari da yo demo sore ja kowase nai koto datte Shitteru yo wakatte iru yo Tobikoe tai habataki tai dokomademo futari shira nai basho ni Nee, ikou yo boku no aizu de imasugu **Repeat***Repeat中文:I have never felt like this.Something has touched my heart…I just try to feel I just try to findCan you hear my voice I"m gonna get your loveI just try to feel I just try to findCan you hear my voice I"m gonna get your love摇曳在大地的夏草 浮浪在天空无数的云 我们是否即将 陆续邂逅 许许多多的梦想？ 有太多想要传达的话反而令人迷惘 侧耳倾听寻找 真正的心声 给花朵阳光 给翅膀清风 给恋爱的感情 一点点勇气 啊┅ 多令人心酸 当我伸出了手 就在与你若即若离的 距离中I just try to feel I just try to findCan you hear my voice I"m gonna get your love荡漾在海中的潮声 照亮了黑暗的月光 当我想要放弃时 在我身边 你那鼓励我的声音今后 Ah... 哪怕再遭遇多少困难只要有东西值得守护 相信我一定可以克服所有===============================================================sparkucca8 ubcf8 uc5ecuc790uc640 ub2e8 ub458uc774 ub108ubb34 ub2e4uc815ud588uc5b4 ub0b4uac00 ub4e4ub978 Favorite club uad6cuc11duc5d0 ub108uc640 uadf8ub140 uc790uadf9uc801uc778 ud589ub3d9uc5d0 ub098ub3c4 uadf8ub9cc ub208uc774 uba48ucdb0ubc84ub838uc5b4 ub110 ubcf8 uc21cuac04 Oh~ ub108ub97c ucc28uc9c0ud560 ub0b4uac00 ub418ub294 ub0a0uae4cuc9c0 uc720ud639ud558uace0 uc2f6uc5b4uc838 ub124uac00 ub354 ub098ub97c uc6d0ud558ub3c4ub85d uc774uc81c uad00uc2ecuc740 ub108ub97c ub3ccub9acub294 uac83ubfd0 I"ll do anything for you *Cuz, It"s the fire in your eyes, ub0b4 ub9d8uc18d uae4auc774 ub2f4uc558uc5b4 ud558uc9c0ub9cc ub4e4ub9acuc9c0 uc54auac8c ub09c uc228uae38uaed8 uc0acub791uc758 uc18cub9ac ud754ub4e4ub9b4 ub9ccud07c ub354 ube60uc838uac00ub3c4 ub0b4uac8c uc624ub294 uadf8ub54c uc804ud560uac8c ubbf8uc18cuc9d3ub294 uc5ecuc790ub4e4 ub124 uc8fcuc704uc5d4 ub9ceuaca0uc9c0ub9cc There"s no chance, Cuz I"ll dance uc5b4ub8e8ub9ccuc838uc918uc57c ud560 ub098ub97c ubc1cuacacud558uace0 ub9c8ub294 uadf8ub54cub97c ub09c uae30ub2e4ub824 uc544ubb34 ud45cuc815 uc5c6uc9c0ub9cc uac00uc2b4uc73cub85c ub09c ub290uaef4 uc0acub78cub4e4 ud2c8 uc0acuc774ub85c ub098 ubab0ub798 ubcf4uace0 uc788ub2e4ub294 uac78 uc774uc81c ub354 uc774uc0c1 uadf8 ub9d8 ubb3buc5b4ub450uc9c0 ub9c8 I"ll do anything for you *Repeat ub124uac00 uc5f4ub9acub294 uc8fcubb38uc744 uac78uc5b4 uc5b4ub290 ub204uad6cuc640ub3c4 ub098ub208 uc801 uc5c6ub294 uae4auc740 uc0acub791uc73cub85c uc774ub904uc9c0ub3c4ub85d ub09c ub178ub825ud574 ud3ecuae30 ubabbud574 ub124 ub450 ub208 uc18duc5d0 ub2f4uae38 uc0acub78c uaf2d ub0b4uac00 ub418uace0 ub9d0 uac70uc57c ub0b4 uae30ub300 uc548uc5d0 uba38ubb3cuae38 uc6d0ud574 uac19uae38 ubc14ub798 ub108ub3c4 ub098ub9ccud07c Cuz, It"s the fire in your eyes, ub0b4 ub9d8uc18d uae4auc774 ub2f4uc558uc5b4 ud558uc9c0ub9cc ub4e4ub9acuc9c0 uc54auac8c ub09c uc228uae38uaed8 uc0acub791uc758 uc18cub9ac ud754ub4e4ub9b4 ub9ccud07c ub354 ube60uc838uac00ub3c4 ub124uac00 uba3cuc800 uc640uc904 ub54c Come On ud754ub4e4ub9b4 ub9ccud07c ub354 ube60uc838uac00ub3c4 ub0b4 ud488uc5d0 uc624ub294 uadf8ub54c uc804ud560uac8c和初次见面的女生只有单独两人太过多情 在我选出的Favorite Club角落里你和她 积极地互动中我的目光也就这样停住 看见你的瞬间 oh 直到我能占有你的那天为止 想要诱惑你 让你更想要我 现在关心只围绕著你 I"ll do anything for you Cuz" it"s the fire in your eves 留在我心底深处 但却听不见我隐藏地爱的声音 即使晃动不已也要 告诉我你的到来 虽然你四周有许多带著微笑的女生们 There"s no chance Cuz I"ll dance 一定要给我安慰不要发现我在等你虽然没有任何表情 但我用心感受我悄悄地观察人与人间的关系 现在不要再隐藏心意了 I"ll do anything for you 走向你开启的大门无法和人分享 我努力付出最深的爱 无法放弃 停留在你眼底的人 一定要是我才行就 像停留在我的期待中般 你也要和我一样 Cuz" it"s the fire in your eves 留在我心底深处 但却听不见我隐藏地 爱的声音 即使晃动不已你先到来时 Come on 即使晃动不已也要告诉往我怀里扑来的你

没什么区别，不同的公司而已，各自的费用也差不多，就是套餐会不尽相同，但差距不会太大，如同国内移动联通电信。spark是新西兰投诉率最高的公司，所以2degrees肯定更好。

弹性分布式数据集（RDD）作为Spark最根本的数据抽象，是只读的分区记录（Partition）的集合，只能基于在稳定物理存储中的数据集上创建，或者在其他已有的RDD上执行转换（Transformation）操作产生一个新的RDD。转换后的RDD与原始的RDD之间产生的依赖关系，构成了血统（Lineage）。凭借血统，Spark保证了每一个RDD都可以被重新恢复。但RDD的所有转换都是惰性的，即只有当一个返回结果给Driver的行动（Action）发生时，Spark才会创建任务读取RDD，然后真正触发转换的执行。 Task在启动之初读取一个分区时，会先判断这个分区是否已经被持久化，如果没有则需要检查Checkpoint或按照血统重新计算。所以如果一个RDD上要执行多次行动，可以在第一次行动中使用persist或cache方法，在内存或磁盘中持久化或缓存这个RDD，从而在后面的行动时提升计算速度。事实上，cache方法是使用默认的MEMORY_ONLY的存储级别将RDD持久化到内存，故缓存是一种特殊的持久化。 堆内和堆外存储内存的设计，便可以对缓存RDD时使用的内存做统一的规划和管理 （存储内存的其他应用场景，如缓存broadcast数据，暂时不在本文的讨论范围之内）。 RDD的持久化由Spark的Storage模块 [1] 负责，实现了RDD与物理存储的解耦合。Storage模块负责管理Spark在计算过程中产生的数据，将那些在内存或磁盘、在本地或远程存取数据的功能封装了起来。在具体实现时Driver端和Executor端的Storage模块构成了主从式的架构，即Driver端的BlockManager为Master，Executor端的BlockManager为Slave。Storage模块在逻辑上以Block为基本存储单位，RDD的每个Partition经过处理后唯一对应一个Block（BlockId的格式为 rdd_RDD-ID_PARTITION-ID ）。Master负责整个Spark应用程序的Block的元数据信息的管理和维护，而Slave需要将Block的更新等状态上报到Master，同时接收Master的命令，例如新增或删除一个RDD。 在对RDD持久化时，Spark规定了MEMORY_ONLY、MEMORY_AND_DISK等7种不同的 存储级别 ，而存储级别是以下5个变量的组合 [2] ： 通过对数据结构的分析，可以看出存储级别从三个维度定义了RDD的Partition（同时也就是Block）的存储方式： RDD在缓存到存储内存之前，Partition中的数据一般以迭代器（ Iterator ）的数据结构来访问，这是Scala语言中一种遍历数据集合的方法。通过Iterator可以获取分区中每一条序列化或者非序列化的数据项(Record)，这些Record的对象实例在逻辑上占用了JVM堆内内存的other部分的空间，同一Partition的不同Record的空间并不连续。 RDD在缓存到存储内存之后，Partition被转换成Block，Record在堆内或堆外存储内存中占用一块连续的空间。 将Partition由不连续的存储空间转换为连续存储空间的过程，Spark称之为“展开”（Unroll） 。Block有序列化和非序列化两种存储格式，具体以哪种方式取决于该RDD的存储级别。非序列化的Block以一种DeserializedMemoryEntry的数据结构定义，用一个数组存储所有的Java对象，序列化的Block则以SerializedMemoryEntry的数据结构定义，用字节缓冲区（ByteBuffer）来存储二进制数据。每个Executor的Storage模块用一个链式Map结构（LinkedHashMap）来管理堆内和堆外存储内存中所有的Block对象的实例 [6] ，对这个LinkedHashMap新增和删除间接记录了内存的申请和释放。 因为不能保证存储空间可以一次容纳Iterator中的所有数据，当前的计算任务在Unroll时要向MemoryManager申请足够的Unroll空间来临时占位，空间不足则Unroll失败，空间足够时可以继续进行。对于序列化的Partition，其所需的Unroll空间可以直接累加计算，一次申请。而非序列化的Partition则要在遍历Record的过程中依次申请，即每读取一条Record，采样估算其所需的Unroll空间并进行申请，空间不足时可以中断，释放已占用的Unroll空间。如果最终Unroll成功，当前Partition所占用的Unroll空间被转换为正常的缓存RDD的存储空间，如下图2所示。 在 《Spark内存管理详解（上）——内存分配》 的图3和图5中可以看到，在静态内存管理时，Spark在存储内存中专门划分了一块Unroll空间，其大小是固定的，统一内存管理时则没有对Unroll空间进行特别区分，当存储空间不足是会根据动态占用机制进行处理。 由于同一个Executor的所有的计算任务共享有限的存储内存空间，当有新的Block需要缓存但是剩余空间不足且无法动态占用时，就要对LinkedHashMap中的旧Block进行淘汰（Eviction)，而被淘汰的Block如果其存储级别中同时包含存储到磁盘的要求，则要对其进行落盘（Drop），否则直接删除该Block。 存储内存的淘汰规则为： 落盘的流程则比较简单，如果其存储级别符合 _useDisk 为true的条件，再根据其 _deserialized 判断是否是非序列化的形式，若是则对其进行序列化，最后将数据存储到磁盘，在Storage模块中更新其信息。 Executor内运行的任务同样共享执行内存，Spark用一个HashMap结构保存了任务到内存耗费的映射。每个任务可占用的执行内存大小的范围为 1/2N ~ 1/N ，其中N为当前Executor内正在运行的任务的个数。每个任务在启动之时，要向MemoryManager请求申请最少为1/2N的执行内存，如果不能被满足要求则该任务被阻塞，直到有其他任务释放了足够的执行内存，该任务才可以被唤醒。 执行内存主要用来存储任务在执行Shuffle时占用的内存，Shuffle是按照一定规则对RDD数据重新分区的过程，我们来看Shuffle的Write和Read两阶段对执行内存的使用： 在ExternalSorter和Aggregator中，Spark会使用一种叫AppendOnlyMap的哈希表在堆内执行内存中存储数据，但在Shuffle过程中所有数据并不能都保存到该哈希表中，当这个哈希表占用的内存会进行周期性地采样估算，当其大到一定程度，无法再从MemoryManager申请到新的执行内存时，Spark就会将其全部内容存储到磁盘文件中，这个过程被称为溢存(Spill)，溢存到磁盘的文件最后会被归并(Merge)。 Shuffle Write阶段中用到的Tungsten是Databricks公司提出的对Spark优化内存和CPU使用的计划 [4] ，解决了一些JVM在性能上的限制和弊端。Spark会根据Shuffle的情况来自动选择是否采用Tungsten排序。Tungsten采用的页式内存管理机制建立在MemoryManager之上，即Tungsten对执行内存的使用进行了一步的抽象，这样在Shuffle过程中无需关心数据具体存储在堆内还是堆外。每个内存页用一个MemoryBlock来定义，并用 Object obj 和 long offset 这两个变量统一标识一个内存页在系统内存中的地址。堆内的MemoryBlock是以long型数组的形式分配的内存，其 obj 的值为是这个数组的对象引用， offset 是long型数组的在JVM中的初始偏移地址，两者配合使用可以定位这个数组在堆内的绝对地址；堆外的MemoryBlock是直接申请到的内存块，其 obj 为null， offset 是这个内存块在系统内存中的64位绝对地址。Spark用MemoryBlock巧妙地将堆内和堆外内存页统一抽象封装，并用页表(pageTable)管理每个Task申请到的内存页。 Tungsten页式管理下的所有内存用64位的逻辑地址表示，由页号和页内偏移量组成： 有了统一的寻址方式，Spark可以用64位逻辑地址的指针定位到堆内或堆外的内存，整个Shuffle Write排序的过程只需要对指针进行排序，并且无需反序列化，整个过程非常高效，对于内存访问效率和CPU使用效率带来了明显的提升 [5] 。 Spark的存储内存和执行内存有着截然不同的管理方式：对于存储内存来说，Spark用一个LinkedHashMap来集中管理所有的Block，Block由需要缓存的RDD的Partition转化而成；而对于执行内存，Spark用AppendOnlyMap来存储Shuffle过程中的数据，在Tungsten排序中甚至抽象成为页式内存管理，开辟了全新的JVM内存管理机制。 Spark的内存管理是一套复杂的机制，且Spark的版本更新比较快，笔者水平有限，难免有叙述不清、错误的地方，若读者有好的建议和更深的理解，还望不吝赐教。

Apache Spark 本身 1.MLlibAMPLabSpark最初诞生于伯克利 AMPLab实验室，如今依然还是AMPLab所致力的项目，尽管这些不处于Apache Spark Foundation中，但是依然在你日常的github项目中享有相当的地位。ML BaseSpark本身的MLLib位于三层ML Base中的最底层，MLI位于中间层，ML Optimizer则处于最为抽象的顶层。2.MLI3.ML Optimizer (又称 Ghostface)Ghostware这个项目在2014年就开始进行了，不过从未对外公布。在这39个机器学习库中，这是唯一一个雾件，之所以能囊括在这列表中，全凭着AMPLab与ML Base的地位支撑。ML Base之外4.Splash这是近期2015年6月的一个项目，在运行随机梯度下降（SGD）时这套随机学习算法声称在性能上比Spark MLib中快了25%-75%。这是AMPLab实验室的sp标记项目，因此值得我们去阅读。5.Keystone MLKML将端到端的机器学习管道引进到了Spark中，但在近期Spark版本中管道已经趋于成熟。同样也承诺具有一些计算机视觉能力，我曾经在博客中也提到过这也存在一些局限。6.Velox作为一个服务器专门负责管理大量机器学习模型的收集。7.CoCoA通过优化通信模式与shuffles来实现更快的机器学习，详情可见这篇论文的描述《高效通信分布式双坐标上升》。框架GPU-based8.DeepLearning4j我曾经的一则博客有进行说明 《DeepLearning4J 增加了Spark gpu的支持》。9.Elephas全新的概念，这也是我写这篇博客的初衷。它提供了一个接口给Keras。Non-GPU-based10.DistML模式并行下而并非数据并行的参数服务器（正如 Spark MLib）。11.Aerosolve来自Airbnb，用于他们自动化定价。12. Zen逻辑斯谛回归、隐含狄利克雷分布（LDA）、因子分解机、神经网络、受限玻尔兹曼机。13.Distributed Data Frame与Spark DataFrame类似，但是引擎是不可知的（例如在未来它将运行在引擎上而不是Spark）。其中包括了交叉验证和外部机器学习库的接口。其他机器学习系统的接口14. spark-corenlp封装了斯坦福CoreNLP。15. Sparkit-learn给Python Scikit-learn的接口。16. Sparkling Water给 的接口。17. hivemall-spark封装了Hivemall,，在Hive中的机器学习。18. spark-pmml-exporter-validator可导出预测模型标记语言（PMML），一种用于传递机器学习模型的行业标准的XML格式。附加组件：增强MLlib中现有的算法。19. MLlib-dropout为Spark MLLib 增加dropout能力。基于以下这篇论文进行的实现，《Dropout：一个简单的方法来防止神经网络中的过拟合》。20.generalized-kmeans-clustering为K-Means算法增加任意距离函数。21. spark-ml-streaming可视化的流式机器学习算法内置于Spark MLlib。算法 监督学习22. spark-libFM因子分解机。23. ScalaNetwork递归神经网络（RNNs）。24. dissolve-struct基于上文中提到的高性能Spark通信框架CoCoA下的支持向量机（SVM）。25. Sparkling Ferns基于以下这篇论文进行的实现，《通过使用随机森林与随机蕨算法的图像分类技术》。26. streaming-matrix-factorization矩阵分解推荐系统。

国内这块起步比较晚，相关环境也缺失

每天刷新一次。《代号：Spark》是由炎龙游戏研发、朝夕光年发行的一款大单局无限制生存竞技手游。游戏采用虚幻引擎5制作，打造出了一个自由拟真的超大世界；因为spark红卡是一种每日限制的奖励，只有当每天重新计算时才会重新刷新，代号spark红卡房是每天刷新一次。网络游戏，英文名称为OnlineGame，又称“在线游戏”，简称“网游”。

shuffle block 一定是落地到磁盘的，无法像普通 RDD 那样 cache 到本地内存或 Tachyon 中。想将 shuffle block cache 到内存中，应该主要是为了提速，但事实上并没有什么必要。

如前文，为了彻底解决Yarn提交任务之后停留在ACCEPTED的问题，我们对Yarn的资源分配做了多组实验，过程及结果如下。 调度方式：FairScheduler 节点配置信息： Spark on Yarn实验： client模式和cluster模式差距不大，统一用client运行一个资源消耗比较大的连表Spark SQL查询并输出。 实验结果： 成功运行 Driver：1核3g excutor：1核3g executor数量：6个 实验结果： 成功运行： Driver：1核3G Executor：1核3G Executor个数：2个 实验结论1：在Fair模式下，不指定Executor数量，则会尽量多的配置，结果不固定；指定数量的话，按照指定的来配置。 实验结果： 成功运行： Driver：1核5G Executor：2核5G Executor个数：2个 实验结果： 成功运行 Driver：1核5G Executor：2核5G Executor个数：2个 Driver: 2核4g executor：3核8g executor/container数量：未指定 实验结果： 在Spark端就挂掉了 java.lang.IllegalArgumentException: Required executor memory (8192), overhead (819 MB), and PySpark memory (0 MB) is above the max threshold (6144 MB) of this cluster! Please check the values of "yarn.scheduler.maximum-allocation-mb" and/or "yarn.nodemanager.resource.memory-mb". 这个主要是因为我们设置了单个应用最大申请的资源为3核6g，超过的拒绝接受，发token。 实验结果： Driver：1核5g(不知道为什么CPU核被削减了) Exexutor：3核6g executor/container数量：2个 实验结果： 运行成功 Driver：1核5g Exexutor：3核6g executor/container数量：未指定 综上来看，对每个任务进行资源限制，是非常重要的！！ 接下来我们测试多任务在Fair Scheduler的调度情况。 我们统一设置为一个队列。 任务2资源申请同任务1 实验结果： 任务1运行成功，任务2ACCEPTED。 任务1运行结束，任务2RUNNING。 任务2资源申请同任务1 实验结果： 任务1运行成功，分配了4个Executor 任务2Accepted了.. 在任务1运行结束后，任务2长时间ACCEPTED了。。。 原来是同事把主机名给改了，看了日志才知道，Yarn不认识，一直在发请求，重新实验。 同时RUNNING起来了。 经验教训：多读日志！

驱动器和节点两个进程。在使用spark时，使用YARN替换掉原有的资源管理器，会在YARN显示两个进程，分别为驱动器和节点，点击即可查看状态。

　　park支持可插拔的集群管理模式（Standalone、Mesos以及YARN ），集群管理负责启动executor进程，编写Spark application 的人根本不需要知道Spark用的是什么集群管理。　　Spark支持的三种集群模式，这三种集群模式都由两个组件组成：master和slave。　　Master服务（YARN ResourceManager,Mesos master和Spark standalone master）决定哪些application可以运行，什么时候运行以及哪里去运行。　　而slave服务（ YARN NodeManager, Mesos slave和Spark standalone slave）实际上运行executor进程。　　当在YARN上运行Spark作业，每个Spark executor作为一个YARN容器（container）运行。　　Spark可以使得多个Tasks在同一个容器（container）里面运行。　　这是个很大的优点。

spark on yarn提交任务时一直显示ACCEPTED，过一个小时后就会出现任务失败，但在提交时shell终端显示的日志并没有报错，logs文件夹中也没有日志产生。注：spark on yarn是不需要启动spark集群的，只需要在提交任务的机器配置spark就可以了，因为任务是由hadoop来执行的，spark只负责任务的提交。 参考网址 遇到此种情况 看running application是否是该application，如果不是的话，使用 yarn application -kill "applicationID" 把之前的application kill掉。 检查ResourceManager日志，位于[HADOOP_HOME]/logs/yarn-ubuntu-resourcemanager-master.log中，若发现nodemanager并未分配到资源 参考网址 修改每台NodeManager上的yarn-site.xml： 修改 <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle,spark_shuffle</value> </property> 增加 <property> <name>yarn.nodemanager.aux-services.spark_shuffle.class</name> <value>org.apache.spark.network.yarn.YarnShuffleService</value> </property> <property> <name>spark.shuffle.service.port</name> <value>7337</value> </property> 将$SPARK_HOME/lib/spark-1.6.0-yarn-shuffle.jar拷贝到每台NodeManager的${HADOOP_HOME}/share/hadoop/yarn/lib/下。 重启所有NodeManagers。 观察All Application的yarn界面发现有一个slave提示“unhealthy”状态。NodeHealthReport报告如下： 1/1 local-dirs are bad: /tmp/hadoop-hduser/nm-local-dir; 1/1 log-dirs are bad: /usr/local/hadoop/logs/userlogs 测试过程中YARN Node变成Unhealthy了，后来定位到硬盘空间不够。通过查找大于100M的文件时发现有N多个spark-assembly-1.6.0-SNAPSHOT-hadoop2.6.0-cdh5.3.1.jar包，大小为170多M， 每提交一个application到yarn上执行，就会上传一个assembly包，application个数一多，磁盘就占用了N多空间。 解决方案： 引起local-dirs are bad的最常见原因是由于节点上的磁盘使用率超出了max-disk-utilization-per-disk-percentage（默认值90.0%）。 清理不健康节点上的磁盘空间或者降低参数设置的阈值： 直接在yarn-site.xml下添加如下： <property> <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name> <value>98.5</value> </property> 因为当没有磁盘空间，或因为权限问题，会导致作业失败，所以不要禁用磁盘检查。更详细的信息可以参考 https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/NodeManager.html#Disk_Checker yarn-default.xml 内存不足等原因导致dataNode丢失超过设置的丢失百分比，系统自动进入安全模式 解决办法： 在master执行如下命令： 步骤 1 执行命令退出安全模式：hadoop dfsadmin -safemode leave 步骤 2 执行健康检查，删除损坏掉的block。 hdfs fsck / -delete 注意: 这种方式会出现数据丢失，损坏的block会被删掉