标准化

标准化，规范化:在英语里就是一个意思:standardization

为在一定的范围内获得最佳秩序，对实际的或潜在的问题制定共同的和重复使用的规则的活动，称为标准化。它包括制定、发布及实施标准的过程。标准化的重要意义是改进产品、过程和服务的适用性，防止贸易壁垒，促进技术合作。注1：上述活动主要包括编制、发布和实施标准的过程。 注2：标准化的主要作用在于为了其预期目的改进产品过程或服务的适用性，防止贸易壁垒，并促进技术合作。 标准英文：standardization, standardisation。

1. 关于安全质量标准化的诗句 关于安全质量标准化的诗句 1.有关质量的诗词 藏头诗 《食品安全》 食为百姓父母天 品质优良世人赞 安全卫生体康健 全面严检细把关 《食品安全》宣传歌 食品市场应规范， 购买食品要查看， 法制管理程序颁， 提示事项看标签， 质量达标保安全， 配料加入清单见， 以人为本勿小看。 日期说明有质检。 食品生产有许可， 一看二闻三要选， 市场准入无假货， 包装防假应细观， 包装标志序列号， 色味不同防质变， 证明无假市场销。 合法经营手续全。 食品名称专用名， 生产食品要检验， 配料清单顺序定， 讲究卫生保安全， 价值特性应标明， 严把生产准入关， 经销日期都写清。 保存日期定期限。 食品保质最重要， 食品安全关把牢， 最佳期限食用好， 讲究道德品质高， 超过时间警钟敲， 损人利己法不饶， 过期发霉毒素高。 和谐社会共构造。 食品安全歌谣 小朋友，进学校， 学知识，长本领。 文化知识要学好， 健康安全也重要。 病从口入危害大， 食品质量数第一。 食品挑选要细心， 三无食品需留意。 苏丹红、吊白块…… 样样都是有害物。 看清厂家出厂期， 切莫超过保质期。 小摊小贩莫相信， 卫生更是难放心。 油炸腌制要少吃， 健康危害正面临。 饮料冷饮有节制， 损害牙齿吃坏肚。 安全意识人人有， 争当食品小卫士。 2.关于安全的名言诗句有哪些 1.生命如流水，只有在他的急流与奔向前去的时候，才美丽，才有意义。——张闻天 2.尊重生命、尊重他人也尊重自己的生命，是生命进程中的伴随物，也是心理健康的一个条件 ——弗洛姆 3.人生有两出悲剧：一是万念俱灰，另一是踌躇满志。——肖伯纳 4.懂得生命真谛的人，可以使短促的生命延长。——西塞罗 5.不要以感伤的眼光去看过去，因为过去再也不会回来了，最聪明的办法，就是好好对付你的现在--现在正握在你的手里，你要以堂堂正正的大丈夫气概去迎接如梦如幻的未来。——郎费罗 6.使一个人的有限的生命，更加有效，也即等于延长了人的生命。——鲁迅 7.应该笑着面对生活，不管一切如何。——伏契克 8.盛年不重来，一日难再晨。——陶潜 9.生命，只要你充分利用，它便是长久的。——塞内加 10.人生不售来回票，一旦动身，绝不能复返。——罗曼·罗兰 3.求古代关于“安全”的诗句,名言警句 在古代汉语中，并没有“安全”一词，但“安”字却在许多场合下表达着现代汉语中“安全”的意义，表达了人们通常理解的“安全”这一概念。 例如，“是故君子安而不忘危，存而不忘亡，治而不忘乱，是以身安而国家可保也。”（《易·系辞下》）这里的“安”是与“危”相对的，并且如同“危”表达了现代汉语的“危险”一样，“安”所表达的就是“安全”的概念。 【出处】：汉焦赣《易林·小畜之无妄》：“道里夷易，安全无恙。”《百喻经·愿为王剃须喻》：“昔者有王，有一亲信，于军阵中，殁命救王，使得安全。” 宋范仲淹《答赵元昊书》：“有在大王之国者，朝廷不戮其家，安全如故。” 【示例】：明无名氏《临潼斗宝》第三折：“你那铺谋定计枉徒然，我救的这十七国诸侯得安全。” 巴金《军长的心》一：“他衣服都烧起来了，他还忍住痛把老大娘放到安全的地方，才扑灭自己身上的火。” 释义二：保护、保全。 【出处】：《晋书·慕容垂载记》：“孤受主上不世之恩，故欲安全长乐公，使尽众赴京师，然后修复国家之业，与秦永为邻好。”《南史·陈纪下·后主》：“隋文帝以陈氏子弟既多，恐京下为过，皆分置诸州县，每岁赐以衣服以安全之。” 【示例】：宋苏轼《徐州谢上表》：“察孤危之易毁，谅拙直之无他，安全陋躯，畀付善地。”清俞樾《春在堂随笔》卷十：“张氏抱子仁玉逃依母氏得免其难，虽脱巨害，向非外祖张温保养安全，其何以有今乎。” 参考资料： /view/4547.htm。 4.我要60句有关安全的句子 很多 不止60 自己选吧 1. 事故出于麻痹，安全来于警惕。 2. 质量是安全基础，安全为生产前提。 3. 无知加大意必危险，防护加警惕保安全。 4. 安全是生命之本，违章是事故之源。 5. 保安全千日不足，出事故一日有余。 6. 安全和效益结伴而行，事故与损失同时发生。 7. 企业效益最重要，防火安全第一条。 8. 安全就是节约，安全就是生命。 9. 安全是生命的基石，安全是欢乐的阶梯。 10. 骄傲自满是事故的导火索，谦虚谨慎是安全的铺路石。 11. 安全编织幸福的花环，违章酿成悔恨的苦酒。 12. 车轮一转想责任，油门紧连行人命。 13. 安全警句千条万条，安全生产第一条。 千计万计，安全教育第一计。 14. 多看一眼，安全保险。 多防一步，少出事故。 15. 安全不离口，规章不离手。 安不可忘危，治不可忘乱。 16. 安全法规血写成，违章害己害亲人。 17. 安全是幸福家庭的保证，事故是人生悲剧的祸根。 18. 安全生产勿侥幸，违章蛮干要人命。 19. 遵守规则，欢笑的亲人。违章行车，狞笑的是死神。 20. 安全人人抓，幸福千万家。安全两天敌，违章和麻痹。 21. 安全来于警惕，事故处于麻痹。巧干带来安全，蛮干招来祸端。 22. 安全生产你管我管，大家管才平安。事故隐患你查我查，人人查方安全。 23. 冒险是事故之友，谨慎为安全之本。 24. 安全不能指望事后诸葛，为了安全须三思而后行。 25. 容忍危险等于作法自毙，谨慎行事才能安然无恙。 26. 安全是职工的生命线，职工是安全的负责人。 27. 防火须不放过一点火种，防事故须勿存半点侥幸。 28. 安全措施订得细，事故预防有保证，宁为安全操碎心，不让事故害人民。 29. 你对违章讲人情，事故对你不留情。无情于违章惩处，有情于幸福家庭。 30. 出门无牵挂，先把火源查。火灾不难防，重在守规章。 31. 造高楼靠打基础，保安全靠抓班组。制度严格漏洞少，措施得力安全好。 32. 不怕千日紧，只怕一时松。疾病从口入，事故由松出。 33. 安全要讲，事故要防，安不忘危，乐不忘忧。 34. 安全生产挂嘴上，不如现场跑几趟。 安全生产月几园，违章蛮干缺半边。 35. 安全管理完善求精，人身事故实现为零。 安全来自长期警惕，事故源于瞬间麻痹。 36. 宁可千日不松无事，不可一日不防酿祸。 抓基础从大处着眼，防隐患从小处着手。 37. 小心无大错，粗心铸大过。 生产秩序乱，事故到处有。 38. 人最宝贵，安全第一。 我要安全，安全为我。 39. 互让半步，处处通途。 步步小心，平安是金。 40. 安全为了生产，生产必须安全。 时时注意安全，处处预防事故。 安全第一，警钟常鸣。 安全第一，人人牢记。 安全生产，齐抓共管。 生产大上，安全不忘。 千里之堤，溃于蚁穴。 一人安全，全家幸福。 一人违章，众人遭殃。 疏忽一时，痛苦一世。 大事化小，教训难找。 小事化了，后患不少。 多看一眼，安全保险。 多防一步，少出事故。 居安思危，常备不懈。 小洞不补，大洞难堵。 隐患潜伏，事故难除。 安危相易，祸福相生。 振兴矿业，安全第一。 堤溃蚁穴，气泄针芒。 光喊不动，实在无用。 动手预防，隐患难藏。 有备无患，无备遭难。 早知今日，何必当初。 当初蛮干，今日痛苦。 安全教育，声情并举。 生动活泼，入情入理。 正反典型，解剖分析。 深入浅出，易学易记。 不图形式，注重实际。 酒后工作，必生大祸。 流动吸烟，火光冲天。 冬季一到，风大物燥。 积尘自燃，防火重要。 安全管理，处处要严。 一丝不苟，不讲情面。 勤查勤检，消除隐患。 常抓不懈，防微杜渐。 放眼全局，突出重点。 干头万绪，安全在先。 教育为本，防患未然。 脚踏实地，稳定发展。 一时疏忽，必出事故。 疏忽大意，灾祸之源。 安全平安，矿兴我荣。 进入现场，集中思想。 生产工作，勿忘安全。 平安是金，步步小心。 我不伤我，你不伤你。 你不伤我，我不伤你。 自己保安，不可轻视。 相互保安，人人受益。 人在井下，心在别处。 不用打赌，准出事故。 生产是花，安全是根。 要想花美，必须强根。 违反规程，祸不单行。 措施到位，安而无危。 三违不反，事故难免。 严格执章，行为高尚。 安全规程，庄严神圣。 贴在墙上，牢记心中。 不折不扣，坚决执行。 融进血液，化为行动。 贯彻规程，先靠领导。 落实规程，要靠自保。 执行规程，心诚则灵。 干群努力，安全共保。 安全意识，不可淡化。 安全思想，不可放松。 安全教育，不可中断。 安全防范，不可忽视。 无证驾驶，危及生命。 酒后开车，后患无穷。 特殊工种，特别要求。 无证作业，事故头出。 溜子皮带，蹬坐危险。 出了事故，后悔已晚。 干啥工作，别耍大胆。 坚持规程，保你平安。 停电作业，勿忘验电。 违章生险，遵纪则安。 忽视安全，如履薄冰。 一时侥辛，终酿大祸。 生产再忙，安全不忘。 小小安全带，情系千万家。 高空作业时，干万扎牢它。 麻痹和大意，害人又害已。 事故如虎狼，它在暗中藏。 一时不注意，它就把人伤。 矿山多电器，用电要注意。 时时都谨慎，安全皆欢喜。 检查维护细，隐患无阵地。 事故如恶鬼，规程是钟馗。 小心无大错，粗心酿大祸。 严细又认真，安全根基深。 系好安全带，免得缠绷带。 戴上安全帽，安全有依靠。 系上安全。 5.关于安全的诗歌短诗 行万里平安路 做百年长乐人 但愿人长久 千里路畅通 人生美好 步步小心 路无规不畅 国无法不宁 狭路相逢“让”者胜 处罚违章不留情 看似无情最深情 爱妻爱子爱家庭 无视交规等于零 乱穿马路 失道无助 超载超速 危机四伏 酒后驾车 拿命赌博 一秒钟车祸 一辈子痛苦 遵守交规 储蓄安全 礼让礼让 人车无恙 高速公路 行驶适速 心无交规 路有坎坷 遵守交通法规 关爱生命旅程 实线虚线斑马线 都是生命安全线 路为国脉 法系民魂 出了车祸速报警 救死扶伤见真情 心头常亮红绿灯 安全行驶伴人生 生命只有一次 平安伴君一生 礼让三先 路畅民安 宁绕百步远 不抢一步险 千里之行 慎于足下 谨慎驾驶千趟少 大意行车一回多 一人出车全家念 一人平安全家福 人病不上车 车病不上路 同为行车人 相见礼为先 虽为坦途 超速者戒 纵有捷径 乱穿者止 居安思危危自小 有备无患患可除 违章超载 得不偿失 减速慢行勿争先 关照生命到永远 字串8 国法如山 逃逸必捉 三双筷子三只碗 爱妻娇儿盼团圆 违章观念强 安全系数大 十次肇事九次快 摩托车族当自爱 醉（罪）在酒中 毁（悔）在杯中 酒后驾车 生命打折 有酒即无舵 早晚要闯祸 大路朝天 请走右边 道路连着你和他 安全系着千万家 6.关于质量的诗歌 那敞想千年的梦， 是否有醒来的时候？ 那冷月如冰的夜， 是否也出现一道彩虹？ 山伯英台的故事， 牛郎织女的传说， 到底还能传唱多久？ 当有一天， 不再轻信地老天荒的誓言， 我们是否还会期待明天？ 当有一天， 不再轻许海枯石烂的承诺， 我们是否还会感动永远？ 看啊！ 这个世界风云幻变，世事万千， 到最后谁能够处之泰然？ 谁又能够静伫于天地之间？ 生活在飘渺红尘虚幻未知中， 我只能用心脏跳动思念的音符， 默守着那不变的期盼， 直至繁华落尽，灿烂湮灭。 7.关于安全的诗歌三十排 你在流水线，我在机器旁；操作安全要注意，制度记心上； 系好安全带，戴上安全帽；工作态度要认真，规程不能忘； 你把隐患除，我把质量关；防患重于去救灾，任重于泰山； 铺好安全路，架上幸福桥；美好人生要珍惜，平安连万家； 安全，安全靠大家，你来提醒我，我去告诉他； 安全，安全靠大家，人人齐重视，直接来参加； 安全，安全靠大家，高高兴兴去，平平安安回； 安全，安全靠大家，我们共唱这首歌，祝福你我他。 你在流水线，我在机器旁；操作安全要注意，制度记心上； 系好安全带，戴上安全帽；工作态度要认真，规程不能忘； 你把隐患除，我把质量关；防患重于去救灾，任重于泰山； 铺好安全路，架上幸福桥；美好人生要珍惜，平安连万家； 安全，安全靠大家，你来提醒我，我去告诉他； 安全，安全靠大家，人人齐重视，直接来参加； 安全，安全靠大家，高高兴兴去，平平安安回； 安全，安全靠大家，我们共唱这首歌，祝福你我他。 8.关于安全的诗歌七句就行 原发布者：erloveja （诗歌）安全护航你我他安全是一缕阳光，体现着生命爱惜；安全是一缕春风，传承着健康幸福；安全环保促生产，生产作业保安全；安全培训坝堤筑，生命健康必保护；安全护航你我他，岗位操作靠大家：戴好你的安全帽，佩好你的防护镜：莫嫌烦、别侥幸，保护自己重生命：交接班、巡回查，设备保养爱如家：莫睡岗、莫离岗，工艺安全记心上：危化品、周知卡，用心领悟牢记它：消防栓、灭火器，消防知识心里记：升降机、电行车，物品超载故障多；反应釜、离心机，螺丝卡扣牢固齐：厂区内、机动车，平稳驾驶安全多；蒸汽冰盐循环水，错开阀门难找回：操作之中莫闲聊，分散精力事故冒：侥幸麻痹不可取，作业规范记心里：习惯违章是陋习，尽快改掉不迟疑：登高系好安全绳，保护自己最可行：危险作业电气焊，设备清洗要置换：检测分析不蛮干，安全第一重防范：安全没有停靠站，消除隐患长安稳；制度执行无障碍，遵章守纪莫懈怠：安全只有里程碑，我懂安全不吃亏：安全脚步稳健行，环保之歌永传承：安全护航你他我，企业安全结硕果：启明安全你我他，增效繁盛靠大家：安全警钟时常鸣，我与安全共前行！

RNA-seq每个基因的长度和深度均不相同，所以需要对基因的长度和测序深度进行Normalize 一个Read Count的数据矩阵（行为基因，列为样本）。 total exon reads：某个样本mapping到特定基因的外显子上的所有的reads； mapped reads (Millions) :某个样本的所有reads总和； exon length(KB)：某个基因的长度（外显子的长度的总和，以KB为单位） FPKM（Fragments PerKilobase Million）: Fragments Per Kilobase of exon model per Million mapped fragments FPKM和RPKM的计算方法基本一致，只不过把reads换成了Fragments。 TPM（Transcripts PerKilobase Million）：Transcripts Per Kilobase of exon model per Million mapped reads 一个样本中某基因的TPM值的计算方法：先对每个基因的read数用基因的长度进行校正，之后再用校正后的这个基因read数(Ni/Li)与校正后的这个样本的所有read数（sum(Ni/Li+……..+ Nm/Lm)）求商 在计算TPM是先对基因长度进行标准化，之后再对列进行标准化。 这样使得最终的TPM矩阵的每列总和都相同（等于1000000），也就是说每个样本中的TPM的总和都是一样的。理论上，这使得我们更容易比较不同样本中所占同一基因的read数的比例。 学术界已经不再推荐RPKM、FPKM, 比较基因的表达丰度，例如哪个基因在哪个组织里高表达，用TPM做均一化处理； Counts per million 用途：在某些情况下，只想了解每个基因被覆盖到的相对reads数，而不希望对其做长度校正，就会使用这个指标。 CPM只对read count相对总reads数做了数量的均一化。当如果想进行表达量的基因间比较，则不得不考虑基因长度的不同。如果进一步做长度的均一化，就用RPKM。 与CPM相似

左键选中需要处理的音频，然后在Audio菜单下选择Process-Normalize，选择需要标准化的响度大小后点Process即可。 对补充的回答：最简单的办法是使用上述方法分别将需要处理的音频逐个处理到同样的值，但这种方法不适用于动态范围差别太大的音频。举例来说，音频A的动态范围很小（即振幅变化不大，看起来像一个矩形），而音频B的动态范围很大（即振幅变化很大，声音时大时小），如果采用上述方法，则不能达到特别好的效果，因为Normalize是按比例提升/降低音频的振幅，假如将上述两个音频都用Normaize处理到100%，结果是原音频振幅的最高点提升到100%的位置，而其余的部分会按比例提升，得到的结果是：音频A整体声音都基本达到100%，而音频B只有原来较高的部分达到了100%，其余部分声音依然相对较小。这种情况下就需要用到压缩器（compressor）。压缩器可以通过设置阀值（threshold）、压缩比例（ratio）和增益（gain）等参数来分段按不同比例提升音频的振幅，从而达到调整音频动态范围的目的。压缩器可以使用软件自带的，也可使用第三方插件，都在Audio-plugins里面可以找到。

Batch Normalization算法自从15年提出，到现在已经成为深度学习中经常使用的技术，可以说是十分powerful。 我们先从Feature Scaling或者Feature Normalization说起，不管你是不是做深度学习的方法，其实你都会想要做Feature Scaling。原因是： 在没有进行Feature Scaling之前，如果两个输入数据 的distribution很不均匀的话，导致 对计算结果的影响比较大（图左），所以训练的时候，横纵方向上需要给与一个不同的training rate，在 方向需要一个更大的learning rate， 方向给与一个较小的learning rate，不过这样做的办法却不见得很简单。所以对不同Feature做了normalization之后，使得error surface看起来比较接近正圆的话（图右），就可以使训练容易得多。 不管你是不是deep learning的方法，你都会用到Feature Scaling技术。通常 经典的Feature Scaling 的方法是怎么做的？ 现在给你一大堆的数据，你的训练数据总共有大 笔data。而接下来你就对每一个dimension去计算dimension的 mean 跟dimension的 standard deviation ，假设你这个input是39维，所以就算出39个mean跟39个standard deviation；然后对每一维中的数值，假设你取第 维中的数值出来，你就把它 减掉第 维的mean，除以第 维的standard deviation，作为一个Normalization ，你就会让第 维的feature的分布 mean=0，variance=1 ，一般来说，如果你今天做了Feature Scaling这件事情往往会让你的training变得比较快速。 刚才都是还没有讲到deep learning了，现在我们进入deep learning的部分，我们知道说在deep learning里面它的卖点就是有很多个layer，你有个 进来通过一个layer得到 ，把 放入layer 2得到输出 ，我们当然会对network输入的 做Feature Scaling。但是你仔细想想从layer 2的角度来看，其实它的input的feature是 ，我们可以把network前几个layer想成是一个feature的提取，我们知道说network的前几个layer的工作其实就是在抽比较好的feature，后面几个layer当做classify可以做得更好，所以对layer 2来说，他吃到的feature就是layer 1的output ，如果我们觉得说Feature Scaling是有帮助的，我们也应该对layer 2 的feature，也就是layer 1的output 做Feature Scaling，同理layer 2的输出 他是下一个Layer 3的输入，它是下一个layer的feature，我们应该要做一下Normalization，这样接下来layer可以learn的更好。 其实对每一个layer做Normalization这件事情，在deep learning上面是很有帮助的，因为它解决了一个叫做 Internal Covariate Shift 的这个问题，可以令这个问题比较轻微一点。 Internal Covariate Shift 这个问题是什么意思？ 如上图所示：你就想成说现在每一个人代表1个layer，然后他们中间是用话筒连在一起，而今天当一个人手上的两边的话筒被接在一起的时候，整个network的传输才会顺利，才会得到好的performance。 现在我们看一下中间那个小人，他左手边的话筒比较高，他的右手边的话筒比较低。在训练的时候为了将两个话筒拉到同一个水平高度，它会将左手边的话筒放低一点，同时右手的话筒放高一点，因为是同时两边都变，所以就可能出现了下面的图，最后还是没对上。 在过去的解决方法是调小learning rate，因为没对上就是因为学习率太大导致的，虽然体调小learning rate可以很好地解决这个问题，但是又会导致训练速度变得很慢。 你不想要学习率设小一点，所以怎么办？ 所以今天我们要讲batch Normalization，也就是对每一个layer做Feature Scaling这件事情，就可以来处理Internal Covariate Shift问题。 为什么？因为如果我们今天把每一个layer的feature都做Normalization，我们把每一个layer的feature的output都做Normalization，让他们永远都是比如说 ，对下一个layer来看，前个layer的statistics就会是固定的，他的training可能就会更容易一点。 首先我们把刚才的话筒转化为deep learning中就是说，训练过程参数在调整的时候前一个层是后一个层的输入，当前一个层的参数改变之后也会改变后一层的参数。当后面的参数按照前面的参数学好了之后前面的layer就变了，因为前面的layer也是不断在变的。其实输入数据很好normalization，因为输入数据是固定下来的，但是后面层的参数在不断变化根本就不能那么容易算出mean和variance，所以需要一个新的技术叫Batch normalization。 Batch的数据其实是平行计算的，如下图。实际上gpu在运作的时候，它会把 拼在一起，排在一起变成一个matrix，把这个matrix乘上 得到 ，因为今天是matrix对matrix，你如果把matrix对matrix作平行运算，可以比matrix对三个data分开来进行运算速度还要快，这个就是gpu加速batch运算的原理。 接下来我们要做 Batch Normalization 。怎么做？我们现在想要做的事情是对第一个隐藏层的output， ，做Normalization。 我们可以先做Normalization，再通过激活函数，或者先通过激活函数再做Normalization。我们偏向于先做Normalization，再通过激活函数，这样做有什么好处呢？ 因为你的激活函数，如果你用tanh或者是sigmoid，函数图像的两端，相对于 的变化， 的变化都很小。也就是说，容易出现梯度衰减的问题。因此你比较喜欢你的input是落在变化比较大的地方，也就是你的前后 零 的附近，如果先做Normalization你就能够确保说在进入激活函数之前，你的值是落在你的附近。 我们现在来做Normalization：你想要先算出一个 ， ，先算出这些 的均值。接下来算一下 ， 。好，接下来这边有件事情要跟大家强调一下，就是 是是由 决定的。 是由 和 决定的。等一下会用上。 这边有一件事情要注意:在做Normalization的话，在选的 跟 的时候我们其实希望它代表的是 整个training set全体的statistics 。但是因为实做上统计整个training set全体的statistics是非常耗费时间的，而且不要忘了 的数值是不断的在改变的，你不能说我把整个training set的data导出来算个 ，然后 的数值改变以后，再把整个导出来的再算一次 ，这个是不切实际的做法; 所以现在我们在算 跟 的时候，只会在batch里面算，这意味着什么？ 这意味着说你的batch size一定要够大 ，如果太小的话Batch Normalization的性能就会很差，因为你没有办法从一个batch里面估测整个data的 跟 ，举例来说，你可以想象极端case，如果今天batch size=1，你根本不能够apply这套想法。 接下来，有了 跟 以后，我们可以算出： ，这里面的除法代表element wise的除法。好，我们做完Normalization以后就得到了 ，经过Normalization以后 的 每一个dimension它的 ，你高兴的话就把它通过sigmoid得到A，然后再丢到下一个layer，Batch Normalization通常会每一个layer都做好，所以每一个layer的 ，在进入每一个激活函数之前，你都会做这一件事情。 它这边有一个其实大家可能比较不知道的事情是： 有batch Normalization的时候怎么作training？ 很多同学想法也许是跟原来没有做背Normalization没有什么不同。其实不是这样，真正在train这个batch Normalization的时候， 会把整个batch里面所有的data一起考虑 。我不知道大家听不听得懂我的意思，你train这个batch Normalization的时候，你要想成你有一个非常巨大的network，然后它的input就是 ，然后得到 ,中间它还会算两个东西 跟 ，它会产生 ， ，你一路backout回来的时候，他是会通过 ,通过 ，然后去update z的。 为什么这样？因为假设你不这么做，你把 跟 视为是一个常数。当你实际在train你的network的时候，你Backpropagation的时候，你改的这个 的值，你会改动这个 的值，改动这个 的值，其实你就等同于改动了 跟 的值。但是如果你在training的时候没有把这件事情考虑进去会是有问题的。所以其实在做batch Normalization的时候， 对 的影响是会被在training的时候考虑进去的。所以今天你要想成是你有一个非常巨大的network，input就是一整个batch，在Backpropagation的时候，它error signal也会从这个path（上图粗箭头的反向路径）回来，所以 对 跟 的影响是会在training的时候被考虑进去的，这样讲大家有问题吗？ 如果有问题，就忽略吧…… 接下来继续，我们已经把 Normalize ； 但是有时候你会遇到的状况是，你可能不希望你的激活函数的input是 ，也许有些特别的激活函数，但我一下想不到是什么，他的mean和variance是别的值，performance更好。你可以再加上 跟 ，把你现在的distribution的mean和variance再做一下改动，你可以把你的 乘上这个 ，然后再加上 得到 ，然后再把 通过sigmoid函数，当做下一个layer的input，这个 跟 你就把它当做是network的参数，它也是可以跟着network一起被learn出来的。 这边有人可能会有问题是如果我今天的 正好等于 ， 正好等于 ，Normalization不就是有做跟没做一样吗？就是把 Normalize成 ，再把 Normalize成 ，但是如果今天 正好等于 ， 正好等于 的话就等于没有做事，确实是如此。但是加 和 跟 和 还是有不一样的地方，因为 和 它是受到data所影响。但是今天你的 和 是独立的，他是跟input的data是没有关系的，它是network自己加上去的，他是不会受到input的feature所影响的，所以它们还是有一些不一样的地方。 好，我们看一下在testing的时候怎么做，假设我们知道training什么时候怎么做，我们就train出一个network，其实它在train的时候它是考虑整个batch的，所以他其实要吃一整个batch才work。好，他得到一个 ，他会用 减掉 除以 ， 跟 是从一整个batch的data来的，然后他会得到 ，它会乘上 ，再加上 ， 和 是network参数一部分，得到的 。training的时候没有问题，testing的时候你就有问题了，因为你不知道怎么算 跟 ， 对不对？因为training的时候，你input一整个batch，算出一整个batch的 跟 。但是testing的时候你就有点问题，因为你只有一笔data进来，所以你估不出 跟 。 有一个ideal的solution是说：既然 跟 代表的是整个data set的feature的 均值和标准差 ，而且现在的training的process已经结束了，所以整个network的参数已经固定下来了，我们train好network以后再把它apply到整个training set上面，然后你就可以估测现在 的 跟 ，之前没有办法直接一次估出来，是因为我们network参数不断的在变，在你的training结束以后，把training里的参数已经确定好，你就可以算 的distribution，就可以估出 的 跟 。 这是一个理想的做法，在实做上有时候你没有办法这么做，一个理由是有时候你的training set太大，可能你把整个training set的data都倒出来再重新算一次 跟 ，也许你都不太想做，而另外一个可能是你的training的data是一笔一笔进来的，你并没有把data省下来，你data一个batch进来，你要备参数以后，那个batch就丢掉，你的训练资料量非常大，所以要训练是不省下来的，你每次只进来一个batch，所以也许你的training set根本就没有留下来，所以你也没有办法估测training set的 跟 ; 所以可行的solution是怎么做呢？这个critical 的solution是说把过去在update的过程中的 跟 都算出来，随着这个training的过程正确率会缓缓地上升，如上图红色框中图示：假设第一次取一个batch算出来是 ，第100次取一个batch算出来是 ……你可以说我把过去所有的 连起来当作是整个data的statistic，我这样做也不见得太好，为什么？因为今天在训练过程中参数是不断的变化，所以第一次地方算出来的 跟第100次算出来的 显然是差很多的，对不对？因为真正最后训练完的参数会比较接近100次得到的参数，第一次得到参数跟你训练时候得到参数差很多，所以这个地方的 跟你实际上你训练好的network以后，他会算出来的 的 是差很多的，所以在实做上你会给靠近training结束的这些 比较大的 weight ，然后给前面这些比较少的 weight 。

B

标准化，规范化:在英语里就是一个意思: standardization

流量计SCT锈钢标记牌提供悬挂着JISSUS304(或AISI304SS/EN1.4301)标记牌除标标记号标准铭牌外要求悬挂标记牌应选择选项供参考电磁流量计海蒙晖