Adapter,Converter,Transformer的具体用途（涉外宾馆）

transformer是变压器电力变压器是一种静止的电气设备，是用来将某一数值的交流电压（电流）变成频率相同的另一种或几种数值不同的电压（电流）的设备。具有两个或多个绕组的静止设备，为了传输电能，在同一频率下，通过电磁感应将一个系统的交流电压和电流转换为另一系统的电压和电流，通常这些电流和电压的值是不同的。变压器是用来变换交流电压、电流而传输交流电能的一种静止的电器设备。它是根据电磁感应的原理实现电能传递的。变压器就其用途可分为电力变压器、试验变压器、仪用变压器及特殊用途的变压器：电力变压器是电力输配电、电力用户配电的必要设备。试验变压器对电器设备进行耐压（升压）试验的设备；仪用变压器作为配电系统的电气测量、继电保护之用（PT、CT）；特殊用途的变压器有冶炼用电炉变压器、电焊变压器、电解用整流变压器、小型调压变压器等。电力变压器是一种静止的电气设备，是用来将某一数值的交流电压（电流）变成频率相同的另一种或几种数值不同的电压（电流）的设备。当一次绕组通以交流电时，就产生交变的磁通，交变的磁通通过铁芯导磁作用，就在二次绕组中感应出交流电动势。二次感应电动势的高低与一二次绕组匝数的多少有关，即电压大小与匝数成正比。

Transformer 是 Google 团队在 17 年 6 月提出的 NLP 经典之作， 由 Ashish Vaswani 等人在 2017 年发表的论文 Attention Is All You Need 中提出。 Transformer 在机器翻译任务上的表现超过了 RNN，CNN，只用 encoder-decoder 和 attention 机制就能达到很好的效果，最大的优点是可以高效地并行化。 Transformer 是一种基于 encoder-decoder 结构的模型， 在 Encoder 中， 在 Decoder 中， 下面我们具体看一下其中这几个概念，这里主要参考 Jay Alammar，他在 The Illustrated Transformer 中给出了很形象的讲解。 例如我们要进行机器翻译任务，输入一种语言，经过 Transformer，会输出另一种语言。 Transformer 的 encoder 由 6 个编码器叠加组成， decoder 也由 6 个解码器组成， 在结构上都是相同的，但它们不共享权重。 每一个 encoder 都分为两个子层： 每一个 decoder 也具有这两个层，但还有一个注意力层，用来帮助解码器关注输入句子的相关部分 首先使用嵌入算法将输入的 word 转换为 vector， 最下面的 encoder ，它的输入就是 embedding 向量， 在每个 encoder 内部， 输入向量经过 self-attention，再经过 feed-forward 层， 每个 encoder 的输出向量是它正上方 encoder 的输入， 向量的大小是一个超参数，通常设置为训练集中最长句子的长度。 在这里，我们开始看到 Transformer 的一个关键性质， 即每个位置的单词在 encoder 中都有自己的路径， self-attention 层中的这些路径之间存在依赖关系， 然而在 feed-forward 层不具有那些依赖关系， 这样各种路径在流过 feed-forward 层时可以并行执行。 Positional Encoding 是一种考虑输入序列中单词顺序的方法。 encoder 为每个输入 embedding 添加了一个向量，这些向量符合一种特定模式，可以确定每个单词的位置，或者序列中不同单词之间的距离。 例如，input embedding 的维度为4，那么实际的positional encodings如下所示： 在下图中，是20个单词的 positional encoding，每行代表一个单词的位置编码，即第一行是加在输入序列中第一个词嵌入的，每行包含 512 个值， 每个值介于 -1 和 1 之间，用颜色表示出来。 可以看到在中心位置分成了两半，因为左半部分的值由一个正弦函数生成，右半部分由余弦函数生成，然后将它们连接起来形成了每个位置的编码向量。 当然这并不是位置编码的唯一方法，只是这个方法能够扩展到看不见的序列长度处，例如当我们要翻译一个句子，这个句子的长度比我们训练集中的任何一个句子都长时。 例如我们要翻译：”The animal didn"t cross the street because it was too tired” 这句话 这句话中的“it”是指什么？它指的是 street 还是 animal？ 这对人类来说是一个简单的问题，但对算法来说并不简单。 而 Self-Attention 让算法知道这里的 it 指的是 animal 当模型在处理每个单词时，self-attention 可以帮助模型查看 input 序列中的其他位置，寻找相关的线索，来达到更好的编码效果。它的作用就是将对其他相关单词的“understanding”融入我们当前正在处理的单词中。 例如上图中，在第5层时，我们就知道 it 大概指的是 animal 了。 第一步，为编码器的每个输入单词创建三个向量， 即 Query vector, Key vector, Value vector 这些向量通过 embedding 和三个矩阵相乘得到， 请注意，这些新向量的尺寸小于嵌入向量。它们的维数为64，而嵌入和编码器输入/输出向量的维数为512.它们不一定要小，这是一种架构选择，可以使多头注意力计算（大多数）不变。 将x1乘以WQ得到Query向量 q1，同理得到Key 向量 和, Value 向量 这三个向量对 attention 的计算有很重要的作用 第二步，是计算一个得分 假设我们要计算一个例子中第一个单词 “Thinking” 的 self-attention，就需要根据这个单词，对输入句子的每个单词进行评分，这个分数决定了对其他单词放置多少关注度。 分数的计算方法是， 例如我们正在考虑 Thinking 这个词，就用它的 q1 去乘以每个位置的 ki 第三步和第四步，是将得分加以处理再传递给 softmax 将得分除以 8（因为论文中使用的 key 向量的维数是 64，8 是它的平方根） 这样可以有更稳定的梯度， 然后传递给 softmax，Softmax 就将分数标准化，这样加起来保证为 1。 这个 softmax 分数决定了每个单词在该位置bbei表达的程度。 很明显，这个位置上的单词将具有最高的softmax分数，但有时候注意与当前单词相关的另一个单词是有用的。 第五步，用这个得分乘以每个 value 向量 目的让我们想要关注单词的值保持不变，并通过乘以 0.001 这样小的数字，来淹没不相关的单词 第六步，加权求和这些 value 向量 这就是第一个单词的 self-attention 的输出 得到的向量接下来要输入到前馈神经网络，在实际实现中用矩阵乘法的形式完成 论文中还增加一种称为 multi-headed 注意力机制，可以提升注意力层的性能 它使得模型可以关注不同位置 虽然在上面的例子中，z1 包含了一点其他位置的编码，但当前位置的单词还是占主要作用， 当我们想知道“The animal didn"t cross the street because it was too tired” 中 it 的含义时，这时就需要关注到其他位置 这个机制为注意层提供了多个“表示子空间”。下面我们将具体介绍， 1. 经过 multi-headed ， 我们会得到和 heads 数目一样多的 Query / Key / Value 权重矩阵组 论文中用了8个，那么每个encoder/decoder我们都会得到 8 个集合。 这些集合都是随机初始化的，经过训练之后，每个集合会将input embeddings 投影到不同的表示子空间中。 2. 简单来说，就是定义 8 组权重矩阵，每个单词会做 8 次上面的 self-attention 的计算 这样每个单词会得到 8 个不同的加权求和 z 3. 但在 feed-forward 处只能接收一个矩阵，所以需要将这八个压缩成一个矩阵 方法就是先将8个z矩阵连接起来，然后乘一个额外的权重矩阵WO 下图显示了在例句中，it 的不同的注意力 heads 所关注的位置，一个注意力的焦点主要集中在“animal”上，而另一个注意力集中在“tired”，换句话说，it 是 “animal”和“tired”的一种表现形式。 当然如果选了8个层，将所有注意力 heads 都添加到图片中，就有点难以解释了。 这里有一个细节， 即在每个 encoders 和 decoders 里面的 self-attention, ffnn，encoders-decoders attention 层，都有 residual 连接，还有一步 layer-normalization 下面我们看一下 Decoder 部分 1. 输入序列经过编码器部分，然后将最上面的 encoder 的输出变换成一组 attention 向量 K和V 这些向量会用于每个 decoder 的 encoder-decoder attention 层，有助于解码器聚焦在输入序列中的合适位置 重复上面的过程，直到 decoder 完成了输出，每个时间步的输出都在下一个时间步时喂入给最底部的 decoder，同样，在这些 decoder 的输入中也加入了位置编码，来表示每个字的位置。 2. 解码器中的 self attention 层与编码器中的略有不同 在解码器中，在 self attention 的 softmax 步骤之前，将未来的位置设置为 -inf 来屏蔽这些位置，这样做是为了 self attention 层只能关注输出序列中靠前的一些位置。 Encoder-Decoder Attention 层的工作方式与 multiheaded self-attention 类似，只是它用下面的层创建其 Queries 矩阵，从编码器栈的输出中获取 Keys 和 Values 矩阵。 3. 解码器最后输出的是一个向量，如何把它变成一个单词，这就要靠它后面的线性层和 softmax 层 线性层就是一个很简单的全连接神经网络，将解码器输出的向量映射成一个更长的向量。 例如我们有 10,000 个无重复的单词，那么最后输出的向量就有一万维。 每个位置上的值代表了相应单词的分数。 softmax 层将这个分数转换为了概率。 我们选择概率最大的所对应的单词，就是当前时间步的输出。 学习资源： https://arxiv.org/pdf/1706.03762.pdf https://jalammar.github.io/illustrated-transformer/ https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html

transformer 最早使用于NLP模型中，使用了 Self-Attention 机制。相较于RNN结构可以进行并行化训练，能够 拥有全局信息 。 scale dot-product attention self-attention 过程图 query q 对 key k做attention： softmax归一化： 权重乘value v 输出转化值： 合并之前的三个图中操作： Transformer架构 Feed-Forward组件： 架构图： Transformer:[2017] attention is all you need Bert[2018]: Elmo, GPT 参数文件大小： BERT（BASE） (L=12, H=768, A=12, Total Parameters=110M) BERT（LARGE） (L=24, H=1024,A=16, Total Parameters=340M) IGPT： 借鉴bert思想，OpenAI尝试对测试数据随机mask 5 个token，最终ImageNet结果果然上升了一些（红色）。由于马赛克操作过于严重（整张图片都mask了），尽管事实证明还是有效果的，但从输入上看，降低了模型的拟合能力。 VIT： 尝试过三种预训练方法，首先mask掉50%的patch，然后： 第三种方式已经非常接近了，但是由于研究的重点不在于此便浅尝辄止了 DEIT： 在预训练阶段，最多会mask 40%的patch。 另外，作者们其实也试过复原pixel，但效果会有1.8%的下降。对于这个现象，BEiT给出的猜想是，就像多层CNN一样，编码器最终得到的应该是一个更全局、高维的表示，而复现pixel会让后几层太关注局部细节。 MAE： 轻量级架构的两大核心： 一些值得注意的细节，比如： 1.输入侧直接丢掉mask token，效果+0.7，效率x3.3 3.选取数据增强策略，效果+0.2 思考：导致视觉和语言的masked autoencoder 不一样的三大原因 规模大的简单算法是深度学习的核心。在NLP中，简单的自我监督学习方法能够从模型的规模中获益。在计算机视觉中，实用的预训练范例主要是监督式的。在这项研究中，自我监督学习已经取得了进展。我们在ImageNet和迁移学习中观察到自动编码器（一种类似于NLP技术的简单的自我监督方法）与NLP中的技术类似，提供了可扩展的好处。视觉中的自我监督学习现在可能会走上一条与NLP类似的轨迹。另一方面，我们注意到，图像和语言是不同性质的信号，这种差异必须仔细处理。图像仅仅是记录的光，没有语义分解为视觉类似物的语义分解。我们不是试图去除物体，而是去除很可能不构成语义段的随机斑块。同样地，我们的MAE重建了像素，而这些像素并不是语义实体。从测试的结果上看，MAE能推断出了复杂的、整体的重建，这表明它已经学会了许多视觉概念（语义）。我们假设，这种行为的发生通过MAE内部丰富的隐藏表征。我们希望这个观点能给未来的工作带来启发。更广泛的影响。建议的方法预测内容基于训练数据集的学习统计，因此将反映这些数据中的偏差，包括具有负面社会影响的偏差。该模型可能产生不存在的内容。这些问题值得在这项工作的基础上进一步研究和考虑，以生成图像。 有可能取代所有组件。 每个领域都可尝试，遍地开花。

首先建立一个概念，Transformer由两部分组成，编码器Encoder和解码器Decoder。 Encoder：读取输入语句并生成其representation。 Decoder：参考Encoder生成的输入语句的representation，逐词生成输出语句。 论文中的Transformer的架构图是长这个样子的，左边是Encoder，右边是Decoder： 有了一个整体性概念以后，接下来关注Encoder和Decoder部分： 看张俊林老师的文章，发现这么一句话： “这里需要强调一下，尽管Transformer原始论文一直重点在说Self Attention，但是目前来看，能让Transformer效果好的，不仅仅是Self attention，这个Block里所有元素，包括Multi-head self attention，Skip connection，LayerNorm，FF一起在发挥作用。为什么这么说？[2]” u2003u2003目前不太明白，懂了再来填坑 Transformer主要存在以下几点不足： 参考：

transformer翻译是变压器。Transformer按在机器翻译中原意可以翻译为变形器或变换器。但随着Transformer的普及，它已经成为一类以自注意力为主要部件的特定模型，其原本在机器翻译中的内涵变得不再重要，翻译成变形器反而不能涵盖其意义和除机器翻译外的场景。

Transformer的架构、训练及推理等都是在Bayesian神经网络不确定性数学思维下来完成的。Encoder-Decoder架构、Multi-head注意力机制、Dropout和残差网络等都是Bayesian神经网络的具体实现；基于Transformer各种模型变种及实践也都是基于Bayesian思想指导下来应对数据的不确定性；混合使用各种类型的Embeddings来提供更好Prior信息其实是应用Bayesian思想来集成处理信息表达的不确定性、各种现代NLP比赛中高分的作品也大多是通过集成RoBERTa、GPT、ELECTRA、XLNET等Transformer模型等来尽力从最大程度来对抗模型信息表示和推理的不确定性。从数学原理的角度来说，传统Machine Learning及Deep learning算法训练的目标函数一般是基于Naive Bayes数学原理下的最大似然估计MLE和最大后验概率MAP来实现，其核心是寻找出最佳的模型参数；而Bayesian的核心是通过计算后验概率Posterior的predictive distribution，其通过提供模型的不确定来更好的表达信息及应对不确定性。对于Bayesian架构而言，多视角的先验概率Prior知识是基础，在只有小数据甚至没有数据的时候是主要依赖模型Prior概率分布(例如经典的高斯分布)来进行模型推理，随着数据的增加，多个模型会不断更新每个模型的参数来更加趋近真实数据的模型概率分布；与此同时，由于（理论上）集成所有的模型参数来进行Inference，所以Bayesian神经网络能够基于概率对结果的提供基于置信度Confidence的分布区间，从而在各种推理任务中更好的掌握数据的不确定性。

作为在自然语言处理（NLP）领域应用广泛的深度学习模型，Transformer 近两年强势来袭，不仅横扫 NLP 领域，而且在 CV 上也锋芒毕露。江湖传言，Transformer 架构就像是绝世高手的武林秘籍，得秘籍者得天下！ 毫末智行作为国内首先大规模使用 Vision Transformer 技术的公司，CEO顾维灏第一时间在内部推动了此项技术的落地，力求在智能驾驶的赛道上能抢占先机。 Transformer 的杀手锏 据顾维灏介绍，最初的 Transformer 来自于 NLP，它的出现将 NLP 领域向前推动了一大步。其中的关键要素就是Transformer 具备：超强的序列建模能力、全局信息感知能力。 得益于这两点优势，Transformer 几乎取代了基于 RNN 的算法在 NLP 中的地位，也被引入到 CV 领域。但值得深入思考的是，Transformer 如何利用优势在视觉领域发挥作用呢？ 要知道 NLP 中处理的是语句，句子是天然的序列数据，所以很容易理解 Transformer 是如何处理它们的。可在视觉领域，“序列”的概念并不是显式的，因此可以从空间和时间两个维度去理解。 首先是空间维度，静态图像从空间上可以被划分成多个区域（block），一种典型的划分方式就是按照高和宽进行划分，例如，一幅图像的高和宽分别是 H 和 W，如果要求 block 的长宽均为 M，那么最终会得到 (H/M W/M) 个 block。 其实可以把 block 看成是 NLP 句子中的词，这里的只不过是“视觉词”（visual words）。这样一来，就可以将一幅图像转化成一个按照空间顺序排列的 block 集合，一方面这样的视角转换保证了不丢失视觉信息，另一方面让应用 Transformer 变得非常容易。 另一种则是通过时间维度去理解视觉中的序列，即视频。视频是由静态的图像帧组成，把每一帧看成是一个基本单元（同样可以类别成句子中的词），那么就可以很自然地按照时间序列把一个片段组织起来，从而应用 Transformer 进行后续的特征提取。 图引自论文《An Image is Worth 16x16 Words Transformer for Image Recognition at scale”》 除了强大的序列建模能力，Transformer 的主要模块 Multi-Head Self-Attention 可以同时感知到输入序列的全局信息，这是 Transformer 相比于 CNN 的巨大优势。在 CNN 中，信息只能从局部开始，随着层数的增加，能够被感知到的区域逐步增大。然而 Transformer 从输入开始，每一层结构都可以看到所有的信息，并且建立基本单元之间的关联，也意味着Transformer 能够处理更加复杂的问题。 Transformer 的优化升级 目前处于 Transformer 在视觉中应用的早期，大家使用 Transformer 的方式主要参考了其在 NLP 中的应用经验。但是，如果直接将 Transformer 应用到视觉上，也会存在一些难题。 其一，核心模块多头注意力机制（Multi-Head Self-Attention ）的计算量与 block 的个数成正比，因此在视觉中 block 数量要远多于 NLP 中句子的词数，这就造成了计算量的陡增。 其二，Transformer 擅长全局关系的学习，对于局部细节信息关注有限，然而视觉中很多任务需要足够丰富的细节信息做判断，比如语义分割。 针对上述的问题， 毫末智行人工智能研发团队对核心模块多头注意力机制（Multi-Head Self-Attention）进行了优化，同时采用了金字塔的结构增强 Transformer 对于细节信息的感知。 图引自论文《LeViT a Vision Transformer in ConvNet Clothing for Faster Inference》 Transformer 的未来演化 尽管我们在上面提到了 Transformer 的一些不尽如意之处，但随着研究的深入，大家逐步发现在同一结构中结合 CNN 和 Transformer 各自的优势，即可做到相互的扬长避短。在未来，把CNN 和 Transformer 进行整合将成为 Transformer 的演化路径之一。 具体来说，主干网使用 CNN，Head 使用 Transformer 结构，可以有效提升网络的速度（相比纯使用 Transformer）；相反，主干网使用 Transformer 结构，Head 使用 CNN 的结构，可以有效提升结果精度（相比于纯使用 CNN）。 其次，核心模块 Multi-Head Self-Attention 内部也可以通过降低子空间的维度、对输入 block 进行分组等手段降低其计算量且不至于损失过多精度。 最后，通过控制 block 的粒度，使 Transformer 能够感知到不同尺度的信息，从而达到局部和全局的信息融合。 毫末智行团队已经将上述的改进逐步添加到了毫末智行自己的模型中。未来，我们将不断在提升速度的同时保证出色的精度，让 Transformer 在实际的业务中生根发芽。 图引自论文《End to End Object Detection with Transformers》 基于 Transformer 的感知算法表现出了极强的泛化性和鲁棒性，也因此顾维灏坚定认为，Transformer 的优秀特性极有可能在智能驾驶的场景中发挥出传统 CNN 算法所不能企及的感知能力。 目前， 毫末智行的人工智能团队正在逐步将基于 Transformer 的感知算法应用到实际的道路感知问题，例如车道线检测、障碍物检测、可行驶区域分割、红绿灯检测&识别、道路交通标志检测、点云检测&分割等。 未来，相关 Transformer 感知算法更加和稳定成熟后，逐步替换基于 CNN 的感知算法。 Transformer 技术的进一步应用，不仅为毫末智行在各条智能驾驶产品线上的视觉算法落地带来成倍的效率提升，还能够让各项视觉性能指标快速达到业内领先水平。

TRANSFORMER (变形女)韩文作词：Kenzie中文作词：T-Crash曲/编：Kenzie / Jonathan Yip / Jeremy Reeves / Ray Romulus / Ray McCulloughShe"s such a transformerEXO! Let"s go!Hold up, hold up, hold up, hold up无法用言语形容 她到底是什么东西那里 那里 那里 那里刹那之间 开始蜕变 连准备都 来不及You slow down, then you speed up没有答案 只能惊惶的呆在原地把我要挑战的路照亮的 Girl了不起的你是 Mega girlOh baby baby baby 危险的太惊心动魄你散发的光太耀眼 绝不会想和你对决Hey pretty lady 思维早已为了你深陷有时很温柔 有时特别强烈站在 你的 你的 你的 面前Tick tick boom boom bout to blow太过不同无法想象交出一切让你成为 我的 OwnerCause you"re you"re you"re a transformer就现在是你的时间哪个星球将你派遣Girl you got me got me 这游戏的 WinnerCause you"re you"re you"re a transformerYou come around 我无法挣扎你看起来太养眼 Oh 变了转眼之间下了决心 舍不得这时间You slow down, then you speed up没有答案 只能惊惶的呆在原地把我要挑战的路照亮的 Girl了不起的你是 Mega girlOh baby baby baby 危险的太惊心动魄你散发的光太耀眼 绝不会想和你对决Hey pretty lady 思维早已为了你深陷有时很温柔 有时特别强烈站在 你的 你的 你的 面前Tick tick boom boom bout to blow太过不同无法想象交出一切让你成为 我的 OwnerCause you"re you"re you"re a transformer*** 就现在是你的时间哪个星球将你派遣Girl you got me got me 这游戏的 WinnerCause you"re you"re you"re a transformer不用太过的烦躁 浪费时间没必要的就在这你和我 到底还需要些什么不管变成什么样, 就算变灰暗, 也要抓住你Tell me now, It"s killing me babyTick tick boom boom bout to blow太过不同无法想象交出一切让你成为 我的 OwnerCause you"re you"re you"re a transformer就现在是你的时间哪个星球将你派遣Girl you got me got me 这游戏的 WinnerCause you"re you"re you"re a transformer想见你, 想要你 Then you transform能否能否感受我 Or are you gonna transform?

Transformer早在2017年就出现了，直到BERT问世，Transformer开始在NLP大放光彩，目前比较好的推进就是Transformer-XL（后期附上）。这里主要针对论文和程序进行解读，如有不详实之处，欢迎指出交流，如需了解更多细节之处，推荐知乎上 川陀学者 写的。本文程序的git地址在 这里 。程序如果有不详实之处，欢迎指出交流~ 2017年6月，Google发布了一篇论文《Attention is All You Need》，在这篇论文中，提出了 Transformer 的模型，其旨在全部利用Attention方式来替代掉RNN的循环机制，从而通过实现并行化计算提速。在Transformer出现之前，RNN系列网络以及seq2seq+attention架构基本上铸就了所有NLP任务的铁桶江山。由于Attention模型本身就可以看到全局的信息， Transformer实现了完全不依赖于RNN结构仅利用Attention机制，在其并行性和对全局信息的有效处理上获得了比之前更好的效果。 纵观图1整个Transformer的结构，其核心模块其实就是三个：Multi-Head attention、Feed Forward 以及 Add&Norm。这里关于Multi-Head attention部分只讲程序的实现，关于更多细节原理，请移至开头推荐的知乎链接。 Transformer中的attention采用的是多头的self-attention结构，并且在编码器中，由于不同的输入mask的部分不一样，因此在softmax之前采用了mask操作，并且解码时由于不能看到t时刻之后的数据，同样在解码器的第一个Multi-Head attention中采用了mask操作，但是二者是不同的。因为编码器被mask的部分是需要在输入到Transformer之前事先确定好，而解码器第一个Multi-Head attention被mask的部分其实就是从t=1时刻开始一直到t=seq_len结束，对应于图2。在图2中，横坐标表示解码器一个batch上的输入序列长度(也就是t)，紫色部分为被mask的部分，黄色部分为未被mask的部分，可以看出，随着t的增加，被mask的部分逐一减少。而解码器第二个Multi-Head attention的mask操作和编码器中是一样的。 mask+softmax程序如下： mask操作其实就是对于无效的输入，用一个负无穷的值代替这个输入，这样在softmax的时候其值就是0。而在attention中(attention操作见下式)，softmax的操作出来的结果其实就是attention weights，当attention weights为0时，表示不需要attention该位置的信息。 对于Multi-Head attention的实现，其实并没有像论文原文写的那样，逐一实现多个attention，再将最后的结果concat，并且通过一个输出权重输出。下面通过程序和公式讲解一下实际的实现过程，这里假设 , , 的来源是一样的，都是 ，其维度为[batch_size, seq_len, input_size]。(需要注意的是在解码器中第二个Multi-Head的输入中 与 的来源不一样) 首先，对于输入 ，通过三个权重变量得到 , , ，此时三者维度相同，都是[batch, seq_len, d_model]，然后对其进行维度变换：[batch, seq_len, h, d_model//h]==>[batch, h, seq_len, d]==>[batch×h, seq_len, d]，其中d=d_model//h，因此直接将变换后的 , , 直接做DotProductAttention就可以实现Multi-Head attention，最后只需要将DotProductAttention输出的维度依次变换回去，然后乘以输出权重就可以了。关于程序中的参数valid_length已在程序中做了详细的解读，这里不再赘述，注意的是输入的valid_length是针对batch这个维度的，而实际操作中由于X的batch维度发生了改变(由batch变成了batch×h)，因此需要对valid_length进行复制。 FFN的实现是很容易的，其实就是对输入进行第一个线性变换，其输出加上ReLU激活函数，然后在进行第二个线性变换就可以了。 Add&norm的实现就是利用残差网络进行连接，最后将连接的结果接上LN，值得注意的是，程序在Y的输出中加入了dropout正则化。同样的正则化技术还出现在masked softmax之后和positional encoding之后。 positional encoding的实现很简单，其实就是对输入序列给定一个唯一的位置，采用sin和cos的方式给了一个位置编码，其中sin处理的是偶数位置，cos处理的是奇数位置。但是，这一块的工作确实非常重要的，因为对于序列而言最主要的就是位置信息，显然BERT是没有去采用positional encoding(尽管在BERT的论文里有一个Position Embeddings的输入，但是显然描述的不是Transformer中要描述的位置信息)，后续BERT在这一方面的改进工作体现在了XLNet中(其采用了Transformer-XL的结构），后续的中再介绍该部分的内容。 无论是编码器还是解码器，其实都是用上面说的三个基本模块堆叠而成，具体的实现细节大家可以看开头的git地址，这里需要强调的是以下几点： 中出现的程序都在开头的git中了，直接执行main.ipynb就可以运行程序，如有不详实之处，还请指出~~~

我也想知道，我想知道最后两句是谁唱的，

transformer变压器

其实可以听出来的

希望采纳~~~She"s such a transformerEXO Let"s goHold up hold up hold up hold up错r miong哈gi 哦lio我可nio 摸呀 得切 摸n得jio gi jio gi jio gi jio gi孙西噶内 多r bion哈mion 刚当哈gi hin等得You slow down then you speed up她be nou（b）几 个就 mong哈你 吧大吧所内噶 都jion哈r gi了r 比qio军 girl许b几 啊那 诺嫩 mega girlOh baby baby baby加里谈 慢肯 mv喊没nou嫩 抗lio嘞 nun不xio吗搜 撒无r sian噶 够b搜Hey pretty ladycian噶慢 多 gi破奇嫩得穷都 抗哈给 得龙 不的咯b给可nio 啊Pe 啊Pe 啊Pe 所r 得Tick tick boom boombout to blow丧丧jio掐 摸忒搜东个内 奇Be哈嫩 qu因 那也 偶呢Cause you"re you"reyou"re atransformer掐 一接 个nio也 西敢哦东 bio里 诺r 波内你Girl you got me got me一 给一没 wi呢Cause you"re you"reyou"re atransformerYou come around难 攻加 摸忒诺木 破gi jio扩疼哈 个色 都 bio你内忙E（r） qiong嘿 西噶你 呀噶b大You slow downthen you speed up大be nou（b）几 可就 mong哈你 吧拉吧所内噶 都jion哈r gi了r 比qio军 girl许b几 啊那 诺嫩 mega girlOh baby baby baby加里谈 慢肯 mv喊没nou嫩 抗lio嘞 nun不xio吗搜 撒无r sian噶 够b搜Hey pretty ladycian噶慢 多 gi破奇嫩得穷都 抗哈给 得龙 不的咯b给可nio 啊Pe 啊Pe 啊Pe 所r 得Tick tick boom boombout to blow丧丧jio掐 摸忒搜东个内 奇Be哈嫩 qu因 那也 偶呢Cause you"re you"reyou"re atransformer掐 一接 个nio也 西敢哦东 bio里 诺r 波内你Girl you got me got me一 给一没 wi呢Cause you"re you"reyou"re atransformer诶忒无几 吗拉jio一龙 西敢 皮lio 我b所哟gi所 nou哇 那 都 摸噶 皮lio哈给你哦东 摸丝b nou拉都图lio我jio都 诺了r 噶几嘞Tell me now it"skilling me babyTick tick boom boombout to blow丧丧jio掐 摸忒搜东个内 奇Be哈嫩 qu因 那也 偶呢Cause you"re you"reyou"re atransformer掐 一接 个nio也 西敢哦东 bio里 诺r 波内你Girl you got me got me一 给一没 wi呢Cause you"re you"reyou"re atransformer诺r 破内 诺r 我内Then you transform那了r 那了r 呢gi你Or are you gonna transform

optimizer.zero_grad()意思是把梯度置零，也就是把loss关于weight的导数变成0.pytorch对于每个batch大都执行了这样的操作：optimizer.zero_grad() ## 梯度清零preds = model(inputs) ## inferenceloss = criterion(preds, targets) ## 求解lossloss.backward() ## 反向传播求解梯度optimizer.step() ## 更新权重参数1,由于pytorch的动态计算图，当我们使用loss.backward()和opimizer.step()进行梯度下降更新参数的时候，梯度并不会自动清零。并且这两个操作是独立操作。2,backward()：反向传播求解梯度。3,step()：更新权重参数。

transformer与cnn相比优缺点如下：Transformer优点：（1）突破了RNN模型不能并行计算的限制。（2）相比CNN，计算两个位置之间的关联所需要的操作次数不会随着距离的增长而增加。（3）attention机制可以产生更具可解释性的模型，可以从模型中检查attention分布，各个attention head可以学会执行不同的任务。（4）Selfattention天然就能解决这个问题，因为在集成信息的时候，当前单词和句子中任意单词都发生了联系，一步到位。Transformer缺点：（1）局部信息的获取不如RNN和CNN强。（2）位置信息编码存在问题，因为位普编码在语义空间中并不具备词向量的可线性变换，只是相当干人为设计的一种索引，所以并不能很好表征位置信息。（3）由于transformer模型实际上是由残差模块和层归一化模块组合而成，并且层归一化模块位于两个残差模块之间，导致如果层数较多时连乘计算会使得顶层出现梯度消失问题。特征表示能力CNN可以通过卷积层提取出具有空间特征的特征表示，例如边缘、角点等，这些特征表示可以用于图像分类、目标检测、人脸识别等任务。RNN可以通过循环层提取出具有时序特征的特征表示，例如序列中的依赖关系和上下文信息，这些特征表示可以用于文本分类、语音识别、音乐生成等任务。Transformer可以通过多头注意力机制提取出具有上下文关联性的特征表示，例如文本中的关键词和语义信息，这些特征表示可以用于机器翻译、文本生成、问答系统等任务。

现在的想法是transformer模型建立依赖关系的能力可能是依旧比较差。 Transformer 长程依赖的捕获能力是比 RNN 类结构差的。 这点在最近 Transformer-XL [1] 的文章中有体现。 可以看的到 Transformer 是比 RNN 有明显差距的。虽然读了这个 RECL 的定义感觉作者有强行定超参拉开两者差距之嫌，但毫无疑问的是 Transformer 确实是最糟糕的，只是不一定有数字上好几倍这么夸张。 但是，题目叙述中有一个误解，我们可以说 Transformer 建立长程依赖的能力差，但这不是 Self-Attention 的锅。 但summarization（摘要）任务上需要考虑的是成篇章级别，并且长距离依赖，这时单靠self-attention建模依赖关系可能仍显不足，而这时候lstm的优势反而凸显出来 Self-Attention 可以使任意两个 token 间的依赖计算变为常数，长距离依赖上 Self-Attention 是强于 RNN 结构的。要说问题，出也是出在 positional embedding 上，很多最近的 paper 都在尝试调整这一部分，也证明大家确实觉得现在这里是有问题的。 但另一方面， Self-Attention 其实并不是 Transformer 的全部。 个人来看， 从深度 CNN 网络中借鉴而来的 FFN（全连接层） 可能更加重要。 事实上 18 年 ACL [2] 有人做过实验，把 Transformer 里的 Self-Attention 换成 RNN 和 CNN，发现其实性能几乎没降多少。而带来性能提高的，主要是 FFN with residual 和 multiple heads. 最后，不负责任的猜测，Transformer 在 Summarization 上不够好，其实可能更多的是数据量的问题。 Transformer 这个结构最牛逼的地方就在于它第一次做到了在 NLP 中把深度叠上去还能 work， 而 NMT 恰好也是一个目前数据量非常丰富且问题尺度本身不大的一个任务了，充分发挥了 Transformer 的优势。而 Summarization 任务，相对于其 pairphrase 本身的长度，benchmark 的数据样本总量可能就略显不足了。 记得之前在哪看过一个图来着，说是 RNN 在中等数据量（几十万级别以下）下效果是比较好的，忘记出处了，有同学记得的话求评论提醒哈~ Reference [1] Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context [2] How Much Attention Do You Need? A Granular Analysis of Neural Machine Translation Architectures

Transformer是个叠加的“自注意力机制（Self Attention）”构成的深度网络，是目前NLP里最强的特征提取器。 论文： Attention Is All You Need 整体上还是由Encoders和Decoders两部分组成的，而每一个部分是由6个Encoder和Decoder堆栈成的，每个的结构完全相同，但不共享权重。 每个Encoder由两部分组成：Multi-head self-attention层和Feed Forward NN层。 每个Decoder由三部分组成：Multi-head self-attention层，Encoder-Decoder Attention层和Feed Forward NN层。 动机：当模型处理每个单词（输入序列中的每个位置）时，self-attention允许它查看输入序列中的其他位置以寻找可以帮助导致对该单词更好的编码的线索。 使用矩阵形式可以并行计算。 图示 ： 动机：将信息映射到不同的子空间，可能会抓取到不同位置的注意信息。 按照self-attention方式进行相同的几次计算（论文中使用8头），每次使用不同的权重矩阵（ ， 和 ），最终会得到几个不同的 矩阵，将它们直接拼接起来得到一个很长的矩阵 ，再乘以一个参数矩阵 将矩阵压缩到低维（同Embedding维数）。 单词顺序是NLP中非常重要的信息，所以加入Position encoding是考虑输入序列中单词顺序的一种方法。将位置编码与Embedding向量直接加起来得到真正的单词输入向量。 论文中给出了两个位置编码公式： 该层为简单的全连接层，使用了RELU激活函数，论文中该全连接的隐藏层维数为2048，公式如下： 在每一个子层的结束，输出矩阵为 ，我们将该层的输入矩阵 和 直接相加，再做Normalize操作 ，该Norm函数引用了 参考文献1: Layer Normalization 。 Norm方法有很多，但它们都有一个共同的目的，那就是把输入转化成均值为0方差为1的数据。我们在把数据送入激活函数之前进行normalization，因为我们不希望输入数据落在激活函数的饱和区。 该层是一个简单的全连接网络，将最后一个Decoder输出的向量投影到一个更高维度的空间去（词典维数）。 softmax层将Linear层的输出向量转化为概率输出，选择最大概率的单词作为输出。 Encoders最后将 和 输出给每个Decoder的Encoder-Decoder层： Padding mask在所有的scaled dot-product attention里面都需要用到，而Sequence mask只有在Decoder的self-attention里面用到。 语料库中每个句子的长度是不同的，我们需要对齐。使用我们设置的阈值（一般为255），对于较长的序列，直接截取左边的序列，对于较短的序列，在其后添加0。 而在scaled dot-product attention中，不能对这部分添加了0的单词位置加上较高的注意力，所以在self-attention中的softmax之前，直接将这些位置的值设为 ，经过softmax后这些位置的概率值会变为0。 即下图中的 Mask(opt.) 块： Sequence mask是为了使得Decoder不能看见未来的信息，使得解码器的attention只能关注当前解码单词之前的输出单词，而不能依赖后面未解码出来的。 所以跟Padding mask一样，对其后的单词位置直接设为 ，经过softmax后这些位置的概率值会变为0。 这步操作对应Decoder中第一个构件：Masked Multi-head Attention。 使用交叉熵或者KL散度去比较两个输出之间的差距，然后使用反向传播优化其中的所有参数。 在最后的softmax层我们直接输出了最大值位置的单词，叫做贪婪解码。 另一种更合理的解码方式叫做 束搜索 。假设第1#位置解码出的概率值，前两大的位置单词为 I 和 me ，那么在第2#位置解码时，依赖的第1#位置单词分别取为 I 和 me ，分别跑两次算法，在其中再选两个得分最高（或误差最小）的结果，依次类推。最终会得到两个得分最高的序列。

多头注意力机制的目的是通过捕捉不同的注意力信息来提升 AI 模型的表达能力。利用多头矩阵的子空间从不同的视角或者说维度来表达输入的数据。 从贝叶斯神经网络的角度，多头注意力机制是一种采样（Sampling）技术， 每个注意力头是一个采样。 每个头区分度越大，相当于视角越多， 这样的话按道理Transformer 对目标可以进行更好的拟合。 但注意力头真的是越多越好么？（不考虑过拟合和硬件条件的情况下） 问题的关键是注意力头本身是矩阵形式，对输入数据进行线性变换， 得到的结果是离散的而非连续的， 不能够真正表达连续的目标概率分布。与真正的目标间存在误差，而注意力头越多，累计误差也会越大，导致模型的表现也变差。 训练的时候注意力头越多拟合的越好，但是 test 的时候注意力头多不一定效果好，并且还比较多余。 这个我们人脑的机制是一样的， 我们阅读一段文字，很快的读过去， 能够注意到的关键点和它们之间的联系并不会特别多，但也不妨碍我们理解一段话的意思。所以这给我们一个启示，对神经网络的设计，很多时候可以参考人脑思考运行的规律， 模拟人脑的运行策略，也会获得接近的运行效果。 Reference: Transformer 101 个思考问题： https://gitee.com/oatmeal3000/Transformer101Q

贝叶斯神经网络（Bayesian Neural Network）通过提供不确定来回答“Why Should I Trust You？”这个问题。实现上讲，贝叶斯通过集成深度学习参数矩阵中参数的Uncertainty来驾驭数据的不确定性，提供给具体Task具有置信空间Confidence的推理结构。一般的神经网络我们称为Point estimation neural networks，通过MLE最大似然估计的方式建立训练的目标函数，为神经网络中的每个参数寻找一个optimal最优值；而贝叶斯深度学习一种把概率分布作为权重的神经网络，通过真实数据来优化参数的概率分布，在训练的过程中会使用MAP最大后验概率集成众多的模型参数的概率分布来拟合各种不确定的情况，提供处理数据不确定性的信息表达框架。Transformer是一个符合Bayesian深度学习网络的AI架构，尤其是其经典的multi-head self-attention机制，该机制其实采用模型集成的思想来从工程角度落地贝叶斯深度学习网络；基于Prior先验信息的正则化效果，multi-head机制所表达的信息多元化及不确定性能够提供具有高置信度区间的回答 “Why Should I Trust You？”贝叶斯Bayesian Transformer课程片段1：线性回归及神经网络AI技术底层通用的贝叶斯数学原理及其有效性证明贝叶斯Bayesian Transformer课程片段2：人工智能算法底层真相之MLE和MAP完整的数学推导过程概率、对数、求导等以及MLE和MAP关系详解贝叶斯Bayesian Transformer课程片段3：语言模型Language Model原理机制、数学推导及神经网络实现贝叶斯Bayesian Transformer课程片段4：图解Transformer精髓之架构设计、数据在训练、推理过程中的全生命周期、矩阵运算、多头注意力机制可视化等贝叶斯Bayesian Transformer课程片段5：什么叫Bayesian Transformer，Bayesian Transformer和传统的Transformer的核心区别是什么？贝叶斯Bayesian Transformer课程片段6：Bayesian Transformer这种新型思考模型在学术和工业界的意义是什么，为什么说Transformer中到处都是Bayesian的实现？贝叶斯Bayesian Transformer课程片段7：贝叶斯Bayesian Transformer数学推导论证过程全生命周期详解及底层神经网络物理机制剖析

原始的transformer是全对称的，也就是改变两个字符的位置，预测结果可能是相同的，这点与不同的权重矩阵无关。Transformer算法由Alex Graves提出，旨在解决序列转换问题（The problem of sequence transduction），输入已知序列，输出目标序列，用于语音识别、文本翻译、人机对话等。算法（Algorithm）是指解题方案的准确而完整的描述，是一系列解决问题的清晰指令，算法代表着用系统的方法描述解决问题的策略机制。也就是说，能够对一定规范的输入，在有限时间内获得所要求的输出。算法中的指令描述的是一个计算，当其运行时能从一个初始状态和（可能为空的）初始输入开始，经过一系列有限而清晰定义的状态，最终产生输出并停止于一个终态。

前面hold up 好像也是世勋唱的……话说亲故，忙内的声音听不清吗……

TRANSFORMER (变形女)中文版歌词【韩文版歌词】　　韩文作词：Kenzie　　中文作词：T-Crash　　曲/编：Kenzie / Jonathan Yip / Jeremy Reeves / Ray Romulus / Ray McCullough　　She"s such a transformer　　EXO! Let"s go!　　Hold up, hold up, hold up, hold up　　无法用言语形容 她到底是什么东西　　那里 那里 那里 那里　　刹那之间 开始蜕变 连准备都 来不及　　You slow down, then you speed up　　没有答案 只能惊惶的呆在原地　　把我要挑战的路照亮的 Girl　　了不起的你是 Mega girl　　Oh baby baby baby 危险的太惊心动魄　　你散发的光太耀眼 绝不会想和你对决　　Hey pretty lady 思维早已为了你深陷　　有时很温柔 有时特别强烈　　站在 你的 你的 你的 面前　　Tick tick boom boom bout to blow　　太过不同无法想象　　交出一切让你成为 我的 Owner　　Cause you"re you"re you"re a transformer　　就现在是你的时间　　哪个星球将你派遣　　Girl you got me got me 这游戏的 Winner　　Cause you"re you"re you"re a transformer　You come around 我无法挣扎　　你看起来太养眼 Oh 变了转眼之间　　下了决心 舍不得这时间　　You slow down, then you speed up　　没有答案 只能惊惶的呆在原地　　把我要挑战的路照亮的 Girl　　了不起的你是 Mega girl　　Oh baby baby baby 危险的太惊心动魄　　你散发的光太耀眼 绝不会想和你对决　　Hey pretty lady 思维早已为了你深陷　　有时很温柔 有时特别强烈　　站在 你的 你的 你的 面前　　Tick tick boom boomboom boom bout to blow　　太过不同无法想象　　交出一切让你成为 我的 Owner　　Cause you"re you"re you"re a transformer　　就现在是你的时间　　哪个星球将你派遣　　Girl you got me got me 这游戏的 Winner　　Cause you"re you"re you"re a transformer　　You come around 我无法挣扎　　你看起来太养眼 Oh 变了转眼之间　　下了决心 舍不得这时间　　You slow down, then you speed up　　没有答案 只能惊惶的呆在原地　　把我要挑战的路照亮的 Girl　　了不起的你是 Mega girl　　Oh baby baby baby 危险的太惊心动魄　　你散发的光太耀眼 绝不会想和你对决　　Hey pretty lady 思维早已为了你深陷　　有时很温柔 有时特别强烈　　站在 你的 你的 你的 面前　　Tick tick boom boom bout to blow　　太过不同无法想象　　交出一切让你成为 我的 Owner　　Cause you"re you"re you"re a transformer　　*** 就现在是你的时间　　哪个星球将你派遣　　Girl you got me got me 这游戏的 Winner　　Cause you"re you"re you"re a transformer　　不用太过的烦躁 浪费时间没必要的　　就在这你和我 到底还需要些什么　　不管变成什么样, 就算变灰暗, 也要抓住你　　Tell me now, It"s killing me baby　　Tick tick boom boom bout to blow　　太过不同无法想象 　交出一切让你成为 我的 Owner　　Cause you"re you"re you"re a transformer　　就现在是你的时间　　哪个星球将你派遣　　Girl you got me got me 这游戏的 Winner　　Cause you"re you"re you"re a transformer　　想见你, 想要你 Then you transform　　能否能否感受我 Or are you gonna transform?不知道这个可不可以

n. 变压器;促使变化的（或人物），改革者 [例句]It has a transformer box , diesel driven generator , and a boiler-room.它有一个变压器箱，柴油发电机，还有一个锅炉房。

变形金刚

【歌名】：TRANSFORMER【演唱】：EXO【歌词】：She"s such a transformerEXO! Let"s go!Hold up, hold up, hold up, hold upuc124uba85ud558uae30 uc5b4ub824uc6cc uadf8ub140 ubb50uc57c ub300uccb4 ubb54ub370uc800uae30 uc800uae30 uc800uae30 uc800uae30uc21cuc2dduac04uc5d0 ub3ccubcc0ud558uba74 uac10ub2f9ud558uae30 ud798ub4e0ub370You slow down, then you speed upub2f5uc740 uc5c6uc9c0 uadf8uc800 uba4dud558ub2c8 ubc14ub77cubd24uc5b4ub0b4uac00 ub3c4uc804ud560 uae38uc744 ube44ucdb0uc900 girluc27duc9c0 uc54auc544 ub108ub294 mega girlOh baby baby baby uc9dcub9bfud55c ub9ccud07c uc704ud5d8ud574ub108ub294 uac15ub82cud574 ub208ubd80uc154 ub9deuc11c uc2f8uc6b8 uc0dduac01 uc5c6uc5b4Hey pretty lady uc0dduac01ub9cc ub354 uae4auc5b4uc9c0ub294ub370uc880ub354 uac15ud558uac8c ub54cub860 ubd80ub4dcub7fduac8cuadf8ub140 uc55euc5d0 uc55euc5d0 uc55euc5d0 uc124 ub54cTick tick boom boom bout to blowuc0c1uc0c1uc870ucc28 ubabbud588uc5c8ub358ub05dub0b4 uc9c0ubc30ud558ub294 uc8fcuc778 ub098uc758 uc624ub108Cause you"re you"re you"re a transformeruc790 uc774uc81c uadf8ub140uc758 uc2dcuac04uc5b4ub5a4 ubcc4uc774 ub110 ubcf4ub0c8ub2c8Girl you got me got me uc774 uac8cuc784uc758 uc704ub108Cause you"re you"re you"re a transformerYou come around ub09c uaf3cuc9dd ubabbud574ub108ubb34 ubcf4uae30 uc88buac70ub4e0 ud558! uadf8uc0c8 ub610 ubcc0ud588ub124ub9d8uc744 uc815ud574 uc2dcuac04uc774 uc544uae5dub2e4You slow down, then you speed upub2f5uc740 uc5c6uc9c0 uadf8uc800 uba4dud558ub2c8 ubc14ub77cubd24uc5b4ub0b4uac00 ub3c4uc804ud560 uae38uc744 ube44ucdb0uc900 girluc27duc9c0 uc54auc544 ub108ub294 mega girlOh baby baby baby uc9dcub9bfud55c ub9ccud07c uc704ud5d8ud574ub108ub294 uac15ub82cud574 ub208ubd80uc154 ub9deuc11c uc2f8uc6b8 uc0dduac01 uc5c6uc5b4Hey pretty lady uc0dduac01ub9cc ub354 uae4auc5b4uc9c0ub294ub370uc880ub354 uac15ud558uac8c ub54cub860 ubd80ub4dcub7fduac8cuadf8ub140 uc55euc5d0 uc55euc5d0 uc55euc5d0 uc124 ub54cTick tick boom boom bout to blowuc0c1uc0c1uc870ucc28 ubabbud588uc5c8ub358ub05dub0b4 uc9c0ubc30ud558ub294 uc8fcuc778 ub098uc758 uc624ub108Cause you"re you"re you"re a transformeruc790 uc774uc81c uadf8ub140uc758 uc2dcuac04uc5b4ub5a4 ubcc4uc774 ub110 ubcf4ub0c8ub2c8Girl you got me got me uc774 uac8cuc784uc758 uc704ub108Cause you"re you"re you"re a transformeruc560ud0dcuc6b0uc9c0 ub9d0uc544uc918 uc774ub7f0 uc2dcuac04 ud544uc694 uc5c6uc5b4uc5ecuae30uc11c ub108uc640 ub098 ub610 ubb50uac00 ud544uc694ud558uaca0ub2c8uc5b4ub5a4 ubaa8uc2b5 ub108ub77cub3c4, ub450ub824uc6ccuc838ub3c4, ub108ub97c uac00uc9c8ub798Tell me now, it"s killing me babyTick tick boom boom bout to blowuc0c1uc0c1uc870ucc28 ubabbud588uc5c8ub358ub05dub0b4 uc9c0ubc30ud558ub294 uc8fcuc778 ub098uc758 uc624ub108Cause you"re you"re you"re a transformeruc790 uc774uc81c uadf8ub140uc758 uc2dcuac04uc5b4ub5a4 ubcc4uc774 ub110 ubcf4ub0c8ub2c8Girl you got me got me uc774 uac8cuc784uc758 uc704ub108Cause you"re you"re you"re a transformerub110 ubcf4ub124, ub110 uc6d0ud574 Then you transformub098ub97c ub098ub97c ub290ub07cub2c8? Or are you gonna transform?

惠达卫浴的产品不错，家里是前年购买的，当时是花洒和马桶一起买的，到现在用了2年多了，花洒还和新的差不多

transformer变压器

行计算. 由于transformer的并行性,所以会把一组句子以src_token和tgt_token的形式传入,这里也把这组数据称作一个batch,句子个数即batch_size.

隔离、阻抗匹配和信号耦合的作用。

Transformer的结构是什么样的? Transformer本身还是一个典型的encoder-decoder模型,如果从模型层面来看,Transformer实际上就像一个seq2seq with attention的模型,下面大概说明一下Transformer的结构以及各个模块的组成. (1). Encoder端&Decoder端总览2.Transformer Decoder端的输入具体是什么? 见上述Encoder端&Decoder端总览中,对Decoder端的输入有详细的分析3.Transformer中一直强调的self-attention是什么?self-attention的计算过程?为什么它能发挥

这个就要看软件吧，不过这类的软件，基本对CPU和内存有要求，基本不用考虑显卡

自注意力机制是注意力机制的一种，有关注意力机制的介绍可以参考我的前一篇博客： Seq2Seq中的Attention机制 。 Attention机制最早是在视觉图像领域提出来的，应该是在九几年思想就提出来了，但是真正火起来应该算是2014年google mind团队的这篇论文《Recurrent Models of Visual Attention》，他们在RNN模型上使用了attention机制来进行图像分类。随后，Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》中，使用类似attention的机制在机器翻译任务上将翻译和对齐同时进行，他们的工作算是第一个将attention机制应用到NLP领域中。接着attention机制被广泛应用在基于RNN/CNN等神经网络模型的各种NLP任务中。2017年，google机器翻译团队发表的《Attention is all you need》中大量使用了自注意力（self-attention）机制来学习文本表示。自注意力机制也成为了大家近期的研究热点，并在各种NLP任务上进行探索 [1] 。 Seq2Seq中的Attention是在Decoder阶段，如果用在机器翻译中的话就是着重考虑输出与输入的对应关系 ，比如将英文 walk by river bank. 翻译成中文的时候，翻译 走 这个字就只需将attention放在 walk 即可，其它三个单词对翻译 走 这个词是没有帮助的，所以我们不需要关注它们。 而self-attention就不同，它是关注 walk 与 by , river , bank 的内在联系 。在翻译的时候，self-attention会去联系上下文语境，然后决定 bank 到底该翻译为 银行 还是 河岸 。 对于两个词向量而言，对它们做点积，如果结果越大表明它们越相似，结果越小表明它们差别越大（两向量不相关，点积为0）。比如"river"和"bank"两个词向量可能比较相似，因为它们都表示自然界中的两个环境，因此它们的点积相较于其它词向量的点积可能更大。 我们将输入与输入的转置作点积，会得到一个新的矩阵，该矩阵为各个词向量之间的相关性，如Fig.1所示： 为了避免点积之后获得太大的值，需要对点积之后的矩阵进行放缩，这里通常采用的是softmax激活函数，对每一列进行放缩，放缩之后每一列中的数相加和等于1，如Fig.2所示。 Tab.1 Scalar product 最后我们会得到如Tab.1所示的词向量之间的相关性矩阵。从图中可以看到，"river"和"bank"的相关性比较高，所以它的颜色较深。Softmax为非线性激活函数，我们可以对self-attention进行叠加，让它成为一个深度self-attention网络模型。 将输入词向量与相关性矩阵相乘，会得到Contextualized embeddings向量，如Fig.3所示。 回顾一下 的计算过程可以发现， self-attention的输出就是所有输入的权重和 ，而权重 不是参数，而是输入 本身。因此，self-attention的输入与输出的维度是一样的。 在搜索栏中输入一个问题，这个叫 query ，然后搜索算法会根据你输入的问题的关键字 keys 来匹配你可能想要的结果，而匹配到的结果就叫做 values 。把这一关系放在Attention中，输入为 query ，通过计算 query 与各个 key 的相似性，得到每个 key 对应 value 的权重系数，然后对 value 进行加权求和，即得到最终attention的数值 [4] 。其整个过程如Fig.4所示。

上酷狗，查变形金刚--动画版主题曲，这是链接kugoo://|Music|变形金刚-动画片主题曲|2812351|1b41d39ccd5ff8ca99002e2e7932721b|/

适配器比变压器安全.

重新安装。首先先清除缓存和内存，重新安装AE，删除干净transformer预设文件和AE注册列表，在进行尝试打开。

一个是指变形金刚,一个是变压器

BERT:【 Pre-training of Deep Bidirectional Transformers for Language Understanding】 ○ 将预训练语言模型应用在下游任务中，一般有两种策略： 作者认为影响当前预训练语言模型的 瓶颈是——“模型是单向的” 。如 GPT 选择从左到右的架构，这使得每个 token 只能注意到它前面的 token，这对 sentence 级的任务影响还是次要的，但对于 token 级的任务来说影响就很巨大。例如问答任务，从两个方向结合上下文是至关重要的。 BERT 通过使用受完形填空任务启发的 Mask Language Model （MLM）缓解了先前模型的单向性约束问题。MLM 随机 mask 掉一些输入文本中的 token，然后根据剩下的上下文预测 masked 的 token。除了 Mask Language Model，作者还提出了 Next Sequence Predict 任务，来联合训练文本对表示。 论文中BERT的改进如下： 预训练前的一般语言表征有着悠久历史，本节我们简要回顾一下最广泛使用的方法。 2.1 基于特征的无监督方法 ： 几十年来，学习广泛适用的词汇表征一直是一个活跃的研究领域，包括非神经系统、神经系统方法。预训练的词嵌入是现代NLP系统的一个组成部分，与从头学习的嵌入相比，它提供了显著的改进（Turian等人，2010）。为了预先训练单词嵌入向量，已经使用了从左到右的语言建模目标（Mnih和Hinton，2009），以及在左右上下文中区分正确单词和错误单词的目标（Mikolov等人，2013）。 这些方法已被推广到更粗糙的粒度，例如句子嵌入（Kiros等人，2015；Logeswaran和Lee，2018）或段落嵌入（Le和Mikolov，2014）。为了训练句子表征，之前的工作已经使用了目标对候选下一个句子进行排序（Jernite等人，2017；Logeswaran和Lee，2018），根据前一个句子的表征从左到右生成下一个句子单词（Kiros等人，2015），或去噪自动编码器衍生的目标（Hill等人，2016）。 ELMo 及其前身（Peters等人，20172018a）从不同的维度概括了传统的单词嵌入研究。它们通过从左到右和从右到左的语言模型中提取上下文敏感的特征。每个标记的上下文表示是从左到右和从右到左表示的 串联 。在将上下文单词嵌入与现有任务特定架构相结合时，ELMo推进了几个主要NLP基准（Peters等人，2018a）的最新技术，包括问答（Rajpurkar等人，2016年）、情感分析（Socher等人，2013年）和命名实体识别（Tjong Kim-Sang和De Meulder，2003年）。Melamud等人（2016年）提出通过一项任务来学习语境表征，即使用 LSTM 从左右语境中预测单个单词。与ELMo类似，他们的模型是基于特征的，而不是深度双向的。Fedus等人（2018）表明，完形填空任务可以用来提高文本生成模型的 稳健性 。 2.2 无监督微调方法： 与 基于特征feature-based 的方法一样，第一种方法只在未标记文本中预先训练单词嵌入参数的情况下才朝这个方向工作。最近，产生上下文标记表示的句子或文档编码器已经从未标记的文本和文本中预训练出来针对受监督的下游任务进行了 微调fine-tuned 。 这些方法的 优点是 ，很少有参数需要从头学习。至少部分由于这一优势，OpenAI GPT在GLUE基准测试的许多句子级任务上取得了之前的最新成果。从左到右的语言建模和自动编码器目标已用于此类模型的预训练。 注解 ：BERT的整体预训练和微调程序。除了输出层之外，在预训练和微调中使用相同的体系结构。相同的预训练模型参数用于初始化不同下游任务的模型。在微调过程中，所有参数都会微调。 2.3 基于监督数据的迁移学习： 也有研究表明，在大数据集的监督任务中，如自然语言推理和机器翻译可以有效地进行转换。计算机视觉研究也证明了 从大型预训练模型中进行迁移学习的重要性 ，其中一个有效的方法是对使用ImageNet预训练模型进行微调。 本节将介绍BERT及其详细实现。在我们的框架中有两个步骤：预训练和微调。 BERT的一个显著特点是其跨不同任务的统一体系结构 。预训练的体系结构和最终的下游体系结构之间的差异最小。 BERT 的模型架构是 一种多层的双向 transformer encoder ，BERT 在实现上与 transformer encoder 几乎完全相同。 定义：transformer block 的个数为 L ; hidden 大小为 H; self-attentions head 的个数为 A. 作者主要展示了两种规模的 BERT 模型： 在这项工作中，我们将层数（即Transformer blocks）表示为L，隐藏大小表示为H，自我注意头的数量表示为A。我们主要报告两种型号的结果： 为了进行比较，选择BERT-base与OpenAI GPT具有相同的模型大小。然而，关键的是， BERT Transformer使用双向自注意力机制self-attention ，而 GPT Transformer使用受限自注意力机制constrained self-attention ，其中每个标记只能关注其左侧的上下文。 为了使 BERT 能处理大量不同的下游任务，作者将模型的输入设计成可以输入单个句子或句子对，这两种输入被建模成同一个 token 序列。作者使用了有 30000 个 token 的 vocabulary 词嵌入。 3.1 Pre-training BERT : 我们不使用传统的从左到右或从右到左的语言模型来预训练BERT。相反，我们使用本节所述的两个无监督任务对BERT进行预训练。这一步如图1的左半部分所示。 Task #1: Masked LM 标准的语言模型只能实现从左到右或从右到左的训练，不能实现真正的双向训练，这是因为双向的条件是每个单词能直接“看到自己”，并且模型可以在多层上下文中轻松的预测出目标词。 为了能够实现双向的深度预训练，作者选择 随机 mask 掉一些比例的 token ，然后预测这些被 masked 的 token，在这种设置下，被 masked 的 token 的隐向量表示被输出到词汇表的 softmax 上，这就与标准语言模型设置相同。作者将 这个过程称为“Masked LM”，也被称为“完形填空” 。 ○ Masked LM 预训练任务的缺点 ： 在于由于 [MASK] 标记不会出现在微调阶段，这就造成了预训练和微调阶段的不一致。为了解决该问题，作者提出了 一种折中的方案 ： ○ BERT 的 mask策略： Task #2: Next Sentence Prediction (NSP) 很多下游任务都是基于对两句话之间的关系的理解，语言模型不能直接捕获这种信息。为了训练模型理解这种句间关系，作者 设计了 next sentence prediction 的二分类任务 。具体来说，就是选择两个句子作为一个训练样本，有 50% 的概率是下一句关系，有 50% 的概率是随机选择的句子对， 预测将 [CLS] 的最终隐状态 C 输入 sigmoid 实现 。 ○ Pre-training data ： 作者选用了BooksCorpus (800M words) 和 English Wikipedia (2,500M words) 作为预训练的语料库，作者只选取了 Wikipedia 中的文本段落，忽略了表格、标题等。为了获取长的连续文本序列，作者选用了 BIllion Word Benchmark 这样的文档级语料库，而非打乱的句子级语料库。 3.2 Fine-tuning BERT ： 因为 transformer 中的 self-attention 机制适用于很多下游任务，所以可以直接对模型进行微调。对于涉及文本对的任务，一般的做法是独立 encode 文本对，然后再应用双向的 cross attention 进行交互。Bert 使用 self-attention 机制统一了这两个阶段，该机制直接能够实现两个串联句子的交叉编码。 对于不同的任务，只需要简单地将特定于该任务的输入输出插入到 Bert 中，然后进行 end2end 的fine-tuning。 与预训练相比，微调相对便宜。从完全相同的预训练模型开始，本文中的所有结果最多可以在单个云TPU上复制1小时，或在GPU上复制几个小时。 在本节中，我们将介绍11个NLP任务的BERT微调结果。 4.1 GLUE： GLUE (General Language Understanding Evaluation) 是多个 NLP 任务的集合。作者设置 batch size 为 32；训练 3 个 epochs；在验证集上从（5e-5, 4e-5, 3e-5, 2e-5）中选择最优的学习率。结果如下： 结果见表1。 BERT-base和BERT-large在所有任务上都比所有系统表现出色，与现有技术相比，平均准确率分别提高了4.5%和7.0% 。请注意，除了注意掩蔽，BERT-base和OpenAI GPT在模型架构方面几乎相同。 对于最大和最广泛报道的GLUE任务MNLI，BERT获得了4.6%的绝对准确率提高。在官方的GLUE排行榜10中，BERT-lagle获得80.5分，而OpenAI GPT在撰写本文之日获得72.8分。我们发现BERT-large在所有任务中都显著优于BERT-base，尤其是那些训练数据很少的任务。 4.2 SQuAD v1.1 : 斯坦福问答数据集（SQuAD v1.1）收集了10万对众包问答对。给出一个问题和一段维基百科中包含答案的文章，任务是预测文章中的答案文本。 如图1所示，在问答任务中，我们将输入的问题和段落表示为单个压缩序列，问题使用A嵌入，段落使用B嵌入。在微调过程，我们只引入一个起始向量S和一个端向量E。单词i作为答案范围开始的概率计算为Ti和S之间的点积，然后是段落中所有单词的softmax： 答案范围结束时使用类似公式。候选人从位置 i 到位置 j 的得分定义为：S·Ti + E·Tj ,最大得分跨度为 j≥ i 被用作预测。训练目标是正确起始位置和结束位置的对数概率之和。我们微调了3个阶段，学习率为5e-5，批量大小为32。 表2显示了顶级排行榜条目以及顶级发布系统的结果。SQuAD排行榜的前几名没有最新的公共系统描述，并且允许在训练系统时使用任何公共数据。因此，在我们的系统中使用适度的数据扩充，首先在TriviaQA上进行微调，然后再对团队进行微调。 我们表现最好的系统在ensembling方面的表现优于排名第一的系统，在ensembling方面的表现优于排名第一的系统+1.5 F1，在单一系统方面的表现优于排名第一的系统+1.3 F1得分。事实上，我们的单BERT模型在F1成绩方面优于顶级合奏系统。如果没有TriviaQA微调数据，我们只会损失0.1-0.4 F1，仍然远远超过所有现有系统。 其他实验：略 在本节中，我们对BERT的许多方面进行了消融实验，以便更好地了解它们的相对重要性。其他消融研究见附录C。 5.1 预训练任务的效果 ： ○ 进行了如下消融测试： ○ 结果如下： 5.2 模型大小的影响 ： ○ 结果如下： 作者证明了 ：如果模型经过充分的预训练，即使模型尺寸扩展到很大，也能极大改进训练数据规模较小的下游任务。 5.3 将 Bert 应用于 Feature-based 的方法 ： ○ feature-based 的方法是从预训练模型中提取固定的特征，不对具体任务进行微调 。 ○ 这样的方法也有一定的优点 ： 作者进行了如下实验：在 CoNLL-2003 数据集上完成 NER 任务，不使用 CRF 输出，而是从一到多个层中提取出激活值，输入到 2 层 768 维的 BiLSTM 中，再直接分类。结果如下： 结果说明：无论是否进行微调，Bert 模型都是有效的。 个人认为 Bert 的意义在于： 由于语言模型的迁移学习，最近的经验改进表明，丰富的、无监督的预训练是许多语言理解系统的一个组成部分。特别是，这些结果使得即使是低资源任务也能从深层单向体系结构中受益。我们的主要贡献是将这些发现进一步推广到深层双向体系结构中，使相同的预训练模型能够成功地处理广泛的NLP任务。

sklearn.pipeline.Pipeline 在Sklearn当中有三大模型：Transformer 转换器、Estimator 估计器、Pipeline 管道 Transformer有输入有输出，同时输出可以放入Transformer或者Estimator 当中作为输入。 y_predict 是估计器的输出模型，估计器输出无法再放入Transformer 或 Estimator当中再获取另一个输出了。 将Transformer、Estimator 组合起来成为一个大模型。 管道： 输入→□→□→□→■→ 输出 □：Transformer ； ■：Estimator ； Transformer放在管道前几个模型中，而Estimator 只能放到管道的最后一个模型中。 结合： 04 回归算法 - 最小二乘线性回归案例 05 回归算法 - 多项式扩展、管道Pipeline 头文件引入Pipeline： from sklearn.pipeline import Pipeline 其他需要引入的包： Pipeline 的参数是一个列表，列表中存放着每一个模型的信息。 第0个模型名字： ss，告诉系统我要做 数据标准化 。 第1个模型名字： Poly，告诉系统我要做一个 多项式扩展 。 PolynomialFeatures即进行了ss= StandardScaler()的操作,并做了3阶的扩展 第2个模型名字： Linear，告诉系统进行 模型训练 。 fit_intercept=False 表示截距为0 截距：y=ax+b, b是截距。一般推荐使用fit_intercept=True。 如果输入特征包含x1,x2，将特征放入多项式扩展的图纸后，我们会得到一个针对x1,x2扩展的特征集，并把数据输出出来。因此在多项式扩展的算法中，存储的特征集合将是扩展后的结果。 最后用一张图解释fit、transfrom操作在管道和一般模型训练中的区别：

alue is the significance given to a particular good by a person. 古典经济学家依赖客观价值理论,自... 不可能通过对各单位的边际效

晚一点我调试一下告诉你啊 另外，你能不能把 帖子的地址 说说啊，太久了，都忘了 找到了，import java.io.File;import javax.xml.parsers.DocumentBuilder;import javax.xml.parsers.DocumentBuilderFactory;import javax.xml.transform.Transformer;import javax.xml.transform.TransformerFactory;import javax.xml.transform.dom.DOMSource;import javax.xml.transform.stream.StreamResult;import org.w3c.dom.Document;import org.w3c.dom.Element;import org.w3c.dom.Text;public class CreateXML {public static void main(String[] args) throws Exception { //实例化解析器 DocumentBuilderFactory factory = DocumentBuilderFactory.newInstance(); DocumentBuilder builder = factory.newDocumentBuilder(); //创建Document对象 Document doc = builder.newDocument();//创建XML文件所需的各种对象并序列化 Element root = doc.createElement("root"); Element name = doc.createElement("name"); Text nameText = doc.createTextNode("zs"); name.appendChild(nameText); root.appendChild(name); doc.appendChild(root); name.setAttribute("id", "2"); doc2XmlFile(doc,"test.xml");}public static boolean doc2XmlFile(Document document, String filename) { boolean flag = true; try { TransformerFactory tFactory = TransformerFactory.newInstance(); Transformer transformer = tFactory.newTransformer(); /** 编码 */ // transformer.setOutputProperty(OutputKeys.ENCODING, "GB2312"); DOMSource source = new DOMSource(document); StreamResult result = new StreamResult(new File(filename)); transformer.transform(source, result); } catch (Exception ex) { flag = false; ex.printStackTrace(); } return flag;}}我刚试过一点毛病都没，直接copy过去，生成test.xml<?xml version="1.0" encoding="UTF-8" standalone="no"?><root> <name id="2">zs</name></root> 你是不是配置的问题，或者是代码修改过？

基于Transformer的模型已经引领NLP领域,然而基于Transformer的方法随着输入文本长度的增加,计算量剧增,并且Transformer能处理的句子长度受限,已有的方法大多使用截断的方式

这篇文章在ViT的基础上提出了一种仅利用Transformer结构实现的ReID方法，并获得了较好的实验性能。 这篇文章的创新点包括三部分： TransReID结构如图3所示，相对于ViT-BoT主要两点不同，第一个是embedding层引入了SIE即边缘信息，第二个是局部分支的处理。 主要目的是缓解跨摄像机、跨视角等条件下的表观偏置，一般的基于CNN的方法通过设计专门的损失函数或者设计特殊的网络结构融合side information，比如相机id和视角信息等。 本文的方法直接对相机编码和视角进行了编码，然后与表观编码和位置编码进行融合。具体而言，相机id编码表示为 , 视角编码表示为 , 如果相机id和视角信息同时存在，则编码为 , 而非 ，作者分析认为是避免了 的相互抵消，但我觉得其原因在于联合分布优于边缘分布。对于相机id的编码对整张图像相同，而对于视角的编码则对一个目标的所有patch相同。 注意： 这里 是和位置编码一样的直接学习的参数，他和位置编码不同点在于 对同一图像中同一目标的不同patch是相同的，而位置编码这是不同图像中相同位置的patch是相同的。 文章中将最后一层transformer分成并行的两个transformer，一个和原来的一样用于提供全局特征。另一个则用于提供局部特征。 问题的关键是如何构建局部特征，最直接的想法是将patches分成 个group，然后学习 个局部特征。如果按顺序划分的话，由于patch本身就是按距离有序的，因此会导致信息局限在有限连续区域内。所以本文对patch进行了随机的划分成不重叠的 组。 文章中说了很多，什么shift operation， shuffle operation。本质就是随机分组。 分组之后，每组的特征再加上token class的特征放入到transformer中输出一个token class 的特征表示该组提供的局部特征，所有的组共享一个transformer，每组使用的损失函数和全局的损失函数相同。 注意 这里在获得局部特征时，不是讲每一组特征cat在一起，然后输入query数为k+1的transformer中，而是每一组单独输入query 数为 的的transformer中。这样的话，其position embedding可以与整个Trans"R"eID对应起来。 图4给出的是使用SIE前后对于相机id，视角产生的特征偏置的弥合作用。 a，b两个图表示的不使用SIE时，在相机ID和视角两个方面同类和不同类中样本相似度的分布，我们希望的是样本特征能够与是否同类无关，也就是说希望绿色和粉色的两个分布重合，但可以发现不用SIE时两个分布差别较明显。 c，d分别表示使用SIE之后的分布差异，可以发现两个分布有靠拢的趋势，但其实差别还是挺大的。 提出了一种纯依赖transformer的ReID方法，包括SIE和JPM两个模块。其实个人觉得JPM这块还有挺大的值得讨论的空间。

EXO-TRANSFORMER灿烈 :She"s such a transformerEXO! Let"s go!KAI:Hold up, hold up, hold up, hold upuc124uba85ud558uae30 uc5b4ub824uc6cc uadf8ub140 ubb50uc57c ub300uccb4 ubb54ub370世勋:uc800uae30 uc800uae30 uc800uae30 uc800uae30uc21cuc2dduac04uc5d0 ub3ccubcc0ud558uba74 uac10ub2f9ud558uae30 ud798ub4e0ub370灿烈:You slow down, then you speed upub2f5uc740 uc5c6uc9c0 uadf8uc800 uba4dud558ub2c8 ubc14ub77cubd24uc5b4KAI:ub0b4uac00 ub3c4uc804ud560 uae38uc744 ube44ucdb0uc900 girluc27duc9c0 uc54auc544 ub108ub294 mega girlD.O.:Oh baby baby baby uc9dcub9bfud55c ub9ccud07c uc704ud5d8ud574suho:ub108ub294 uac15ub82cud574 ub208ubd80uc154 D.O.:ub9deuc11c uc2f8uc6b8 uc0dduac01 uc5c6uc5b4SUHO:Hey pretty lady uc0dduac01ub9cc ub354 uae4auc5b4uc9c0ub294ub370SUHO:uc880ub354 uac15ud558uac8c ub54cub860 ubd80ub4dcub7fduac8c伯贤:uadf8ub140 uc55euc5d0 uc55euc5d0 uc55euc5d0 uc124 ub54cTick tick boom boom ‘bout to blowSUHO:uc0c1uc0c1uc870ucc28 ubabbud588uc5c8ub358灿烈:ub05dub0b4 uc9c0ubc30ud558ub294 uc8fcuc778 ub098uc758 uc624ub108Cause you"re you"re you"re a transformer伯贤: uc790 ...

在百度上仅按"隔离变压器"搜索即可出答案.

貌似你在百度上也提了这样的问题。 第一个问题，我感觉是这样的：Free Breathing字面上是自由呼吸的意思，而油浸式变压器中的液体是用来冷却的，这个冷却的过程是通过液体的循环来实现的，有点像呼吸的过程，而说它是Free的话，应该是说它的循环过程自动化程度较高，不需要过多的干预，会自然而然的进行下去故说它是Free。 第二个问题中的Bar Primary type Transformer 的bar解释为棒形自然不错，更专业点应该是插芯式的（棒在线圈中间），至于Primary type 我不好解释，是解释为“初级线圈”呢，还是“主要的”，这个我搞不太懂。不过我个人倾向于前者，初级线圈或者初级线式或初级绕组。我猜应该叫“初级绕组式插芯电流互感器”。

Transformer Book T300 Chi 华硕出品12.5英寸最薄平板 华硕的Slim预告原来说其真身这台 Transformer Book T300平板。这平板简直薄的不能再薄了，甚至华硕可以骄傲地宣称它是世界最薄的 12.5 吋平板。除了搭载 Intel新一代Core i 处理器之外，T300 的面板分辨率有 2,560 x 1,440 之谱，再加上内建的 4G LTE 数据能力，Chi 真的是个相当吸引人的组合。 华硕集团董事长施崇棠先生亲自发布产品 6月2日，华硕在台北寒舍艾丽酒店举行全球媒体发布会，会上华硕集团董事长施崇棠先生亲自发布了包括ZenBook NX500笔记本、ProArt PA328Q 4K显示器、RT-AC3200路由器、ZenUI、基于64位Atom Z3560处理器的fonePad、MEMO Pad 8、MEMO Pad 7和Transformer Book T300 Chi变形本。 华硕集团董事长施崇棠先生亲自发布产品 其中Transformer Book T300 Chi在不装载键盘部分时的厚度仅为7.3mm，是目前世界上最薄的12.5英寸平板电脑。配置上，Transformer Book T300 Chi(蚩尤?)将使用Intel下一代Core处理器，整合Intel HD Graphics图像处理器，搭载一块分辨率为2560x1440的WQHD IPS屏幕，支持4G LTE网络，支持Windows 8.1 Pro操作系统。从规格上来看非常高端，可以和微软的Surface Pro 3比肩。 华硕集团董事长施崇棠先生亲自发布产品 华硕很坏心眼地把它关在了玻璃箱里，大家摸不到，玩不到，只能嚓嚓嚓拍几张照片来过把瘾了!目前，一切都是谜题，没有售价，没有上市时间，不知道大家合适才能等到这款超薄的Transformer Book T300 Chi。 Transformer Book T300 Chi 华硕出品12.5英寸最薄平板 Transformer Book T300 Chi 华硕出品12.5英寸最薄平板 Transformer Book T300 Chi 华硕出品12.5英寸最薄平板 Transformer Book T300 Chi 华硕出品12.5英寸最薄平板 Transformer Book T300 Chi 华硕出品12.5英寸最薄平板

打开app，然后把定位改到那里，直接搜索，选择一个自己喜欢的

转化器和变压器的区别：转换器（converter）： 是指将一种信号转换成另一种信号的装置。信号是信息存在的形式或载体。在自动化仪表设备和自动控制系统中，常将一种信号转换成另一种与标准量或参考量比较后的信号，以便将两类仪表联接起来，因此，转换器常常是两个仪表（或装置）间的中间环节。格式转换器：视频编辑软件的音视频文件格式转换功能音频、视频格式转换器是一类运用非常的热门软件，相比于上文的信号转换器，主要广泛应用于普通家庭，主要的运用方面有：视频格式转换，音频格式转换，常见的视频格式转换有RMVB、AVI转MP4、3GP，这些转换主要用于手机视频的播放，RMVB、AVI转DVD，这些转换主要用于刻录DVD光盘。常见的音频格式转换有MP3、APE转M4A、AAC，通过转换可将音乐在ipod等上播放。变压器（Transformer）： 是利用电磁感应的原理来改变交流电压的装置，主要构件是初级线圈、次级线圈和铁芯（磁芯）。主要功能有：电压变换、电流变换、阻抗变换、隔离、稳压（磁饱和变压器）等。按用途可以分为：电力变压器和特殊变压器（电炉变、整流变、工频试验变压器、调压器、矿用变、音频变压器、中频变压器、高频变压器、冲击变压器、仪用变压器、电子变压器、电抗器、互感器等）。电路符号常用T当作编号的开头.例: T01, T201等。工作原理：变压器由铁芯（或磁芯）和线圈组成，线圈有两个或两个以上的绕组，其中接电源的绕组叫初级线圈，其余的绕组叫次级线圈。变压器是利用电磁感应原理制成的静止用电器。当变压器的原线圈接在交流电源上时，铁心中便产生交变磁通，交变磁通用φ表示。原、副线圈中的φ是相同的，φ也是简谐函数，表为φ=φmsinωt。由法拉第电磁感应定律可知，原、副线圈中的感应电动势为e1=-N1dφ/dt、e2=-N2dφ/dt。式中N1、N2为原、副线圈的匝数。由图可知U1=-e1，U2=e2（原线圈物理量用下角标1表示，副线圈物理量用下角标2表示），其复有效值为U1=-E1=jN1ωΦ、U2=E2=-jN2ωΦ，令k=N1/N2，称变压器的变比。由上式可得U1/ U2=-N1/N2=-k，即变压器原、副线圈电压有效值之比，等于其匝数比而且原、副线圈电压的位相差为π。

文章从自己幼年的不幸遭遇写起，说明自己与祖母相依为命的特殊感情，叙述祖母抚育自己的大恩，以及自己应该报养祖母的大义；除了感谢朝廷的知遇之恩以外，又倾诉自己不能从命的苦衷，辞意恳切，真情流露，语言简洁，委婉畅达。此文被认定为中国文学史上抒情文的代表作之一，有“读诸葛亮《出师表》不流泪不忠，读李密《陈情表》不流泪者不孝”的说法。相传晋武帝看了此表后很受感动，特赏赐给李密奴婢二人，并命郡县按时给其祖母供养。扩展资料：创作背景李密时年44岁，以晋朝“以孝治天下”为口实，以祖母供养无主为由，上《陈情表》以明志，要求暂缓赴任，上表恳辞。当时东吴尚据江左，为了减少灭吴的阻力，收笼东吴民心，晋武帝对亡国之臣实行怀柔政策，以显示其宽厚之胸怀。李密当时以孝闻名于世，晋武帝承继汉代以来以孝治天下的策略，实行孝道，以显示自己清正廉明，同时也用孝来维持君臣关系，维持社会的安定秩序。正因为如此，李密屡被征召。李密则向晋武帝上此表“辞不就职”

百度上面搜索EXO以后里面有