集群计算的集群计算(Cluster Computing)

因果测度是聚类分析测度相似性的方法。聚类（Clustering）就是一种寻找数据之间内在结构的技术。聚类把全体数据实例组织成一些相似组，而这些相似组被称作簇。处于相同簇中的数据实例彼此相同，处于不同簇中的实例彼此不同。聚类分析定义聚类分析是根据在数据中发现的描述对象及其关系的信息，将数据对象分组。目的是，组内的对象相互之间是相似的（相关的），而不同组中的对象是不同的（不相关的）。组内相似性越大，组间差距越大，说明聚类效果越好。聚类效果的好坏依赖于两个因素：1.衡量距离的方法（distance measurement） 2.聚类算法（algorithm）聚类分析常见算法K-均值聚类也称为快速聚类法，在最小化误差函数的基础上将数据划分为预定的类数K。该算法原理简单并便于处理大量数据K-均值算法对孤立点的敏感性，K-中心点算法不采用簇中对象的平均值作为簇中心，而选用簇中离平均值最近的对象作为簇中心。也称为层次聚类，分类的单位由高到低呈树形结构，且所处的位置越低，其所包含的对象就越少，但这些对象间的共同特征越多。该聚类方法只适合在小数据量的时候使用，数据量大的时候速度会非常慢。

成群 [词典] in groups; in large numbers; clustering; ganging; [例句]蚂蚁从地下成群地钻出来，爬满了她的鞋子和双腿。Ants swarmed up out of the ground and covered her shoes and legs.

clustering是聚集系数的意思，复杂网络里的一个静态统计特征。选定一个数据集后，求得的是个个节点的聚集系数。把这些节点的聚集系数求和，除以总数就可得出该网络的聚集系数。

算法书上往往这样解释二者的区别：分类是把某个对象划分到某个具体的已经定义的类别当中，而聚类是把一些对象按照具体特征组织到若干个类别里。虽然都是把某个对象划分到某个类别中，但是分类的类别是已经预定义的，而聚类操作时，某个对象所属的类别却不是预定义的。所以，对象所属类别是否为事先，是二者的最基本区别。而这个区别，仅仅是从算法实现流程来看的。

CLP和REACH是两部不同的欧盟法规，针对化学品。（一）CLP法规CLP法规（Classification,labelingandpackaging）即欧盟1272/2008号法规，全称为物质和混合物(配制品)的分类、标签和包装法规。同时，CLP法规也是全球统一的分类与标签系统(GHS)在欧盟的具体体现，已于2009年1月20日正式生效。CLP法规生效后，企业的义务：1、提供并传递符合CLP的安全数据表(SDS)。SDS旧称为MSDS。2、协同进口商进行分类标签(C&L)通报（二）REACH法规欧盟于2008年6月1日开始实施，全称为“Registration,Evaluation,AuthorisationandRestrictionofChemicals”的化学品注册、评估、许可和限制法规（以下简称REACH法规），注册是该法规下最主要的义务。注册物质范围：●投放欧盟市场超过1吨/年的化学物质；●投放欧盟市场的配制品中超过1吨/年的化学物质组分；●投放欧盟市场的物品中有意释放的化学物质，且总量超过1吨/年。注：物品中有意释放物质：在正常或合理可预见的使用情况下有意从物品中释放的物质，通常为了实现该物品的某种辅助功能，如橡皮中的香味物质。注册主体：●欧盟境内的物质、配制品、物品生产商：●欧盟境内的物质、配制品、物品进口商；●非欧盟物质、配制品、物品生产商：必须通过欧盟境内的唯一代表（OR）来履行注册义务。

http://en.wikipedia.org/wiki/Volatility_clustering

步骤如下1.使用coherence3.3+openfire3.7.1+clustering.jar1.2.02.将coherence3.3中的三个jar包coherence.jar+coherence-work.jar+tangosol.jar拷贝到openfire的安装目录的lib下3.将clustering.jar拷贝到openfire的安装目录下的插件plugin包中4.重启服务，登陆到web管理控制台，在clustering目录下设置enable5.再重启服务，登陆管理控制台时，初始化错误异常java.lang.ExceptionInInitializerError at org.jivesoftware.openfire.lockout.LockOutManager.getInstance(LockOutManager.java:58) at org.jivesoftware.openfire.auth.AuthFactory.authenticate(AuthFactory.java:154) at org.jivesoftware.openfire.admin.login_jsp._jspService(login_jsp.java:149) at org.apache.jasper.runtime.HttpJspBase.service(HttpJspBase.java:97) at javax.servlet.http.HttpServlet.service(HttpServlet.java:820) at org.mortbay.jetty.servlet.ServletHolder.handle(ServletHolder.java:487) at org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1093) at com.opensymphony.module.sitemesh.filter.PageFilter.doFilter(PageFilter.java:39) at org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1084) at org.jivesoftware.util.LocaleFilter.doFilter(LocaleFilter.java:66) at org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1084) at org.jivesoftware.util.SetCharacterEncodingFilter.doFilter(SetCharacterEncodingFilter.java:42) at org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1084) at org.jivesoftware.admin.PluginFilter.doFilter(PluginFilter.java:70) at org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1084) at org.jivesoftware.admin.AuthCheckFilter.doFilter(AuthCheckFilter.java:146) at org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1084) at org.mortbay.jetty.servlet.ServletHandler.handle(ServletHandler.java:360) at org.mortbay.jetty.security.SecurityHandler.handle(SecurityHandler.java:216) at org.mortbay.jetty.servlet.SessionHandler.handle(SessionHandler.java:181) at org.mortbay.jetty.handler.ContextHandler.handle(ContextHandler.java:726) at org.mortbay.jetty.webapp.WebAppContext.handle(WebAppContext.java:405) at org.mortbay.jetty.handler.ContextHandlerCollection.handle(ContextHandlerCollection.java:206) at org.mortbay.jetty.handler.HandlerCollection.handle(HandlerCollection.java:114) at org.mortbay.jetty.handler.HandlerWrapper.handle(HandlerWrapper.java:152) at org.mortbay.jetty.Server.handle(Server.java:324) at org.mortbay.jetty.HttpConnection.handleRequest(HttpConnection.java:505) at org.mortbay.jetty.HttpConnection$RequestHandler.content(HttpConnection.java:843) at org.mortbay.jetty.HttpParser.parseNext(HttpParser.java:648) at org.mortbay.jetty.HttpParser.parseAvailable(HttpParser.java:211) at org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:380) at org.mortbay.io.nio.SelectChannelEndPoint.run(SelectChannelEndPoint.java:395) at org.mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:488)Caused by: java.lang.IllegalStateException: Unable to access backing cache for Locked Out Accounts. BackingMapManager is a com.tangosol.net.DefaultConfigurableCacheFactory$Manager and backing map is com.tangosol.net.cache.LocalCache at com.jivesoftware.util.cache.ClusteredCache.init(ClusteredCache.java:106) at com.jivesoftware.util.cache.ClusteredCache.(ClusteredCache.java:59) at com.jivesoftware.util.cache.CoherenceClusteredCacheFactory.createCache(CoherenceClusteredCacheFactory.java:177) at org.jivesoftware.util.cache.CacheFactory.createCache(CacheFactory.java:331) at org.jivesoftware.openfire.lockout.LockOutManager.(LockOutManager.java:70) at org.jivesoftware.openfire.lockout.LockOutManager.(LockOutManager.java:33) at org.jivesoftware.openfire.lockout.LockOutManager$LockOutManagerContainer.(LockOutManager.java:37) ... 33 more起初怀疑是coherence与openfire的版本不兼容，之后试了coherence3.7.1，coherence3.6.1，coherence3.5，coherence3.4与openfire3.7.1、openfire3.6.4的各种排列组合均报异常。

摘要翻译 ： 多重聚类旨在探索alternative（替代性，可选择的）聚类，以从不同角度将数据组织成有意义的组别。现有的多种聚类算法是为单视图数据设计的。我们假设可以利用多视图数据的个性（异质性）和共性（共享性）来生成高质量和多样化的聚类。为此，我们提出了一种新颖的多视图多聚类（MVMC）算法。MVMC采用多视图自我表示学习，以探索分视图个性编码矩阵以及学习多视图数据的共享共性矩阵。使用Hilbert-Schmidt独立准则（HSIC），它还可以减少矩阵之间的冗余度（即增强个性），并通过强制共享矩阵在所有视图之间保持平滑来收集共享信息。然后，它将单个矩阵与共享矩阵一起使用矩阵分解，以生成各种高质量的聚类。我们进一步扩展了对多视图数据的多重co-clustering，并提出了一种称为多视图多共聚（Multi-view Multiple Co-Clustering，MVMCC）的解决方案。我们的经验研究表明，MVMC（MVMCC）可以利用多视图数据来生成多个高质量和多样化的聚类（共聚类），其性能优于最新方法。 模型图 ： 从模型图中也可以清晰的看出，对于同一个多视图对象信息而言，具有两个可选的（可代替的）聚类（texture+shape和color+shape），即个性（texture和color）和共性（shape）的组合方法。从此示例中，可以看到，多视图数据不仅包括用于生成高质量聚类的共性信息（如多视图聚类那样），还包括用于生成各种聚类的个体（或特定）信息（如多重聚类（multiple clustering）所要达到的目的一样）。 目标函数设定 MVMC首先扩展了多视图自我表示学习，以探索 个性信息编码矩阵 和 跨视图共享的共性信息矩阵 。为了从多个视图中获得更可信的公共信息，强制公共信息矩阵在所有视图之间均保持平滑。并且因为具有统一的目标函数，所以可以利用个性来生成各种聚类，同时可以利用共性提高生成聚类的质量。 如作者所说，U代表共性矩阵，而D^k代表的是m个视图中存在的h个个性矩阵中的第k个。在一般的表示学习中，h=m。是因为数据样本可以表示为子空间中其他样本的线性组合，这种假设也广泛的应用在稀疏表示和低秩表示学习中。 为了增强多视图数据个性中的多样性，论文使用了HSIC计算两个个性矩阵之间的相关性。 用于计算任意两个个性矩阵的相似性和依赖性，对于其中用到的K矩阵和H矩阵都进行了定义。 为最小化h个个性矩阵减少之间的依赖性，论文定义了如下约束： 同理为了更好的获取共享信息的矩阵，也进行相应的约束： Given the equivalence between matrix factorization based clustering and spectral clustering (or k-means clustering)，为探索不同的k个聚类，作者使用了在U+D^k的矩阵上进行矩阵分解得到个性矩阵和共享矩阵使用如下的方式： so，优化目标 通过求解方程（6），我们可以通过利用多个视图的共性和个性信息同时获得多个质量的聚类。 在优化方式上，依旧是选择了迭代优化的方法。 结论： 在本文中，我们提出了一种从多视图数据生成多个聚类（共聚类）的方法，这是一个有趣的但被广泛忽略的聚类主题，涵盖了多视图聚类和多个聚类。 我们的方法利用了多视图数据的多样性和通用性来生成多个聚类，并且胜过了最新的多个聚类解决方案。 我们的研究证实了多视图数据的个性和共性的存在，以及它们对生成高质量高质量聚类的贡献。 将来，我们计划找到一种原则性的方法来自动确定替代聚类的数量，并探索数据视图的加权方案。

Thus, clustering appears to be an energy-efficient communication protocol. However, the local base station is assumed to be a high-energy node; if the base station is an energy-constrained node, it would die quickly, as it is being heavily utilized. 因而，数据簇分组(聚类)看起来是一个高效节能的通信协议。然而本地基站应假设为高能节点；否则，随着大规模利用，基站将很快崩溃/衰竭。Thus, conventional clustering would perform poorly for our model of microsensor networks.所以，在我们的微传感器模型中，这种便捷的聚类方式却显得没有什么成效。The Near Term Digital Radio (NTDR) project [12, 16], an army-sponsored program, employs an adaptive clustering approach, similar to our work discussed here. 近期数字电台(即NTDR)项目(引自文献12,16)，一个为支持军队作战的计划方案，采取了一种新型适应性的(簇)聚类方式，这里我们研究所讨论的方案与之类似。In this work, cluster-heads change as nodes move in order to keep the network fully connected. 在这样的网络中，簇首随节点变动而更改，从而保证整个网络畅通。However, the NTDR protocol is designed for long-range communication, on the order of 10s of kilometers, and consumes large amounts of power, on the order of 10s ofWatts. 不过，NTDR协议是针对于10千米数量级的远程通讯而设计的，它所消耗的能量是巨大的，一般在10瓦特的数量级。Therefore, this protocol also does not fit our model of sensor networks.所以，此协议也并不适用于我们的感应网络模型。

谱聚类概念 ： 谱聚类是一种基于图论的聚类方法，通过对样本数据的拉普拉斯矩阵的特征向量进行聚类，从而达到对样本数据聚类的母的。谱聚类可以理解为将高维空间的数据映射到低维，然后在低维空间用其它聚类算法（如KMeans）进行聚类。 算法步骤 1 计算相似度矩阵 W 2 计算度矩阵 D 3 计算拉普拉斯矩阵L=D-W 4 计算L的特征值，将特征值从小到大排序，取前k个特征值.将这个特征值向量转换为矩阵 5 通过其他聚类算法对其进行聚类，如k-means 详细公式和概念请到 大佬博客 相比较PCA降维中取前k大的特征值对应的特征向量，这里取得是前k小的特征值对应的特征向量。但是上述的谱聚类算法并不是最优的，接下来我们一步一步的分解上面的步骤，总结一下在此基础上进行优化的谱聚类的版本。 python实现 例子一：使用谱聚类从噪声背景中分割目标 效果图 例子2：分割图像中硬币的区域 效果图 注意 1）当聚类的类别个数较小的时候，谱聚类的效果会很好，但是当聚类的类别个数较大的时候，则不建议使用谱聚类； （2）谱聚类算法使用了降维的技术，所以更加适用于高维数据的聚类； （3）谱聚类只需要数据之间的相似度矩阵，因此对于处理稀疏数据的聚类很有效。这点传统聚类算法（比如K-Means）很难做到 （4）谱聚类算法建立在谱图理论基础上，与传统的聚类算法相比，它具有能在任意形状的样本空间上聚类且收敛于全局最优解 （5）谱聚类对相似度图的改变和聚类参数的选择非常的敏感； （6）谱聚类适用于均衡分类问题，即各簇之间点的个数相差不大，对于簇之间点个数相差悬殊的聚类问题，谱聚类则不适用； 参考 谱聚类算法介绍 sklearn官网

就其意义而言，欧氏距离越小，两个用户相似度就越大，欧氏距离越大，两个用户相似度就越小。 在日常使用中，一般习惯于将相似度与1类比，相似度在数值上反映为0<=Similarity(X,y)<=1，越接近1，相似度越高； 那么我们在使用欧几里得距离时，可以通过 1/（1+Distance(X,Y)）来贯彻上一理念。 样本属性可能有的类型有： 数值型，命名型，布尔型…… 在计算样本之间的距离时，需要将不同类型属性分开计算，最后统一相加，得到两个样本之间的距离。下面将介绍不同类型的属性的数据计算方法。 也叫离差标准化，是对原始数据的线性变换，使结果落到[0,1]区间，转换函数如下： 其中Vi 表示在第i条记录在A这个属性上的取值，MINA表示A这个属性上的最小值，new_maxA表示我们希望映射到的区间的右边界，其他同理。 这种方法有一个缺陷就是当有新数据加入时，可能导致max和min的变化，需要重新定义。 图中蓝色和黄色的线代表曼哈顿距离，绿色的线代表欧几里得距离即欧式距离 计算公式: Jaccard距离用来度量两个集合之间的差异性，它是Jaccard的相似系数的补集，被定义为1减去Jaccard相似系数。 总的变换距离（the total variation distance），记为 Δ(P, Q)，是上述等式的一半。 显然： 对于概率分布 P = {pi}i∈[n], Q = {qi}i∈[n]，两者之间的Hellinger distance 定义为： 根据定义，Hellinger distance 是一种满足三角不等式（triangle inequality）的度量。根号下2是为了确保对于所有的概率分布，都有 h(P, Q) <= 1。 上表表示对与不同的样本i,j，统计它们布尔型同时为1的属性个数，同时为0的属性个数，分别为1和0的属性个数，它们的距离计算方式如下所示： 这个公式的含义其实就是两个样本之间，取值不同的属性的数量与所有属性的数量的比值。 Use"Similarity" measure to group data items. 主要思想：首先人为决定将要将数据集分为k个簇，然后根据簇内部相似性要尽可能大，簇之间相似性要尽可能小的思想，将样本分到不同的簇当中去。 中心思想： 层次聚类，是一种很直观的算法。顾名思义就是要一层一层地进行聚类，可以从下而上地把小的cluster合并聚集，也可以从上而下地将大的cluster进行分割。似乎一般用得比较多的是从下而上地聚集，因此这里我就只介绍这一种。 所谓从下而上地合并cluster，具体而言，就是每次找到距离最短的两个cluster，然后进行合并成一个大的cluster，直到全部合并为一个cluster。整个过程就是建立一个树结构，类似于下图。 那 么，如何判断两个cluster之间的距离呢？一开始每个数据点独自作为一个类，它们的距离就是这两个点之间的距离。而对于包含不止一个数据点的 cluster，就可以选择多种方法了。最常用的，就是average-linkage，即计算两个cluster各自数据点的两两距离的平均值。类似的 还有single-linkage/complete-linkage，选择两个cluster中距离最短/最长的一对数据点的距离作为类的距离。 公式 Hierarchical Clustering特点： 1）Start with each node as its own Cluster 4.2: Clustering around Centroids(围绕中心点聚类) K-medoid method 相对k-means 来说比较不受离群点的干扰。

聚类分析是基于数据自身信息来对高维数据进行分类的一种多元统计分析方法。聚类分析可以将研究目的、专业理论和数据特征相结合，遵照同类变量或现象之间的内部差异最小化，不同类别变量或现象之间的相互差异最大化的原则，来进行社会调查研究中的类别划分。

聚类分析的主要步骤聚类分析的主要步骤1.数据预处理，2.为衡量数据点间的相似度定义一个距离函数，3.聚类或分组，4.评估输出。数据预处理包括选择数量，类型和特征的标度，它依靠特征选择和特征抽取，特征选择选择重要的特征，特征抽取把输入的特征转化为一个新的显著特征，它们经常被用来获取一个合适的特征集来为避免“维数灾”进行聚类，数据预处理还包括将孤立点移出数据，孤立点是不依附于一般数据行为或模型的数据，因此孤立点经常会导致有偏差的聚类结果，因此为了得到正确的聚类，我们必须将它们剔除。既然相类似性是定义一个类的基础，那么不同数据之间在同一个特征空间相似度的衡量对于聚类步骤是很重要的，由于特征类型和特征标度的多样性，距离度量必须谨慎，它经常依赖于应用，例如，通常通过定义在特征空间的距离度量来评估不同对象的相异性，很多距离度都应用在一些不同的领域，一个简单的距离度量，如Euclidean距离，经常被用作反映不同数据间的相异性，一些有关相似性的度量，例如PMC和SMC，能够被用来特征化不同数据的概念相似性，在图像聚类上，子图图像的误差更正能够被用来衡量两个图形的相似性。将数据对象分到不同的类中是一个很重要的步骤，数据基于不同的方法被分到不同的类中，划分方法和层次方法是聚类分析的两个主要方法，划分方法一般从初始划分和最优化一个聚类标准开始。CrispClustering，它的每一个数据都属于单独的类；FuzzyClustering，它的每个数据可能在任何一个类中，CrispClustering和FuzzyClusterin是划分方法的两个主要技术，划分方法聚类是基于某个标准产生一个嵌套的划分系列，它可以度量不同类之间的相似性或一个类的可分离性用来合并和分裂类，其他的聚类方法还包括基于密度的聚类，基于模型的聚类，基于网格的聚类。评估聚类结果的质量是另一个重要的阶段，聚类是一个无管理的程序，也没有客观的标准来评价聚类结果，它是通过一个类有效索引来评价，一般来说，几何性质，包括类间的分离和类内部的耦合，一般都用来评价聚类结果的质量，类有效索引在决定类的数目时经常扮演了一个重要角色，类有效索引的最佳值被期望从真实的类数目中获取，一个通常的决定类数目的方法是选择一个特定的类有效索引的最佳值，这个索引能否真实的得出类的数目是判断该索引是否有效的标准，很多已经存在的标准对于相互分离的类数据集合都能得出很好的结果，但是对于复杂的数据集，却通常行不通，例如，对于交叠类的集合。

波动集群（Volatility clustering）现象是指“收益的巨大变化通常伴随着进一步的巨大变化”这样一种现象，即随机扰动项之间是不相关的，但是它们的绝对值或平方值却显示出一定的正相关性。在金融数据中发现的这一现象促进了ARCH与GARCH模型的诞生。

优缺点如下：1、优点k-平均算法是解决聚类问题的一种经典算法，算法简单、快速。对处理大数据集，该算法是相对可伸缩的和高效率的，因为它的复杂度大约是O(nkt) O(nkt)O(nkt)，其中n是所有对象的数目，k是簇的数目，t是迭代的次数。通常k<<n。这个算法经常以局部最优结束。算法尝试找出使平方误差函数值最小的k个划分。当簇是密集的、球状或团状的，而簇与簇之间区别明显时，它的聚类效果很好。2、缺点对K值敏感。也就是说，K的选择会较大程度上影响分类效果。在聚类之前，我们需要预先设定K的大小，但是我们很难确定分成几类是最佳的，比如上面的数据集中，显然分为2类，即K = 2最好，但是当数据量很大时，我们预先无法判断。对离群点和噪声点敏感。如果在上述数据集中添加一个噪音点，这个噪音点独立成一个类。很显然，如果K=2,其余点是一类，噪音点自成一类，原本可以区分出来的点被噪音点影响，成为了一类了。如果K=3，噪音点也是自成一类，剩下的数据分成两类。这说明噪音点会极大的影响其他点的分类。聚类分析特点聚类分析的实质：是建立一种分类方法，它能够将一批样本数据按照他们在性质上的亲密程度在没有先验知识的情况下自动进行分类。这里所说的类就是一个具有相似性的个体的集合，不同类之间具有明显的区别。层次聚类分析是根据观察值或变量之间的亲疏程度，将最相似的对象结合在 一起，以逐次聚合的方式（Agglomerative Clustering），它将观察值分类，直到最后所有样本都聚成一类。层次聚类分析有两种形式，一种是对样本（个案）进行分类，称为Q型聚类；另一种是对研究对象的观察变量进行分类，称为R型聚类。

（1）人工神经网络（Artificial Neural Network）类：反向传播（Backpropagation）、波尔兹曼机（Boltzmann Machine）、卷积神经网络（Convolutional Neural Network）、Hopfield网络（hopfield Network）、多层感知器（Multilyer Perceptron）、径向基函数网络（Radial Basis Function Network，RBFN）、受限波尔兹曼机（Restricted Boltzmann Machine）、回归神经网络（Recurrent Neural Network，RNN）、自组织映射（Self-organizing Map，SOM）、尖峰神经网络（Spiking Neural Network）等。（2）贝叶斯类（Bayesin）：朴素贝叶斯（Naive Bayes）、高斯贝叶斯（Gaussian Naive Bayes）、多项朴素贝叶斯（Multinomial Naive Bayes）、平均-依赖性评估（Averaged One-Dependence Estimators，AODE）贝叶斯信念网络（Bayesian Belief Network，BBN）、贝叶斯网络（Bayesian Network，BN）等。（3）决策树（Decision Tree）类：分类和回归树（Classification and Regression Tree，CART）、迭代Dichotomiser3（Iterative Dichotomiser 3， ID3）,C4.5算法（C4.5 Algorithm）、C5.0算法（C5.0 Algorithm）、卡方自动交互检测（Chi-squared Automatic Interaction Detection，CHAID）、决策残端（Decision Stump）、ID3算法（ID3 Algorithm）、随机森林（Random Forest）、SLIQ（Supervised Learning in Quest）等。（4）线性分类器（Linear Classifier）类：Fisher的线性判别（Fisher"s Linear Discriminant）线性回归（Linear Regression）、逻辑回归（Logistic Regression）、多项逻辑回归（Multionmial Logistic Regression）、朴素贝叶斯分类器（Naive Bayes Classifier）、感知（Perception）、支持向量机（Support Vector Machine）等。常见的无监督学习类算法包括：（1） 人工神经网络（Artificial Neural Network）类：生成对抗网络（Generative Adversarial Networks，GAN），前馈神经网络（Feedforward Neural Network）、逻辑学习机（Logic Learning Machine）、自组织映射（Self-organizing Map）等。（2） 关联规则学习（Association Rule Learning）类：先验算法（Apriori Algorithm）、Eclat算法（Eclat Algorithm）、FP-Growth算法等。（3）分层聚类算法（Hierarchical Clustering）：单连锁聚类（Single-linkage Clustering），概念聚类（Conceptual Clustering）等。（4）聚类分析（Cluster analysis）：BIRCH算法、DBSCAN算法，期望最大化（Expectation-maximization，EM）、模糊聚类（Fuzzy Clustering）、K-means算法、K均值聚类（K-means Clustering）、K-medians聚类、均值漂移算法（Mean-shift）、OPTICS算法等。

简单地说，分类(Categorization or Classification)就是按照某种标准给对象贴标签(label)，再根据标签来区分归类。简单地说，聚类是指事先没有“标签”而通过某种成团分析找出事物之间存在聚集性原因的过程。 区别是，分类是事先定义好类别 ，类别数不变 。分类器需要由人工标注的分类训练语料训练得到，属于有指导学习范畴。聚类则没有事先预定的类别，类别数不确定。 聚类不需要人工标注和预先训练分类器，类别在聚类过程中自动生成 。分类适合类别或分类体系已经确定的场合，比如按照国图分类法分类图书；聚类则适合不存在分类体系、类别数不确定的场合，一般作为某些应用的前端，比如多文档文摘、搜索引擎结果后聚类(元搜索)等。 分类的目的是学会一个分类函数或分类模型(也常常称作分类器 ),该模型能把数据库中的数据项映射到给定类别中的某一个类中。 要构造分类器，需要有一个训练样本数据集作为输入。训练集由一组数据库记录或元组构成，每个元组是一个由有关字段(又称属性或特征)值组成的特征向量，此外，训练样本还有一个类别标记。一个具体样本的形式可表示为：(v1,v2,...,vn; c)；其中vi表示字段值，c表示类别。分类器的构造方法有统计方法、机器学习方法、神经网络方法等等。 聚类(clustering)是指根据“物以类聚”原理，将本身没有类别的样本聚集成不同的组，这样的一组数据对象的集合叫做簇，并且对每一个这样的簇进行描述的过程。它的目的是使得属于同一个簇的样本之间应该彼此相似，而不同簇的样本应该足够不相似。与分类规则不同，进行聚类前并不知道将要划分成几个组和什么样的组，也不知道根据哪些空间区分规则来定义组。其目的旨在发现空间实体的属性间的函数关系，挖掘的知识用以属性名为变量的数学方程来表示。聚类技术正在蓬勃发展，涉及范围包括数据挖掘、统计学、机器学习、空间数据库技术、生物学以及市场营销等领域，聚类分析已经成为数据挖掘研究领域中一个非常活跃的研究课题。常见的聚类算法包括：K-均值聚类算法、K-中心点聚类算法、CLARANS、 BIRCH、CLIQUE、DBSCAN等。

hierarchical clustering： 分层聚类通过连续不断地将最为相似的群组两两合并，来构造出一个群组的层级结构。其中的每个群组都是从单一元素开始的。在每次迭代的过程中，分层聚类算法会计算每两个群组间的距离，并将距离最近的两个群组合并成一个新的群组。这一过程会一直重复下去，直至只剩一个群组为止。 来源参考： https://blog.csdn.net/sysu_xiamengyou/article/details/68524182 K-means聚类： k-means聚类算法不同于分级聚类算法，它会预先告诉算法希望生成的聚类数量，然后算法会根据数据的结构状况来确定聚类的大小。 与分级聚类相比，该算法产生最终结果所需的迭代次数是非常少的，由于函数选用随机数来生成中心点进行聚类，那么可以想象其实每次聚类所产生的顺序几乎是不同的，根据中心点位置的不同，最终聚类所包含的内容可能也会有所不同。 来源参考： https://blog.csdn.net/sysu_xiamengyou/article/details/68941900

u2003u2003Triangle Count（三角形计数）用来确定图中每个节点的跟其1-hop的点直接能够形成三角的个数。三角形是由三个节点组成的集合，三个节点中的每个节点与其他两个节点都有直接相连的关系。可以通过全局运行三角形计数算法，评估整个数据集的整体聚合情况。具有大量三角形的图网络更有可能表现出小世界性（small-world）。 u2003u2003Clustering Coefficient（聚类系数）用来度量一个图的聚类程度，聚类系数分为局部聚类系数（Local Clustering Coefficient）和全局聚类系数（Global Clustering Coefficient）。一个节点的局部聚类系数表明其邻节点之间也互相连接的程度。局部聚类系数的计算使用需要使用两倍的三角形计数作为分子，使用三元组计数作为分母，来度量出现的三角形数与可能出现的三角形数，某个节点的聚类系数越大，表明这个节点周围的节点之间有关系的程度越高，表明这个群组聚集度越高，最高值为1，表明一个节点周围的所有点之间都有关系。 u2003u2003三角形计数的计算公式非常简单，即一个顶点1-hop的邻居节点之间存在的边个数。 其中 表示节点 周围任意两个邻居节点之间的关系数。 u2003u2003局部聚类系数的计算公式依赖三角形计数。其计算公式如下： 其中 表示节点 周围任意两个邻居节点之间的关系数， 表示顶点 的度。 全局聚类系数主要是跟三元组相关，计算公式如下： 其中 如上图（a）所示， ，如上图（b）所示， 。 如上图（c）所示， ，如上图（d）所示， 。 至于GCC，由于计算量比较大，我选择一个简单的图，如下图所示。其中 u2003u2003Triangle Count和Clustering Coefficient主要用来评估特定网络的内聚性和节点的聚合度，可以用来进行社交网络分析和欺诈分析。

spark机器学习-聚类 聚类算法是一种无监督学习任务，用于将对象分到具有高度相似性的聚类中，聚类算法的思想简单的说就是物以类聚的思想，相同性质的点在空间中表现的较为紧密和接近，主要用于数据探索与异常检测，最常用的一种聚类算法是K均值(K-means)聚类算法算法原理kmeans的计算方法如下：1 选取k个中心点2 遍历所有数据，将每个数据划分到最近的中心点中3 计算每个聚类的平均值，并作为新的中心点4 重复2-3，直到这k个中线点不再变化（收敛了），或执行了足够多的迭代算法的时间复杂度上界为O(n*k*t), 其中k为输入的聚类个数，n为数据量，t为迭代次数。一般t,k,n均可认为是常量，时间和空间复杂度可以简化为O(n)，即线性的spark ml编码实践可在spark-shell环境下修改参数调试以下代码，可以用实际的业务数据做测试评估，业务数据一般是多列，可以把维度列用VectorAssembler组装成向量列做为Kmeans算法的输入列，考虑现实的应用场景，比如做异常数据检测，正常数据分为一类，异常数据分为几类，分别统计正常数据与异常数据的数据量，求百分比等<span style="font-size:18px;">import org.apache.spark.ml.clustering.KMeans import org.apache.spark.mllib.linalg.Vectors val dataset = sqlContext.createDataFrame(Seq( (1, Vectors.dense(0.0, 0.0, 0.0)), (2, Vectors.dense(0.1, 0.1, 0.1)), (3, Vectors.dense(0.2, 0.2, 0.2)), (4, Vectors.dense(9.0, 9.0, 9.0)), (5, Vectors.dense(1.1, 1.1, 0.1)), (6, Vectors.dense(12, 14, 100)), (6, Vectors.dense(1.1, 0.1, 0.2)), (6, Vectors.dense(-2, -3, -4)), (6, Vectors.dense(1.6, 0.6, 0.2)) )).toDF("id", "features") // Trains a k-means model val kmeans = new KMeans().setK(3).setMaxIter(20).setFeaturesCol("features").setPredictionCol("prediction") val model = kmeans.fit(dataset) // Shows the result println("Final Centers: ") model.clusterCenters.foreach(println) model.clusterCenters.zipWithIndex.foreach(println) val myres = model.transform(dataset).select("features","prediction") myres.show()</span> 聚类算法是一类无监督式机器学习算法，聚类效果怎么评估，模型训练参数怎么调优，是否能用管道来训练模型来比较各种不同组合的参数的效果，即网格搜索法(gridsearch),先设置好待测试的参数，MLLib就会自动完成这些参数的不同组合,管道搭建了一条工作流，一次性完成了整个模型的调优，而不是独立对每个参数进行调优，这个还要再确认一下，查看SPARK-14516好像目前还没有一个聚类效果通用的自动的度量方法像这种代码（不过现在这个代码有问题）：<span style="font-size:18px;">import org.apache.spark.ml.clustering.KMeans import org.apache.spark.mllib.linalg.Vectors import org.apache.spark.ml.tuning.{ ParamGridBuilder, CrossValidator } import org.apache.spark.ml.{ Pipeline, PipelineStage } val dataset = sqlContext.createDataFrame(Seq( (1, Vectors.dense(0.0, 0.0, 0.0)), (2, Vectors.dense(0.1, 0.1, 0.1)), (3, Vectors.dense(0.2, 0.2, 0.2)), (4, Vectors.dense(9.0, 9.0, 9.0)), (5, Vectors.dense(1.1, 1.1, 0.1)), (6, Vectors.dense(12, 14, 100)), (6, Vectors.dense(1.1, 0.1, 0.2)), (6, Vectors.dense(-2, -3, -4)), (6, Vectors.dense(1.6, 0.6, 0.2)) )).toDF("id", "features") val kmeans = new KMeans().setK(2).setMaxIter(20).setFeaturesCol("features").setPredictionCol("prediction") //主要问题在这里，没有可用的评估器与label列设置 val evaluator = new BinaryClassificationEvaluator().setLabelCol("prediction") val paramGrid = new ParamGridBuilder().addGrid(kmeans.initMode, Array("random")).addGrid(kmeans.k, Array(3, 4)).addGrid(kmeans.maxIter, Array(20, 60)).addGrid(kmeans.seed, Array(1L, 2L)).build() val steps: Array[PipelineStage] = Array(kmeans) val pipeline = new Pipeline().setStages(steps) val cv = new CrossValidator().setEstimator(pipeline).setEvaluator(evaluator).setEstimatorParamMaps(paramGrid).setNumFolds(10) // Trains a model val pipelineFittedModel = cv.fit(dataset)</span>

问题一：什么是聚类分析？聚类算法有哪几种 聚类分析又称群分析，它是研究（样品或指标）分类问题的一种统计分析方法。聚类分析起源于 分类学，在古老的分类学中，人们主要依靠经验和专业知识来实现分类，很少利用数学工具进行 定量的分类。随着人类科学技术的发展，对分类的要求越来越高，以致有时仅凭经验和专业知识 难以确切地进行分类，于是人们逐渐地把数学工具引用到了分类学中，形成了数值分类学，之后又 将多元分析的技术引入到数值分类学形成了聚类分析。 聚类分析内容非常丰富，有系统聚类法、有序样品聚类法、动态聚类法、模糊聚类法、图论 聚类法、聚类预报法等。 聚类分析计算方法主要有如下几种：分裂法(partitioning methods)：层次法(hierarchical methods)：基于密度的方法(density-based methods): 基于网格的方法(grid-based methods): 基于模型的方法(model-based methods)。 问题二：聚类分析方法有什么好处 5分 聚类分析：将个体（样品）或者对象（变量）按相似程度（距离远近）划分类别，使得同一类中的元素之间的相似性比其他类的元素的相似性更强。目的在于使类间元素的同质性最大化和类与类间元素的异质性最大化。其主要依据是聚到同一个数据集中的样本应该彼此相似，而属于不同组的样本应该足够不相似。 常用聚类方法：系统聚类法，K-均值法，模糊聚类法，有序样品的聚类，分解法，加入法。 注意事项： 1. 系统聚类法可对变量或者记录进行分类，K-均值法只能对记录进行分类； 2. K-均值法要求分析人员事先知道样品分为多少类； 3. 对变量的多元正态性，方差齐性等要求较高。 应用领域：细分市场，消费行为划分，设计抽样方案等 优点：聚类分析模型的优点就是直观，结论形式简明。 缺点：在样本量较大时，要获得聚类结论有一定困难。由于相似系数是根据被试的反映来建立反映珐试间内在联系的指标，而实践中有时尽管从被试反映所得出的数据中发现他们之间有紧密的关系，但事物之间却无任何内在联系，此时，如果根据距离或相似系数得出聚类分析的结果，显然是不适当的，但是，聚类分析模型本身却无法识别这类错误。 问题三：什么是聚类分析？ 聚类分析又称群分析，它是研究（样品或指标）分类问题的一种统计分析方法。聚类分析起源于 分类学，在古老的分类学中，人们主要依靠经验和专业知识来实现分类，很少利用数学工具进行 定量的分类。随着人类科学技术的发展，对分类的要求越来越高，以致有时仅凭经验和专业知识 难以确切地进行分类，于是人们逐渐地把数学工具引用到了分类学中，形成了数值分类学，之后又 将多元分析的技术引入到数值分类学形成了聚类分析。 聚类分析内容非常丰富，有系统聚类法、有序样品聚类法、动态聚类法、模糊聚类法、图论 聚类法、聚类预报法等。 聚类分析计算方法主要有如下几种：分裂法(partitioning methods)：层次法(hierarchical methods)：基于密度的方法(density-based methods): 基于网格的方法(grid-based methods): 基于模型的方法(model-based methods)。 问题四：常用的聚类方法有哪几种?? 1.k-mean聚类分析 适用于样本聚类； 2.分层聚类 适用于对变量聚类； 3.两步搐类 适用于分类变量和连续变量聚类； 4.基于密度的聚类算法； 5.基于网络的聚类； 6.机器学习中的聚类算法； 前3种，可用spss简单操作实现； 问题五：spss聚类分析方法有哪些 首先，k-means你每次算的结果都会不一样，因为结果跟初始选取的k个点有关 问题六：聚类分析方法是什么？ 5分 聚类分析：将个体（样品）或者对象（变量）按相似程度（距离远近）划分类别，使得同一类中的元素之间的相似性比其他类的元素的相似性更强。目的在于使类间元素的同质性最大化和类与类间元素的异质性最大化。 问题七：聚类分析的算法 聚类分析是数据挖掘中的一个很活跃的研究领域，并提出了许多聚类算法。传统的聚类算法可以被分为五类：划分方法、层次方法、基于密度方法、基于网格方法和基于模型方法。1 划分方法(PAM:PArtitioning method) 首先创建k个划分，k为要创建的划分个数；然后利用一个循环定位技术通过将对象从一个划分移到另一个划分来帮助改善划分质量。典型的划分方法包括：k-means,k-medoids,CLARA(Clustering LARge Application),CLARANS(Clustering Large Application based upon RANdomized Search).FCM2 层次方法(hierarchical method) 创建一个层次以分解给定的数据集。该方法可以分为自上而下（分解）和自下而上（合并）两种操作方式。为弥补分解与合并的不足，层次合并经常要与其它聚类方法相结合，如循环定位。典型的这类方法包括：BIRCH(Balanced Iterative Reducing and Clustering using Hierarchies) 方法，它首先利用树的结构对对象集进行划分；然后再利用其它聚类方法对这些聚类进行优化。CURE(Clustering Using REprisentatives) 方法，它利用固定数目代表对象来表示相应聚类；然后对各聚类按照指定量（向聚类中心）进行收缩。ROCK方法，它利用聚类间的连接进行聚类合并。CHEMALOEN方法，它则是在层次聚类时构造动态模型。3 基于密度的方法，根据密度完成对象的聚类。它根据对象周围的密度（如DBSCAN）不断增长聚类。典型的基于密度方法包括：DBSCAN(Densit-based Spatial Clustering of Application with Noise):该算法通过不断生长足够高密度区域来进行聚类；它能从含有噪声的空间数据库中发现任意形状的聚类。此方法将一个聚类定义为一组“密度连接”的点集。OPTICS(Ordering Points To Identify the Clustering Structure):并不明确产生一个聚类，而是为自动交互的聚类分析计算出一个增强聚类顺序。。4 基于网格的方法，首先将对象空间划分为有限个单元以构成网格结构；然后利用网格结构完成聚类。STING(STatistical INformation Grid) 就是一个利用网格单元保存的统计信息进行基于网格聚类的方法。CLIQUE(Clustering In QUEst)和Wave-Cluster 则是一个将基于网格与基于密度相结合的方法。5 基于模型的方法，它假设每个聚类的模型并发现适合相应模型的数据。典型的基于模型方法包括：统计方法COBWEB:是一个常用的且简单的增量式概念聚类方法。它的输入对象是采用符号量（属性-值）对来加以描述的。采用分类树的形式来创建一个层次聚类。CLASSIT是COBWEB的另一个版本.。它可以对连续取值属性进行增量式聚类。它为每个结点中的每个属性保存相应的连续正态分布（均值与方差）；并利用一个改进的分类能力描述方法，即不象COBWEB那样计算离散属性（取值）和而是对连续属性求积分。但是CLASSIT方法也存在与COBWEB类似的问题。因此它们都不适合对大数据库进行聚类处理.传统的聚类算法已经比较成功的解决了低维数据的聚类问题。但是由于实际应用中数据的复杂性，在处理许多问题时，现有的算法经常失效，特别是对于高维数据和大型数据的......>> 问题八：主成分分析法和聚类分析法的区别 问题九：聚类分析方法具体有哪些应用？可不可以举个例子？ 比如说现在要把n个产品按产品的m个指标继续聚类，因为产品可能之前的特色是不一样的。而这个时候影响产品的因素有m个，不可能一个一个的考虑，那样是分不出类来的。所以只能对产品的m个指标综合考虑，采用SPSS中的样本聚类方法，就可以直接将产品分好类。并且从分析结果还可以看出各类产品的特色分别是什么。。就是最主要的分类标准是什么。 聚类分析不仅可以用于样本聚类，还可以用于变量聚类，就是对m个指标进行聚类。因为有时指标太多，不能全部考虑，需要提取出主要因素，而往往指标之间又有很多相关联的地方，所以可以先对变量聚类，然后从每一类中选取出一个代表型的指标。这样就大大减少了指标，并且没有造成巨大的信息丢失。

一般常见有两种原因：一是：matlab版本过低，你需要在调用语句之前定义好函数，或者新建脚本定义函数；二是：你这代码就是抄来的，没抄全，这个函数的调用没抄；

u200b通过ConsensusClusterPlus包对基因表达谱执行一致性聚类（Consensus Clustering） 在大样本的组学分析中，经常需要讨论样本的分子分型。文章中最常见的方法，就是使用一种叫一致性聚类（Consensus Clustering）的方法，对转录组、蛋白组谱等数据进行聚类，最后可以将样本划分为不同的聚类群，不同聚类群的样本之间在转录组、蛋白组等分子模式上存在明显差异，但各聚类群内的样本的分子模式则较为相似，如此则实现了对大样本队列的分子分型的目的。 例如，在“Proteogenomic landscape of squamous cell lung cancer”这篇文献中，作者基于108个肺鳞状细胞癌样本的定量蛋白组数据，通过一致性聚类将108个肿瘤组织划分为5种分子亚型，即（1）炎症亚型A、（2）炎症亚型B、（3）氧化还原亚型A、（4）氧化还原亚型B以及（5）混合亚型。并在获得了分子亚型后，后续展开的详细亚型特征的描述和讨论。 好了，现在假设我们也有类似的一批组学样本队列，我们也期望通过一致性聚类实现对转录组、蛋白组或者蛋白修饰谱的分型，该如何实现呢？本节教程简介通过R语言ConsensusClusterPlus包实现一致性聚类的方法。 1 准备表达谱数据集 首先准备一个基因表达矩阵，将它读入到R中。可以是转录组（如RNA-seq，芯片数据等），也可以是定量蛋白组，或者蛋白磷酸化、糖基化等修饰。具体以哪种类型的数据为主，根据实际关注的问题来。如果您更期望使用转录组进行分型，就使用RNA表达谱；如果您更期望使用蛋白组进行分型，就使用蛋白定量谱；如果您更关注蛋白修饰的分型，就使用表观修饰的组学。 本次我们以Biobase包的芯片数据集为例，展示如何对基因表达谱执行一致性聚类分析。首先来看一下示例数据，该数据集一共包含26个样本，500个基因的表达谱。 2 通过ConsensusClusterPlus包执行聚类 能够执行一致性聚类的R包很多，但基本原理都是差不多的。这里我们以ConsensusClusterPlus包的方法为例作为展示。 过程大致包括两步，（1）对表达谱数据的标准化，（2）对标准化后的数据执行聚类。函数执行完毕后，R语言的当前工作目录下会生成一个文件夹（本示例以“example”未命名），里面存放了聚类结果图。 3 结果说明 在本示例中，我们通过参数“maxK = 4”指定了期望划分的最大聚类群数量，即从聚2类开始，逐一增加类别数量进行尝试，直到到达指定的最大聚类群数量4为止结束。 结果中，这两张图可以帮助我们评估选择最合适的聚类数量。我们需要同时考虑这两个标准，根据左图选择CDF下降坡度更小的曲线，根据右图选择CDF更高的值。通常而言这两个标准趋势相反，也就是我们需要尽量保证CDF下降不那么剧烈且CDF值也不能太小。在这里，似乎当k=3时是最合适的。当然，有时不一定要遵守这个方法，一些研究也按照自己的研究目的选择了其它最优k值标准。 这些图展示了在不同的k值（划分的聚类群数量）下，样本的聚类情况。在示例中，似乎k=3时相对更好一些。 该图展示了在不同的k值（划分的聚类群数量）下，各样本所属的聚类群。

常用的聚类感受和线划对比有聚类感受法，层次聚类法，K均值聚类法，密度聚类法。1、聚类感受法（ClusterPerceptionMethod）：这种方法主要依赖于人的感官，通过观察数据点的相似性和距离来进行分类。聚类感受法通常用于较小的数据集，需要人的主观判断力来确定数据点的类别。2、层次聚类法（HierarchicalClustering）：层次聚类法是一种自底向上的聚类方法，通过计算数据点之间的距离来逐步合并最相似的数据点，直到所有数据点都被聚类为止。层次聚类法通常可以用于较小的数据集。3、K均值聚类法（K-meansClustering）：K均值聚类法是一种基于距离的聚类方法，将数据点分成K个簇，每个簇包含距离最近的数据点。K均值聚类法通常用于较大的数据集，因为它的计算速度较快。4、密度聚类法（Density-BasedClustering）：密度聚类法是一种基于密度的聚类方法，通过密度来确定数据点之间的相似性。密度聚类法通常用于簇的形状比较复杂的数据集。

聚类对象的相似性度量方法是衡量聚类对象之间相似程度的一种方法，是进行聚类分析的基础。系统聚类法具体的实现流程是：1、计算样本间的距离或相似性2、将每个样本分别归为一个初始的簇3、根据步骤1中的距离或相似性，计算每个簇与其它簇的距离或相似性，并找出距离或相似性最小的一对簇，将它们合并为一个新的簇4、重新计算新的簇与其它簇的距离或相似性，再次找出距离或相似性最小的一对簇，再将它们合并为新的簇5、重复步骤4，直到所有样本都合并到同一个簇为止系统聚类法的定义与含义:系统聚类法（Hierarchical Clustering）。通常，它会递归地将样本划分成树形结构，以便在不同的层次上理解样本之间的相似性和差异性。系统聚类法可以分为自底向上的聚类（聚合聚类）和自顶向下的聚类（分裂聚类）两种方法。在进行聚类时，系统聚类法一般以欧氏距离、切比雪夫距离等方式度量样本之间的相似性。这种方法可以帮助我们理解数据的复杂性，并从中分离出具有相似特性的群组。

更新vCenter到7.0 Update1之后，发现虚拟机视图下，多了一个vCLS文件夹，并且下面有3个虚拟机。 从 官方博客文章 了解到这是vSphere7.0 Update1新引入的vSphere Clustering Service,简单来说，把一部分控制平面的功能，从vCenter中解耦，并且分布式的由最多3个轻量级虚拟机per Cluster（VMware PhotonOS）分担。当ESXi少于3个时，vCLS虚拟机个数等于ESXi个数。 从介绍来看，这三个虚拟机的生命周期不需要用户或者管理员去处理，而是通过vSphere ESX Agent Manager来管理的，如果我们强行对某一vCLS虚拟机关机，那么Manager检测到少了一个vCLS虚拟机时，会再把它开机。如果我们关闭vCLS虚拟机后快速把虚拟机删除掉，那么Manager就会再创建一个vCLS虚拟机。实际测试也是这样的。 可以想像到今后vSphere会尝试把更多的控制平面服务解耦并分布式部署，有点微服务的意思了。PS: 因为这个轻量级虚拟机目前还只有X86版，所以如果vCenter7.0Update1的cluster加入了ESXi on Arm的host，那么是无法创建vCLS虚拟机的，就会发现日志里一直在尝试创建，然后又删除。。。解决办法目前只能是Arm的host不加到Cluster里，或者不升级Update1的vCenter。 10月21日更新： 思科警告它的HyperFlex用户不要升级vCenter7.0 Update1,其中提到EAM会尝试关闭其HyperFlex controller VMs（和vCLS相似功能）并删除。（从上面我们看EAM确实会对vCLS VMs进行生命周期的控制），看来是个兼容性的问题。U0001f613 https://www.theregister.com/2020/10/20/cisco_hyperflex_vmware_warning/

聚类分析的主要步骤聚类分析的主要步骤1.数据预处理，2.为衡量数据点间的相似度定义一个距离函数，3.聚类或分组，4.评估输出。数据预处理包括选择数量，类型和特征的标度，它依靠特征选择和特征抽取，特征选择选择重要的特征，特征抽取把输入的特征转化为一个新的显著特征，它们经常被用来获取一个合适的特征集来为避免“维数灾”进行聚类，数据预处理还包括将孤立点移出数据，孤立点是不依附于一般数据行为或模型的数据，因此孤立点经常会导致有偏差的聚类结果，因此为了得到正确的聚类，我们必须将它们剔除。既然相类似性是定义一个类的基础，那么不同数据之间在同一个特征空间相似度的衡量对于聚类步骤是很重要的，由于特征类型和特征标度的多样性，距离度量必须谨慎，它经常依赖于应用，例如，通常通过定义在特征空间的距离度量来评估不同对象的相异性，很多距离度都应用在一些不同的领域，一个简单的距离度量，如Euclidean距离，经常被用作反映不同数据间的相异性，一些有关相似性的度量，例如PMC和SMC，能够被用来特征化不同数据的概念相似性，在图像聚类上，子图图像的误差更正能够被用来衡量两个图形的相似性。将数据对象分到不同的类中是一个很重要的步骤，数据基于不同的方法被分到不同的类中，划分方法和层次方法是聚类分析的两个主要方法，划分方法一般从初始划分和最优化一个聚类标准开始。CrispClustering，它的每一个数据都属于单独的类；FuzzyClustering，它的每个数据可能在任何一个类中，CrispClustering和FuzzyClusterin是划分方法的两个主要技术，划分方法聚类是基于某个标准产生一个嵌套的划分系列，它可以度量不同类之间的相似性或一个类的可分离性用来合并和分裂类，其他的聚类方法还包括基 于密度的聚类，基于模型的聚类，基于网格的聚类。评估聚类结果的质量是另一个重要的阶段，聚类是一个无管理的程序，也没有客观的标准来评价聚类结果，它是通过一个类有效索引来评价，一般来说，几何性质，包括类间的分离和类内部的耦合，一般都用来评价聚类结果的质量，类有效索引在决定类的数目时经常扮演了一个重要角色，类有效索引的最佳值被期望从真实的类数目中获取，一个通常的决定类数目的方法是选择一个特定的类有效索引的最佳值，这个索引能否真实的得出类的数目是判断该索引是否有效的标准，很多已经存在的标准对于相互分离的类数据集合都能得出很好的结果，但是对于复杂的数据集，却通常行不通，例如，对于交叠类的集合。

数据挖掘总结之分类与聚类的区别分类与聚类的区别Classification (分类)：一个 classifier会从它得到的训练集中进行“学习”，从而具备对未知数据进行分类的能力，这种提供训练数据的过程通常叫做 supervised learning (监督学习)。所谓分类，简单来说，就是根据文本的特征或属性，划分到已有的类别中。常用的分类算法包括：决策树分类法，朴素的贝叶斯分类算法(native Bayesian classifier)、基于支持向量机(SVM)的分类器，神经网络法，k-最近邻法(k-nearest neighbor，kNN)，模糊分类法等。分类作为一种监督学习方法，要求必须事先明确知道各个类别的信息，并且断言所有待分类项都有一个类别与之对应。但是很多时候上述条件得不到满足，尤其是在处理海量数据的时候，如果通过预处理使得数据满足分类算法的要求，则代价非常大，这时候可以考虑使用聚类算法。Clustering(聚类)：简单地说就是把相似的东西分到一组，聚类的时候，我们并不关心某一类是什么，我们需要实现的目标只是把相似的东西聚到一起，因此，一个聚类算法通常只需要知道如何计算相似度就可以开始工作了，因此 clustering 通常并不需要使用训练数据进行学习，这在Machine Learning中被称作unsupervised learning (无监督学习)。聚类分析目的在于将相似的事物归类，同一类中的个体有较大的相似性，不同类的个体差异性很大。

from sklearn.cluster import SpectralClustring as SC# X is the data you want to make cluster onspectral_cluster = SC(n_clusters=256).fit(X)result = spectral_cluster.labels_

聚类分析的主要步骤聚类分析的主要步骤1.数据预处理，2.为衡量数据点间的相似度定义一个距离函数，3.聚类或分组，4.评估输出。数据预处理包括选择数量，类型和特征的标度，它依靠特征选择和特征抽取，特征选择选择重要的特征，特征抽取把输入的特征转化为一个新的显著特征，它们经常被用来获取一个合适的特征集来为避免“维数灾”进行聚类，数据预处理还包括将孤立点移出数据，孤立点是不依附于一般数据行为或模型的数据，因此孤立点经常会导致有偏差的聚类结果，因此为了得到正确的聚类，我们必须将它们剔除。既然相类似性是定义一个类的基础，那么不同数据之间在同一个特征空间相似度的衡量对于聚类步骤是很重要的，由于特征类型和特征标度的多样性，距离度量必须谨慎，它经常依赖于应用，例如，通常通过定义在特征空间的距离度量来评估不同对象的相异性，很多距离度都应用在一些不同的领域，一个简单的距离度量，如Euclidean距离，经常被用作反映不同数据间的相异性，一些有关相似性的度量，例如PMC和SMC，能够被用来特征化不同数据的概念相似性，在图像聚类上，子图图像的误差更正能够被用来衡量两个图形的相似性。将数据对象分到不同的类中是一个很重要的步骤，数据基于不同的方法被分到不同的类中，划分方法和层次方法是聚类分析的两个主要方法，划分方法一般从初始划分和最优化一个聚类标准开始。CrispClustering，它的每一个数据都属于单独的类；FuzzyClustering，它的每个数据可能在任何一个类中，CrispClustering和FuzzyClusterin是划分方法的两个主要技术，划分方法聚类是基于某个标准产生一个嵌套的划分系列，它可以度量不同类之间的相似性或一个类的可分离性用来合并和分裂类，其他的聚类方法还包括基于密度的聚类，基于模型的聚类，基于网格的聚类。评估聚类结果的质量是另一个重要的阶段，聚类是一个无管理的程序，也没有客观的标准来评价聚类结果，它是通过一个类有效索引来评价，一般来说，几何性质，包括类间的分离和类内部的耦合，一般都用来评价聚类结果的质量，类有效索引在决定类的数目时经常扮演了一个重要角色，类有效索引的最佳值被期望从真实的类数目中获取，一个通常的决定类数目的方法是选择一个特定的类有效索引的最佳值，这个索引能否真实的得出类的数目是判断该索引是否有效的标准，很多已经存在的标准对于相互分离的类数据集合都能得出很好的结果，但是对于复杂的数据集，却通常行不通，例如，对于交叠类的集合。

优缺点如下：1、优点k-平均算法是解决聚类问题的一种经典算法，算法简单、快速。对处理大数据集，该算法是相对可伸缩的和高效率的，因为它的复杂度大约是O(nkt) O(nkt)O(nkt)，其中n是所有对象的数目，k是簇的数目，t是迭代的次数。通常k<<n。这个算法经常以局部最优结束。算法尝试找出使平方误差函数值最小的k个划分。当簇是密集的、球状或团状的，而簇与簇之间区别明显时，它的聚类效果很好。2、缺点对K值敏感。也就是说，K的选择会较大程度上影响分类效果。在聚类之前，我们需要预先设定K的大小，但是我们很难确定分成几类是最佳的，比如上面的数据集中，显然分为2类，即K = 2最好，但是当数据量很大时，我们预先无法判断。对离群点和噪声点敏感。如果在上述数据集中添加一个噪音点，这个噪音点独立成一个类。很显然，如果K=2,其余点是一类，噪音点自成一类，原本可以区分出来的点被噪音点影响，成为了一类了。如果K=3，噪音点也是自成一类，剩下的数据分成两类。这说明噪音点会极大的影响其他点的分类。聚类分析特点聚类分析的实质：是建立一种分类方法，它能够将一批样本数据按照他们在性质上的亲密程度在没有先验知识的情况下自动进行分类。这里所说的类就是一个具有相似性的个体的集合，不同类之间具有明显的区别。层次聚类分析是根据观察值或变量之间的亲疏程度，将最相似的对象结合在 一起，以逐次聚合的方式（Agglomerative Clustering），它将观察值分类，直到最后所有样本都聚成一类。层次聚类分析有两种形式，一种是对样本（个案）进行分类，称为Q型聚类；另一种是对研究对象的观察变量进行分类，称为R型聚类。

1. 数据预处理，2. 为衡量数据点间的相似度定义一个距离函数，3. 聚类或分组，4. 评估输出。数据预处理包括选择数量，类型和特征的标度，它依靠特征选择和特征抽取，特征选择选择重要的特征，特征抽取把输入的特征转化为一个新的显著特征，它们经常被用来获取一个合适的特征集来为避免“维数灾”进行聚类，数据预处理还包括将孤立点移出数据，孤立点是不依附于一般数据行为或模型的数据，因此孤立点经常会导致有偏差的聚类结果，因此为了得到正确的聚类，我们必须将它们剔除。既然相类似性是定义一个类的基础，那么不同数据之间在同一个特征空间相似度的衡量对于聚类步骤是很重要的，由于特征类型和特征标度的多样性，距离度量必须谨慎，它经常依赖于应用，例如，通常通过定义在特征空间的距离度量来评估不同对象的相异性，很多距离度都应用在一些不同的领域，一个简单的距离度量，如Euclidean距离，经常被用作反映不同数据间的相异性，一些有关相似性的度量，例如PMC和SMC，能够被用来特征化不同数据的概念相似性，在图像聚类上，子图图像的误差更正能够被用来衡量两个图形的相似性。将数据对象分到不同的类中是一个很重要的步骤，数据基于不同的方法被分到不同的类中，划分方法和层次方法是聚类分析的两个主要方法，划分方法一般从初始划分和最优化一个聚类标准开始。Crisp Clustering，它的每一个数据都属于单独的类；Fuzzy Clustering，它的每个数据可能在任何一个类中，Crisp Clustering和Fuzzy Clusterin是划分方法的两个主要技术，划分方法聚类是基于某个标准产生一个嵌套的划分系列，它可以度量不同类之间的相似性或一个类的可分离性用来合并和分裂类，其他的聚类方法还包括基于密度的聚类，基于模型的聚类，基于网格的聚类。评估聚类结果的质量是另一个重要的阶段，聚类是一个无管理的程序，也没有客观的标准来评价聚类结果，它是通过一个类有效索引来评价，一般来说，几何性质，包括类间的分离和类内部的耦合，一般都用来评价聚类结果的质量，类有效索引在决定类的数目时经常扮演了一个重要角色，类有效索引的最佳值被期望从真实的类数目中获取，一个通常的决定类数目的方法是选择一个特定的类有效索引的最佳值，这个索引能否真实的得出类的数目是判断该索引是否有效的标准，很多已经存在的标准对于相互分离的类数据集合都能得出很好的结果，但是对于复杂的数据集，却通常行不通，例如，对于交叠类的集合。

　　运用聚类分析法主要做好分析表达数据：　　1、通过一系列的检测将待测的一组基因的变异标准化，然后成对比较线性协方差。　　2、通过把用最紧密关联的谱来放基因进行样本聚类，例如用简单的层级聚类（hierarchical clustering）方法。这种聚类亦可扩展到每个实验样本，利用一组基因总的线性相关进行聚类。　　3、多维等级分析（multidimensional scaling analysis,MDS）是一种在二维Euclidean “距离”中显示实验样本相关的大约程度。　　4、K-means方法聚类，通过重复再分配类成员来使“类”内分散度最小化的方法。　　聚类分析法是理想的多变量统计技术，主要有分层聚类法和迭代聚类法。聚类通过把目标数据放入少数相对同源的组或“类”（cluster）里。u200d

优缺点如下：1、优点k-平均算法是解决聚类问题的一种经典算法，算法简单、快速。对处理大数据集，该算法是相对可伸缩的和高效率的，因为它的复杂度大约是O(nkt) O(nkt)O(nkt)，其中n是所有对象的数目，k是簇的数目，t是迭代的次数。通常k<<n。这个算法经常以局部最优结束。算法尝试找出使平方误差函数值最小的k个划分。当簇是密集的、球状或团状的，而簇与簇之间区别明显时，它的聚类效果很好。2、缺点对K值敏感。也就是说，K的选择会较大程度上影响分类效果。在聚类之前，我们需要预先设定K的大小，但是我们很难确定分成几类是最佳的，比如上面的数据集中，显然分为2类，即K = 2最好，但是当数据量很大时，我们预先无法判断。对离群点和噪声点敏感。如果在上述数据集中添加一个噪音点，这个噪音点独立成一个类。很显然，如果K=2,其余点是一类，噪音点自成一类，原本可以区分出来的点被噪音点影响，成为了一类了。如果K=3，噪音点也是自成一类，剩下的数据分成两类。这说明噪音点会极大的影响其他点的分类。聚类分析特点聚类分析的实质：是建立一种分类方法，它能够将一批样本数据按照他们在性质上的亲密程度在没有先验知识的情况下自动进行分类。这里所说的类就是一个具有相似性的个体的集合，不同类之间具有明显的区别。层次聚类分析是根据观察值或变量之间的亲疏程度，将最相似的对象结合在 一起，以逐次聚合的方式（Agglomerative Clustering），它将观察值分类，直到最后所有样本都聚成一类。层次聚类分析有两种形式，一种是对样本（个案）进行分类，称为Q型聚类；另一种是对研究对象的观察变量进行分类，称为R型聚类。

现有不完整多视图聚类存在两点限制： （1）对缺失数据进行不正确的推断或者填充可能会对聚类产生负面的影响； （2）融合后特征的质量可能会受到低质量视图的影响。 针对以上问题，本文提出了一种imputation-free 和 fusion-free的IMVC框架。主要贡献包含以下： 数据定义： 给定包含 个样本的数据集 ，其中 代表样本的数目，因为包含缺失数据，因此 。本文中把数据集中包含的完整数据作为一个集合 。视图1和视图2中最下的蓝色部分是完整数据，这部分的数据包含给定的全部视图表示。而视图1最上的样本集合仅包含视图1的表示，同理视图2中间的样本也仅包含当前视图表示。也就是说，在数据表示中完整样本是视图对齐的。（这里的解释和论文intro中的关于数据的定义完全不对应。。所以后续的样本对应和拼接的解释很牵强。。。。） 但是论文中的解释，对于每个视图的数据而言，这里给出了一个示意图：

随机波动率模型（Stochastic Volatility Model，简称SV模型）是一种金融计量学中用于描述金融市场中股票、汇率等资产价格变化的数学模型。该模型最早由Heston在1993年提出，可以看作是在传统的布朗运动模型基础上加入了波动率的随机性。SV模型中的波动率是随机变量，其变化速度也是随机的，因此该模型可以更好地描述金融市场中价格波动率的实际变化情况。与传统的布朗运动模型不同，SV模型可以更好地捕捉到市场中的波动性聚集效应（volatility clustering）和波动率异方差性（volatility heteroskedasticity），因此在金融市场的风险管理和金融衍生品定价等领域得到了广泛的应用。SV模型的一般形式为：dS(t) = μS(t)dt + √v(t)S(t)dW1(t)dv(t) = κ(θ - v(t))dt + σ√v(t)dW2(t)其中，S(t)表示资产价格，v(t)表示波动率，μ、κ、θ和σ为模型参数，W1(t)和W2(t)为布朗运动。

桑基图在单细胞数据探索中的应用 热图在单细胞数据分析中的应用 定量免疫浸润在单细胞研究中的应用 Network在单细胞转录组数据分析中的应用 你到底想要什么样的umap/tsne图？ 空间分析目前已成为生命科学中发展最为迅速的领域之一，高通量测序的空间技术更是如火如荼，究其原因主要有三点： 然而，当拿到空间数据（如10 X Visium）的时候，没有受到空间数据分析训练生物学家，往往不能很好地利用空间信息。最近的空间转录组的文章，大部分空间信息只是作为X-Y的画板——在上面画基因表达量或者分组信息。空间信息的地位简化到可视化工具TSNE和UMAP之列，这不免令人惋惜。 本文的目的就是力求解决目前生物学研究对空间分析的需求与许多生物学家不能正确进行空间分析之间的矛盾。 首先，我们需要明确的一个概念是“空间（Spatial）”，这里讨论的主要是一张二维（x-y）的图象（image）。空间技术离不开成像（imaging）技术，但是空间含义区别于另外两种用到成像的技术：原位（situ） 和影像（Radiography）。更一般地，我们讨论的空间是一种坐标系（coordinate），二维上即由X轴和Y轴构成的平面。 进一步缩小讨论的范围，这里讨论的空间，是生物体内组织细胞所处的位置（site/spot）。这虽然很像在生物体内的地理学，但是到目前为止，这个地理学还没有一个坐标系，如经纬度。但是，获得细胞的位置这一事实，对生物信息的丰富至少提供了以下可能： 那么空间信息意味着什么呢? 先看地理学家是如何看待空间信息的： 这三条地理学定理对任何一张切片上的cell/spot位置是适用的吗？是适用的，这一点我们认为是没有疑义的。那么，基于此我们单细胞数据科学家可以有什么新的启发呢？ 先让这个叫人心潮澎湃的问题冷却一会吧。其实单细胞数据科学一直没有离开空间（space），甚至可以说有不少模型是在空间中进行的。如特征选择的PCA空间，我们需要思考纳入几个维度；可视化的时候我们会用TSNE/UMAP二维空间；在分细胞亚群的时候用到的聚类（clustering）是在降维空间内计算细胞间的 距离 （distance）；在做不同模态数据整合的时候可以用WNN（weighted-nearest neighbor），一看也是在某空间内算对象的距离；在做逆时序分析时用到的最小生成树（Minimum Spanning Tree,MST ），也可以对应到空间中对象之间的连接。就拿可视化降维来说吧，虽然不是真实的空间，但是基因的表达模式还是有人总结出：salt-and-pepper expression pattern [2] 反思之，在这个意义上，之前单细胞所有可以画到UMAP上的信息，都可以画到真实空间中。 如果纳入了真实的空间信息，接受了地理学三大定律，就可以用地理学的一整套词汇来描述基因在空间中的表达模式了。如果还没有接受地理学三大定律，做知识储备或心理建设先。 现在 ，我们追问基于此我们单细胞数据科学家可以有什么新的启发呢？ 回答是：之前的降维聚类以及各种推断将会被重估。 我们知道降维聚类都是基于表达量来计算细胞之间的距离，而现在我们有了真实的空间。根据地理学第一定律，cell/spot是有空间自相关的（spatial autocorrelation），离的近的对象相似性更高。那么，我们可以问： 地理学第二定律（空间异质性定律）简直就是空间转录组的活的灵魂，我们为什么要做空间转录组啊，谁还不是为了获得细胞、基因表达的空间异质性？如 地理第三定律大意是一个细胞的（状态）受其邻居影响。肿瘤细胞与免疫细胞的相互作用往往受其位置关系调节，很多治疗措施也是干预到细胞的，这个意义上，空间信息的加入肯定会进一步深化我们对肿瘤微环境中细胞行为的理解。坦率地说，有了空间信息的肿瘤微环境才是正宗的肿瘤微环境。如细胞间通信这种带有明显空间特征的生物信息，肯定需要新的算法来重新评估。 以上我们简要幻想了地理学概念在空间转录组的应用，或者说我们沐浴了一番地理学的阳光，到大草原走一波，放飞了一波思想。现在我们回来吧，看看spatial-based RNA 分析方法。 在看空间分析中的叠加统计的时候，就想到如果不同区域内有共有基因的表达，我们知道有不同的划分方式，而基因又有很多。当时就在书的空白处写下了 【空间共表达网络 】，可惜 这里 空白 的地方太小 ，更多想法写不下，只是在后面写下一个问号。然后一Google还真能查到不少优秀的大脑在构建这个模型了，当然也可以从里面看到地理学的影子。 在做scRNA的CCI的时候，我们都想知道细胞在空间中的交流是怎样的，而不是仅仅依赖配受体的表达量。那么，现在是时候了。最简单是按照细胞之间距离在传统的模型中加入一个距离权重，把空间信息加入到推断的过程中。 既然空间信息那么重要，不同区域的变异（差异的）基因也值得关注，特别是我们需要圈出特定的区域时，或者已经标记出特定区域时。 一个基因有空间异质性（或特异性），那么一个基因集呢？我们知道基因集言下之意对应着一个pathway或者一个调控关系啊。单变量扩展到多变量上面也就从基因走到了pathway和调控层面。那么现有的基因富集方法，如何扩展到空间转录中呢？所谓的富集其实就是打分嘛，如何制定打分体系。 我们知道拟时序分析其实就是一种排序分析，只是传统的拟时序是在降维后的空间中进行的细胞排序（这种顺序最后表现为拟时序）。在排序的过程中加入空间信息，重新估算的拟时序，即可得到新的拟时空间上的次序（Pseudotimespace ）。 随着空间技术的发展，同一个空间之内不仅可以测表达量还有染色质可及性等，如何在一个空间内描述多模态数据？或者在多个空间内刻画图谱？ 这些都是比较有意思问题，感兴趣可以把这些英语关键字放到浏览器里面，其实已经有大牛在尝试着解决他们了。随着思考的深入愈发感觉需要数学（模型）知识才能驾驭得了这万水千山。所谓：由山以上五六里，有穴窈然，入之甚寒，问其深，则其好游者不能穷也，谓之后洞。余与四人拥火以入，入之愈深，其进愈难，而其见愈奇。景观自然是十分诱人的，但是，又来一个所谓：古人之观于天地、山川、草木、虫鱼、鸟兽，往往有得，以其求思之深而无不在也。夫夷以近，则游者众；险以远，则至者少。而世之奇伟、瑰怪，非常之观，常在于险远，而人之所罕至焉，故非有志者不能至也。 其实写着写着，空间上面可以承载的生物学问题果然很多啊，要不要开始生理生态学。 https://asdar-book.org/ https://www.rspatial.org/raster/analysis/index.html https://www.taylorfrancis.com/books/9781003021643 https://www.jeffdoser.com/files/for875/_book/sp.html https://cran.r-project.org/web/views/Spatial.html https://mgimond.github.io/Spatial/coordinate-systems-in-r.html https://oscarperpinan.github.io/rastervis/ https://books.google.com/books/about/Quantative_Morphology.html?id=Aq78xAEACAAJ https://stackoverflow.com/questions/61661388/converting-a-png-file-to-a-window-owin-file-in-spatstat http://spatialgiotto.rc.fas.harvard.edu/documentation2.html https://blog.csdn.net/Hui_R_Q_XIONGDA/article/details/104395989 https://rubd.github.io/Giotto_site/ https://zhuanlan.zhihu.com/p/283199848 https://andrewmaclachlan.github.io/CASA0005repo/index.html https://www.jianshu.com/p/18b8db1d2f64 https://stlearn.readthedocs.io/en/latest/index.html

C类均值聚类算法（C-meansClustering）是一种基于距离和均值的聚类算法，用于将一组样本数据划分为若干个具有相似特征的类别。感知器（Perceptron）是一种二元分类算法，用于根据给定的输入数据进行分类。虽然C类均值聚类算法和感知器都是机器学习中常见的算法，但它们之间并没有直接的关系。两者解决的问题不同，应用场景也不同。C类均值聚类算法通过计算样本之间的距离以及均值来确定类别的边界，并将相似的样本划分到同一个簇中。它主要用于无监督学习场景下的数据聚类问题，目标是找到数据的内在结构和相似性。相反，感知器是一种监督学习算法，通过学习一个线性分类器来从已知类别的训练样本中对新的样本进行分类。感知器利用输入数据的权重和阈值来进行决策，并根据与预期输出之间的差异进行调整，以逐渐提高分类的准确性。虽然C类均值聚类算法和感知器都属于机器学习领域，但它们的目标和方法是不同的。C类均值聚类算法主要用于数据聚类分析，而感知器则用于二元分类任务。这两种算法在不同的问题领域和应用场景中发挥着重要的作用。

人工智能网络不是监督式学习聚类(Clustering)属于非监督学习。无监督式学习、强化学习。监督式学习主要用于回归和分类。

k-means聚类K-means clustering

聚类是数据分析的一项基本任务。近年来，从深度学习方法中获得灵感的深度聚类获得了最先进的性能，并引起了广泛的关注。目前的深度聚类方法通常利用深度学习强大的表示能力来提高聚类结果，例如autoencoder，这表明学习一种有效的聚类表示是一个至关重要的要求。深度聚类方法的优点是从数据本身中提取有用的表示，而不是从数据的结构中提取有用的表示，这在表示学习中很少受到关注。基于图卷积网络(GCN)在图结构编码方面取得的巨大成功，我们提出了一种结构化深度聚类网络(SDCN)，将 结构信息 整合到深度聚类中。具体来说，我们设计了一个 传递算子 ，将自动编码器学习到的表示转换到相应的GCN层，并设计了一个 双自监督机制 来统一这两种不同的深层神经结构，引导整个模型的更新。通过这种方式， 从低阶到高阶的多种数据结构自然地与自动编码器学习到的多种表示相结合 。此外，我们从理论上分析了传递算子，即通过传递算子，GCN将自编码器特有的表示改进为高阶图正则化约束，而自编码器有助于缓解GCN中的过平滑问题。通过全面的实验，我们证明我们所提出的模型可以始终比最先进的技术表现得更好。 论文关注点：在DEC的单视图深度聚类的模型中扩展了关于结构信息的捕获，并使用GCN结构来捕获。在相比于GAE的结构，关于GCN的部分并没有采用临接矩阵的重建来进行监督，而是在此基础上利用聚类的目标分布信息 构造了另外的 结构分布 ，以量化结构信息的监督。 图注： 和 分别是输入数据和重建数据。 和 分别是DNN和GCN模块第 层的输出。不同的颜色代表从DNN中学习到的不同的表征 。蓝色实线表示目标分布 是由分布 计算出来的，两条红色虚线表示双重自我监督机制。目标分布 同时指导DNN模块和GCN模块的更新。 总述：首先根据原始数据构造一个KNN图。然后将原始数据 和KNN图 分别 输入到AE和GCN中。作者将AE的每一层与相应的GCN层连接起来，这样就可以通过 传递操作符 将特定于AE的表示集成到结构感知的表示中。同时，提出了一种双重自我监督机制来监督AE和GCN的训练过程。 b：一般情况下在介绍AE结构时所说的层数，指的是出去输入层和重建层之外的，第一个隐藏层到Code层的层数 DNN模块采用的是具有 层的基础AE结构，这里将不进行赘述。 step-：获得第 层的卷积操作输出结果 对于每一层的结果的卷积操作是与图神经一致的，但是在输出的构造上，作者连接了DNN模块对应层的表示形式（will be propagated through the normailized adjacency matrix），如图中选择了平衡因子来组合来自DNN和GCN的信息。 step-：但对于第一层的输出只保留了来自原始 。 step-：在关于结构信息分布的构造上，则是采用了多分类的softmax层获取。 结果 表示概率样本 属于聚类中心 ，我们可以将 视为概率分布。 目标函数优点: (1)与传统的多分类损失函数相比，KL散度以一种更加“温和”的方式更新整个模型（soft labels），防止数据表示受到严重干扰; (2) GCN和DNN模块统一在同一个优化目标上，使其在训练过程中结果趋于一致。 因为DNN模块和GCN模块的目标是近似目标分布 ，而这两个模块之间有很强的联系，所以称其为双重自我监督机制。 论文中使用GCN+不同层AE的表达以添加结构，实验结果验证了模型的有效性，并且给出了理论支持。整体实验很完整。对于样本间关系的构造上，给出了新的思路，并且开启了关于总体样本结构的进一步探索。 关于理论支持这一块没有看，待续。。

聚类三种方法：k-means聚类、密度聚类、层次聚类和 谱聚类Spectrum Clustering 谱聚类 是一种基于图论的聚类方法——将带权无向图划分为两个或两个以上的最优子图，使子图内部尽量相似，而子图间距离尽量距离较远，以达到常见的聚类的目的。其中的最优是指最优目标函数不同，可以是割边最小分割,也可以是分割规模差不多且割边最小的分割。 谱聚类算法首先根据给定的样本数据集定义一个描述成对数据点相似度的亲合矩阵,并且计算矩阵的特征值和特征向量 ， 然后选择合适 的特征向量聚类不同的数据点。谱聚类算法最初用于计算机视觉 、VLS I 设计等领域， 最近才开始用于机器学习中，并迅速成为国际上机器学习领域的研究热点。谱聚类算法建立在谱图理论基础上，其本质是 将聚类问题转化为图的最优划分 问题，是一种 点对聚类算法 ，与传统的聚类算法相比，它具有能在任意形状的样本空间上聚类且收敛于全局最优解的优点。 根据不同的图拉普拉斯构造方法，可以得到不同的谱聚类算法形式。 但是，这些算法的核心步骤都是相同的： 谱聚类是从图论中演化过来的。主要思想是把所有的数据看做是空间中的点，这些点之间可以用边链接起来。距离比较远的两个点之间的边权重比较低，距离较近的两点之间权重较高，通过对所有的数据点组成的图进行切割，让切图后不同的子图间权重和尽可能低，而子图内的边权重和尽可能高，从而达到聚类的目的。 对于有边连接的两个点v i 和v j ,w ij >0，若没有边连接，w ij =0，度d i 定义为和它相连的所有边的权重之和，即 谱聚类中，通过样本点距离度量的相似矩阵S来获得邻接矩阵W。 构造邻接矩阵W的方法有 u03f5 -邻近法，K邻近法和全连接法 。 u03f5 -邻近法 :设置距离阈值u03f5，然后用欧氏距离s ij 度量任意两点x i 和x j 的距离，即s ij =||x i -x j || 2 2 邻接矩阵W定义为： L=D-W,D为度矩阵，是一个对角矩阵。W为邻接矩阵。 其性质如下： 对于无向图G的切图，我们的目标是将图G(V,E)切成相互没有连接的k个子图，每个子图点的集合为：A 1 ,A 2 ,..A k ，它们满足A i ∩A j =u2205,且A 1 ∪A 2 ∪...∪A k =V 对于任意两个子图点的集合A,Bu2282V, A∩B=u2205, 我们定义A和B之间的切图权重为： RatioCut切图为了避免最小切图，对每个切图，不光考虑最小化cut(A 1 ,A 2 ,..A k )，它同时还考虑最大化每个子图点的个数，即： Ncut切图和RatioCut切图很类似，但是把Ratiocut的分母|Ai|换成vol(Ai). 由于子图样本的个数多并不一定权重就大，我们切图时基于权重也更合我们的目标，因此一般来说Ncut切图优于RatioCut切图。 这样我们就可以继续按照RatioCut的思想，求出D -1/2 LD -1/2 的最小的前k个特征值，然后求出对应的特征向量，并标准化，得到最后的特征矩阵F,最后对F进行一次传统的聚类（比如K-Means）即可。 D -1/2 LD -1/2 相当于对拉普拉斯矩阵L做了一次标准化， 谱聚类主要的注意点为相似矩阵的生成方式，切图的方式以及最后的聚类方法。 最常用的相似矩阵的生成方式是基于高斯核距离的全连接方式，最常用的切图方式是Ncut。而到最后常用的聚类方法为K-Means。下面以Ncut总结谱聚类算法流程。 输入：样本集D=(x1,x2,...,xn)，相似矩阵的生成方式, 降维后的维度k1, 聚类方法，聚类后的维度k2 输出： 簇划分C(c1,c2,...ck2) 谱聚类算法的主要优点有： 1）谱聚类只需要数据之间的相似度矩阵，因此对于处理稀疏数据的聚类很有效。这点传统聚类算法比如K-Means很难做到 2）由于使用了降维，因此在处理高维数据聚类时的复杂度比传统聚类算法好。 谱聚类算法的主要缺点有： 1）如果最终聚类的维度非常高，则由于降维的幅度不够，谱聚类的运行速度和最后的聚类效果均不好。 转自： https://www.cnblogs.com/pinard/p/6221564.html

给定一个数组 --> @x 做聚类分析，现在不知道它能分成多少类，是要做 fuzzy C-means clustering么？如何在实现未知分类数目的聚类分析？-------------------------------------------------------------------------------------------------------我现在的数据都是正整数，如下：492, 500, 490, 486, 490, 491, 493, 480, 461, 504, 476, 434, 500, 470, 495, 3116, 3805, 3142, 12836, 12692, 3062, 3091, 3141, 3177, 3685, 3150, 3114, 3149, 12658, 3134, 3143, 3156, 3119, 3172, 3113, 12307, 12338, 3162, 2679, 3177, 3111, 3115, 3136, 3156, 12394, 3129, 3176, 3134, 3108, 12657, 506, 473, 495, 494, 434, 459, 445, 475, 476, 3146, 2009, 3132, 3155, 2704, 3125, 3170, 3187具体分类的话，我查到了这个： http://home.dei.polimi.it/matteucc/Clustering/tutorial_html/cmeans.html 使得Jm 最小。-------------------------------------------------------------------------------------------------------然后是详细的对所面临的数据的手工分类过程： 理论上数据可以分成1类，或者2类，这个在每行数据里是不固定的。即某些行可以分成一类，有些行可以分成两类，但是哪些行分成1类那些行分成两类不固定 但是，由于有实验误差的问题，有些数据需要抛弃，比如，如果一组数据是 23，24，25，332，334，336，2000； 那么这个2000是实验误差，需要摒弃。一般来讲这个误差会是非常大的，比如这里是2000，或者更大，30000；同时误差的个数不固定，有时候是一个2000，有时候是一个2000，一个30000。这里取决于这一行包含数据的个数。数据个数越多，其中包含错误的个数便越多。 如果让我来手工分类，基本上就是按照上面的方式；首先确定是一个cluster或者是两个clusters，然后再摒弃掉距离cluster距离非常远的数字。 这里如果是一个cluster，则这个cluster附近的数字符合正态分布；如果是两个cluster，那么在这两个cluster附近的数字分别符合正态分布

标准误差是强大的异方差和集群

用免疫印迹检测方法研究Survivin基因的表达，结果发现Survivin基因在人鼻咽癌高分化上皮细胞株（CNE-1）和低分化上皮细胞株（CNE-2）中均有表达，但其表达量差异无显著意义，因此认为Survivin基因可能与鼻咽癌细胞分化程度无关，但可能与鼻咽癌的发生、发展和预后不良有关。利用间接免疫荧光、基因转染、抗体剔除(Ab-knock-out)、细胞平板集落形成、流式细胞术以及半胱氨酸天冬酰胺酶(caspase3)活性检测等方法,探讨EB病毒潜伏膜蛋白1(LMP1)调控细胞增殖和细胞凋亡双重效应的分子机制，发现LMP1表达介导survivin核移位，促进细胞Rb磷酸化增加,S期细胞数显著增加；LMP1通过survivin促进细胞克隆形成。用Ab-knock-out阻断survivin核移位和survivin反义核酸抑制survivin表达时，Rb磷酸化水平降低，S期细胞减少，抑制LMP1介导的细胞增殖,，活化细胞caspase3，诱导细胞凋亡。提示EB病毒LMP1可通过 添加概述促进细胞增殖和抑制细胞凋亡。Survivin 参与细胞凋亡细胞凋亡有两条途径：外源性凋亡途径和内源性凋亡途径。外源性凋亡途径，又称为死亡受体通路，是由胞外肿瘤坏死因子(TNF)超家族的死亡配体如TNFa、FasL/CD95L、TWEAK和TRAIL引发的。这些配体和相关的细胞表面死亡受体(分别是TNFR、Fas/CD95、DR3、DR4/DRS)结合，使受体三聚化（receptor clustering）并激活，三聚化的死亡受体通过死亡域(deathdomain)募集衔接蛋白如TRADD和(或)FADD。衔接蛋白通过死亡效应域(deatheffecterdomain，DED)与 pro—caspase—8形成复合物，称为死亡诱导信号复合物(death—inducing signaling complex，DISC)。Pro-caspase-8具有弱的催化活性，在DISC中局部浓度升高，可发生自我剪接并活化。活化的caspase—8释放到胞质中启动caspase的级联反应，激活下游的效应caspase，导致细胞凋亡。激活的caspase—8能使胞质中的Bid断裂成tBid，tBid转移到线粒体上，诱导细胞色素 C从线粒体释放进入胞质，从而把死亡受体通路和线粒体通路联系起来，有效地扩大了凋亡信号。

　　进入短时记忆中信息经过进一步加工,可得到更好地储存,进入长时记忆。记忆的认知加工策略有很多，你知道短时记忆的认知加工策略是什么吗?下面由我给你带来关于短时记忆的认知加工策略，希望对你有帮助! 　　策略1.复述策略 　　复述就是出声或不出声的重复。如果让被试记“XTC”三个辅音字母,20秒后都能回忆出来,因为他们进行了复述,彼得逊夫妇(L.R.Peterson&M.L.Peterson,1959)改变了实验程序:给被试呈现由三个辅音字母组成的字母表后,立即让他作减3逆运算(如376,373,370,u2026 u2026)直到要求开始回忆的信号出现,被试才回忆这三个辅音。实验结果显示,三个辅音听后立即回忆是准确无误的。随着保持时间的延长,回忆成绩急剧下降,当延长到15秒时,回忆率约为10%,到18秒之后,记忆几乎完全消失。弗拉维尔等(Flavell,Beach&Chinsley,1966)的一项实验研究显示,使用复述策略的能力是随儿童年龄的增长而提高的,主体对刺激信息的回忆量与其对信息复述的频率成正比。可见,复述是使信息保持在记忆中的有效策略。 　　策略2.组织性策略 　　组织性策略是指主体在记忆过程中,根据不同的意义,将记忆材料组成各种类别,编入各种主题或改组成其它形式,以便于记忆的方法。二十世纪五十年代中期,G.A.Miller(1956)提出了编码和组块化思想。运用组块化策略可以增加个别单元上的信息载荷从而扩大短时记忆容量。六十年代中期以后,E.Tulving吸收了G.Miller的组块化思想并加以发展。E.Tulving(1968)指出,记忆中存在着两种组织:初级组织和二级组织。初级组织是以语义特征为基础,被试的输出顺序是由语义或项目本子的其它特点所支配的。二级组织包括两个方面:群集(Clustering)和主观组织(Subjectiveorganization)。群集是指输出系由项目间的语义关系或语音关系所支配,其前提是记忆材料本身是有紧密联系的,这咱联系可以是类的联系,也可以是联想关系。因而群集相应有两种:类的群集和联想群集。E.Tulving将被试对无关联的或者说没有明显的类的包含关系并以随机方式输入的材料的组织称为主观组织。主观组织的程度或分数是记忆成绩的一个重要指标,被试的主观组织程度越高,他的回忆成绩也越好。 　　七十年代,记忆策略的研究多集中在记忆策略发生的时间、类型及发展阶段等方面。八十年代末,九十年代初研究者们开始将研究的重心从策略的发生转移到策略使用的有效性上。于是研究者们又开始研究记忆策略发展的阶段性,其中以Miller的策略获得阶段说影响较大。她认为记忆策略可分为四个阶段:①无策略阶段:②部分使用或使用策略的某一变式阶段;③完全使用但不受益阶段;④使用且受益阶段。Flavell也曾根据执行策略的基本能力、自发运用策略、激发策略运用的企图和策略运用时提取的效果四个方面将儿童记忆策略的发展分为不会运用策略、运用时具有产生性缺损和成熟运用策略三个主要阶段。 　　国内学者也在关注儿童记忆策略的发展。左梦兰(1992)关于儿童记忆策略发展的研究表明,儿童随年龄增长,记忆策略的水平不断提高;复述策略在7岁以后明显出现,自觉地运用分类策略的能力出现较晚。庞虹(1992)探讨了小学儿童组织策略的发展,结果表明;一年级儿童处于产生性缺损伴随中介性缺损亚阶段,三年级儿童处于产生性缺损但不伴随中介性缺损亚阶段,五年级儿童处于成熟运用策略阶段。 　　策略3.精心制作(elaborating)策略 　　“精心制作”策略是与组织性策略相联系的一种记忆策略,具体指当主体面临一些很难归类的材料时,就在这些材料中创造出某种联系以赋予它们一定的意义。研究者发现,主体的这种“精心制作”策略出现得较晚,一般等到小学高年级和青少年阶段才能出现。巴克哈特等(Backhalt,1976)研究发现,年幼儿童所创造出来的关系具有呆板和固定的特点,而年长儿童所创造出来的关系则是生动且丰富的;年长儿童更易从自己创造出来的形象中或词语的关系中受益,而年幼儿童更易从实验者指出的关系中受益。 　　儿童记忆策略的研究在不断地深入和发展,如有的研究者比较了策略使用的有效性精细加工策略、建立其它联系策略和复述策略在配对单字记忆作业中识记效果的差异,从总体上看,三种策略的效果依次下降。有效地加工信息是提高记忆成绩的重要途径。

运用聚类分析法主要做好分析表达数据：　　1、通过一系列的检测将待测的一组基因的变异标准化，然后成对比较线性协方差。　　2、通过把用最紧密关联的谱来放基因进行样本聚类，例如用简单的层级聚类（hierarchical clustering）方法。这种聚类亦可扩展到每个实验样本，利用一组基因总的线性相关进行聚类。　　3、多维等级分析（multidimensional scaling analysis,MDS）是一种在二维Euclidean “距离”中显示实验样本相关的大约程度。　　4、K-means方法聚类，通过重复再分配类成员来使“类”内分散度最小化的方法。　　聚类分析法是理想的多变量统计技术，主要有分层聚类法和迭代聚类法。聚类通过把目标数据放入少数相对同源的组或“类”（cluster）里。

基于图的多视图聚类旨在利用多视图图信息来提供聚类解决方案。多视图的一致性约束是多视图图聚类的关键。现有的研究大多是生成融合图，并通过聚类损失来约束多视图的一致性。本文认为局部视图对的一致性可以实现多个视图中的共识信息的fine-modeling（精细建模）。为此，本文提出了一种新的对比和注意图学习框架的多视图聚类方法。具体来说，本文设计了一个多视图图学习的 contrastive fine-modeling，利用最大化成对视图的相似性，以保证多视图的一致性。同时，采用基于注意力网络的附加加权细化融合图模块，动态捕捉不同视图的容量差异，进一步促进了单个视图和融合视图的相互强化。此外，提出的CAGL可以通过一个自训练的聚类模块来学习一个专门的聚类表示。最后，开发了一个联合优化目标来平衡每个模块，并在图编解码器的框架下迭代优化所提出的CAGL。 With the development of information collection and processing technology, multi-view data with multiple types of features are pervasive in various application domains. For example, a text document can be analyzed by word, sentence, and paragraph or different languages. (Cross language text classification via subspace co-regularized multi-view learning) 数据定义：给定包含 个视图多视图图数据集， ， 。即，视图 包含 个样本点，且对于视图 而言，其维度为 。 除一个多视图图自编码器之外，整体的模型主要包含三个主要模块，分别为基于注意权重的融合模块，对比多视图图学习模块，以及一个自训练的聚类模块。 对样本特征进行加权平均融合特征和对视图特征拼接往往导致性能次优。因此，作者引入了注意力机制学习每个视图的权重参数。基于该思想，模型可以对来自不同视图的信息进行利用，其 计算方式如下：在此基础上，本模块的目标是实现在多个视图中的共识信息的fine-modeling。本模块对传统的基于样本的视图对齐的对比学习方法：总体而言，其创新点主要是框架的集成和模块化目标的设计。作为我的梦中情刊，竟然被我发现了好多错误。。。但是不得不说，关于论文的组织结构和语言的组织，都很厉害。 大量的实验证明了该框架的有效性。特别是关于参数敏感性学习的部分，对 的维度，学习率 ，收敛性分析，以及loss的参数( , , )（ 这里又出现了错误，明明说这3个参数都在[0,1]，结果画出的图的坐标竟然。。。截图为证 ）进行了展示。

什么是SVM，当然首先看一下wiki. Support Vector Machines are learning models used for classification: which individuals in a population belong where，So… how do SVM and the mysterious “kernel” work，好吧，故事是这样子的：在很久以前的情人节，大侠要去救他的爱人，但魔鬼和他玩了一个游戏。魔鬼在桌子上似乎有规律放了两种颜色的球，说：“你用一根棍分开它们，要求：尽量在放更多球之后，仍然适用。”SVM就是试图把棍放在最佳位置，好让在棍的两边有尽可能大的间隙现在即使魔鬼放了更多的球，棍仍然是一个好的分界线。然后，在SVM 工具箱中有另一个更加重要的trick。魔鬼看到大侠已经学会了一个trick，于是魔鬼给了大侠一个新的挑战。现在，大侠没有棍可以很好帮他分开两种球了，现在怎么办呢，当然像所有武侠片中一样大侠桌子一拍，球飞到空中。然后，凭借大侠的轻功，大侠抓起一张纸，插到了两种球的中间。现在，从魔鬼的角度看这些球，这些球看起来像是被一条曲线分开了。再之后，无聊的大人们，把这些球叫做「data」，把棍子叫做「classifier」, 最大间隙trick 叫做「optimization」，拍桌子叫做「kernelling」, 那张纸叫做「hyperplane」。Support Vector Machine, 一个普通的SVM就是一条直线罢了，用来完美划分linearly separable的两类。但这又不是一条普通的直线，这是无数条可以分类的直线当中最完美的，因为它恰好在两个类的中间，距离两个类的点都一样远。而所谓的Support vector就是这些离分界线最近的『点』。如果是高维的点，SVM的分界线就是平面或者超平面。其实没有差，都是一刀切两块，我就统统叫直线了。

伪时间是衡量单个细胞在细胞分化等过程中取得了多大进展的指标。在许多生物学过程中，细胞并不是完全同步的。在细胞分化等过程的单细胞表达研究中，捕获的细胞在分化方面可能分布广泛。也就是说，在同一时间捕获的细胞群中，有些细胞可能已经很长时间了，而有些细胞甚至还没有开始这个过程。当您想要了解在细胞从一种状态转换到另一种状态时所发生的调节更改的顺序时，这种异步性会产生主要问题。跟踪同时捕获的细胞间的表达可以产生对基因动力学一个大致的认识，该基因表达的明显变异性将非常高。Monocle根据每个cell在学习轨迹上的进展对其进行排序，从而缓解了由于异步而产生的问题。Monocle不是跟踪表达式随时间变化的函数，而是跟踪沿轨迹变化的函数，我们称之为伪时间。伪时间是一个抽象的分化单位：它只是一个cell到轨迹起点的距离，沿着最短路径测量。轨迹的总长度是由细胞从起始状态移动到结束状态所经历的总转录变化量来定义的。 还是老规矩，跟着官网学习Monocle2的使用方法。官网如下： 单细胞基因表达研究使人们能够在复杂的生物过程和高度异质性的细胞群中描述转录调控。这些研究有助于发现识别特定亚型细胞的基因，或标记生物过程中的中间状态，以及在两种不同的细胞命运之间过渡态的基因。在许多单细胞研究中，单个细胞是以不同步的方式执行基因表达过程。实际上，每个细胞都是正在研究的转录过程中的一个瞬间。Monocle包是分析单细胞测序的工具。 Monocle引入了在伪时间(拟时间)内对单个细胞排序的策略，利用单个细胞的非同步进程，将它们置于与细胞分化等生物学过程相对应的轨迹上。****Monocle利用先进的机器学习技术(反向图嵌入)从单细胞数据中学习显式的主图来对细胞进行排序，这可以强大而准确地解决复杂的生物过程。 Monocle也可以进行聚类(即使用t-SNE和密度峰值聚类)。Monocle也可以进行差异基因表达测试，使人们能够识别在不同状态下差异表达的基因，沿着生物过程以及不同的细胞命运时基因表达的变化。Monocle是专为单细胞RNA-Seq研究设计的，但也可以用于其他分析。 Monocle 2包括新的和改进的算法，用于对细胞进行分类和计数，执行细胞亚群之间的差异表达分析，以及重建细胞轨迹。Monocle 2也被重新设计，可以很好地完成包含数万个或更多细胞的大型单细胞RNA-Seq数据分析。 Monocle perform three main types of analysis: 首先，Monocle 2使用一种简单的、无偏的和高度可扩展的统计程序来选择具有轨迹进展特征的基因。然后，它采用了一类流形学习算法，旨在在高维单细胞RNA-seq数据中嵌入一个主图。以前的方法是通过启发式分析细胞之间的成对距离来推断分支结构，而Monocle 2可以使用这张图来直接识别发育的命运决定。我们已经通过广泛的基准测试证明，Monocle 2优于其他工具，如Wishbone，而不需要用户指定轨迹的结构。 Monocle 2的算法是再2017年发表在nature methods 上，文章链接如下 文章中的核心理论为：每个细胞都可以表示为高维空间中的一个点，在高维空间中，每个维对应着一个有序基因的表达水平。高维数据首先通过几种降维方法，如PCA(默认)、扩散映射等，投射到低维空间。 Monocle 2然后在自动选择的一组数据质心上构造一棵生成树。 然后， 该算法将细胞移动到它们最近的树的顶点，更新顶点的位置以适应细胞，学习新的生成树，并迭代地继续这个过程，直到树和细胞的位置已经收敛。在这个过程中，Monocle 2保持了高维空间和低维空间之间的可逆映射，从而既学习了轨迹，又降低了数据的维数。****一旦Monocle 2学会了树，用户就会选择一个tip作为根。计算每个单元的伪时间作为其沿树到根的测地线距离，并根据主图自动分配其分枝。 因为monocle2学习树结构，与其他方法相比，分支结构自动出现。当它更新细胞位置并细化树时，monocle2简化了轨迹的结构，修剪了小的分支，这样最终的轨迹只保留了描述细胞状态显著差异的分支。 Monocle需要在R语言环境下运行。官网给出的都是R-3.4比较老的版本，现在都是R-3.6或者R-4.0以上版本。我们可以直接在Bioconductor中安装Monocle 2 。 查看系统中安装的这个包的版本文档 当然也可以在GitHub上安装最新版的Monocle2。 有时我们添加的特性需要你安装某些额外的软件包。当您尝试上面的命令时，可能会看到错误。您可以通过输入(例如)来在错误消息中安装包。 最后检查一下是否安装成功 方法一: 将Seurat object中数据提取来创建 FPKM/TPM值通常是对数正态分布的，而UMIs或读计数使用负二项更好地建模。要处理计数数据，请将负二项分布指定为newCellDataSet的expressionFamily参数： 稀疏矩阵用negbinomial.size()， FPKM值用tobit()， logFPKM值用gaussianff() 方法二: 直接读取表达矩阵来创建 方法三: 将Seurat对象直接转化为CellDataSet对象 如果我们想要从Seurat对象或SCESet中导入所有的插槽，我们可以设置参数"import_all"为TRUE。#(默认为FALSE或只保留最小数据集) size facotr帮助我们标准化细胞之间的mRNA的差异。 离散度值可以帮助我们进行后续的差异分析。 大多数单细胞工作流程至少会包含一些由死细胞或空孔组成的库。同样重要的是要删除doublets:由两个或多个细胞意外生成的库。这些细胞可以破坏下游步骤，如伪时间排序或聚类。要知道一个特定的基因有多少个表达，或者一个给定的细胞有多少个基因表达，通常是很方便的。Monocle提供了一个简单的函数来计算这些统计数据。 Monocle官网教程提供了4个分类方法： 1、Classifying cells by type Monocle提供了一个简单的系统，根据您选择的标记基因的表达来标记细胞。您只需提供一组函数，Monocle就可以使用这些函数对每个单元格进行注释。例如，您可以为几种单元格类型中的每种类型提供一个函数。这些函数接受每个单元格的表达式数据作为输入，并返回TRUE以告诉Monocle某个单元格满足函数定义的条件。所以你可以有一个功能，对表达成肌细胞特异性基因的细胞来说是真的，另一个功能对成纤维细胞特异性基因来说是真的，等等。 2、Clustering cells without marker genes Monocle提供了一种算法，可以用来计算“未知”单元格的类型。该算法在函数clusterCells中实现，根据全局表达式轮廓将单元格分组在一起。这样的话，如果你的细胞表达了许多特定于成肌细胞的基因，但恰好缺少MYF5，我们仍然可以识别它为成肌细胞。clusterCells可以在无监督的方式下使用，也可以在半监督的“”模式下使用，这允许使用一些专家知识来辅助算法。我们先来看看无监督模式。 第一步是决定哪些基因用于细胞聚类。我们可以使用所有的基因，但是我们会包含很多基因，这些基因的表达水平不足以提供有意义的信号。包括它们只会给系统增加噪音。我们可以根据平均表达水平筛选基因，我们还可以选择在细胞间异常可变的基因。这些基因往往对细胞状态有很高的信息量。 setOrderingFilter函数标记了在随后对clusterCells的调用中用于聚类的基因，尽管我们可以根据需要提供其他基因列表。plot_ordering_genes函数显示了基因表达的变异性（离散性）如何依赖于细胞间的平均表达。红线表示基于这种关系的单片体对色散的预期。我们标记用于聚类的基因显示为黑点，而其他基因显示为灰点。 Monocle使用t-SNE来给细胞聚类可视化 指定10个cluster 3、Clustering cells using marker genes 首先，我们将选择一组不同的基因用于细胞聚类。在我们挑选高表达和高度可变的基因之前。现在，我们将挑选与标记共变异的基因。从某种意义上说，我们将建立一个大的基因列表来作为标记，这样即使一个细胞没有MYF5，它也可以被其他基因识别为成肌细胞。 函数markerDiffTable接受CellDataSet和CellTypeHierarchy，并根据提供的函数将所有单元格分类为类型。然后在识别不同基因类型之间差异表达的基因之前，它去除了所有“未知”和“不明确”的功能。同样，您可以提供要从该测试中排除的影响的剩余模型。然后函数返回一个测试结果的数据帧，您可以使用它来选择要用于聚类的基因。通常情况下，最好挑选最适合每种细胞类型的前10或20个基因。这确保了聚类基因不受一种细胞类型标记的支配。如果可能的话，通常需要为每种类型创建一个平衡的标记面板。Monocle提供了一个方便的功能，可以根据基因在每种类型中的表达受限程度来对基因进行排序。 4、Imputing cell type 注意，我们已经减少了成肌细胞群中“污染”成纤维细胞的数量，反之亦然。但是“未知”细胞呢？如果为clusterCells提供CellTypeHierarcy，Monocle将使用它对整个簇进行分类，而不仅仅是单个细胞。基本上，clusterCells的工作原理与以前完全相同，只是在构建集群之后，它会统计每个集群中每种细胞类型的频率。当一个簇由超过一定百分比（在本例中为10%）的特定类型组成时，簇中的所有单元格都被设置为该类型。如果一个集群由多个单元类型组成，则整个集群都被标记为“不明确”。如果没有高于阈值的单元类型，则集群被标记为“未知”。因此，Monocle可以帮助您在缺少标记数据的情况下估算每个细胞的类型。 在发育过程中，为了对刺激做出反应，在整个生命周期中，细胞从一种功能“状态”过渡到另一种功能“状态”。处于不同状态的细胞表达不同的基因，产生蛋白质和代谢物的动态重复，从而完成它们的工作。当细胞在不同的状态间移动时，会经历一个转录重组的过程，一些基因被沉默，而另一些则被激活。这些瞬态通常很难描述，因为在更稳定的端点状态之间净化细胞可能很困难或不可能。单细胞RNA-Seq可以让你看到这些状态而不需要纯化。然而，要做到这一点，我们必须确定每个细胞的可能状态范围。 Monocle介绍了利用RNA-Seq进行单细胞轨迹分析的策略。Monocle不是通过实验将细胞净化成离散状态，而是使用一种算法来学习每个细胞作为动态生物过程的一部分必须经历的基因表达变化序列。一旦掌握了基因表达变化的整体“轨迹”，Monocle就可以将每个细胞放置在轨迹中的适当位置。然后，你可以使用Monocle的差异分析工具来寻找在轨迹过程中受调控的基因，如“寻找随假时间变化的基因”一节所述。如果这个过程有多个结果，Monocle将重建一个“分支”轨迹。这些分支与细胞的“决定”相对应，Monocle提供了强有力的工具来识别受它们影响并参与制造它们的基因。在“分析单细胞轨迹中的分支”部分中，可以看到如何分析分支。Monocle依靠一种称为反向图嵌入的机器学习技术来构造单细胞轨迹. Step 1: 选择定义过程的基因 推断单细胞轨迹是一个机器学习问题。第一步是选择Monocle将用作机器学习方法输入的基因。这叫做特征选择，它对轨迹的形状有很大的影响。在单细胞RNA-Seq中，低水平表达的基因通常非常嘈杂，但有些基因包含有关细胞状态的重要信息。单核细胞通过检测这些基因在细胞群体中的表达模式来对细胞进行排序。Monocle寻找以“有趣的”（即不只是嘈杂的）方式变化的基因，并用它们来构造数据。Monocle为您提供了多种工具来选择基因，这些基因将产生一个健壮、准确和具有生物学意义的轨迹。你可以使用这些工具来执行一个完全“无监督”的分析，在这个分析中，Monocle不知道你认为哪个基因是重要的。或者，你可以利用marker gene知识来定义生物学进展，从而形成Monocle的轨迹。我们认为这种模式是“半监督”的分析。 Monocle官网教程提供了4个选择方法： 前三种都是无监督分析方法，细胞发育轨迹生成完全不受人工干预；最后一种是半监督分析方法，可以使用先验知识辅助分析。 理想情况下，我们希望尽可能少地使用正在研究的系统生物学的先验知识。我们希望从数据中发现重要的排序基因，而不是依赖于文献和教科书，因为这可能会在排序中引入偏见。我们将从一种更简单的方法开始，但是我们通常推荐一种更复杂的方法，称为“dpFeature”。 Step 2: 降维 下一步，我们将把空间缩小到一个二维空间，当Monocle对细胞进行排序时，我们将能够很容易地可视化和解释这些空间。 Step 3: 按照轨迹排序细胞 如果你的树上有一堆状态，那就很难弄清楚每个状态都落在树上的什么地方了。有时，可以方便地“分面”轨迹图，以便更容易地查看每个状态的位置. 如果你没有时间序列，你可能需要利用你对系统的生物学知识，根据特定标记基因的表达位置来设置根。例如，在这个实验中，一个高度增殖的祖细胞群正在产生两种类型的有丝分裂后细胞。因此，根部应该有表达高水平增殖标记的细胞。我们可以使用抖动图来判断哪种状态对应于快速扩散： 官方给出的差异分析有三大方法，我们重点关注第三个：****根据伪时间功能寻找差异基因 1、Basic Differential Analysis 2、Finding Genes that Distinguish Cell Type or State 3、Finding Genes that Change as a Function of Pseudotime Monocle的主要工作是通过生物过程（如细胞分化）将细胞按顺序排列，而不知道要提前查看哪些基因。一旦这样做了，你就可以分析细胞，找到随着细胞进展而变化的基因。例如，你可以发现随着细胞“成熟”而显著上调的基因。让我们来看看一组对肌肉生成很重要的基因： 这个sm.ns函数指出Monocle应该通过表达式值拟合自然样条曲线，以帮助它将表达式的变化描述为进程的函数。让我们加入基因注释，这样就很容易看出哪些基因是重要的。 ** 研究时间序列基因表达研究时出现的一个常见问题是：“哪些基因遵循相似的动力学趋势”？Monocle可以通过对具有相似趋势的基因进行分组来帮助你回答这个问题，所以你可以分析这些基因组，看看它们有什么共同点。Monocle提供了一种方便的方法来可视化所有假时间依赖性基因。函数plot_pseudotime_heatmap采用CellDataSet对象（通常只包含重要基因的子集），并生成平滑的表达曲线，非常类似于plot_genes_in_pseudotime。然后，它对这些基因进行聚类，并使用pheatmap软件包进行绘图。这让你可以想象出基因模块在不同的时间内共同变化。** 通常，单细胞轨迹包括分支。这些分支的产生是因为细胞执行不同的基因表达程序。在发育过程中，当细胞做出命运选择时，分支出现在轨迹中：一个发育谱系沿着一条路径前进，而另一个谱系产生第二条路径。Monocle包含分析这些分支事件的广泛功能。 以Steve Quake"s的实验室进行的实验为例，Barbara Treutlein团队从发育中的小鼠肺中捕获了细胞。他们在发育早期捕获细胞，后来当肺中同时含有两种主要类型的上皮细胞（AT1和AT2）时，细胞就要决定变成AT1或AT2。Monocle可以将这个过程重构为一个分支轨迹，允许您对决策点进行非常详细的分析。下图显示了使用部分数据重建的Monocle轨迹。有一个分支，标记为“1”。当细胞从树的左上角经过树枝的早期发育阶段时，哪些基因会发生变化？哪些基因在分枝间有差异表达？为了回答这个问题，Monocle为您提供了一个特殊的统计测试：分支表达式分析建模，或BEAM。BEAM(Branched expression analysis modeling)是一种统计方法，用于寻找以依赖于分支的方式调控的基因。 BEAM进行统计分析 该热图显示的是同一时间点两个谱系的变化。热图的列是伪时间的点，行是基因。从热图中间往右读，是伪时间的一个谱系；往左是另一个谱系。基因是被按照等级聚类的，所以你看到的基因表达模式和谱系的表达模式是非常相似的。 We can plot a couple of these genes, such as Pdpn and Sftpb (both known markers of fate in this system), using the plot_genes_branched_pseudotime function, which works a lot like the plot_genes_in_pseudotime function, except it shows two kinetic trends, one for each lineage, instead of one. 相关资料： 官网 monocle2 拟时间分支点分析结果解读 单细胞分析实录(15): 基于monocle2的拟时序分析 Monocle2包学习笔记（四）：Differential Expression Analysis