CreditMetrics模型认为债务人的信用风险状况用债务人的（　　）表示。

metricadj.米制的，公制的，十进制的； 度量的； 距离的；n.度量标准； [数学]度量； 诗体，韵文，诗韵；复数： metricsThe Wall Street Journal uses 220,000 metric tons of newsprint each year. 《华尔街日报》每年用去22万公吨新闻纸。We are gradually changing over to a completely metric system. 我们正逐渐过渡到完全使用公制。

应该是“指标”

Metrics 是量度的意思!!!!!!!!!!!!!!!!!!

【答案】：衡量标准是指人力资源管理者用来评价其运营状况所需要的一系列量化的绩效衡量尺度。人力资源管理协会提供的人力资源衡量标准包括：缺勤率、单位雇佣成本、每位员工的健康护理成本、人力资源费用系数、人力资本投资回报率、人力资本附加价值、收益系数、填补岗位时间、培训投资系数、流动成本、流动率、每名员工的工伤保险成本等。

metrics 指路由度量值，即从当前计算机发送数据包到目的地址的开销是多少，用于路径选择时使用，metrics值越小表示路径越好

矩阵

信息资源、公共标准

本文讨论的都是基于Flink On K8s场景下，该场景下存在几个特点，一是存在线上业务系统资源复用，二是调度节点存在"随机性"，对现有的Flink Metrics采集及使用姿势提出了新的要求： Flink任务自动扩缩容，智能诊断场景依赖Metrics指标进行加工分析处理，现有Prometheus存储方案不再适合。 既有的指标采集需要先落本地，再由nodeexporter或lancer导出到目标存储，强依赖于Local环境，线上业务系统资源环境差异较大，扩容等维护成本较高，资源隔离性不够好。 期望在Flink On K8s场景下，Flink Metrics指标采集，能够不依赖于基础环境，对扩缩容友好，，支持指标采集及分析数据存储统一，降低指标维护使用成本，对Flink Metrics指标采集方案进行调研 2.1.1、 原理架构图如下 2.1.2、 配置方式 将flink-metrics-prometheus-1.14.3.jar 包放入到flink安装目录/lib下 修改flink-conf.yaml配置文件，设置属性 Example configuration: metrics.reporter.promgateway.class: org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter metrics.reporter.promgateway.host: localhost metrics.reporter.promgateway.port: 9091 metrics.reporter.promgateway.jobName: myJob metrics.reporter.promgateway.randomJobNameSuffix: true metrics.reporter.promgateway.deleteOnShutdown: false metrics.reporter.promgateway.groupingKey: k1=v1;k2=v2 metrics.reporter.promgateway.interval: 60 SECONDS 2.2.1、原理架构图如下 2.2.2、配置方式 将flink-metrics-prometheus-1.14.3.jar 包放入到flink安装目录/lib下 修改flink-conf.yaml配置文件，设置属性 Example configuration: metrics.reporter.prom.class: org.apache.flink.metrics.prometheus.PrometheusReporter metrics.reporter.prom.port: 9250-9260 2.3..1、原理架构图如下 2.3.2、配置方式 将flink-metrics-influxdb-1.14.3.jar 包放入到flink安装目录/lib下 修改flink-conf.yaml配置文件，设置属性 Example configuration: metrics.reporter.influxdb.factory.class: org.apache.flink.metrics.influxdb.InfluxdbReporterFactory metrics.reporter.influxdb.scheme: http metrics.reporter.influxdb.host: localhost metrics.reporter.influxdb.port: 8086 metrics.reporter.influxdb.db: flink metrics.reporter.influxdb.username: flink-metrics metrics.reporter.influxdb.password: qwerty metrics.reporter.influxdb.retentionPolicy: one_hour metrics.reporter.influxdb.consistency: ANY metrics.reporter.influxdb.connectTimeout: 60000 metrics.reporter.influxdb.writeTimeout: 60000 metrics.reporter.influxdb.interval: 60 SECONDS 2.4.1、原理架构图如下 2.4.2、配置方式 将flink-metrics-jmx-1.14.3.jar 包放入到flink安装目录/lib下 修改flink-conf.yaml配置文件，设置属性 Example configuration: metrics.reporter.jmx.factory.class: org.apache.flink.metrics.jmx.JMXReporterFactory metrics.reporter.jmx.port: 9250-9260 2.5.1、配置方式 将flink-metrics-slf4j-1.14.3.jar 包放入到flink安装目录/lib下 修改flink-conf.yaml配置文件，设置属性 Example configuration: metrics.reporter.slf4j.factory.class: org.apache.flink.metrics.slf4j.Slf4jReporterFactory metrics.reporter.slf4j.interval: 60 SECONDS GraphiteReporter、StatsDReporter、DatadogHttpReporter 指标采集到Kafka后，将全量指标实时写入ClickHouse. 指标采集到Kafka后，将全量指标实时写入ClickHouse同时满足监控大盘需求及指标数据长期存储和二次加工分析，该方式优势指标数据源统一，任务大盘及告警

服务运行时将服务信息展示出来方便用户查看时服务易用性的重要组成部分。特别时对于分布式集群服务。 spark服务本身有提供获取应用信息对方法，方便用户查看应用信息。Spark服务提供对master，worker，driver，executor，Historyserver进程对运行展示。对于应用（driver／executor）进程，主要提供metric和restapi对访问方式以展示运行状态。 服务/进程通过Metric将自身运行信息展示出来。spark基于Coda Hale Metrics Library库展示。需要展示的信息通过配置source类，在运行时通过反射实例化并启动source进行收集。然后通过配置sink类，将信息sink到对应的平台。 以driver为例：driver进程启动metricSystem的流程： SparkContext在初始化时调用 ： MetricsSystem.createMetricsSystem("driver", conf, securityManager) 然后等待ui启动后启动并绑定webui（executor则是初始化后直接启动） metricsSystem.start() metricsSystem.getServletHandlers.foreach(handler => ui.foreach(_.attachHandler(handler))) 创建MetricConfig， val metricsConfig = new MetricsConfig(conf) 初始化MetricConfig，首先设置默认的属性信息： prop.setProperty("*.sink.servlet.class","org.apache.spark.metrics.sink.MetricsServlet") prop.setProperty("*.sink.servlet.path","/metrics/json") prop.setProperty("master.sink.servlet.path","/metrics/master/json") prop.setProperty("applications.sink.servlet.path","/metrics/applications/json") 加载conf/metric.properties文件或者通过spark.metrics.conf制定的文件。读取相关配置，metricsConfig.initialize() 在启动metricSystem时，则会注册并启动source和sink registerSources() registerSinks() sinks.foreach(_.start) 默认启动对source如下： 可配置的source如下： 配置方法：修改$SPARK_HOME/conf目录下的metrics.properties文件： 默认相关source已经统计在列。可添加source为jvmsource。添加之后则相关进程的jvm信息会被收集。配置方法 添加如下行： driver.source.jvm.class=org.apache.spark.metrics.source.JvmSource executor.source.jvm.class=org.apache.spark.metrics.source.JvmSource 或者*.source.jvm.class=org.apache.spark.metrics.source.JvmSource source信息的获取比较简单，以DAGSchedulerSource的runningStages为例，直接计算dagscheduler的runningStages大小即可。override def getValue: Int = dagScheduler.runningStages.size 通过这些收集的信息可以看到，主要是方便查看运行状态，并非提供用来监控和管理应用 Metric信息展示方法： 收集的目的是方便展示，展示的方法是sink。 常用的sink如下： a) metricserverlet spark默认的sink为metricsserverlet，通过driver服务启动的webui绑定，然后展示出来。ip:4040/metrics/json(ip位driver节点的ip)展示：由于executor服务没有相关ui，无法展示metricsource的信息。 下图是配置过JVMsource后，通过driver节点的看到的metric信息。 b) CSV方式(将进程的source信息，写入到csv文件,各进程打印至进程节点的相关目录下，每分钟打印一次)： *.sink.csv.class=org.apache.spark.metrics.sink.CsvSink *.sink.csv.period=1 *.sink.csv.directory=/tmp/ c) console方式（将进程的source信息写入到console/stdout ,输出到进程的stdout）： *.sink.console.class=org.apache.spark.metrics.sink.ConsoleSink *.sink.console.period=20 *.sink.console.unit=seconds d) slf4j方式（直接在运行日志中查看）： *.sink.slf4j.class=org.apache.spark.metrics.sink.Slf4jSink *.sink.slf4j.period=10 *.sink.slf4j.unit=seconds e) JMX方式（此情况下，相关端口要经过规划，不同的pap使用不同的端口，对于一个app来说，只能在一个节点启动一个executor，否则会有端口冲突）： executor.sink.jmx.class=org.apache.spark.metrics.sink.JmxSink JMX方式在配置后，需要在driver/executor启动jmx服务。 可通过启动应用时添加如下操作实现--conf "spark.driver.extraJavaOptions=-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8090 -Dcom.sun.management.jmxremote.rmi.port=8001 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false --conf "spark.executor.extraJavaOptions=-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8002 -Dcom.sun.management.jmxremote.rmi.port=8003 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false" 可通过jconsole工具链接至对应driver进程所在ip和端口查看jmx信息。 除例metrics之外，用户还可以通过restApi接口查看应用运行信息。可以查询的信息如下（参见 http://spark.apache.org/docs/latest/monitoring.html ）： 运行中的应用：通过driver进程查看： ip:port/api/v1/.... 其中Ip为driver所在节点ip，端口为4040. 如果一个节点运行多个driver，端口会以此累加至4040，4041，4042 . 如：10.1.236.65:4041/api/v1/applications/application_1512542119073_0229/storage/rdd/23(on yarn 模式会自动跳转至如下页面) 对于运行完的应用，可通过jobhistory服务查看 此场景下，需要提交应用时打开eventlog记录功能 打开方法在应用的spark-defaults.conf中添加如下配置spark.eventLog.enabled为true，spark.eventLog.dir为hdfs:///spark-history 。 其中/spark-history可配置，需要和jobhistory进程的路径配置一致 ，该路径可通过historyserver页面查看。 ip:port/api/v1/....(其中Ip为spark服务的jobhistory进程所在节点ip，默认端口为18080). 可通过如下方式访问： Spark作为计算引擎，对于大数据集群来说，作为客户端向Yarn提交应用来完成数据的分析。所使用的资源一般在yarn控制之下。其应用场景并非作为服务端为其他组件提供服务。其所提供的信息通常是针对app级别，如job，stage，task等信息。一般的信息监控需求均可通过其ui页面查看。对于一些应用的运行情况，可通过restapi获取和分析。

Spring Boot Actuactor 的 Metrics 是用来收集系统的总体运行状态的指标数据。 在 Grafana 上看到 Dubbo 请求相关指标数据： Provider 端： 配置： Consumer 端： 配置：见上面 Provdier 的配置，只是条件改为 consumer 在 application.yml 添加如下配置，开启 tomcat 相关指标的监控 Spring Actuator 引用 micrometer 工具来采集指标数据 在 Grafana 上看到 Tomcat 相关的指标数据： 配置： 默认是开启 JVM 相关指标的监控 在 Grafana 上配置： 在 Grafana 上查看指标： 配置： 在 Grafana 上查看指标： 配置： 在 Grafana 上查看指标： 配置： 表示该 JVM 进程中打开文件描述符的使用情况，包括：socket file 和 file 等 在 Grafana 上查看指标： 配置： 在 Grafana 上查看指标： 配置：

ES指标聚合，就是类似SQL的统计函数，指标聚合可以单独使用，也可以跟桶聚合一起使用，下面介绍golang如何使用ES的指标聚合。 不了解ES指标聚合相关知识，先看一下 Elasticsearch 指标聚合教程 值聚合，主要用于统计文档总数，类似SQL的count函数。 基数聚合，也是用于统计文档的总数，跟Value Count的区别是，基数聚合会去重，不会统计重复的值，类似SQL的count(DISTINCT 字段)用法。 求平均值 求和计算 求最大值 求最小值

路由更新中的hops为跳数，即中间经过了几个路由器，metrics为代价值。由于RIP路由协议就是使用跳数作为代价值，因此hops与metrics是相等的。

按照文档 《Kubernetes heapster监控插件安装》 和 《Kubernetes Metrics Server安装》 完成Heapster和Metrics Server之后，想尝试通过 kubectl top nodes 查看安装效果，结果抛出下面的错误： 我用下面一张图简单描述了一下APIService、Service、Pod、kubelet四者的关系，APIService负责对外提供服务，Pod访问个节点的kubelet抓取节点上各种指标数据，然后提供给APIService。 所以，我首先查看了一下APIService的状态，看APIService是否正常。通过下面的命令查看 kube-system/metrics-server APIService 的状态，可以看到有下面的报错信息： 从上面信息可以看到，APIService访问后端服务无响应，所以我再去查看Pod的日志： 从错误信息可以看到： metrics-server在调用各节点的kubelet获取对应节点上的指标信息时，指标数据没有有效的时间戳 。 根本原因是： 某些pod或node没有正常运行 ，如下图所示。只要保证pod或node运行正常后，这些错误信息就会消失。 然而，这个错误并不是根本原因，在纠结了两天之后，我突然想到，既然https请求无法访问，是不是和代理有关系。 我之前在 /etc/kubernetes/manifests/kube-apiserver.yaml 中加了一个https代理： 删掉这个代理问题就解决了，如果不能删除这个代理，也可以配置 no_proxy 环境变量，把10.108.78.78加上。

官方文档：https://www.app-metrics.io/ App Metrics提供MetricsBuilder进行配置，这些配置项为： 在讲度量定义之前，先了解MeasurementUnit（度量单位），既测量的内容的描述，这个是输出结果的辅助信息。 App Metrics提供默认的度量配置和度量类型。 主要用于直接反应当前的度量情况，例如CPU和内存的使用情况，直观看到当前实际的状况。如： 对于一些需要观察某些特别数据数量统计的时候，比如api的请求量等，可以通过CounterOptions来实现用途。如： 对于一些需要观察某些特别数据增长率的时候，例如每隔一段时间用户的增长率等，可以通过MeterOptions来实现用途。如： 主要反应数据的分布情况，例如Post和Put请求的数据尺寸。如： 主要以响应时间的情况作为度量进行监控。如： 主要以标准的性能度量计算方。如： App Metrics支持格式化为Plain Text（纯文本）和JSON，以及格式化为如：InfluxDB, Prometheus, Elasticsearch 和 Graphite 这类时序数据的储存格式。 MetricsBuilder可以配置一到多个格式化器，如使用Plain Text 和 Json 安装App.Metrics Nuget包 通过获取快照，将格式化后的内容打印出来 实现自定义格式器 安装App.Metrics.Abstractions Nuget包 继承IMetricsOutputFormatter接口，实现自定义格式器 可以在IMetricsBuilder上使用过滤器，在检索快照时，默认使用该过滤器。 度量类型 未完待续

metrics-server 是 Kubernetes 生态中的一个重要组件，其主要的作用在于监测 Kubernetes的（node、pod）资源指标并提供监控系统做采集。Kubernetes 的许多特性都会依赖 metrics server，比如 kubectl top nodes/pods 指令；比如 HPA 需要根据其获取资源利用率；再比如 Istio 的服务组件等。 所以当 metrics-server 出现异常时，相关的组件都会受到影响。比如，如下这种典型的问题： 执行 kubectl top nodes 指令失败 报错信息如下: 其根本原因在于 Kubernetes 的 ApiServer 无法访问到 metrics-server，要验证这种问题，我们可以执行如下命令： 返回值如下: 可以看到访问 https://10.244.1.11:4443/apis/metrics.k8s.io/v1beta1 这个 API 异常，其访问的IP是一个典型的 clusterIP。 我们知道，通常情况下，Kubernetes 的 master 节点是访问不到 clusterIP 的。 而 Kubernetes 的 node 节点则可以访问的到，其主要的原因在于 kube-proxy，那么如果想要 master 节点可以访问到 Service 的 clusterIP，就要在 master 节点上也部署 kube-proxy ，确切的说是将 master 节点同时也作为 node 节点加入集群中去。并且为了避免调度对 master 节点造成影响，还需要对 master 节点打污点处理，这就是这次问题解决方案的主要思路。 目录结构说明： 文件内容: 文件内容: 文件内容: 文件内容: 执行成功，返回值类似下方: 执行成功，返回值类似下面: 返回如下: 正常情况，返回类似下面： 文件内容： 文件内容: 文件内容: 在未进行调整之前，返回值会包含类似一下的内容，很明显的可以看出连接异常： 在进行上文的调整后，正常情况下的返回值应该如下，这种情况下 apiserver 可以正常的访问到 metrics-server： 返回值类似下面: 返回值类似下面:

在以往的分类问题求解当中，我们遇到的问题多为二分类问题，我们常用的评估指标有accuracy, precision, recall_score, f1-score, roc_auc_score等。但是在实际生活中，多分类问题也是大量存在的。这一小节，我们就详细的说明一下多分类问题的评估指标。 我们先来看一下sklearn库中的二分类的评估指标，以recall_score为例。在recall_score方法中，有一个很重要的参数"average"，它的默认值为"binary"。当在默认参数的情况，该评估方法只能求解二分类问题，如果将该评估方法用于多分类问题，则系统会报错。但"average"同时也向我们提供了其他四个用于解决多分类的问题的参数"micro","macro","weighted","samples"。下面我们以鸢尾花数据集为例来对这四个参数进行逐一说明。 [sklearn.metrics.recall_score](" https://scikit-learn.org/stable/modules/generated/sklearn.metrics.recall_score.html ") 我们以recall_score的计算为例，recall_score的计算公式如下： 为了计算recall_score，我们必须先计算出TP,FN值。我们采用sklearn中的混淆矩阵来计算TP,FN值。 该分类问题的混淆矩阵如下，列为真实类别，行为预测类别： 混淆矩阵（confusion matrix）说明： TP(True positive)：把正例正确地预测为了正例，如把类别0预测为0的个数有16个。 FN(False negative)：把正例错误地预测为了负列，如把类别1预测为2的个数有5个。 FP(False positive)：把负例错误地预测为了正例，假设0为正例，错误地把1,2预测为0就是FP。 TN(True negative)：把负例正确地预测为了负例，假设0为正例，1,2为负例，正确地把1,2预测为1,2就是TN。 对于混淆矩阵，可以这样理解。第一个字母T/F，表示预测的正确与否；第二个字母P/N，表示预测的结果为正例或者负例。如TP就表示预测对了，预测的结果是正例，那它的意思就是把正例预测为了正例。 Micro：把所有类汇总在一起计算出最终recall值，其计算公式如下： 在使用Micro参数时，其recall_score = (16+13+11)/(16+13+11+5) = 0.89。 使用sklearn.metrics方法计算： 从上述计算结果可以看出，两者的计算结果是一致的，均为0.89。 Macro：分别计算出每一类的recall值，再取算数平均值，其计算公式如下： 在使用Macro参数时，其recall_score = [16/(16+0+0) + 13/(0+13+5) + 11/(11+0+0)] * 1/3 = 0.91 使用sklearn.metrics方法计算： 从上述计算结果可以看出，macro参数下的recall值为0.91。 Weighted：分别计算每一类的recall值，再乘以各自的权重，然后求和，其计算公式如下： 计算各类的权重： 在使用weighted参数时，其recall_score = 16/(16+0+0) * 0.356 + 13/(0+13+5) * 0.4 + 11/(11+0+0) * 0.244 = 0.89 使用sklearn.metrics方法计算： 从上述计算结果可以看出，weighted参数下的recall值为0.89。 samples应用于多标签的分类问题，每一个样本拥有一个以上的标签。如一个感染病毒性肺炎的患者，就可以说他既属于病毒性肺炎患者这一类，也可以说他属于肺炎患者类。 小结： 1.对于多分类算法的评估，我们需要将sklearn.metrics.recall_score中的"average"参数修改为"micro"或"macro"或者"weighted"。 2.在这个例子当中，我们以recall来举例，像其他的评估指标precision, roc_auc_score, f1-score都是采用同样的方法。 文章参考： [1]. https://zhuanlan.zhihu.com/p/59862986

通过 conf/flink-conf.yaml 文件配置一个或多个 Reporters 来暴露度量值给外部系统，这些 Reporter 将在作业和任务启动的时候实例化。 所有的 Reporter 配置至少需要配置 class 属性，还有一些允许配置记录间隔。下面是一些 Reporter 的配置实例： 包含 Reporter 的 jar 必须放到 /lib 文件夹，这样 Flink 就可以访问到这些 jar。 可以通过继承 org.apache.flink.metrics.reporter.MetricReporter 接口来实现自己的 Reporter，如果需要定期发送记录，需要继承 Scheduled 接口。 下面是一些支持的 Reporter： 不需要添加额外的依赖就可以支持 JMX Reporter，默认是不激活的。 参数： 配置示例： 通过 JMX 公开的度量由域（domain）和键属性列表（key-properties）标识，这些属性一起构成对象名。 域始终以 org.apache.flink 开头，后跟一个通用的度量标识符。与通常的标识符不同，它不受作用域格式的影响，不包含任何变量，并且在跨作业时也是常量。例子： org.apache.flink.job.task.numbytesout 。 键属性列表包含与给定指标关联的所有变量的值，无论配置的作用域格式如何。例子： host=localhost,job_name=myjob,task_name=mytask 。 因此，域标识一个度量类，键属性列表标识该度量的一个（或多个）实例。 要使用此 Reporter，必须复制 /opt/flink-metrics-ganglia-1.6.1-SNAPSHOT.jar 到 Flink 的 /lib 文件夹下。 参数： 配置示例： 要使用此 Reporter，必须复制 /opt/flink-metrics-graphite-1.6.1-SNAPSHOT.jar 到 Flink 的 /lib 文件夹下。 参数： 配置示例： 要使用此 Reporter，必须复制 /opt/flink-metrics-prometheus-1.6.1-SNAPSHOT.jar 到 Flink 的 /lib 文件夹下。 参数： 配置示例： Flink 度量类型映射到 Prometheus 度量类型，如下所示： 要使用此 Reporter，必须复制 /opt/flink-metrics-prometheus-1.6.1-SNAPSHOT.jar 到 Flink 的 /lib 文件夹下。 参数： 配置示例： PrometheusPushGatewayReporter 将指标推送到 Pushgateway，可由 Prometheus 抓取。 要使用此 Reporter，必须复制 /opt/flink-metrics-statsd-1.6.1-SNAPSHOT.jar 到 Flink 的 /lib 文件夹下。 参数： 配置示例： 要使用此 Reporter，必须复制 /opt/flink-metrics-datadog-1.6.1-SNAPSHOT.jar 到 Flink 的 /lib 文件夹下。 Flink 指标，如任何变量 <host> ， <job_name> ， <tm_id> ， <subtask_index> ， <task_name> 和 <operator_name> ，将被发送到 Datadog 作为标签。标签看起来像 host:localhost 和 job_name:myjobname 。 参数： 配置示例： 要使用此 Reporter，必须复制 /opt/flink-metrics-slf4j-1.6.1-SNAPSHOT.jar 到 Flink 的 /lib 文件夹下。 配置示例： Flink 默认会收集当前状态的指标，下文的表格中包括以下5列： 请注意，“infix” 和 “Metrics” 列中所有的点根据 “metrics.delimiter” 设置变化。 因此，为了推断指标的标识符： Reference: https://ci.apache.org/projects/flink/flink-docs-release-1.6/monitoring/metrics.html

高瞻啊

对于SaaS企业，一种和传统软件完全不同的商业模式，需要有全新的衡量维度。传统的业务指标完全无法捕捉推动SaaS性能的关键因素。在SaaS世界中，有一些关键变量会对未来结果产生重大影响。本文旨在帮助SaaS从业者们了解哪些变量是真正重要，以及如何衡量这些变量并根据结果采取行动。 本文全面而详细地介绍了SaaS企业想要优化SaaS业务所需的关键指标，目的是足够帮助您回答以下问题： 你的SaaS业务是否有真的被市场所需要？ SaaS企业管理层应该关注哪些指标？ 首席执行官应该踩油门还是刹车？ 加速增长对现金流的影响是什么？ SaaS的意思是软件及服务，传统软件的商业模式是一次性购置，后续仅仅支付更新或者维护费用，而SaaS只要在一开始支付较少的费用即可在云端使用产品和服务，如果不满足需求可以随时取消。 这就个企业带来了一个挑战，如果客户支付给你的钱低于你的霍克成本，你便处于亏本状态，商业无法成立。 因此，SaaS或者订阅的商业模式，就存在2个指标： 客户获取和客户留存以及扩展 。 此外，任何企业都关注收入，还有1个指标：客户变现。 以上，便组成了SaaS最核心的3个财务指标。 客户按月订购产品和服务的模式，核心指标关注MRR（月经常性收入）； 客户按年订购产品和服务的模式，核心指标关注ARR（年经常性收入）和ACV（年度合同金额）。 对于每一项SaaS服务，需要经历三个主要阶段。大多数人都明白首先是启动阶段，然后就是每个人都梦想钞票滚滚来的稳定阶段，其中一个阶段往往没有被谈到，即SaaS服务的高增长，这也是通常被重点强调的时期段。 这包括一切准备任务，产品开发，以此“走向市场”，获得首批客户。 如果市场喜欢你的产品，接纳你的软件，那么你可能会经历一段快速发展时期。虽然这听起来很不错，但通常要花费更多钱，因为你需要快速的数据拓展，存储，带宽和各种技术上升需求，以支持新客户。SaaS客户喜欢上该产品往往是由于他们无需创建自己的企业IT基础设施。那么，不需要创建IT基础设施是因为你的SaaS产品已通过后端提供给了会员。 SaaS服务已开始平缓进行中。你开始获取稳健收益，并快速获取新客户，喜欢它的高增长阶段呢。你也将理解什么叫做“流失”。我们前面介绍到：“大举投入获客增长时，在这个阶段亏损将会越大。”但是仍然建议， 一旦业务表现能够成功，就要立马加大投入提升“增长”。 你可能会问：为什么？ SaaS通常是一个“赢家通吃”游戏，因此，一旦你的产品或服务等优势站在市场的领先地位，应当尽快地抢占市场份额，建立竞争壁垒。但这里有一个前提，你需要让投资人相信未来的盈利前景，让他们愿意投入资金，让企业得到更快的增长。 那么，驱动一家SaaS企业增长有哪些因素？接下来，我们将从产品、渠道、销售、客户留存等6个角度逐一解释。 一个SaaS公司，首要任务还是完善产品。 如果你的产品使用免费试用的策略，要让免费使用转化率达到健康的水平（理想情况下，大概在15-20％）。如果过于低的转化率，可能是你的价值主张没能与客户产生共鸣，或者你的产品没能匹配市场需求（也就是常说的没能找到PMF）。 多数SaaS企业都会尝试一些获取销售线索的方法，例如Google关键词付费广告，广播电视投放等。但是这些渠道都会随着时间的推移饱和，即时加大投入，所获得的销售线索也可能越来越少，正因如此，SaaS企业应该在持续评估原有的渠道的基础上，努力寻找全新并有效的线索来源渠道，从而保持销售线索的不断成长，如图所示： 由于每个渠道获取线索的转化率和成本都不尽相同，因此还需要评估每个渠道的ROI，从而得到回报率更高的渠道，尽可能的投入，而不在无利可图的线索渠道上花费功夫。 注：足够多的销售线索供应是SaaS公司的常年挑战之一，可能是增长最大的限制因素之一。如果您面对这种情况，我们建议是：在集客营销方法（Inbound Marketing，一种让顾客自己找上门的营销策略）上进行投入，虽然这种方法难以上手，但是一旦掌握，将能大幅度降低获取线索的成本，此外，典型的SaaS买家显然是喜欢上网的，因此更容易接受集客营销。 （1）销售有哪些关键的衡量指标？ 当然，每个销售渠道的重要指标因公司而异，不过，无论您的销售流程如何，都有通用的方法来衡量每个步骤。这涉及到每个步骤测量两件事情： 进入该销售环节的线索； 该步骤到下一步骤的转化率。 在上图的漏斗中，展示了一个非常简单的三阶段销售流程，访问者访问了一个网站，其中一部分人注册了试用版，最后一些人转化为购买。核心追踪数据只有三个：访客数量，试用数量和购买成单数量。我们的目标就是了解这三个环节之间的转化率，并不断推进提升转化率。 （2）用漏斗的衡量指标协助制定远期规划 了解转换率的另一个关键价值是能够对未来进行科学的预测。例如，如果你的公司想在下个季度要做到400万美元，你可以根据转化率倒推，先确定需要多少个付费订单，有多少次试用/演示次数，需要多少个销售人员，最后到需要多少个销售线索，这些关键的数据将为你提供相对准确决策依据。 （3）解析销售产能 在许多SaaS业务中，销售代表在达成交易中发挥关键作用，销售人员的数量和对应的能力则至关重要。当我们制定了销售目标后，还应当倒推需要多大的销售产能，得出销售产能后及时进行调整，如补充人员或提升销售人员的生产力等，否则可能造成增长停滞的问题，计算过程中值得注意的是，如果新来的销售人员只能完成预计的50%，那计算时只能按照半个人来计算。 客户留存率的重要性 在一家处于非常早期的SaaS公司而言，流失确实并不重要。假设你每月流失3％的客户，当你只有一百个客户，失去3个是不可怕的。你可以轻松地找到另外3个来替换它们。然而，随着您的业务规模的增长，想象你现在已经有一百万个客户，3％的流失意味着你每个月正在流失30,000名客户，想要再次获得这30,000名客户并不容易！ 关于流失率，一个常被忽略的地方在于流失率加上新增ARR相结合，不仅将决定业务发展的速度，也将决定公司能发展到最大规模，见下图： 为公司建一个类似上面这样的简单模型，将公司目前的ARR数据在蓝色曲线上体现出来。你是位于曲线左边、ARR增长速度很快、离增长天花板还很远？还是位于曲线右侧、营收增长趋于平稳而且已经没有太大增长空间了呢？在流失率或是获取新客户方面的提升能让你受益多少呢？ 预测流失：客户参与度评分 既然流失是如此重要，如果我们能预测哪些客户最有可能流失，那将是极有价值的，这样我们可以把最好的客户服务提供给这部分人，以挽救这种情况。 首先，我们可以通过跟踪客户的行为数据，来分析客户对企业的粘性。不同的功能将得到不同的分数。 除此之外，客户的满意度也是是流失的重要预测因素，因此调查客户满意度将是有用的，我们推荐衡量客户满意度的方式是采用净推荐值来计算（NPS），而且NPS的优点在于它是一个标准化的数字，所以你可以将你的公司与其他公司进行比较。 如果你公司的净营收流失率很高，每月超过2%的话，这表明你的公司哪里出问题了。2%的月流失率意味着你每年将会流失22%的营收。随着公司规模越来越大，这将是增长的主要障碍。因此我们建议，在公司很多问题都需要解决的时候，要优先解决导致高客户流失率的问题。 导致流失的原因包括： 1.产品不符合客户的期望。包括产品没能为用户提供足够高的价值，以及产品不稳定或是bug太多。 2.产品粘性不足。产品可能在头几个月提供一些价值，然后当客户享受价值后，他们可能会觉得他们不需要再为此付费了。为了提高产品粘性，可以尝试将产品作为客户工作流程中的关键部分，或将相关数据储存在产品中。 3.没有让客户的实际操作用户使用产品。 4.销售人员过度承诺或将产品出售给不合适的客户。 5.产品被销售给小微企业，但他们很快就倒闭了。 6.没有让客户方便增加订单金额的弹性定价策略。 7.要想了解客户为什么会流失，最好的方法就是打电话亲自咨询客户。 有关流失率分析：分组分析（Cohort Analysis） 因为流失率是决定一家SaaS公司能否成功的至关重要的因素，因此更需要深入的分析，Cohort Analysis（分组分析）则是帮助我们理解流失率的最重要的手段之一。 如上面这个分组分析图表所示，从红色框标注的纵向数据可以看出，1月到7月每个月的新增用户在第一个月的留存率越来越高。从绿色框标注的横向数据可以看出，1月份的新增用户的流失率在第四个月的时候开始趋于稳定。 分组分析可以帮我们解答下面这样的问题： 1.过去几个月新客户在哪个阶段流失严重？ 2.流失率在一段时间后是否开始趋于稳定？ 3.如果采取一些行动来尝试修复流失（即更好的产品功能，更容易的onboarding，更好的培训等），分组分析可以帮助我们知道这些变化是否有效。 负流失的力量 解决流失问题的终极解决方案就是实现负流失。即从剩余客户那里获得的新增营收大于流失客户流失的收入。 要想增加从现有客户那里获得的营收，有两种方法： 1.采用弹性定价方案。总有些客户在使用过程中需要更大的产品使用量，例如使用者数量、数据空间等，你需要推出多层面的定价策略，针对体现产品较高价值的大客户制定多种价格. 2.扩展销售。在组合中添加新产品，将产品捆绑交叉销售及追加销售。 为更直观地理解负流失的力量，可以看看下面两张图，通过分组分析（Cohort Analysis）了解一下3%的流失和-3%的流失在图表上的表现。 在下面的图表中，我们按照月份进行分组，每个月的群组使用不同的颜色，所以我们可以根据流失率来看看它们如何影响营收。 在上图中，每月流失3%，在每个月6000美元订单费用维持不变的情况下，公司在40个月之后的营收为14万美元，营收增长速度也逐渐趋缓。 而在这张图中，基于3%的负流失率，公司可能也流失了一些客户，但剩余客户为公司提供的营收是增长的，公司在40个月后的营收高达45万美元，是前者的3倍多，公司营收的增长速度也在加快。 客户预付费用的重要性 让客户预付费用是非常聪明的想法，因为客户的预付款可以为你提供现金流，为了能让客户预付费用，即使需要为客户提供一定的折扣来奖励这种行为也是可以的。 通常情况下，预付时间越长越有利于减少客户流失率，这是因为预付就意味着客户用实际行动对使用你的产品和服务进行了承诺。此外，如果早期在为客户部署服务时出现了问题，你也将会有更充足的时间解决这些问题。 凡事有利有弊，让客户预付费用也是。让客户预付费用可能会无形之中将一些客户拒之门外，影响客户的获取量。因此你需要在客户量和预付这两者间尽可能实现一种平衡。 核心是两点： 灵活定价机制，不同的打包定价。 在产品组合中添加新产品，向现有客户销售更多的产品。 在所有SaaS业务中，可能会有一段时间，你会意识到并不是所有的客户都是平等的。例如，更大的客户更难卖，但通常订单更大，流失更少。这就要求我们将客户群分为不同类型，并分别计算每个细分的单位经济效益指标。常见的分类方式包括先验分群、基于需求分群、基于价值的分群。（具体如何做，可以回头看看我们之前关于客户分群的两篇文章） 通过先分群再计算相关指标，尽管增加了工作量，但是了解不同类别的客户是有很高的价值的。将会告诉我们哪些部分的业务运行良好，哪些地方出现问题。除了知道在哪里集中和投入资源外，也会认识到接下来的产品方向和营销方向。翻译/编辑：LEAN WORK · SaaS研究院

Kubernetes使用Horizontal Pod Autoscaler（HPA）的控制器实现基于CPU使用率进行自动Pod扩缩容的功能。HPA控制器周期性地监测目标Pod的资源性能指标，并与HPA资源对象中的扩缩容条件进行对比，在满足条件时对Pod副本数量进行调整。 Kubernetes中的某个Metrics Server（Heapster或自定义Metrics Server）持续采集所有Pod副本的指标数据。HPA控制器通过Metrics Server的API（Heapster的API或聚合API）获取这些数据，基于用户定义的扩缩容规则进行计算，得到目标Pod副本数量。 当目标Pod副本数量与当前副本数量不同时，HPA控制器就向Pod的副本控制器（Deployment、RC或ReplicaSet）发起scale操作，调整Pod的副本数量，完成扩缩容操作。我推荐你去看看时速云，他们是一家全栈云原生技术服务提供商，提供云原生应用及数据平台产品，其中涵盖容器云PaaS、DevOps、微服务治理、服务网格、API网关等。大家可以去体验一下。 如果我的回答能够对您有帮助的话，求给大大的赞。

目的：ambari-metrics是一个很容易出问题挂掉的组件，如果无法重启的情况下。我们可以舍弃之前集群的监控数据，然后进行格式化恢复。 注:操作后历史监控数据不可恢复 This is usually due to AMS Data being corrupt. 1.Shut down Ambari Monitors, and Collector via Ambari 2.Cleared out the /var/lib/ambari-metrics-collector dir for fresh restart 3.From Ambari -> Ambari Metrics -> Config -> Advanced ams-hbase-site get the hbase.rootdir and hbase-tmp directory4.Delete or Move the hbase-tmp and hbase.rootdir directories to an archive folder 5.Started AMS. 6.All services will came online and graphs started to display, after a few minutes

1 修改窗口滚动条的大小（Windows 9x/2000/XP） （1）打开注册表编辑器。 （2）打开HKEY_CURRENT_USERControl PanelDesktopWindows Metrics子键。 （3）右边窗口中的ScrollHeight和ScrollWidth是窗口滚动条的高和宽,默认值为-270（均以Windows 9x为例，Windows 2000/XP的默认值与其相差不大），分别双击ScrollHeight和ScrollWidth修改其键值（数值越大，显示越大，如超出最大值会导致此功能无效，建议大家键入适当的数值）。 （4）注销电脑后即可看到效果。 2 修改窗口菜单栏大小（Windows 9x/2000/XP） (1)打开注册表编辑器。 (2)打开HKEY_CURRENT_USERControl PanelDesktopWindows Metrics子键。 (3)右边窗口中的MenulHeight和MenuWidth是窗口菜单栏的高和宽，默认值为-270，分别双击MenuHeight和MenuWidth修改其键值。 (4)注销电脑后即可看到效果。 3 修改窗口标题栏大小（Windows 9x/2000/XP） （1）打开注册表编辑器。 （2）打开HKEY_CURRENT_USERControl PanelDesktopWindows Metrics子键。 （3）右边窗口中的CaptionHeight和CaptionWidth是窗口标题栏的高和宽，默认值为-270，分别双击CaptionHeight和CaptionWidth修改其键值。 (4)注销电脑后即可看到效果。 4 去除快捷方式图标中的小箭头（Windows 9x/2000/XP） （1）打开注册表编辑器。 （2）打开HKEY_CLASSES_ROOTlnkfile子键。 （3）删除右边窗口中的字符串IsShortcut。 （4）注销电脑后即可看到效果。 5 删除提示信息（Windows 9x/2000/XP） 当鼠标接近某个图标时会出现提示信息，作为大虾级的你是否感到麻烦呢？是的话就把它给干掉。 （1）打开注册表编辑器。 （2）打开HKEY_CURRENT_USERSoftwareMicrosoftWindowsCurrentVersionExplorerAdvanced子键。 （3）双击右边窗口中的字符串ShowInfoTip，当其键值为“1”时表示显示提示信息；为“0”时表示不提示信息，默认值为1，将其改为0。

翻译：队列指标

<dependency><groupId>io.dropwizard.metrics</groupId><artifactId>metrics-core</artifactId><version>2.2.0</version></dependency>

1.同时按下Win键+R键，输入regedit回车，打开注册表编辑器。2.在注册表编辑器中定位到：HKEY_CURRENT_USERControl PanelDesktopWindowMetrics3.在右侧找到：“IconSpacing”和“IconVerticalSpacing”两个选项，双击打开，修改数值，重启机台即可看到效果。IconSpacing的数值决定了桌面图标的水平间距，IconVerticalSpacing是负责定义垂直间距。默认数值均是-1130，可以根据视觉需要在-480至-2730间修改。改动后的效果如下：默认-1130：最小间距-480：最大间距-2730：

进程优化或者是流程测量 但用于产品方面

衡量观测值与真实值之间的偏差。常用来作为机器学习模型预测结果衡量的标准。如果存在个别偏离程度非常大的离群点（ Outlier）时，即使离群点数量非常少，也会让RMSE指标变得很差。MSE（Mean Square Error）均方误差通过平方的形式便于求导，所以常被用作线性回归的损失函数。L2 loss对异常敏感，用了MSE为代价函数的模型因为要最小化这个异常值带来的误差，就会尽量贴近异常值，也就是对outliers（异常值）赋予更大的权重。这样就会影响总体的模型效果。MAE（Mean Absolute Error）平均绝对误差是绝对误差的平均值。可以更好地反映预测值误差的实际情况。相比MSE来说，MAE在数据里有不利于预测结果异常值的情况下鲁棒性更好。SD（Standard Deviation）标准差方差的算术平均根。用于衡量一组数值的离散程度。R2(R- Square）拟合优度R2=SSR/SST=1-SSE/SST其中：SST=SSR+SSE，SST(total sum of squares)为总离差平方和，SSR(regression sum of squares)为回归平方和，SSE(error sum of squares) 为残差平方和，其中表示的平均值得到表达式为：因变量的变异能通过回归关系被由自変量解释的比例取值范国是0~1，R越近1表明回归平方和占总平方和的比例越大回归线与各观则点越接近，回归的拟合程度就越好。所以R也称为拟合优度（ Goodness of Fit）的统计量Error = Bias + VarianceError反映的是整个模型的准确度，Bias反映的是模型在样本上的输出与真实值之间的误差，即模型本身的精准度，Variance反映的是模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性。分类对数损失不适用于样本不均衡时的分类评估指标ROC-AUC可作为样本正负不均衡时的分类评估指标如果我们想让少数情况被正确预测，就用ROC-AUC作为评估指标F1- Score和PR曲线在正样本极少时适用于作为分类评估指标F1- Score和PR曲线在FP比FN更重要时，适用于作为分类评估指标第一个字母T或F，代表这个分类结果是否正确，第二个字母P或N，代表分类器认为是正例还是负例。1.准确率（accuracy）所有预测正确的样本/总的样本 = （TP+TN）/总from sklearn.metrics import accuracyaccuracy = accuracy_score(y_test, y_predict)2.查准率（precision)预测为正的样本中有多少是真的正样本。两种可能，一种就是把正类预测为正类(TP)，另一种就是把负类预测为正类(FP)from sklearn.metrics import precision_scoreprecision = precision_score(y_test, y_predict)3.查全率/召回率(recall)样本中的正样本有多少被预测正确了。两种可能，一种是把原来的正类预测成正类(TP)，另一种就是把原来的正类预测为负类(FN)：from sklearn.metrics import recall_scorerecall = recall_score(y_test, y_predict)#recall得到的是一个list，是每一类的召回率4.F1是准确率和召回率的调和平均from sklearn.metrics import f1_scoref1_score(y_test, y_predict)在一个总样本中，正样本占90%，负样本占10%，样本是严重不平衡的，只需要将全部样本预测为正样本准确率为90%查准率为90%召回率100%F1 为18/19正负样本数量往往很不均衡。，P-R曲线的变化就会非常大，而ROC曲线则能够更加稳定地反映模型本身的好坏。如果研究者希望更多地看到模型在特定数据集上的表现，P-R曲线则能够更直观地反映其性能。5.PR曲线PR曲线是准确率和召回率的点连成的线。曲线越靠近右上角性能越好PR曲线与ROC曲线的相同点是都采用了TPR (Recall)，都可以用AUC来衡量分类器的效果。不同点是ROC曲线使用了FPR，而PR曲线使用了Precision，因此PR曲线的两个指标都聚焦于正例。类别不平衡问题中由于主要关心正例，所以在此情况下PR曲线被广泛认为优于ROC曲线。6.ROC(Receiver Operating Characteristic）曲线，又称接受者操作特征曲线通过动态地调整截断点，从最高的得分开始（实际上是从正无穷开始，对应着ROC曲线的零点），逐渐调整到最低得分，每一个截断点都会对应一个FPR和TPR，在ROC图上绘制出每个截断点对应的位置再连接所有点就得到最终的ROC曲线。ROC的含义为概率曲线，AUC的含义为正负类可正确分类的程度。左上角最好TPR(True Positive Rate)真正例率/查准率P真实的正例中，被预测为正例的比例：TPR = TP/(TP+FN)。FPR(False Positive Rate)假正例率****真实的反例中，被预测为正例的比例：FPR = FP/(TN+FP)。理想分类器TPR=1，FPR=0。ROC曲线越接近左上角，代表模型越好，即ACU接近1截断点thresholds指的就是区分正负预测结果的阈值7.AUC计算：分别随机从正负样本集中抽取一个正样本，一个负样本，正样本的预测值大于负样本的概率。例题：对于样本 (A, B, C, D, E) ,已知其对应的label为 (0, 1, 1 ,0 ,1)，模型A的预估值为 (0.2, 0.4, 0.7, 0.3, 0.5),模型 B 的预估值为(0.1, 0.3, 0.9, 0.2, 0.5)，模型 A 和 模型 B 的 AUC 一样本题样本对（一个正样本，一个负样本组成一个样本对）共有3*2=6个，分别是（B，A）（B，D）（C，A）（C，D）（E，A）（E，D）。模型A对应概率为(0.4,0.2)，(0.4,0.3)，(0.7,0.2)，(0.7,0.3)，(0.5,0.2)，(0.5,0.3)，可得其对应AUC为：(1+1+1+1+1+1)/6 = 1。同理，模型B也等于1。AUC值为ROC曲线所覆盖的区域面积，显然,AUC越大,分类器分类效果越好。AUC = 1，是完美分类器，采用这个预测模型时，不管设定什么阈值都能得出完美预测。绝大多数预测的场合，不存在完美分类器。0.5 < AUC < 1，优于随机猜测。AUC = 0.5，跟随机猜测一样。AUC < 0.5，比随机猜测还差。Binary-class classificationimport numpy as npnp.random.seed(10)import matplotlib.pyplot as pltfrom sklearn.datasets import make_classificationfrom sklearn.preprocessing import label_binarizefrom sklearn.ensemble import RandomForestClassifierfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import roc_curveX, y = make_classification(n_samples=80000)# print(X[0], y[0])# (80000, 20) (80000,)X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.5)X_train, X_train_lr, y_train, y_train_lr = train_test_split(X_train, y_train, test_size=0.5)from keras.models import Sequentialfrom keras.layers import Densefrom sklearn.metrics import aucmodel = Sequential()model.add(Dense(20, input_dim=20, activation="relu"))model.add(Dense(40, activation="relu"))model.add(Dense(1, activation="sigmoid"))model.compile(loss="binary_crossentropy", optimizer="adam", metrics=["accuracy"])model.fit(X_train, y_train, epochs=5, batch_size=100, verbose=1)y_pred = model.predict(X_test).ravel()print(y_pred.shape)fpr, tpr, thresholds = roc_curve(y_test, y_pred)roc_auc = auc(fpr, tpr)plt.figure(1)plt.plot([0, 1], [0, 1], "k--")plt.plot(fpr, tpr, label="Keras (area = {:.3f})".format(roc_auc))plt.xlabel("False positive rate")plt.ylabel("True positive rate")plt.title("ROC curve")plt.legend(loc="best")plt.show()# Zoom in view of the upper left corner.plt.figure(2)plt.xlim(0, 0.2)plt.ylim(0.8, 1)plt.plot([0, 1], [0, 1], "k--")plt.plot(fpr, tpr, label="Keras (area = {:.3f})".format(roc_auc))plt.xlabel("False positive rate")plt.ylabel("True positive rate")plt.title("ROC curve (zoomed in at top left)")plt.legend(loc="best")plt.show()# (Optional) Prediction probability density function(PDF)import numpy as npfrom scipy.interpolate import UnivariateSplinefrom matplotlib import pyplot as pltdef plot_pdf(y_pred, y_test, name=None, smooth=500): positives = y_pred[y_test == 1] negatives = y_pred[y_test == 0]

Training metrics指的是培训指标企业在实施培训过程中，除了关注培训的内容和方法外，更注重培训效果达到既定的目标，培训的投入产出是否达到预期，培训是否给员工带来知识面的拓宽和能力的提升，最终给企业带来效益等等，所以说培训效果是培训工作的目标，也是培训工作的核心内容。但是，对培训效果的评估和考核一直是培训工作的难点，特别是像国内一些刚发展起来的企业，在培训方面还没有完善相关的机制，面对不同的培训内容和培训体系，如何科学、合理，有针对性的评估培训效果，

一年前需要用聚类算法时，自己从一些sklearn文档和博客粗略整理了一些相关的知识，记录在电子笔记里备忘，现在发到网上，当时就整理的就很乱，以后有空慢慢把内容整理、完善，用作备忘。之前把电影标签信息的聚类结果作为隐式反馈放进SVD++中去训练，里面有两个小例子 利用条件熵定义的同质性度量： sklearn.metrics.homogeneity_score:每一个聚出的类仅包含一个类别的程度度量。 sklearn.metrics.completeness:每一个类别被指向相同聚出的类的程度度量。 sklearn.metrics.v_measure_score:上面两者的一种折衷： v = 2 * (homogeneity * completeness) / (homogeneity + completeness) 可以作为聚类结果的一种度量。 sklearn.metrics.adjusted_rand_score:调整的兰德系数。 ARI取值范围为[-1,1],从广义的角度来讲，ARI衡量的是两个数据分布的吻合程度 sklearn.metrics.adjusted_mutual_info_score:调整的互信息。 利用基于互信息的方法来衡量聚类效果需要实际类别信息，MI与NMI取值范围为[0,1],AMI取值范围为[-1,1]。 在scikit-learn中， Calinski-Harabasz Index对应的方法是metrics.calinski_harabaz_score. CH指标通过计算类中各点与类中心的距离平方和来度量类内的紧密度，通过计算各类中心点与数据集中心点距离平方和来度量数据集的分离度，CH指标由分离度与紧密度的比值得到。从而，CH越大代表着类自身越紧密，类与类之间越分散，即更优的聚类结果。 silhouette_sample 对于一个样本点(b - a)/max(a, b) a平均类内距离，b样本点到与其最近的非此类的距离。 silihouette_score返回的是所有样本的该值,取值范围为[-1,1]。 这些度量均是越大越好 K-means算法应该算是最常见的聚类算法，该算法的目的是选择出质心，使得各个聚类内部的inertia值最小化，计算方法如下： inertia可以被认为是类内聚合度的一种度量方式，这种度量方式的主要缺点是： （1）inertia假设数据内的聚类都是凸的并且各向同性（ convex and isotropic）， 各项同性是指在数据的属性在不同方向上是相同的。数据并不是总能够满足这些前提假设的， 所以当数据事细长簇的聚类，或者不规则形状的流形时，K-means算法的效果不理想。 （2）inertia不是一种归一化度量方式。一般来说，inertia值越小，说明聚类效果越好。 但是在高维空间中，欧式距离的值可能会呈现迅速增长的趋势，所以在进行K-means之前首先进行降维操作，如PCA等，可以解决高维空间中inertia快速增长的问题，也有主意提高计算速度。 K-means算法可以在足够长的时间内收敛，但有可能收敛到一个局部最小值。 聚类的结果高度依赖质心的初始化，因此在计算过程中，采取的措施是进行不止一次的聚类，每次都初始化不同的质心。 sklearn中可以通过设置参数init="kmeans++"来采取k-means++初始化方案， 即初始化的质心相互之间距离很远，这种方式相比于随机初始质心，能够取得更好的效果。 另外，sklearn中可以通过参数n_job，使得K-means采用并行计算的方式。 ##sklearn 中K-means的主要参数： 1) n_clusters: 设定的k值 2）max_iter： 最大的迭代次数，一般如果是凸数据集的话可以不管这个值，如果数据集不是凸的，可能很难收敛，此时可以指定最大的迭代次数让算法可以及时退出循环。 3）n_init：用不同的初始化质心运行算法的次数。由于K-Means是结果受初始值影响的局部最优的迭代算法，因此需要多跑几次以选择一个较好的聚类效果，默认是10。如果你的k值较大，则可以适当增大这个值。 4）init： 即初始值选择的方式，可以为完全随机选择"random",优化过的"k-means++"或者自己指定初始化的k个质心。一般建议使用默认的"k-means++"。 5）algorithm：有“auto”, “full” or “elkan”三种选择。"full"就是我们传统的K-Means算法， “elkan”elkan K-Means算法。默认的"auto"则会根据数据值是否是稀疏的，来决定如何选择"full"和“elkan”。一般来说建议直接用默认的"auto" 聚类的中心 print clf.cluster_centers_ 每个样本所属的簇 print clf.labels_ 用来评估簇的个数是否合适，距离越小说明簇分的越好，选取临界点的簇个数 print clf.inertia_ Sum of distances of samples to their closest cluster center. 两个小例子（很久以前弄的，写得比较简略比较乱，有空再改，数据是movielen中的电影标签信息）： 例1： 例2，在区间[2,200]上遍历k,并生成两个聚类内部评价指标CH分、轮廓系数以及kmeans自带inertia分和对应的k值的图片来选择k： 其中两点相似度s(i, j)的度量默认采用负欧氏距离。 sklearn.cluster.AffinityPropagation 有参数preference（设定每一个点的偏好，将偏好于跟其他节点的相似性进行比较，选择 高的作为exmplar,未设定则使用所有相似性的中位数）、damping （阻尼系数， 利用阻尼系数与1-阻尼系数对r 及 a进行有关迭代步数的凸组合，使得算法收敛 default 0.5 可以取值与[0.5, 1]） cluster_centers_indices_:中心样本的指标。 AP算法的主要思想是通过数据点两两之间传递的信息进行聚类。 该算法的主要优点是能够自主计算聚类的数目，而不用人为制定类的数目。 其缺点是计算复杂度较大 ，计算时间长同时空间复杂度大， 因此该算法适合对数据量不大的问题进行聚类分析。 数据点之间传递的信息包括两个，吸引度（responsibility）r(i,k)和归属度（availability）a(i,k)。 吸引度r(i,k)度量的是质心k应当作为点i的质心的程度， 归属度a(i,k)度量的是点i应当选择质心k作为其质心的程度。 其中t是迭代的次数，λ是阻尼因子，其值介于[0,1]，在sklearn.cluster.AffinityPropagation中通过参数damping进行设置。 每次更新完矩阵后，就可以为每个数据点分配质心，分配方式?是针对数据点i，遍历所有数据点k（包括其自身）， 找到一个k使得r(i,k)+a(i,k)的值最大，则点k就是点i所属的质心，迭代这个过程直至收敛。 所谓收敛就是所有点所属的质心不再变化 首先说明不引入核函数时的情况。 算法大致流程为：随机选取一个点作为球心，以一定半径画一个高维球（数据可能是高维的）， 在这个球范围内的点都是这个球心的邻居。这些邻居相对于球心都存在一个偏移向量， 将这些向量相加求和再平均，就得到一个mean shift，起点在原球心，重点在球内的其他位置。 以mean shift的重点作为新的球心，重复上述过程直至收敛。 这个计算过程中，高维球内的点，无论其距离球心距离多远，对于mean shift的计算权重是一样的。 为了改善这种情况，在迭代计算mean shift的过程中引入了核函数 sklearn中相关实现是sklearn.cluster.MeanShift。 sklearn中实现的是自底向上的层次聚类，实现方法是sklearn.cluster.AgglomerativeClustering。 初始时，所有点各自单独成为一类，然后采取某种度量方法将相近的类进行合并，并且度量方法有多种选择。 合并的过程可以构成一个树结构，其根节点就是所有数据的集合，叶子节点就是各条单一数据。 sklearn.cluster.AgglomerativeClustering中可以通过参数linkage选择不同的度量方法，用来度量两个类之间的距离， 可选参数有ward,complete,average三个。 ward:选择这样的两个类进行合并，合并后的类的离差平方和最小。 complete:两个类的聚类被定义为类内数据的最大距离，即分属两个类的距离最远的两个点的距离。 选择两个类进行合并时，从现有的类中找到两个类使得这个值最小，就合并这两个类。 average:两个类内数据两两之间距离的平均值作为两个类的距离。 同样的，从现有的类中找到两个类使得这个值最小，就合并这两个类。 Agglomerative cluster有一个缺点，就是rich get richer现象， 这可能导致聚类结果得到的类的大小不均衡。 从这个角度考虑，complete策略效果最差，ward得到的类的大小最为均衡。 但是在ward策略下，affinity参数只能是“euclidean”，即欧式距离。 如果在欧氏距离不适用的环境中，average is a good alternative。 另外还应该注意参数affinity，这个参数设置的是计算两个点之间距离时采用的策略， 注意和参数linkage区分，linkage设置的是衡量两个类之间距离时采用的策略， 而点之间的距离衡量是类之间距离衡量的基础。 affinity的可选数值包括 “euclidean”, “l1”, “l2”, “manhattan”, “cosine”, ‘precomputed". If linkage is “ward”, only “euclidean” is accepted. DBSCAN算法的主要思想是，认为密度稠密的区域是一个聚类，各个聚类是被密度稀疏的区域划分开来的。 也就是说，密度稀疏的区域构成了各个聚类之间的划分界限。与K-means等算法相比，该算法的主要优点包括：可以自主计算聚类的数目，不需要认为指定；不要求类的形状是凸的，可以是任意形状的。 DBSCAN中包含的几个关键概念包括core sample，non-core sample，min_sample，eps。 core samle是指，在该数据点周围eps范围内，至少包含min_sample个其他数据点，则该点是core sample， 这些数据点称为core sample的邻居。与之对应的，non-sample是该点周围eps范围内，所包含的数据点个数少于min_sample个。从定义可知，core sample是位于密度稠密区域的点。 一个聚类就是一个core sample的集合，这个集合的构建过程是一个递归的构成。 首先，找到任意个core sample，然后从它的邻居中找到core sample， 接着递归的从这些邻居中的core sample的邻居中继续找core sample。 要注意core sample的邻居中不仅有其他core sample，也有一些non-core smaple， 也正是因为这个原因，聚类集合中也包含少量的non-core sample，它们是聚类中core sample的邻居， 但自己不是core sample。这些non-core sample构成了边界。 在确定了如何通过单一core sample找到了一个聚类后，下面描述DBSCAN算法的整个流程。 首先，扫描数据集找到任意一个core sample，以此core sample为起点，按照上一段描述的方法进行扩充，确定一个聚类。然后，再次扫描数据集，找到任意一个不属于以确定类别的core sample，重复扩充过程，再次确定一个聚类。 迭代这个过程，直至数据集中不再包含有core sample。 这也是为什么DBSCAN不用认为指定聚类数目的原因。 DBSCAN算法包含一定的非确定性。数据中的core sample总是会被分配到相同的聚类中的，哪怕在统一数据集上多次运行DBSCAN。其不确定性主要体现在non-core sample的分配上。 一个non-core sample可能同时是两个core sample的邻居，而这两个core sample隶属于不同的聚类。 DBSCAN中，这个non-core sample会被分配给首先生成的那个聚类，而哪个聚类先生成是随机的。 sklearn中DBSCAN的实现中，邻居的确定使用的ball tree和kd-tree思想，这就避免了计算距离矩阵。

核心数，线程数，频率，缓存，网上搜“CPU天梯图”

scater使用 calculateQCMetrics 函数计算QC metrics，它可以对细胞和基因进行一系列的数据质量控制，其结果分别存储在colData和rowData中。默认情况下，calculateQCMetrics函数使用原始的count值计算这些QC metrics，也可以通过exprs_values参数进行修改。 当然，我们也可以设置一些参照（如ERCC spike-in，线粒体基因，死亡的细胞等），计算其相应的QC metrics进行质量控制。 使用 plotHighestExprs 函数可视化那些高表达基因（默认查看50个基因）的表达情况。下图中行表示每个基因，橙色的线(bar)代表该基因在每一个细胞中的表达量，圆圈代表这个基因在所有细胞中表达量的中位数。默认情况下，使用基因的count值计算表达情况，也可以使用exprs_values参数进行修改。 使用 plotExprsFreqVsMean 函数进行可视化 上图趋势中的异常值可能需要进一步的调查。例如，高表达基因的pseudo-genes的比对错误将导致均值低的基因在所有的细胞中表达。相反，PCR的扩增偏差（或稀有种群的存在）可能会导致在极少数细胞中表达具有很高均值的基因。 对于细胞水平上的质控，我们可以查看参照基因（feature controls）的表达量比上总基因表达量的百分比，如果一个基因在总基因表达量上的比例多，而在参照基因（如ERCC）里少，就是正常的细胞，反之则不正常。 plotScater 函数会从表达量最高的基因（默认为500个）中选一部分，然后从高到低累加，看看它们对每个细胞文库的贡献值大小。这种类型的图类似于对芯片数据或bulk RNA-seq数据中按样本绘制箱线图可视化不同样本的表达分布差异。累积表达图更适用于单细胞数据，因为单细胞数据难以一次性查看所有细胞的表达分布的箱形图。 为了查看不同细胞的表达分布差异，我们可以利用colData中的变量将细胞进行分类。默认使用counts值进行绘图，我们也可以通过exprs_values参数指定其他的数据。 For plate-based experiments, it is useful to see how expression or factors vary with the position of cell on the plate. This can be visualized using the plotPlatePosition function: 可以使用 plotFeatureData 函数轻松地查看任意两个元数据变量之间的关系： The multiplot function also allows multiple plots to be generated on the same page, as demonstrated below. This is especially useful for side-by-side comparisons between control sets, as demonstrated below for the plot of highest-expressing features. A plot for non-control cells is shown on the left while the plot for the controls is shown on the right. 直接通过列数选取想要的细胞 使用 filter 函数根据指定条件选取想要的细胞 根据QC metrics设定阈值筛选高质量的细胞，这里我们选取那些总counts数大于100,000，表达的基因数大于500的细胞。 我们还可以通过 isOutlier 函数计算筛选的阈值，它将阈值定义为距离中位数一定数量的“中位数绝对偏差（MAD）”。超出此阈值的值被认为是异常值，可以假定它们是一些低质量的细胞，而将其过滤掉。这里我们选取那些log(total counts)值小于3倍MAD值的细胞作为outliers。 直接通过基因的表达量过滤掉那些低表达的基因，这里我们选取那些至少在4个细胞中表达的基因。 当然，我们也可以通过一些其他的条件（如核糖体蛋白基因，线粒体基因等）进行基因的过滤。 我们可以使用 plotExplanatoryVariables 函数查看不同解释因素的相对重要性。当对每个基因的不同因子进行表达量的线性回归模型拟合时，我们会对colData（example_sce）中的每个因子计算其对应的R2值。最好在表达量的对数值上执行此操作，以减少平均值对方差的影响。因此，我们首先对基因的表达量进行归一化处理。 上图中每条线对应一个因子，代表所有基因中R2值的分布。当然，我们也可以通过variables参数选择特定的因子进行计算可视化。 在这个小数据集中，total_counts和total_features_by_counts解释了基因表达中很大一部分的方差，它们在真实数据集中能解释的方差比例应该小得多（例如1-5％）。 缩放归一化（Scaling normalization）可以消除细胞特异性偏差，其使特定细胞中所有基因的表达增加或减少，例如测序的覆盖率或捕获效率。 进行缩放归一化的最简便方法是根据所有细胞的缩放文库大小定义size factors，使得平均size factor等于1，确保归一化后的值与原始count值的范围相同。 然后再使用 normalize 函数计算log转换后的归一化值，并将其存储在“logcounts” Assay中 虽然这种归一化的方式很简单，但细胞文库大小归一化并不能解决高通量测序数据中经常出现的成分偏差，它也不能解释影响spike-in转录本产生的差异。我们强烈建议使用来自scran包的 computeSumFactors 和 computeSpikeFactors 函数来进行计算。 批次效应的校正可以解决不同批次中细胞之间表达的系统差异，与比例偏差不同，这些偏差通常在给定批次的所有细胞中都是恒定的，但对于每个基因而言都是不同的。 我们可以使用limma软件包中的 removeBatchEffect 函数来消除批次效应。

metric 英[u02c8metru026ak] 美[u02c8mu025btru026ak] adj. 度量的; 米制的，公制的，十进制的; 距离的; n. 度量标准; [数学] 度量; 诗体，韵文，诗韵; [例句]Around 180,000 metric tons of food aid is required需要大约18万公吨的食品援助。[其他] 复数：metrics 公制 - 英制 Metric to Imperial Units 英制 - 公制长度(length)1 centimetre(cm)厘米 = 0.394 inch(in)英寸1 metre(m)米 = 3.28 foot(ft)英尺

Uses a broad spectrum of measurements in calculating quality of an Article and provides comparative impact in terms of popularity对一篇论文质量评估和阅览量统计分析

metrics 是“度量,指标”的意思.

【答案】：AVaR模型是针对市场风险的计量模型；CreditMetrics是针对信用风险的计量模型，CreditMetrics模型本质上是一个VaR模型。故选A。

告诉你如何找英文资料，在google中输入marketing metrics 加上后缀.pdf搜索就行了,很多的.你可以试试.

financial metrics 资产指标；财务纬度 财务指标例句筛选1.There are three main financial metrics that we track closely.我们密切追踪三个主要财务指标。2.Calculating and storing financial and non-financial metrics in a fast way.迅速计算和存储财务和非财务指标。

传输控制协议没有度量拯救这是有道词典翻译的tcp：传输控制协议no：没有metrics：作诗法；韵律学；度量。名词save：储存，保留，

【答案】：C信用度量制方法(CreditMetriCs)是从资产组合的角度来看待信用风险的。可疑类、损失类的贷款余额之和。

risk metrics风险矩阵（一种分析项目的潜在风险的方法）risk英 [ru026ask]美 [ru026ask]n. 风险；危险；冒险vt. 冒…的危险n. (Risk)人名；(英、阿拉伯)里斯克metrics英 ["metru026aks]美 ["mu025btru026aks]n. 度量；作诗法；韵律学

toad函数里面有个 类似于woe 统计各段的好坏，好坏比， 累计好坏比，KS的一个数为 toad.metrics.KS_bucket 此函数中有两个参数，可以 是等频分，也可以 是等距分箱，但此分箱均是以分数的最大最小值 为基础划分的。 我想把整成0~1区间的，所以对原函数进行了修改。

在Kubernetes从1.10版本后采用Metrics Server作为默认的性能数据采集和监控，主要用于提供核心指标（Core Metrics），包括Node、Pod的CPU和内存使用指标。 对其他自定义指标（Custom Metrics）的监控则由Prometheus等组件来完成。我推荐你去看看时速云，他们是一家全栈云原生技术服务提供商，提供云原生应用及数据平台产品，其中涵盖容器云PaaS、DevOps、微服务治理、服务网格、API网关等。大家可以去体验一下。 如果我的回答能够对您有帮助的话，求给大大的赞。

问题1：什么是Creditmetrics模型？ 问题2：Creditmetrics模型是什么意思？ Creditmetrics模型（信用计量模型）是J.P.摩根在1997年推出的用于量化信用风险的风险管理产品。与1994年推出的量化市场风险的Riskmetrics一样，该模型引起了金融机构和监管当局的高度重视，是当今风险管理领域在信用风险量化管理方面迈出的重要一步。 Creditmetrics模型的基本思想 1、信用风险取决于债务人的信用状况，而企业的信用状况由被评定的信用等示。因此，信用计量模型认为信用风险可以说直接源自企业信用等级的变化，并假定信用评级体系是有效的，即企业投资失败、利润下降、融资渠道枯竭等信用事件对其还款履约能力的影响都能及时恰当地通过其信用等级的变化而表现出来。信用计量模型的基本方法就是信用等级变化分析。转换矩阵（Transition Matrix一般由信用评级公司提供），即所有不同信用等级的信用工具在一定期限内变化（转换）到其他信用等级或维持原级别的概率矩阵，成为该模型重要的输入数据。 2、信用工具（包括债券和贷款等）的市场价值取决于债务发行企业的信用等级，即不同信用等级的信用工具有不同的市场价值，因此，信用等级的变化会带来信用工具价值的相应变化。根据转换矩阵所提供的信用工具信用等级变化的概率分布，同时根据不同信用等级下给定的贴现率就可以计算出该信用工具在各信用等级上的市场价值（价格），从而得到该信用工具市场价值在不同信用风险状态下的概率分布。这样就达到了用传统的期望和标准差来衡量资产信用风险的目的，也可以在确定的置信水平上找到该信用资产的信用值，从而将Var的方法引入到信用风险管理中来。 3、信用计量模型的一个基本特点就是从资产组合而并不是单一资产的角度来看待信用风险。根据马柯威茨资产组合管理理论，多样化的组合投资具有降低非系统性风险的作用，信用风险很大程度上是一种非系统性风险，因此，在很大程度上能被多样性的组合投资所降低。另一方面，由于经济体系中共同的因素（系统性因素）的作用，不同信用工具的信用状况之间存在相互联系，由此而产生的系统性风险是不能被分散掉的。这种相互联系由其市场价值变化的相关系数（这种相关系数矩阵一般也由信用评级公司提供）表示。由单一的信用工具市场价值的概率分布推导出整个投资组合的市场价值的概率分布可以采取马柯威茨资产组合管理分析法。 4、由于信用计量模型将单一的信用工具放入资产组合中衡量其对整个组合风险状况的作用，而不是孤立地衡量某一信用工具自身的风险，因而，该模型使用了信用工具边际风险贡献这样的概念来反映单一信用工具对整个组合风险状况的作用。边际风险贡献是指在组合中因增加某一信用工具的一定持有量而增加的整个组合的风险（以组合的标准差表示）。通过对比组合中各信用工具的边际风险贡献，进而分析每种信用工具的信用等级、与其他资产的相关系数以及其风险暴露程度等各方面因素，可以很清楚地看出各种信用工具在整个组合的信用风险中的作用，最终为投资者的信贷决策提供科学的量化依据。 Creditmetrics模型分析 (一) 在险价值(VaR)方法： 在险价值模型就是为了度量一项给定的资产或负债在一定时间里和在一定的置信度下其价值最大的损失额。 一支交易股票的在险价值 VaR方法度量非交易性金融资产如贷款的在险价值时则会遇到如下问题： 1.因为绝大多数贷款不能直接交易，所以市值P不能够直接观察到。 2.由于贷款的市值不能够观察，也就无法计算贷款市值的变动率u03c3。 3.贷款的价值分布离正态分布状偏差较大。 （二）“信用度量制”方法(CreditMetrics) 信用度量制是通过掌握借款企业的资料如： （1）借款人的信用等级资料 （2）下一年度该信用级别水平转换为其它信用级别的概率 （3）违约贷款的收复率 计算出非交易性的贷款和债券的市值P和市值变动率u03c3，从而利用在险价值方法对单笔贷款或贷款组合的在险价值量进行度量的方法。 Creditmetrics模型与KMV模型的比较 KMV模型与creditmetrics模型是目前国际金融界最流行的两个信用风险管理模型。两者都为银行和其它金融机构在进行贷款等授信业务时衡量授信对象的信用状况，分析所面临的信用风险，防止集中授信，进而为实现投资分散化和具体的授信决策提供量化的、更加科学的依据，为以主观性和艺术性为特征的传统信用分析方法提供了很好的补偿。然而，从上述的介绍和分析中，我们又可以明显地看到这两个模型在建模的基本思路上又相当大的差异，这些差异还主要表现在以下几个方面。 1、KMV模型对企业信用风险的衡量指标edf主要来自于对该企业股票市场价格变化的有关数据的分析，而creditmetrics模型对企业信用风险的衡量来自于对该企业信用评级变化及其概率的历史数据的分析。这是两者最根本的区别之一。 2、由于KMV模型采用的是企业股票市场价格分析方法，这使得该模型可以随时根据该企业股票市场价格的变化来更新模型的输入数据，得出及时反映市场预期和企业信用状况变化的新的edf值。因此，kmv模型被认为是一种动态模型，可以及时反映信用风险水平的变化。然而，creditmetrics采用的是企业信用评级指标分析法。企业信用评级，无论是内部评级还是外部评级，都不可能象股票市场价格一样是动态变化的，而是在相当长的一段时间内保持静态特征。这有可能使得该模型的分析结果不能及时反映企业信用状况的变化。 3 、同时，也正是因为kmv模型所提供的edf指标来自于对股票市场价格实时行情的分析，而股票市场的实时行情不仅反映了该企业历史的和当前的发展状况，更重要的是反映了市场中的投资者对于该企业未来发展的综合预期，所以，该模型被认为是一种向前看（forward-looking）的方法，edf指标中包含了市场投资者对该企业信用状况未来发展趋势的判断。这与creditmetrics模型采用的主要依赖信用状况变化的历史数据的向后看（backward-looking）的方法有根本性的差别。kmv的这种向前看的分析方法在一定程度上克服了依赖历史数据向后看的数理统计模型的“历来可以在未来复制其自身”的缺陷。 4 、KMV模型所提供的edf指标在本质上是一种对风险的基数衡量法，而creditmetrics所采用的与信用评级分析法则是一种序数衡量法，两者完全不同。以基数法来衡量风险最大的特点在于不仅可以反映不同企业风险水平的高低顺序，而且可以反映风险水平差异的程度，因而更加准确。这也更加有利于对贷款的定价。而序数衡量法只能反映企业间信用风险的高低顺序，如bbb级高于bb级，却不能明确说明高到什么程度。 5、creditmetrics采用的是组合投资的分析方法，注重直接分析企业间信用状况变化的相关关系，因而更加与现代组合投资管理理论相吻合。而kmv则是从单个授信企业在股票市场上的价格变化信息入手，着重分析该企业体现在股价变化信息中的自身信用状况，对企业信用变化的相关性没有给予足够的分析。

compliance metrics合规性度量compliance[英][ku0259mu02c8plau026au0259ns][美][ku0259mu02c8plau026au0259ns]n.服从，听从; 承诺; 柔软度; 顺度; 例句:1.General electric runs compliance training throughout its global businesses. 通用电气公司在其全球分支机构开展了合规培训。

品牌指标http://fanyi.baidu.com/?aldtype=23#en/zh/brand%20metrics

Customer metrics: 国内翻得不统一,多意为：用户计量学，或顾客计量学。这个网址，给出了Customer metrics control panel(控制面板)，值得参考:http://www.databaseanswers.org/data_models/crm_customer_metrics/customer_metrics.htm

【答案】：CCreditMetrics模型是将单一的信用工具放入资产组合中衡量其对整个组合风险状况的作用，而不是孤立地衡量某一信用工具自身的风险。故选C。

Prometheus Python Client https://prometheus.io/ 普罗米修斯-客户 ·PyPI 用于服务器和容器等生产信息监控。 1. Install the client: 2. 运行该py,得到相关的信息启动服务IP 访问 http://localhost:8000/ 以查看指标。3. 提供4种类型指标 Counter, Gauge, Summary and Histogram(计数器、仪表、摘要和直方图) counter 一直累加的计数器，不可以减少。counter适合用来记录访问总次数,累加值 定义它需要2个参数，第一个是metrics的名字，第二个是metrics的描述信息： gauge 可增可减，可以任意设置，就代表了某个指标当前的值而已。 histogram 用来统计百分位的 summary 分桶和分桶计数 python客户端没有完整实现summary算法4进程收集 1.如何使用 Python 客户端会自动导出有关进程 CPU 使用率、RAM、文件描述符和开始时间的指标。命名空间和 pid 构造函数参数允许导出有关其他进程的指标 ProcessCollector(namespace="system", pid=1) eg: ProcessCollector(namespace="supervisord") 2.返回进程的参数信息 supervisord_process_virtual_memory_bytes 3.38071552e+08虚拟内存大小（以字节为单位） supervisord_process_resident_memory_bytes 1.4118912e+07驻留内存大小（以字节为单位） supervisord_process_start_time_seconds 1.64171996791e+09进程的开始时间（以秒为单位） supervisord_process_cpu_seconds_total 0.09999999999999999用户和系统 CPU 总时间（以秒为单位）。 supervisord_process_open_fds 7.0打开文件描述符的数量。 supervisord_process_max_fds 1024.0打开文件描述符的最大数量。 5.扩展，思考 文档中有写到flask和promethus的集成， 在利用fastapi的继承者发展，发现目前暂无方法可利用 如利用，只能将数值传入，并编写相关的参数信息。 6流量 MultiProcessCollector

可能是坐标问题，可能你那个图相对绝对坐标就是不正的。或者转化的问题。用如下方式：平面图先导出cgm格式的文件，然后新建一个工程图，导入你刚导出的cgm文件，然后在导出dwg/dxf格式的文件就可以了，保证和原图一样，不会由于坐标或者层的设置冲突导致图形变形。

这篇文章主要总结了我对于敏捷项目中总体测试策略的理解，主要来自于工作上的实践和思考。 先看下维基百科上关于 test strategy 的定义 归纳上面的定义，我们可以得出测试策略的最终目的是通过定义项目会采用的测试活动，尽可能得暴露和消除产品缺陷，减轻产品风险。除此之外，由于软件开发时常伴有交付压力，测试的时间和资源都是无法保证甚至可能被压缩的，所以测试策略还会从最低成本揭露产品质量风险出发，选择出最合理的测试方法和测试过程。 基于上面的定义，可见测试策略解决了两个大问题： 在详细点就是： 要说不同，先看定义上的不同。 由上可见，其实测试策略的内容已经被包含在测试计划里面了。测试策略定义应该做什么样的测试而测试计划包含所有关于测试策略该如何执行的信息，这些信息在测试计划里面被很好的组织起来。 一个公式可以进一步说明他们的关系 test plan = test strategy + test logistics 。所以test strategy可以被看做是test plan的一部分。 Test logistics 是指测试环境设置以及人力资源等等。 在James Bach的博客 A Question About Test Strategy 中，他把三者描述如下 让我们先来看下QA在敏捷项目中的主要工作，如下图所示 那你可能问“咦，怎么没有测试策略相关内容呢”。其实，整个开发测试流程就体现了测试策略的内容。上图所示的迭代开发流程里面包含了"Automated Acceptance Tests" & “Story Testing” & “System Testing”这些测试活动，那么为什么项目需要这些测试活动？这些活动如何具体如何开展？分别在哪一个项目阶段进行？这些问题都属于测试策略的范畴，是由测试策略定义和落地的。 敏捷开发模型下，迭代式的开发具有周期短和交付压力大的特点，对于如何快速响应新需求，保障新需求的质量以及已实现需求的回归测试都将是测试的挑战。如果没有一个匹配项目上下文，合理规划了测试活动的测试策略，这些挑战就会持续困扰着团队，所以标题的答案是当然需要。测试策略在敏捷开发模型下，通过详细定义项目的测试活动，能够更加合理地利用测试资源和统一项目对测试的认知。 此外，测试策略也是敏捷项目质量保障体系中重要的一节。 在传统瀑布开发模式下，测试计划test plan被认为是项目测试流程的关键部分，因为它指导着整个测试活动的开展，既然被认为是项目中的一个must have，于是有人会花很多时间很多精力去把测试计划给写好写完整。那么我们真的在敏捷开发模式的项目里需要一份测试计划吗？这真的能给项目质量带来价值吗？ 敏捷宣言说过： 在敏捷项目中，产品范围也就是发布内容在spring进行之前就被讨论，所以QA们对于测试对象和测试范围一直都是清楚的，不需要特别地花时间去写一个详细的文档来阐述。同样地，agile ceremony会让QA们清楚地知道测试对象是什么，范围是什么，重点是什么，测试环境是什么而不需要一个单独的文档来进行详细的描述。甚至，所有关于测试的信息还可以被记录被故事卡中。在开发进行编码实现功能的时候，QA们会进行测试用例设计以及自动化测试编写，因为时间的紧迫，QA除了这两项测试活动，再去写一个详细测试计划是不经济的且价值不大，这两项测试活动才是敏捷项目中价值最高的，况且随着迭代的进行，测试计划的维护还需要时间精力。 综上所述，在敏捷项目中因为时间紧迫和避免重复劳动，价值不高的测试计划不是一个must have，个人甚至认为也不是一个nice to have。但是这并不是代表我们不需要"planning"，而是不是需要"document planning"，"planning"的实施发生在迭代中的各类活动。 最终我们还是需要一个“计划”来指导迭代中的测试流程和方法，这就是测试策略是一个must have的原因。在敏捷项目中，“小而精”的测试策略比起“大而全”的测试计划而言，最大的优势就是测试策略定义的内容(“怎么测”)是不会轻易受影响改变的，并且在迭代中没有类似的重复活动。 具体到项目里，测试策略推荐在项目刚启动的时候制定。测试策略需要在项目早期就制定下来，用来指导项目的测试活动和方法，从而确定需要的测试资源和保证质量体系的建立。但也不能在产品和技术都还没有确定的时候就制定，因为只有在产品需求范围，技术架构和交付计划大致确认的情况，测试策略才能更加准确，从而减少维护成本。 因为测试策略会涉及到很多具体的测试技术和方法，也会要求制定人员具有对质量和测试非常深的理解，所以QA在敏捷团队中应该承担制定测试策略的主要责任，但是这并不意味“只有”QA来编写制定测试策略，测试策略的制定是一个团队活动，QA需要从不同角色收集到不同的信息 从多方收集信息能够保证业务、技术和质量三者对齐，避免误解和冲突，共同发挥最大的作用。 当测试策略制定完成以后，还需要给项目团队进行讲解，确保团队所有相关人员对项目中的测试活动和测试方法有着一致的理解,这样才能保证实施阶段的顺利。 接下来会涉及到QA制定测试策略的具体活动及流程。总的来说，大体流程可以如下 上面提到了QA可以从不同角色收集到不同的信息，除此之外，使用启发式测试计划语境模型 Heuristic Test Planning Context Model和启发式测试策略模型 Heuristic Test Strategy Model也是一个有效的渠道。具体如何使用这两个模型，请参考 htsm 和 htcpm 。 通过分析 htsm 中“项目环境”和“产品元素”的关键词和启发式问题，QA可以了解关于产品和项目的各类信息来帮助制定测试策略。 htcpm 也提供了大量的关键词来启发QA去分析了解产品需求、项目环境、测试小组和测试资源。 可以收集的信息大致可分类如下 只有从不同的维度收集到足够的项目信息并且很好的理解这些信息对项目质量和测试活动的影响，才能帮助我们少走弯路，制定出适合项目和团队的测试策略。 在具体思考“怎么测”之前，我们需要确定项目的质量目标。这个质量目标会对齐项目所有相关人员对于项目质量的理解和期望，明确质量范围也就是测试策略会覆盖的范围。同时，质量目标也要与产品目标对齐，因为质量的最终目的也是保证产品的成功。根据产品在不同阶段都有不一样的目标，质量目标有会随之变化。 那质量目标如何设定？主要是参考软件质量特征列表和软件质量模型，建立符合项目上下文的产品质量模型，从而确定项目质量目标 要建立项目产品的质量模型首先就需要先知道一个软件产品的质量属性或特征分别有什么，对应的质量模型是什么样的。幸运的是现在已经有很多可以参考的模型了 ISO/IEC_25010的质量模型大致如下： 从上面的质量特征列表或是模型可以看出，一个软件产品的质量由多个质量特征或标准组成，每个质量特征又可以进一步分解为子特征。通过这些已有的质量模型来启发哪些质量特征是对项目产品重要的，哪些质量标准适用于本项目产品，最后得出符合项目上下文的产品质量模型。 比如 我们创建的产品质量模型可以包含以下粗粒度特征： 上面的质量模型定义了产品质量特征和标准，而这些特征和标准就是我们应该完成的目标！除了上面说到的质量模型，一些具体的metrics也可以被引入来保证项目质量，成为项目质量目标的一部分。举个例子 上面提到的标准都是可以通过集成到持续集成流水线的质量工具或测试框架来实现。 此外，还有团队也会使用测试策略目标宣言来打造团队文化。 有了质量目标，接下来我们要考虑要怎么达成这个目标了！也就是说，我们应该有哪些测试类型来覆盖每一个质量目标？ 测试类型按照不同维度可以有很多种分类，比如说 当然，上面只是列出了一部分。 此外，HTSM中的 Test Techniques 提供了九种通用的九种测试技术来启发对可应用的测试类型的思考。敏捷测试四象限也提供了敏捷项目可以参考的测试类型,这个测试技术分类系统可以帮助我们快速定位某测试类型在软件开发中的位置，根据项目产品情况选择合适的测试类型。就以我们上面假设的质量目标为例，我们来看看可以应用哪些测试类型 值得注意的是，并不是每一个项目都需要覆盖上面所列出的测试类型。我们应该根据产品的目标和特点以及其他实际情况选择与之对应的测试覆盖类型，也就是说，不同项目根据测试类型的不同，测试广度是不一样的。同事，根据测试的难点和重点，测试深度也是不同的。所以，一切都要基于项目的上下文来思考和制定。 自动化测试金字塔用来指导敏捷项目中自动化测试的策略。 根据金字塔理论，项目应该在底层的单元测试和集成测试(API测试)投入更多的精力。 自动化测试项目会被集成在持续集成流水线里面，由上游项目自动触发。为了减少持续集成的反馈时间，一个普遍的做法是把庞大的自动化测试套件集依据重要性优先级放在不同的流水线里面，可以被上游项目触发也可以定时触发，下面描述了一个比较好的实践： 确定测试类型之后，我们就知道了整个项目的测试活动会有哪些。对于某些测试类型，特别是自动化相关的测试，我们需要对应的测试工具或是框架来支撑我们的测试。所以我们需要对每一个测试类型都去思考下如何进行测试，是否需要相应的测试工具和框架的支持。 拿一个web程序来举例 这个环节我们需要确定在项目开发生命周期的每个阶段做什么样的测试，使得测试类型与项目的开发流程充分结合，这样就能最大发挥所有测试活动的效果来达到我们的质量目标。因此，我们可以做出类似下面这样的表格来表现每个阶段的测试类型及其实施方法。 至此，测试策略解决的两个问题“测什么”和“怎么测”都可以找到大致答案了。 那如何衡量测试策略的有效性呢？质量度量可以告诉我们产品的质量情况和用户满意度，从而反应出测试策略是否有效和高效。 软件质量的度量没有什么最佳实践，也没有最准确和科学的度量，有的只是项目上积累的成功经验；但是这些成功经验又由于项目差异化太大而变得复用性很差。所以根据项目的上下文，我们需要制定出自己的质量度量标准。结合本文敏捷项目的背景，我们可以大致使用下面常用的度量： 同时，实例化的质量目标也是很好的项目质量的工具。对于质量模型，我们可以看下每一个质量元素我们是否做到；对于具体的指标metrics，要随时监控反馈。 一旦测试策略被确定，一般来讲不会经常变化，因为测试策略设置了一些测试标准。如果测试标准频繁地变动，这会让具体计划的执行变得困难，同时带来更多的资源浪费，最终影响了项目的质量。 在项目中我们会经常遇到“变化”：比如说 这些变化对测试的影响是被测对象的范围以及项目资源的调配。对于项目的质量目标、测试类型、测试阶段影响不大。所以，测试策略一旦被制定出来，变化不会太大。 不过这不代表测试策略的一成不变和缺乏改进，QA需要在每个迭代中观察测试策略实施的效果来决定当前的测试类型和实施手段是否满足项目需求。比如当项目集成测试(API Testing)经常fail，且协调工作耗时费力，QA可以考虑采用契约测试来代替现有的集成测试，提高整个项目组的生产率和质量；比如发现Internet Edge突然用户量增多且有关于Internet Edge的production bug被raise，QA需要把Internet Edge加到兼容性测试中，并且设置相关的测试环境；比如测试进度落后，交付压力增大，QA需要及时调整测试范围和测试重点，进行风险分析。 在实际项目中，往往会出现各种各样的问题来阻碍测试策略的顺利落地和执行。这些问题有些是测试策略自身的问题，但也有项目带来的问题。这时候，风险分析显得格外重要。 对于测试策略的风险分析，这个是应该贯穿整个测试策略制定周期里面的，我们需要通过项目风险清单提前识别项目中可能阻塞测试的风险，并通过风险优先级(风险暴露的概率*风险暴露的损失)来评估风险，最终基于风险调整测试策略，把测试重点放到风险高优先级高的地方。 测试策略是影响质量的重要因素，但不是全部，下面列出了部分会影响质量的因素作为参考，在此文中不会展开来讲 上面详细阐述了我如何理解敏捷项目中的测试策略以及制定测试策略的具体步骤。由于IT项目的多样性和复杂性，这个总结不可能适用于有着不同上下文的项目，因地制宜地制定测试策略才能保证测试策略在项目中的可用性和合理性。