search

目前还不清楚呢

研究公理

要是从期刊质量（影响力）方面比较，当然是PNAS要强啊。但后者也是不错的期刊。要根据你的论文的内容选自投稿期刊喽。

我明年就去UTS读MPA ，不过UTS的INSERCH很有名，还是有耳闻的。据说INSERCH毕业时发的diploma，然后你去UTS读毕业后发的是bachelor或者master的degree啊。 INSERCH发的是文凭，UTS发的是学位，是不一样的。欢迎加Q 495317301 ，说不定以后是校友呢~~请注明 UTS

旧版本才遇到这样，新版本从来没有，然后云播在线，不管速度还是便携，都完虐快播

一、工资待遇　　l、直接从各类学校毕业生(含试用期未满人员)中录用的国家公务员，试用期间按照国家机关新录用人员试用、期工、资标准执行。试用期满经考核合格后，应及时予以任职定级，叫确定相应的职务和级别工资。　　2、非直接从学校毕业生中录用的公务员：如原为机关工作人员(公务员身份)，其工资待遇按照省人事厅苏人四(1995)8号文中有关规定重新确定工资待遇。如原为企、事业单位及其他社会人员，其试用期工资待遇根据录用时明确的报考职位，分别按办事员、科员职务，比照本单位同条件人员确定相应的级别工资，职务工资原则上应略低于同条件人员。掌握上，按同职务在职人员低一档工资确定，但不低于本人学历定级工资。试用期满，按录用后正式任命的职务和确定的级别，从期满的下月起，再比照本单位同条件的人员重新理顺其工资关系。

没有问题，我的就是这个名称。国外没有联合培养的概念，把去进修的博士生归位访问学者一类，也就是scholar。为了保险起见，你可以让对方在邀请信中用括号备注一下你是联合培养生，joint training phd student

两者不一样 researcher 研究人员,a scientist who devotes himself to doing research scholar 学者,奖学金获得者,有文化者,学习者,a learned person (especially in the humanities); someone who by long study has gained mastery in one or more disciplines;someone (especially a child) who learns (as from a teacher) or takes up knowledge or beliefs;a student who holds a scholarship 从以上可以看出,researcher是比较高层次的,已经具备了足够的学识和能力以进行研究的人,而scholar是在成为researcher之前的一个必经阶段,scholar是否会发展为researcher要看scholar的职业道路选择.

从两个方面对ElasticSearch和Solr进行对比，从关系型数据库中的导入速度和模糊查询的速度。单机对比1. Solr 发布了4.0-alpha，试了一下，发现需要自己修改schema，好处是它自带一个data importer。在自己的计算机上测试了一下，导入的性能大概是：14分钟导入 3092730 条记录，约合 3682条/秒。2. 3百万条记录的情况下，模糊查询和排序基本都在1秒内返回3. 刚才的测试，是每个field单独存储，现在修改了一下配置文件，增加了一个copyField，所有的field都拷贝一份到text这个field里面去，导入的性能大概是：19分钟导入了3092730 条记录，约合 2713条/秒4. 3百万条记录的情况下，针对text的模糊查询基本在1秒内返回，但是针对所有记录的排序，大概要2~3秒5. 使用 elasticsearch 0.19.8，缺省配置，用单任务导入，导入性能是：20分钟导入了3092730 条记录，约合2577条/秒6. 3百万条记录的情况下，查询基本上在1秒内返回，但是模糊查询比较慢，第一次要10秒，后来大概要1~3秒。加上排序大概需要5秒，整体排序基本100ms查询及排序的指令：{ "query": { "query_string": { "query": "*999*" } }, "sort": [ { "TIME_UP": { "order": "asc" } } ]}7. Es0.19.8，用两个任务导入，导入性能是：13分钟导入了3092730 条记录，约合3965条/秒8. Solr全部建好索引后，占用磁盘空间是1.2G，es占用磁盘空间是4G单机对比2在一台Intel i7，32G内存的机器上，重新跑这两个的对比。不过有个重大的区别在于，Solr是在这台性能很好的机器上跑，而es的导入进程则是在一台Intel 四核 2.5G，4G内存的机器上跑的，也许会有性能的差异。ES版本0.19.8，Solr版本4.0-ALPHA。1. Solr的导入性能：3400万条记录，用时62分钟，平均9140条/秒，占用空间12.75G2. 使用 *999* 这样的模糊查询，3秒以内返回，稍长一点的查询条件 *00100014*，也是2~3秒返回3. Es的导入性能（设置Xmx为10G）：3400万条记录，用时40分钟，平均14167条/秒，占用空间33.26G，客户端采用4个并发。4. 使用 *999* 这样的模糊查询，9秒返回，稍长一点的查询条件 *00100014*，11.8秒返回5. 如果不是针对所有字段查询，而是针对某个特定字段，比如 SAM_CODE: *00100014*，那么也是1秒以内返回。6. 结论：es的查询效率也可以很高，只是我们还不会用。7. 结论2：es有个设置是把所有字段放一块的那个，缺省是放一起，但是不知道为什么没起到应有的作用。备注：1. Solr第一次的那个内存使用的是缺省设置，这次改为10G，结果导入性能反而变差了，400万条记录，用了8分钟，平均8333条/秒，不知道为什么。2. 改回缺省的内存配置，导入速度仍然慢。3. 重启Linux，用10G的内存配置，再导入，5030万条记录，用时92分，约9112条/秒，说明导入速度和内存配置没有大差别4. 在10G配置的情况下，检索速度也差别不大。5. 为了搞清楚lucene4.0和solr4.0的进步有多大，下载了solr3.6.1，所幸的是4.0的配置文件在3.6.1上也可以用，所以很快就搭起来进行测试，导入性能为：3400万条记录，用时55分钟，约10303条/秒，占用空间13.85G。查询性能：*999*第一次11.6s，*00100014* 27.3s，相比4.0ALPHA的结果（5000万结果当中，*999*第一次2.6s，*00100014*第一次2.5s）来说，慢了很多，与es的性能差不多，因此，也许lucene4.0真的对性能有大幅提升？集群对比：采用4台同样配置（Intel i7，32G内存）的Centos 6.3组成的集群，进行对比。1. 首先是es，很方便的就组成了一个Cluster，等上一个3400万条的Index全部均衡负载之后进行测试，导入到另外一个Index当中。2. 导入性能：8500万条记录，用时72分钟，约为19676条/秒。在前5千万条记录导入时的速度在2万/条以上，初始的速度在2.2万/条。占用空间78.6G（由于有冗余，实际占用空间为157.2G）3. 查询性能：*999*第一次13.5秒，第二次19.5秒，第三次7.4秒，第四次7.1秒，第五次7.1秒*00100014*第一次17.2秒，第二次16.6秒，第三次17.9秒，第四次16.7秒，第五次17.1秒SAM_CODE:*999*，0.8s，1.3s，0.02s，0.02s，0.02sSAM_CODE: *00100014*，0.1s，0.1s，0.02s，0.03s，0.05s4. Solr4.0-ALPHA，SolrCloud的配置还算简单，启动一个ZooKeeper，然后其他三台机器访问这个地址，就可以组成一个Cloud：机器1： nohup java -Xms10G -Xmx10G -Xss256k -Djetty.port=8983 -Dsolr.solr.home="./example-DIH/solr/" -Dbootstrap_confdir=./example-DIH/solr/db/conf/ -Dcollection.configName=xabconf3 -DzkRun -DnumShards=4 -jar start.jar &其他机器：nohup java -Xms10G -Xmx10G -Dsolr.solr.home="./example-DIH/solr/" -DzkHost=192.168.2.11:9983 -jar start.jar &但是在执行 data import 的时候，频繁出现 OutOfMemoryError: unable to create new native thread。查了很多资料，把Linux的ulimit当中的nproc改成10240，把Xss改成256K，都解决不了问题。暂时没有办法进行。结论1. 导入性能，es更强2. 查询性能，solr 4.0最好，es与solr 3.6持平，可以乐观的认为，等es采用了lucene4之后，性能会有质的提升3. Es采用SAM_CODE这样的查询性能很好，但是用_all性能就很差，而且差别非常大，因此，个人认为在目前的es情况下，仍然有性能提升的空间，只是现在还没找到方法。

从两个方面对ElasticSearch和Solr进行对比，从关系型数据库中的导入速度和模糊查询的速度。单机对比1. Solr 发布了4.0-alpha，试了一下，发现需要自己修改schema，好处是它自带一个data importer。在自己的计算机上测试了一下，导入的性能大概是：14分钟导入 3092730 条记录，约合 3682条/秒。2. 3百万条记录的情况下，模糊查询和排序基本都在1秒内返回3. 刚才的测试，是每个field单独存储，现在修改了一下配置文件，增加了一个copyField，所有的field都拷贝一份到text这个field里面去，导入的性能大概是：19分钟导入了3092730 条记录，约合 2713条/秒4. 3百万条记录的情况下，针对text的模糊查询基本在1秒内返回，但是针对所有记录的排序，大概要2~3秒5. 使用 elasticsearch 0.19.8，缺省配置，用单任务导入，导入性能是：20分钟导入了3092730 条记录，约合2577条/秒6. 3百万条记录的情况下，查询基本上在1秒内返回，但是模糊查询比较慢，第一次要10秒，后来大概要1~3秒。加上排序大概需要5秒，整体排序基本100ms查询及排序的指令：{ "query": { "query_string": { "query": "*999*" } }, "sort": [ { "TIME_UP": { "order": "asc" } } ]}7. Es0.19.8，用两个任务导入，导入性能是：13分钟导入了3092730 条记录，约合3965条/秒8. Solr全部建好索引后，占用磁盘空间是1.2G，es占用磁盘空间是4G单机对比2在一台Intel i7，32G内存的机器上，重新跑这两个的对比。不过有个重大的区别在于，Solr是在这台性能很好的机器上跑，而es的导入进程则是在一台Intel 四核 2.5G，4G内存的机器上跑的，也许会有性能的差异。ES版本0.19.8，Solr版本4.0-ALPHA。1. Solr的导入性能：3400万条记录，用时62分钟，平均9140条/秒，占用空间12.75G2. 使用 *999* 这样的模糊查询，3秒以内返回，稍长一点的查询条件 *00100014*，也是2~3秒返回3. Es的导入性能（设置Xmx为10G）：3400万条记录，用时40分钟，平均14167条/秒，占用空间33.26G，客户端采用4个并发。4. 使用 *999* 这样的模糊查询，9秒返回，稍长一点的查询条件 *00100014*，11.8秒返回5. 如果不是针对所有字段查询，而是针对某个特定字段，比如 SAM_CODE: *00100014*，那么也是1秒以内返回。6. 结论：es的查询效率也可以很高，只是我们还不会用。7. 结论2：es有个设置是把所有字段放一块的那个，缺省是放一起，但是不知道为什么没起到应有的作用。备注：1. Solr第一次的那个内存使用的是缺省设置，这次改为10G，结果导入性能反而变差了，400万条记录，用了8分钟，平均8333条/秒，不知道为什么。2. 改回缺省的内存配置，导入速度仍然慢。3. 重启Linux，用10G的内存配置，再导入，5030万条记录，用时92分，约9112条/秒，说明导入速度和内存配置没有大差别4. 在10G配置的情况下，检索速度也差别不大。5. 为了搞清楚lucene4.0和solr4.0的进步有多大，下载了solr3.6.1，所幸的是4.0的配置文件在3.6.1上也可以用，所以很快就搭起来进行测试，导入性能为：3400万条记录，用时55分钟，约10303条/秒，占用空间13.85G。查询性能：*999*第一次11.6s，*00100014* 27.3s，相比4.0ALPHA的结果（5000万结果当中，*999*第一次2.6s，*00100014*第一次2.5s）来说，慢了很多，与es的性能差不多，因此，也许lucene4.0真的对性能有大幅提升？集群对比：采用4台同样配置（Intel i7，32G内存）的Centos 6.3组成的集群，进行对比。1. 首先是es，很方便的就组成了一个Cluster，等上一个3400万条的Index全部均衡负载之后进行测试，导入到另外一个Index当中。2. 导入性能：8500万条记录，用时72分钟，约为19676条/秒。在前5千万条记录导入时的速度在2万/条以上，初始的速度在2.2万/条。占用空间78.6G（由于有冗余，实际占用空间为157.2G）3. 查询性能：*999*第一次13.5秒，第二次19.5秒，第三次7.4秒，第四次7.1秒，第五次7.1秒*00100014*第一次17.2秒，第二次16.6秒，第三次17.9秒，第四次16.7秒，第五次17.1秒SAM_CODE:*999*，0.8s，1.3s，0.02s，0.02s，0.02sSAM_CODE: *00100014*，0.1s，0.1s，0.02s，0.03s，0.05s4. Solr4.0-ALPHA，SolrCloud的配置还算简单，启动一个ZooKeeper，然后其他三台机器访问这个地址，就可以组成一个Cloud：机器1： nohup java -Xms10G -Xmx10G -Xss256k -Djetty.port=8983 -Dsolr.solr.home="./example-DIH/solr/" -Dbootstrap_confdir=./example-DIH/solr/db/conf/ -Dcollection.configName=xabconf3 -DzkRun -DnumShards=4 -jar start.jar &其他机器：nohup java -Xms10G -Xmx10G -Dsolr.solr.home="./example-DIH/solr/" -DzkHost=192.168.2.11:9983 -jar start.jar &但是在执行 data import 的时候，频繁出现 OutOfMemoryError: unable to create new native thread。查了很多资料，把Linux的ulimit当中的nproc改成10240，把Xss改成256K，都解决不了问题。暂时没有办法进行。结论1. 导入性能，es更强2. 查询性能，solr 4.0最好，es与solr 3.6持平，可以乐观的认为，等es采用了lucene4之后，性能会有质的提升3. Es采用SAM_CODE这样的查询性能很好，但是用_all性能就很差，而且差别非常大，因此，个人认为在目前的es情况下，仍然有性能提升的空间，只是现在还没找到方法。

从两个方面对ElasticSearch和Solr进行对比，从关系型数据库中的导入速度和模糊查询的速度。单机对比1. Solr 发布了4.0-alpha，试了一下，发现需要自己修改schema，好处是它自带一个data importer。在自己的计算机上测试了一下，导入的性能大概是：14分钟导入 3092730 条记录，约合 3682条/秒。2. 3百万条记录的情况下，模糊查询和排序基本都在1秒内返回3. 刚才的测试，是每个field单独存储，现在修改了一下配置文件，增加了一个copyField，所有的field都拷贝一份到text这个field里面去，导入的性能大概是：19分钟导入了3092730 条记录，约合 2713条/秒4. 3百万条记录的情况下，针对text的模糊查询基本在1秒内返回，但是针对所有记录的排序，大概要2~3秒5. 使用 elasticsearch 0.19.8，缺省配置，用单任务导入，导入性能是：20分钟导入了3092730 条记录，约合2577条/秒6. 3百万条记录的情况下，查询基本上在1秒内返回，但是模糊查询比较慢，第一次要10秒，后来大概要1~3秒。加上排序大概需要5秒，整体排序基本100ms查询及排序的指令：{ "query": { "query_string": { "query": "*999*" } }, "sort": [ { "TIME_UP": { "order": "asc" } } ]}7. Es0.19.8，用两个任务导入，导入性能是：13分钟导入了3092730 条记录，约合3965条/秒8. Solr全部建好索引后，占用磁盘空间是1.2G，es占用磁盘空间是4G单机对比2在一台Intel i7，32G内存的机器上，重新跑这两个的对比。不过有个重大的区别在于，Solr是在这台性能很好的机器上跑，而es的导入进程则是在一台Intel 四核 2.5G，4G内存的机器上跑的，也许会有性能的差异。ES版本0.19.8，Solr版本4.0-ALPHA。1. Solr的导入性能：3400万条记录，用时62分钟，平均9140条/秒，占用空间12.75G2. 使用 *999* 这样的模糊查询，3秒以内返回，稍长一点的查询条件 *00100014*，也是2~3秒返回3. Es的导入性能（设置Xmx为10G）：3400万条记录，用时40分钟，平均14167条/秒，占用空间33.26G，客户端采用4个并发。4. 使用 *999* 这样的模糊查询，9秒返回，稍长一点的查询条件 *00100014*，11.8秒返回5. 如果不是针对所有字段查询，而是针对某个特定字段，比如 SAM_CODE: *00100014*，那么也是1秒以内返回。6. 结论：es的查询效率也可以很高，只是我们还不会用。7. 结论2：es有个设置是把所有字段放一块的那个，缺省是放一起，但是不知道为什么没起到应有的作用。备注：1. Solr第一次的那个内存使用的是缺省设置，这次改为10G，结果导入性能反而变差了，400万条记录，用了8分钟，平均8333条/秒，不知道为什么。2. 改回缺省的内存配置，导入速度仍然慢。3. 重启Linux，用10G的内存配置，再导入，5030万条记录，用时92分，约9112条/秒，说明导入速度和内存配置没有大差别4. 在10G配置的情况下，检索速度也差别不大。5. 为了搞清楚lucene4.0和solr4.0的进步有多大，下载了solr3.6.1，所幸的是4.0的配置文件在3.6.1上也可以用，所以很快就搭起来进行测试，导入性能为：3400万条记录，用时55分钟，约10303条/秒，占用空间13.85G。查询性能：*999*第一次11.6s，*00100014* 27.3s，相比4.0ALPHA的结果（5000万结果当中，*999*第一次2.6s，*00100014*第一次2.5s）来说，慢了很多，与es的性能差不多，因此，也许lucene4.0真的对性能有大幅提升？集群对比：采用4台同样配置（Intel i7，32G内存）的Centos 6.3组成的集群，进行对比。1. 首先是es，很方便的就组成了一个Cluster，等上一个3400万条的Index全部均衡负载之后进行测试，导入到另外一个Index当中。2. 导入性能：8500万条记录，用时72分钟，约为19676条/秒。在前5千万条记录导入时的速度在2万/条以上，初始的速度在2.2万/条。占用空间78.6G（由于有冗余，实际占用空间为157.2G）3. 查询性能：*999*第一次13.5秒，第二次19.5秒，第三次7.4秒，第四次7.1秒，第五次7.1秒*00100014*第一次17.2秒，第二次16.6秒，第三次17.9秒，第四次16.7秒，第五次17.1秒SAM_CODE:*999*，0.8s，1.3s，0.02s，0.02s，0.02sSAM_CODE: *00100014*，0.1s，0.1s，0.02s，0.03s，0.05s4. Solr4.0-ALPHA，SolrCloud的配置还算简单，启动一个ZooKeeper，然后其他三台机器访问这个地址，就可以组成一个Cloud：机器1： nohup java -Xms10G -Xmx10G -Xss256k -Djetty.port=8983 -Dsolr.solr.home="./example-DIH/solr/" -Dbootstrap_confdir=./example-DIH/solr/db/conf/ -Dcollection.configName=xabconf3 -DzkRun -DnumShards=4 -jar start.jar &其他机器：nohup java -Xms10G -Xmx10G -Dsolr.solr.home="./example-DIH/solr/" -DzkHost=192.168.2.11:9983 -jar start.jar &但是在执行 data import 的时候，频繁出现 OutOfMemoryError: unable to create new native thread。查了很多资料，把Linux的ulimit当中的nproc改成10240，把Xss改成256K，都解决不了问题。暂时没有办法进行。结论1. 导入性能，es更强2. 查询性能，solr 4.0最好，es与solr 3.6持平，可以乐观的认为，等es采用了lucene4之后，性能会有质的提升3. Es采用SAM_CODE这样的查询性能很好，但是用_all性能就很差，而且差别非常大，因此，个人认为在目前的es情况下，仍然有性能提升的空间，只是现在还没找到方法。

某中型互联网公司的游戏业务，使用了腾讯云的Elasticsearch产品，采用ELK架构存储业务日志。因为游戏业务本身的日志数据量非常大(写入峰值在100w qps)，在服务客户的几个月中，踩了不少坑，经过数次优化与调整，把客户的ES集群调整的比较稳定，避免了在业务高峰时客户集群的读写异常，并且降低了客户的资金成本和使用成本。下面把服务客户过程中遇到的典型问题进行梳理，总结经验，避免再次踩坑。 解决方案架构师A: bellen, XX要上线一款新游戏，日志存储决定用ELK架构，他们决定在XX云和我们之间二选一，我们首先去他们公司和他们交流一下，争取拿下！ bellen: 好，随时有空！ 。。。 和架构师一起前往该公司，跟负责底层组件的运维部门的负责人进行沟通。 XX公司运维老大：不要讲你们的PPT了，先告诉我你们能给我们带来什么！ bellen: 。。。呃，我们有很多优势。。。比如灵活地扩容缩容集群，还可以一键平滑升级集群版本，并且提供有跨机房容灾的集群从而实现高可用。。 XX公司运维老大：你说的这些别的厂商也有，我就问一个问题，我们现在要存储一年的游戏日志，不能删除数据，每天就按10TB的数据量算，一年也得有个3PB多的数据，这么大的数量，都放在SSD云盘上，我们的成本太高了，你们有什么方案既能够满足我们存储这么大数据量的需求，同时能够降低我们的成本吗？ bellen: 我们本身提供的有冷热模式的集群，热节点采用SSD云硬盘，冷节点采用SATA盘，采用ES自带的ILM索引生命周期管理功能定期把较老的索引从热节点迁移到冷节点上，这样从整体上可以降低成本。另外一方面，也可以定期把更老的索引通过snapshot快照备份到COS对象存储中，然后删除索引，这样成本就更低了。 XX公司运维老大：存储到COS就是冷存储呗，我们需要查询COS里的数据时，还得再把数据恢复到ES里？这样不行，速度太慢了，业务等不了那么长时间，我们的数据不能删除，只能放在ES里！你们能不能给我们提供一个API, 让老的索引数据虽然存储在COS里，但是通过这个API依然可以查询到数据，而不是先恢复到ES， 再进行查询？ bellen: 。。。呃，这个可以做，但是需要时间。是否可以采用hadoop on COS的架构，把存量的老的索引数据通过工具导入到COS，通过hive去查询，这样成本会非常低，数据依然是随时可查的。 XX公司运维老大：那不行，我们只想用成熟的ELK架构来做，再增加hadoop那一套东西，我们没那么多人力搞这个事! bellen: 好吧，那可以先搞一个集群测试起来，看看性能怎么样。关于存量数据放在COS里但是也需要查询的问题，我们可以先制定方案，尽快实施起来。 XX公司运维老大：行吧，我们现在按每天10TB数据量预估，先购买一个集群，能撑3个月的数据量就行，能给一个集群配置的建议吗？ bellen: 目前支持单节点磁盘最大6TB, cpu和内存的话可以放到8核32G单节点，单节点跑2w qps写入没有问题，后面也可以进行纵向扩容和横向扩容。 XX公司运维老大：好，我们先测试一下。 N 天后，架构师A直接在微信群里反馈："bellen, 客户反馈这边的ES集群性能不行啊，使用logstash消费kafka中的日志数据，跑了快一天了数据还没追平，这是线上的集群，麻烦紧急看一下吧。。" 我一看，一脸懵, 什么时候已经上线了啊，不是还在测试中吗？ XX公司运维小B: 我们购买了8核32G*10节点的集群，单节点磁盘6TB, 索引设置的10分片1副本，现在使用logstash消费kafka中的数据，一直没有追平，kafka中还有很多数据积压，感觉是ES的写入性能有问题。 随后我立即查看了集群的监控数据，发现cpu和load都很高，jvm堆内存使用率平均都到了90%，节点jvm gc非常频繁了，部分节点因为响应缓慢，不停的离线又上线。。 经过沟通，发现用户的使用姿势是filebeat+kafka+logstash+elasticsearch, 当前已经在kafka中存储了有10天的日志数据，启动了20台logstash进行消费，logstash的batch size也调到了5000，性能瓶颈是在ES这一侧。客户8核32G*10节点的集群，理论上跑10w qps没有问题，但是logstash消费积压的数据往ES写入的qps远不止10w，所以是ES扛不住写入压力了，所以只能对ES集群进行扩容，为了加快存量数据的消费速度，先纵向扩容单节点的配置到32核64GB，之后再横向增加节点，以保证ES集群能够最大支持100w qps的写入(这里需要注意的是，增加节点后索引的分片数量也需要调整)。 所以一般新客户接入使用ES时，必须要事先评估好节点配置和集群规模，可以从以下几个方面进行评估： 上述场景2遇到的问题是业务上线前没有对集群配置和规模进行合理的评估，导致上线后ES集群负载就很高，通过合理的扩容处理，集群最终抗住了写入压力。但是又有新的问题出现了。 因为kafka积压的数据比较多，客户使用logstash消费kafka数据时，反馈有两个问题： 经过分析客户logstash的配置文件，发现问题出现的原因主要是： 分析后，对kafka和logstash进行了如下优化： 通过上述优化，最终使得logstash机器资源都被充分利用上，很快消费完堆积的kafka数据，待消费速度追平生成速度后，logstash消费kafka一直稳定运行，没有出现积压。 另外，客户一开始使用的是5.6.4版本的logstash，版本较老，使用过程中出现因为单个消息体过长导致logstash抛异常后直接退出的问题: 通过把logstash升级至高版本6.8避免了这个问题(6.x版本的logstash修复了这个问题，避免了crash)。 客户的游戏上线有一个月了，原先预估每天最多有10TB的数据量，实际则是在运营活动期间每天产生20TB的数据，原先6TB*60=360TB总量的数据盘使用率也达到了80%。针对这种情况，我们建议客户使用冷热分离的集群架构，在原先60个热节点的基础上，增加一批warm节点存储冷数据，利用ILM(索引生命周期管理)功能定期迁移热节点上的索引到warm节点上。 通过增加warm节点的方式，客户的集群磁盘总量达到了780TB， 可以满足最多三个月的存储需求。但是客户的需求还没有满足： XX公司运维老大：给我们一个能存放一年数据的方案吧，总是通过加节点扩容磁盘的方式不是长久之计，我们得天天盯着这个集群，运维成本很高！并且一直加节点，ES会扛不住吧？ bellen: 可以尝试使用我们新上线的支持本地盘的机型，热节点最大支持7.2TB的本地SSD盘，warm节点最大支持48TB的本地SATA盘。一方面热节点的性能相比云盘提高了，另外warm节点可以支持更大的磁盘容量。单节点可以支持的磁盘容量增大了，节点数量就不用太多了，可以避免踩到因为节点数量太多而触发的坑。 XX公司运维老大：现在用的是云盘，能替换成本地盘吗，怎么替换？ bellen: 不能直接替换，需要在集群中新加入带本地盘的节点，把数据从老的云盘节点迁移到新的节点上，迁移完成后再剔除掉旧的节点，这样可以保证服务不会中断，读写都可以正常进行。 XX公司运维老大：好，可以实施，尽快搞起来！ 云盘切换为本地盘，是通过调用云服务后台的API自动实施的。在实施之后，触发了数据从旧节点迁移到新节点的流程，但是大约半个小时候，问题又出现了： XX公司运维小B: bellen, 快看一下，ES的写入快掉0了。 bellen: 。。。 通过查看集群监控，发现写入qps直接由50w降到1w，写入拒绝率猛增，通过查看集群日志，发现是因为当前小时的索引没有创建成功导致写入失败。 紧急情况下，执行了以下操作定位到了原因： 经过了这次扩容操作，总结了如下经验： 在稳定运行了一阵后，集群又出问题了。。 XX公司运维小B: bellen, 昨晚凌晨1点钟之后，集群就没有写入了，现在kafka里有大量的数据堆积，麻烦尽快看一下？ bellen: 。。。 通过cerebro查看集群，发现集群处于yellow状态，然后发现集群有大量的错误日志： 然后再进一步查看集群日志，发现有"master not discovered yet..."之类的错误日志，检查三个master节点，发现有两个master挂掉，只剩一个了，集群无法选主。 登陆到挂了了master节点机器上，发现保活程序无法启动es进程，第一直觉是es进程oom了；此时也发现master节点磁盘使用率100%， 检查了JVM堆内存快照文件目录，发现有大量的快照文件，于是删除了一部分文件，重启es进程，进程正常启动了；但是问题是堆内存使用率太高，gc非常频繁，master节点响应非常慢，大量的创建索引的任务都超时，阻塞在任务队列中，集群还是无法恢复正常。 看到集群master节点的配置是16核32GB内存，JVM实际只分配了16GB内存，此时只好通过对master节点原地增加内存到64GB(虚拟机，使用的腾讯云CVM， 可以调整机器规格，需要重启)，master节点机器重启之后，修改了es目录jvm.options文件，调整了堆内存大小，重新启动了es进程。 3个master节点都恢复正常了，但是分片还需要进行恢复，通过GET _cluster/health看到集群当前有超过10w个分片，而这些分片恢复还需要一段时间，通过调大"cluster.routing.allocation.node_concurrent_recoveries"， 增大分片恢复的并发数量。实际上5w个主分片恢复的是比较快的了，但是副本分片的恢复就相对慢很多，因为部分副本分片需要从主分片上同步数据才能恢复。此时可以采取的方式是把部分旧的索引副本数量调为0， 让大量副本分片恢复的任务尽快结束，保证新索引能够正常创建，从而使得集群能够正常写入。 总结这次故障的根本原因是集群的索引和分片数量太多，集群元数据占用了大量的堆内存，而master节点本身的JVM内存只有16GB(数据节点有32GB)， master节点频繁full gc导致master节点异常，从而最终导致整个集群异常。所以要解决这个问题，还是得从根本上解决集群的分片数量过多的问题。 目前日志索引是按照小时创建，60分片1副本，每天有24*60*2=2880个分片，每个月就产生86400个分片，这么多的分片可能会带来严重的问题。有以下几种方式解决分片数量过多的问题： 和客户沟通过后，客户表示可以接受方式1和方式2，但是方式3和4不能接受，因为考虑到存在磁盘故障的可能性，必须保留一个副本来保证数据的可靠性；另外还必须保证所有数据都是随时可查询的，不能关闭。 在场景5中，虽然通过临时给master节点增加内存，抗住了10w分片，但是不能从根本上解决问题。客户的数据是计划保留一年的，如果不进行优化，集群必然扛不住数十万个分片。所以接下来需要着重解决集群整体分片数量过多的问题，在场景5的最后提到了，用户可以接受开启shrink以及降低索引创建粒度(经过调整后，每两个小时创建一个索引)，这在一定程度上减少了分片的数量，能够使集群暂时稳定一阵。 辅助客户在kibana上配置了如下的ILM策略： 在warm phase, 把创建时间超过360小时的索引从hot节点迁移到warm节点上，保持索引的副本数量为1，之所以使用360小时作为条件，而不是15天作为条件，是因为客户的索引是按小时创建的，如果以15天作为迁移条件，则在每天凌晨都会同时触发15天前的24个索引一共24*120=2880个分片同时开始迁移索引，容易引发场景4中介绍的由于迁移分片数量过多导致创建索引被阻塞的问题，所以以360小时作为条件，则在每个小时只会执行一个索引的迁移，这样把24个索引的迁移任务打平，避免其它任务被阻塞的情况发生。 同时，也在warm phase阶段，设置索引shrink，把索引的分片数缩成5个，因为老的索引已经不执行写入了，所以也可以执行force merge, 强制把segment文件合并为1个，可以获得更好的查询性能。 另外，设置了ILM策略后，可以在索引模板里增加index.lifecycle.name配置，使得所有新创建的索引都可以和新添加的ILM策略关联，从而使得ILM能够正常运行。 客户使用的ES版本是6.8.2， 在运行ILM的过程中， 也发现一些问题： 这是因为shrink操作需要新把索引完整的一份数据都迁移到一个节点上，然后在内存中构建新的分片元数据，把新的分片通过软链接指向到几个老的分片的数据，在ILM中执行shrink时，ILM会对索引进行如下配置： 问题是索引包含副本，而主分片和副本分片又不能在同一个节点上，所以会出现部分分片无法分配的情况(不是全部，只有一部分)，这里应该是触发了6.8版本的ILM的bug，需要查看源码才能定位解决这个bug，目前还在研究中。当前的workaround是通过脚本定期扫描出现unassigned shards的索引，修改其settings: 优先保证分片先从hot节点迁移到warm节点，这样后续的shrink才能顺利执行(也可能执行失败，因为60个分片都在一个节点上，可能会触发rebalance, 导致分片迁移走，shrink的前置条件又不满足，导致执行失败)。要完全规避这个问题，还得在ILM策略中设置，满足创建时间超过360个小时的索引，副本直接调整为0，但是客户又不接受，没办法。 在场景5和6中，介绍了10w个分片会给集群带来的影响和通过开启shrink来降低分片数量，但是仍然有两个需要重点解决的问题： 可以估算一下，按小时建索引，60分片1副本，一年的分片数为24*120*365=1051200个分片，执行shrink后分片数量24*10*350 + 24*120*15 = 127200(15天内的新索引为了保障写入性能和数据可靠性，仍然保持60分片1副本，旧的索引shrink为5分片1副本), 仍然有超过10w个分片。结合集群一年总的存储量和单个分片可以支持的数据量大小进行评估，我们期望集群总体的分片数量可以稳定为6w~8w，怎么优化？ 可以想到的方案是执行数据冷备份，把比较老的索引都冷备到其它的存储介质上比如HDFS，S3，腾讯云的COS对象存储等，但是问题是这些冷备的数据如果也要查询，需要先恢复到ES中才可查，恢复速度比较慢，客户无法接受。由此也产生了新的想法，目前老的索引仍然是1副本，可以把老索引先进行冷备份，再把副本调为0，这样做有以下几点好处： 经过和客户沟通，客户接受了上述方案，计划把老索引冷备到腾讯云的对象存储COS中，实施步骤为： 其中步骤1的实施可以通过脚本实现，本案例中采用腾讯云SCF云函数进行实施，方便快捷可监控。实施要点有： 在实施完步骤1之后，就可以批量把对索引进行过备份的索引副本数都调为0， 这样一次性释放了很多磁盘空间，并且显著降低了集群整体的分片数量。 接下来实施步骤2，需要每天执行一次快照，多创建时间较久的索引进行备份，实施比较简单，可以通过crontab定时执行脚本或者使用腾讯云SCF执行。 步骤2实施之后，就可以修改ILM策略，开启cold phase, 修改索引副本数量为0: 此处的timing是创建时间20天后，需要保证步骤2中对过去老索引数据备份先执行完成才可以进入到cold phase. 通过老索引数据冷备并且降低索引副本，我们可以把集群整体的分片数量维持在一个较低的水位，但是还有另外一个问题待解决，也即shrink失败的问题。刚好，我们可以利用对老索引数据冷备并且降低索引副本的方案，来彻底解决shrink失败的问题。 在场景5中有提到，shrink失败归根接地是因为索引的副本数量为1， 现在我们可以吧数据备份和降低副本提前，让老索引进入到ILM的warm phase中时已经是0副本，之后再执行shrink操作就不会有问题了；同时，因为副本降低了，索引从hot节点迁移到warm节点迁移的数据量也减少了一半，从而降低了集群负载，一举两得。 因此，我们需要修改ILM策略，在warm phase就把索引的副本数量调整为0， 然后去除cold phase。 另外一个可选的优化项是，对老的索引进行冻结，冻结索引是指把索引常驻内存的一些数据从内存中清理掉(比如FST, 元数据等)， 从而降低内存使用量，而在查询已经冻结的索引时，会重新构建出临时的索引数据结构存放在内存中，查询完毕再清理掉；需要注意的是，默认情况下是无法查询已经冻结的索引的，需要在查询时显式的增加"ignore_throttled=false"参数。 经过上述优化，我们最终解决了集群整体分片数量过多和shrink失败的问题。在实施过程中引入了额外的定时任务脚本实施自动化快照，实际上在7.4版本的ES中，已经有这个功能了，特性名称为 SLM (快照生命周期管理)，并且可以结合ILM使用，在ILM中增加了"wait_for_snapshot"的ACTION, 但是却只能在delete phase中使用，不满足我们的场景。 在上述的场景4-7中，我们花费大量的精力去解决问题和优化使用方式，保证ES集群能够稳定运行，支持PB级别的存储。溯本回原，如果我们能有一个方案使得客户只需要把热数据放在SSD盘上，然后冷数据存储到COS/S3上，但同时又使冷数据能够支持按需随时可查，那我们前面碰到的所有问题都迎刃而解了。可以想象得到的好处有： 而这正是目前es开源社区正在开发中的Searchable Snapshots功能，从 Searchable Snapshots API 的官方文档上可以看到，我们可以创建一个索引，将其挂载到一个指定的快照中，这个新的索引是可查询的，虽然查询时间可能会慢点，但是在日志场景中，对一些较老的索引进行查询时，延迟大点一般都是可以接受的。 所以我认为，Searchable Snapshots解决了很多痛点，将会给ES带了新的繁荣！ 经历过上述运维和优化ES集群的实践，我们总结到的经验有： 从一开始和客户进行接触，了解客户诉求，逐步解决ES集群的问题，最终使得ES集群能够保持稳定，这中间的经历让我真真正正的领悟到"实践出真知"，只有不断实践，才能对异常情况迅速做出反应，以及对客户提的优化需求迅速反馈。

A recent research study by the Pew Internet and American Life Project ____that for a lot of people. 这儿show直接做谓语动词表示：这个调查研究表明了什么 所以用主动语态 就是说：最近由皮尤互联网和美国生活项目做的探索研究表明很多人……show 可以是及物动词 表明；表示 例如：Her pale face showed that she hurt a lot.她惨白的脸表明她疼得厉害.,7,因为 A recent research study是主语，show这个动作就是它发出的，根据意思来说，应该是主动语态。,2,A recent research study by the Pew Internet and American Life Project (which was)showed that for a lot of people. (which was)showed that for a lot of people.是定语从句，省略了which was.,1,show此处是表明的意思，根据句意可知其动作的发出者就是a recent research，也就是说a recent research就是句子主语，而且和谓语动词之间是主动关系，所以用主动形式就可以了。当主语和谓语动词之间是动宾关系时才可能用被动形式。比如： 我打你。打这个动作的发出者是我，所以我和打之间是主动关系；而你和打之间的动宾关系，也就是被动关系。所以如果翻译这句话我作主语时，句子...,0,求教一道高中英语语法填空 A recent research study by the Pew Internet and American Life Project ____that for a lot of people. 答案是showed,为什么不可以是was show

Pew Research Centre 应该是一个美国无党派人士组建的组织。它提供一些客观的美国乃至世界范围内的公众信息。 民意调查，社会科学调查。 它会回馈一些相关新闻，并解读调查中包含的重要数据信息。但是它没有任何的政治地位。也就是说非官方的。它是一个非盈利型的，免税的组织。（可能是美国的国家政策）它的工作内容包括以下六个方面：1，Pew Research Center for the People & the Press2，Stateline.org 3，Pew Internet & American Life Project 4，Pew Forum on Religion & Public Life 5，Pew Hispanic Center 6，Pew Global Attitudes Project（我只看得懂英文，却不会翻译。抱歉）大概意思是：1，对国家政策，国情的公众民意态度调查2，在线新闻报道。报道都是关于政府每日动态等等。3，百姓生活调查。包括小孩和网络，家庭，学校，医疗保险等等。4，关于宗教，种族的深度调查和报道。包括一些地区的宗教活动，等等。5，经济调查。也就是关于国民收入，经济增长，人口增长，以及社会公众对此的态度。6，世界范围的调查。当地人民对所在地生活的态度。

我也在做这题,13考研,网上翻译都不太对,自己动手翻译.这句话肯定是段落里的,关于地震研究.所以early后面是researchinearthquake应该是早期意思,如果后面有句子肯定是后来通过什么研究.在研究下到底什么会对地震研究有帮助,查了下资料,陶器不对,应该是土质.有报到.地震作用下土质边坡永久位移分析的能量方法,地震造成泥土层结果偏移.所以整句翻译早期我通过寻找地下各层泥土并进行分析,来研究地震.期待正确答案有了发个消息给我,可以的话发QQ号码给我一起努力

人很多全部员工大概六七百人这个在街上绝对是巨无霸级别的对冲基金了只有citadel比他们多但是citadel无论是aum还是业务线都多于twosigma所以从人数上来看twosigma还是太多了人多的问题就是大家薪水偏低比同等水平的quantfund要低比

quant research是定量研究员，主要负责价量方面的量化模型开发、研究；紧密跟踪市场动态和行业发展，捕捉产品投资机会；撰写相关策略模型的研究报告。资历条件如下：1、金融、经济等相关专业硕士及以上学历。2、1年以上相关行业工作背景，有基金、券商或第三方理财机构研究经验者优先。3、具有较强的数据处理、统计分析、归纳总结能力。4、具有良好的人际交往和社会活动能力，善于协调、沟通，责任心、事业心强，有较强的亲和力、判断力、创新能力，有良好的职业道德操守。相关知识：量化研究员招聘肯定是物理数学博士多的，国内的量化研究员基本上都是理工科背景的，量化需要的三类主要知识：数学、编程、金融，金融相对来说是学习成本最低的。编程有一定的基础就可以，在工作中再不断学习，如果不知道学什么建议先学c++，对数据、算法、对象、内存、线程等有一定了解，后面学习其它语言也比较容易，另外需要熟悉数据库，国内感觉目前用matlab的挺多的，python比较有发展前景。以上内容参考：百度百科--定量研究

注：文本整理自《ELKstack权威指南》 在 CRUD 章节，我们已经知道 ES 的数据写入是如何操作的了。喜欢自己动手的读者可能已经迫不及待的自己写了程序开始往 ES 里写数据做测试。这时候大家会发现：程序的运行速度非常一般，即使 ES 服务运行在本机，一秒钟大概也就能写入几百条数据。 这种速度显然不是 ES 的极限。事实上，每条数据经过一次完整的 HTTP POST 请求和 ES indexing 是一种极大的性能浪费，为此，ES 设计了批量提交方式。在数据读取方面，叫 mget 接口，在数据变更方面，叫 bulk 接口。mget 一般常用于搜索时 ES 节点之间批量获取中间结果集，对于 Elastic Stack 用户，更常见到的是 bulk 接口。 bulk 接口采用一种比较简朴的数据积累格式，示例如下： 格式是，每条 JSON 数据的上面，加一行描述性的元 JSON，指明下一行数据的操作类型，归属索引信息等。 采用这种格式，而不是一般的 JSON 数组格式，是因为接收到 bulk 请求的 ES 节点，就可以不需要做完整的 JSON 数组解析处理，直接按行处理简短的元 JSON，就可以确定下一行数据 JSON 转发给哪个数据节点了。这样，一个固定内存大小的 network buffer 空间，就可以反复使用，又节省了大量 JVM 的 GC。 事实上，产品级的 logstash、rsyslog、spark 都是默认采用 bulk 接口进行数据写入的。对于打算自己写程序的读者，建议采用 Perl 的 Search::Elasticsearch::Bulk 或者 Python 的 elasticsearch.helpers.* 库。 在配置 bulk 数据的时候，一般需要注意的就是请求体大小(bulk size)。 这里有一点细节上的矛盾，我们知道，HTTP 请求，是可以通过 HTTP 状态码 100 Continue 来持续发送数据的。但对于 ES 节点接收 HTTP 请求体的 Content-Length 来说，是按照整个大小来计算的。所以，首先，要确保 bulk 数据不要超过 http.max_content_length 设置。 那么，是不是尽量让 bulk size 接近这个数值呢？当然不是。 依然是请求体的问题，因为请求体需要全部加载到内存，而 JVM Heap 一共就那么多(按 31GB 算)，过大的请求体，会挤占其他线程池的空间，反而导致写入性能的下降。 再考虑网卡流量，磁盘转速的问题，所以一般来说，建议 bulk 请求体的大小，在 15MB 左右，通过实际测试继续向上探索最合适的设置。 注意：这里说的 15MB 是请求体的字节数，而不是程序里里设置的 bulk size。bulk size 一般指数据的条目数。不要忘了，bulk 请求体中，每条数据还会额外带上一行元 JSON。 以 logstash 默认的 bulk_size => 5000 为例，假设单条数据平均大小 200B ，一次 bulk 请求体的大小就是 1.5MB。那么我们可以尝试 bulk_size => 50000 ；而如果单条数据平均大小是 20KB，一次 bulk 大小就是 100MB，显然超标了，需要尝试下调至 bulk_size => 500 。 gateway 是 ES 设计用来长期存储索引数据的接口。一般来说，大家都是用本地磁盘来存储索引数据，即 gateway.type 为 local 。 数据恢复中，有很多策略调整我们已经在之前分片控制小节讲过。除开分片级别的控制以外，gateway 级别也还有一些可优化的地方： 注意：gateway 中说的节点，仅包括主节点和数据节点，纯粹的 client 节点是不算在内的。如果你有更明确的选择，也可以按需求写： 虽然 ES 对 gateway 使用 NFS，iscsi 等共享存储的方式极力反对，但是对于较大量级的索引的副本数据，ES 从 1.5 版本开始，还是提供了一种节约成本又不特别影响性能的方式：影子副本(shadow replica)。 首先，需要在集群各节点的 elasticsearch.yml 中开启选项： 同时，确保各节点使用相同的路径挂载了共享存储，且目录权限为 Elasticsearch 进程用户可读可写。 然后，创建索引： 针对 shadow replicas ，ES 节点不会做实际的索引操作，而是单纯的每次 flush 时，把 segment 内容 fsync 到共享存储磁盘上。然后 refresh 让其他节点能够搜索该 segment 内容。 如果你已经决定把数据放到共享存储上了，采用 shadow replicas 还是有一些好处的： 但是请注意：主分片节点还是要承担一个副本的写入过程，并不像 Lucene 的 FileReplicator 那样通过复制文件完成，所以达不到完全节省 CPU 的效果。 shadow replicas 只是一个在某些特定环境下有用的方式。在资源允许的情况下，还是应该使用 local gateway。而另外采用 snapshot 接口来完成数据长期备份到 HDFS 或其他共享存储的需要。 我们都知道，ES 中的 master 跟一般 MySQL、Hadoop 的 master 是不一样的。它即不是写入流量的唯一入口，也不是所有数据的元信息的存放地点。所以，一般来说，ES 的 master 节点负载很轻，集群性能是可以近似认为随着 data 节点的扩展线性提升的。 但是，上面这句话并不是完全正确的。 ES 中有一件事情是只有 master 节点能管理的，这就是集群状态(cluster state)。 集群状态中包括以下信息： 这些信息在集群的任意节点上都存放着，你也可以通过 /_cluster/state 接口直接读取到其内容。注意这最后一项信息，之前我们已经讲过 ES 怎么通过简单地取余知道一条数据放在哪个分片里，加上现在集群状态里又记载了分片在哪个节点上，那么，整个集群里，任意节点都可以知道一条数据在哪个节点上存储了。所以，数据读写才可以发送给集群里任意节点。 至于修改，则只能由 master 节点完成！显然，集群状态里大部分内容是极少变动的，唯独有一样除外——索引的映射。因为 ES 的 schema-less 特性，我们可以任意写入 JSON 数据，所以索引中随时可能增加新的字段。这个时候，负责容纳这条数据的主分片所在的节点，会暂停写入操作，将字段的映射结果传递给 master 节点；master 节点合并这段修改到集群状态里，发送新版本的集群状态到集群的所有节点上。然后写入操作才会继续。一般来说，这个操作是在一二十毫秒内就可以完成，影响也不大。 但是也有一些情况会是例外。 在较大规模的 Elastic Stack 应用场景中，这是比较常见的一个情况。因为 Elastic Stack 建议采用日期时间作为索引的划分方式，所以定时(一般是每天)，会统一产生一批新的索引。而前面已经讲过，ES 的集群状态每次更新都是阻塞式的发布到全部节点上以后，节点才能继续后续处理。 这就意味着，如果在集群负载较高的时候，批量新建新索引，可能会有一个显著的阻塞时间，无法写入任何数据。要等到全部节点同步完成集群状态以后，数据写入才能恢复。 不巧的是，中国使用的是北京时间，UTC +0800。也就是说，默认的 Elastic Stack 新建索引时间是在早上 8 点。这个时间点一般日志写入量已经上涨到一定水平了(当然，晚上 0 点的量其实也不低)。 对此，可以通过定时任务，每天在最低谷的早上三四点，提前通过 POST mapping 的方式，创建好之后几天的索引。就可以避免这个问题了。 如果你的日志是比较严重的非结构化数据，这个问题在 2.0 版本后会变得更加严重。 Elasticsearch 从 2.0 版本开始，对 mapping 更新做了重构。为了防止字段类型冲突和减少 master 定期下发全量 cluster state 导致的大流量压力，新的实现和旧实现的区别在： 也就是说，一旦你日志中字段数量较多，在新创建索引的一段时间内，可能长达几十分钟一直被反复锁死！ 这是另一种常见的滥用。在使用 Elastic Stack 处理访问日志时，为了查询更方便，可能会采用 logstash-filter-kv 插件，将访问日志中的每个 URL 参数，都切分成单独的字段。比如一个 "/index.do?uid=1234567890&action=payload" 的 URL 会被转换成如下 JSON： 但是，因为集群状态是存在所有节点的内存里的，一旦 URL 参数过多，ES 节点的内存就被大量用于存储字段映射内容。这是一个极大的浪费。如果碰上 URL 参数的键内容本身一直在变动，直接撑爆 ES 内存都是有可能的！ 以上是真实发生的事件，开发人员莫名的选择将一个 UUID 结果作为 key 放在 URL 参数里。直接导致 ES 集群 master 节点全部 OOM。 如果你在 ES 日志中一直看到有新的 updating mapping [logstash-2015.06.01] 字样出现的话，请郑重考虑一下自己是不是用的上如此细分的字段列表吧。 好，三秒钟过去，如果你确定一定以及肯定还要这么做，下面是一个变通的解决办法。 用 nested object 来存放 URL 参数的方法稍微复杂，但还可以接受。单从 JSON 数据层面看，新方式的数据结构如下： 没错，看起来就是一个数组。但是 JSON 数组在 ES 里是有两种处理方式的。 如果直接写入数组，ES 在实际索引过程中，会把所有内容都平铺开，变成 Arrays of Inner Objects 。整条数据实际类似这样的结构： 这种方式最大的问题是，当你采用 urlargs.key:"uid" AND urlargs.value:"0987654321" 语句意图搜索一个 uid=0987654321 的请求时，实际是整个 URL 参数中任意一处 value 为 0987654321 的，都会命中。 要想达到正确搜索的目的，需要在写入数据之前，指定 urlargs 字段的映射类型为 nested object。命令如下： 这样，数据实际是类似这样的结构： 当然，nested object 节省字段映射的优势对应的是它在使用的复杂。Query 和 Aggs 都必须使用专门的 nested query 和 nested aggs 才能正确读取到它。 nested query 语法如下： nested aggs 语法如下： ES 内针对不同阶段，设计有不同的缓存。以此提升数据检索时的响应性能。主要包括节点层面的 filter cache 和分片层面的 request cache。下面分别讲述。 ES 的 query DSL 在 2.0 版本之前分为 query 和 filter 两种，很多检索语法，是同时存在 query 和 filter 里的。比如最常用的 term、prefix、range 等。怎么选择是使用 query 还是 filter 成为很多用户头疼的难题。于是从 2.0 版本开始，ES 干脆合并了 filter 统一归为 query。但是具体的检索语法本身，依然有 query 和 filter 上下文的区别。ES 依靠这个上下文判断，来自动决定是否启用 filter cache。 query 跟 filter 上下文的区别，简单来说： 所以，选择也就出来了： 不过我们要怎么写，才能让 ES 正确判断呢？看下面这个请求： 在这个请求中， 需要注意的是，filter cache 是节点层面的缓存设置，每个节点上所有数据在响应请求时，是共用一个缓存空间的。当空间用满，按照 LRU 策略淘汰掉最冷的数据。 可以用 indices.cache.filter.size 配置来设置这个缓存空间的大小，默认是 JVM 堆的 10%，也可以设置一个绝对值。注意这是一个静态值，必须在 elasticsearch.yml 中提前配置。 ES 还有另一个分片层面的缓存，叫 shard request cache。5.0 之前的版本中，request cache 的用途并不大，因为 query cache 要起作用，还有几个先决条件： 以 Elastic Stack 场景来说，Kibana 里几乎所有的请求，都是有 @timestamp 作为过滤条件的，而且大多数是以 最近 N 小时/分钟 这样的选项，也就是说，页面每次刷新，发出的请求 JSON 里的时间过滤部分都是在变动的。query cache 在处理 Kibana 发出的请求时，完全无用。 而 5.0 版本的一大特性，叫 instant aggregation。解决了这个先决条件的一大阻碍。 在之前的版本，Elasticsearch 接收到请求之后，直接把请求原样转发给各分片，由各分片所在的节点自行完成请求的解析，进行实际的搜索操作。所以缓存的键是原始 JSON 串。 而 5.0 的重构后，接收到请求的节点先把请求的解析做完，发送到各节点的是统一拆分修改好的请求，这样就不再担心 JSON 串多个空格啥的了。 其次，上面说的『拆分修改』是怎么回事呢？ 比如，我们在 Kibana 里搜索一个最近 7 天( @timestamp:["now-7d" TO "now"] )的数据，ES 就可以根据按天索引的判断，知道从 6 天前到昨天这 5 个索引是肯定全覆盖的。那么这个横跨 7 天的 date range query 就变成了 5 个 match_all query 加 2 个短时间的 date_range query。 现在你的仪表盘过 5 分钟自动刷新一次，再提交上来一次最近 7 天的请求，中间这 5 个 match_all 就完全一样了，直接从 request cache 返回即可，需要重新请求的，只有两头真正在变动的 date_range 了。 注1： match_all 不用遍历倒排索引，比直接查询 @timestamp:* 要快很多。 注2：判断覆盖修改为 match_all 并不是真的按照索引名称，而是 ES 从 2.x 开始提供的 field_stats 接口可以直接获取到 @timestamp 在本索引内的 max/min 值。当然从概念上如此理解也是可以接受的。 响应结果如下： 和 filter cache 一样，request cache 的大小也是以节点级别控制的，配置项名为 indices.requests.cache.size ，其默认值为 1% 。 字段数据(fielddata)，在 Lucene 中又叫 uninverted index。我们都知道，搜索引擎会使用倒排索引(inverted index)来映射单词到文档的 ID 号。而同时，为了提供对文档内容的聚合，Lucene 还可以在运行时将每个字段的单词以字典序排成另一个 uninverted index，可以大大加速计算性能。 作为一个加速性能的方式，fielddata 当然是被全部加载在内存的时候最为有效。这也是 ES 默认的运行设置。但是，内存是有限的，所以 ES 同时也需要提供对 fielddata 内存的限额方式： Elasticsearch 在 total，fielddata，request 三个层面上都设计有 circuit breaker 以保护进程不至于发生 OOM 事件。在 fielddata 层面，其设置为： 但是相比较集群庞大的数据量，内存本身是远远不够的。为了解决这个问题，ES 引入了另一个特性，可以对精确索引的字段，指定 fielddata 的存储方式。这个配置项叫： doc_values 。 所谓 doc_values ，其实就是在 ES 将数据写入索引的时候，提前生成好 fielddata 内容，并记录到磁盘上。因为 fielddata 数据是顺序读写的，所以即使在磁盘上，通过文件系统层的缓存，也可以获得相当不错的性能。 注意：因为 doc_values 是在数据写入时即生成内容，所以，它只能应用在精准索引的字段上，因为索引进程没法知道后续会有什么分词器生成的结果。 由于在 Elastic Stack 场景中， doc_values 的使用极其频繁，到 Elasticsearch 5.0 以后，这两者的区别被彻底强化成两个不同字段类型： text 和 keyword 。 等同于过去的： 而 等同于过去的： 也就是说，以后的用户，已经不太需要在意 fielddata 的问题了。不过依然有少数情况，你会需要对分词字段做聚合统计的话，你可以在自己接受范围内，开启这个特性： 你可以看到在上面加了一段 fielddata_frequency_filter 配置，这个配置是 segment 级别的。上面示例的意思是：只有这个 segment 里的文档数量超过 500 个，而且含有该字段的文档数量占该 segment 里的文档数量比例超过 10% 时，才加载这个 segment 的 fielddata。 下面是一个可能有用的对分词字段做聚合的示例： 这个示例可以对经过了 logstash-filter-punct 插件处理的数据，获取每种 punct 类型日志的关键词和对应的代表性日志原文。其效果类似 Splunk 的事件模式功能： [图片上传失败...(image-b0b69f-1511752650964)] 如果经过之前章节的一系列优化之后，数据确实超过了集群能承载的能力，除了拆分集群以外，最后就只剩下一个办法了：清除废旧索引。 为了更加方便的做清除数据，合并 segment，备份恢复等管理任务，Elasticsearch 在提供相关 API 的同时，另外准备了一个命令行工具，叫 curator 。curator 是 Python 程序，可以直接通过 pypi 库安装： 注意，是 elasticsearch-curator 不是 curator。PyPi 原先就有另一个项目叫这个名字 和 Elastic Stack 里其他组件一样，curator 也是被 Elastic.co 收购的原开源社区周边。收编之后同样进行了一次重构，命令行参数从单字母风格改成了长单词风格。新版本的 curator 命令可用参数如下： Options 包括: --host TEXT Elasticsearch host. --url_prefix TEXT Elasticsearch http url prefix. --port INTEGER Elasticsearch port. --use_ssl Connect to Elasticsearch through SSL. --http_auth TEXT Use Basic Authentication ex: user:pass --timeout INTEGER Connection timeout in seconds. --master-only Only operate on elected master node. --dry-run Do not perform any changes. --debug Debug mode --loglevel TEXT Log level --logfile TEXT log file --logformat TEXT Log output format [default|logstash]. --version Show the version and exit. --help Show this message and exit. Commands 包括: alias Index Aliasing allocation Index Allocation bloom Disable bloom filter cache close Close indices delete Delete indices or snapshots open Open indices optimize Optimize Indices replicas Replica Count Per-shard show Show indices or snapshots snapshot Take snapshots of indices (Backup) 针对具体的 Command，还可以继续使用 --help 查看该子命令的帮助。比如查看 close 子命令的帮助，输入 curator close --help ，结果如下： 在使用 1.4.0 以上版本的 Elasticsearch 前提下，curator 曾经主要的一个子命令 bloom 已经不再需要使用。所以，目前最常用的三个子命令，分别是 close , delete 和 optimize ，示例如下： 这一顿任务，结果是： logstash-mweibo-nginx-yyyy.mm.dd 索引保存最近 5 天， logstash-mweibo-client-yyyy.mm.dd 保存最近 10 天， logstash-mweibo-yyyy.mm.dd 索引保存最近 30 天；且所有七天前的 logstash-* 索引都暂时关闭不用；最后对所有非当日日志做 segment 合并优化。 profiler 是 Elasticsearch 5.0 的一个新接口。通过这个功能，可以看到一个搜索聚合请求，是如何拆分成底层的 Lucene 请求，并且显示每部分的耗时情况。 启用 profiler 的方式很简单，直接在请求里加一行即可： 可以看到其中对 query 和 aggs 部分的返回是不太一样的。 query 部分包括 collectors、rewrite 和 query 部分。对复杂 query，profiler 会拆分 query 成多个基础的 TermQuery，然后每个 TermQuery 再显示各自的分阶段耗时如下： 我们可以很明显的看到聚合统计在初始化阶段、收集阶段、构建阶段、汇总阶段分别花了多少时间，遍历了多少数据。 注意其中 reduce 阶段还没实现完毕，所有都是 0。因为目前 profiler 只能在 shard 级别上做统计。 collect 阶段的耗时，有助于我们调整对应 aggs 的 collect_mode 参数选择。目前 Elasticsearch 支持 breadth_first 和 depth_first 两种方式。 initialise 阶段的耗时，有助于我们调整对应 aggs 的 execution_hint 参数选择。目前 Elasticsearch 支持 map 、 global_ordinals_low_cardinality 、 global_ordinals 和 global_ordinals_hash 四种选择。在计算离散度比较大的字段统计值时，适当调整该参数，有益于节省内存和提高计算速度。 对高离散度字段值统计性能很关注的读者，可以关注 https://github.com/elastic/elasticsearch/pull/21626 这条记录的进展。 （本文完） 文本整理自《ELKstack权威指南》

Lucene： java写的单机搜索引擎Solr和Elasticsearch都是流行的搜索引擎，都是基于Java，但它们有一些区别。Solr是基于Lucene的搜索服务器，而Elasticsearch是一个分布式搜索和分析引擎。Solr更适合传统的企业搜索场景，而Elasticsearch更适合实时搜索和分析场景。Elasticsearch还具有更好的可扩展性和更好的文档处理能力。还有新的搜索引擎，基于c++开发的小唐代码搜索引擎，基于rust开发的github代码搜索引擎。

取决于你想表达的意思和句子结构。如果你想表达“研究目的”，那么就可以使用单数形式，即“research purpose”。如果你想表达“研究目的们”或“多个研究目的”，那么可以使用复数形式，即“research purposes”。

research---研究型最后是写文章答辩获得学位taught-----授课型一门一门过算学分获得学位

yum是红帽系列的linux系统下用于安装软件，更新系统的一个工具。search是搜索查询。是在软件包的详细信息中搜索指定的字符串mingw64-gcc-objc++.x86_64 :举个例子yum search gcc就是在yum源的仓库中去查找和gcc有关的软件包。注意，只是找到相关的软件包，但是是不是已经安装了，那可不一定实际上，如果执行刚才那条指令，会返回一堆内容，其中有一条显示：mingw64-libgomp.x86_64 : GCC OpenMP v3.0 shared support library for the win64 target这个mingw64-libgomp有没有安装呢？通过rpm -qa | grep mingw64-libgomp去查询，发现没有返回。没返回说明没装yum源里面有没有呢？执行yum list | grep mingw64-libgomp返回结果如下：mingw64-libgomp.x86_64 4.9.2-1.el6 epel返回结果说了，这个东西是有的，不仅有，还是el系统下的，什么是el？ e是enterprise企业，l是linux。红帽的企业版往往缩写成rhel (Red Hat Enterprise Linux)。但是还有一个发行版，就是OEL，O是Oracle。那么， el 原先只是 rhel，现在，则不仅仅是rhel，同时也可以表示oel。其实oel从本质上和rhel没什么区别。oel (Oracle Enterprise Linux)系统有两套内核，一套是红帽的内核，一套是Oracle公司自己编译的所谓的“坚不可摧”的内核。凡是软件包名称中带有el字样的 就可以在红帽系列的linux系统中安装。而不用管它是rhel还是oel，此外还包括了fedora以及centos。这个软件包的版本是4.9.2-1。 它位于epel这个软件源中。如果你对php有兴趣的话，可以向我一样在后盾人平台多看看自己学习学习，时间长了自己就慢慢明白了，希望能帮到你，给个采纳吧谢谢(u10e6u02d8u2323u02d8u10e6)

yum是红帽系列的linux系统下用于安装软件，更新系统的一个工具。search是搜索查询。是在软件包的详细信息中搜索指定的字符串mingw64-gcc-objc++.x86_64 : 举个例子yum search gcc就是在yum源的仓库中去查找和gcc有关的软件包。注意，只是找到相关的软件包，但是是不是已经安装了，那可不一定实际上，如果执行刚才那条指令，会返回一堆内容，其中有一条显示：mingw64-libgomp.x86_64 : GCC OpenMP v3.0 shared support library for the win64 target这个mingw64-libgomp有没有安装呢？通过rpm -qa | grep mingw64-libgomp去查询，发现没有返回。没返回说明没装yum源里面有没有呢？执行yum list | grep mingw64-libgomp返回结果如下：mingw64-libgomp.x86_64 4.9.2-1.el6 epel 返回结果说了，这个东西是有的，不仅有，还是el系统下的，什么是el？ e是enterprise企业，l是linux。红帽的企业版往往缩写成rhel (Red Hat Enterprise Linux)。但是还有一个发行版，就是OEL，O是Oracle。那么， el 原先只是 rhel，现在，则不仅仅是rhel，同时也可以表示oel。其实oel从本质上和rhel没什么区别。oel (Oracle Enterprise Linux)系统有两套内核，一套是红帽的内核，一套是Oracle公司自己编译的所谓的“坚不可摧”的内核。凡是软件包名称中带有el字样的 就可以在红帽系列的linux系统中安装。而不用管它是rhel还是oel，此外还包括了fedora以及centos。这个软件包的版本是4.9.2-1。 它位于epel这个软件源中。

赵晓: “天门久为初人闭，福路全凭神子通。 我愿接受神圣子，儿子名分得永生。” --此诗出自清朝康熙皇帝，表明他愿意信耶稣、得永生。

有缘千里来相见

TB 10002.3-2005 <<铁路桥涵钢筋混凝土和预应力混凝土结构设计规范》中有规定值，在第9页。

要看碳化深度修正值，碳化深度取0的话，回弹平均值应该46才算合格。回弹仪的基本原理是用弹簧驱动重锤，重锤以恒定的动能撞击与混凝土表面垂直接触的弹击杆，使局部混凝土发生变形并吸收一部分能量，另一部分能量转化为重锤的反弹动能，当反弹动能全部转化成势能时，重锤反弹达到最大距离，仪器将重锤的最大反弹距离以回弹值（最大反弹距离与弹簧初始长度之比）的名义显示出来。

虎

设大圆柱半径为5x小圆柱4x侧面积为大：2派5xh小2派4xh比为5：4体积大：派（5x）的平方h小：（4x）的平方h比为25：16因为派..平方打不出来所以将就下.谢谢

西北地区干旱，蒸发旺盛。覆盖砾石可以减少土壤水分的蒸发；减轻风对土壤的侵蚀；还可以增大昼夜温差，有利于有机物的积累，增加瓜果的糖分。

20÷3=6.6 (6循环) 精确百分位是（6.67）

补充楼上，右下的方框靠左下脚的类似倒地柱子的那个东西就是岩。不懂的任务和刀剑按金合成护符，宝石合成公式，和任务大全及如何快速挣钱的网页。bo＊17173＊CO＊M绝对，对新人有用

这是 卦语 没有固定的意思 大概的意思是说，属兔的在2008年 2月 4日～2009年 2月 4日的气运，应防小人暗算，做生意者应提高警惕，运气收入一般。

一般是五吨。番茄是喜温湿怕高温的一年生草本植物，是经济价值较高的蔬菜之一。如何栽培出高品质、高产量、鲜美品味的番茄，在生产管理上应该掌握好以下几点：一、温度番茄适合生长温度范围在10～35℃，适合月平均温度为20～25℃的季节里生长。白天，上午23～28℃，最高不得超过35℃；下午逐步降温至23℃时闭棚。夜间15～18℃为好。昼夜温差以10～13℃为宜，低于10℃生长受到抑制，低于5℃植株停止生长。1～2℃时遭受冻害。二、水分要求土壤湿度为0.05～1.00巴，空气相对湿度为80%～90%。要获得5000公斤番茄，需从土壤中吸取330吨以上的水。果实发育期每天每株需吸收1升以上的水分，以促进根系发达，增强吸水、保水能力。三、光照番茄每平方米叶面积生产1公斤果实需要95～96小时光照。四、土壤华北地区都可以生长。粘质土壤生长慢些，长势强；砂性土壤中生长快，易衰老。酸碱度以微酸性，pH值在6～6.5较好。华北地区土壤偏碱，提倡施用生物有机肥，可以改变碱性土壤。目前较好的有酵素菌生物肥及有机、无机复合肥等，逐步替代无机化学肥料，可改造土壤，创建番茄适生环境。五、养分番茄需要多种无机营养元素，而且营养要素还要有一定比例。如要生产1000公斤番茄，需从土壤中吸取氮2.5～3.5公斤、磷0.8～1公斤、钾4.2～4.8公斤、钙1.6～2.1公斤和镁0.3～0.6公斤元素。要按养分吸取比例施肥，如以氮为100，则磷为26，钾为180，钙为74，镁为18，吸收钾最多，吸收磷和镁最少。配方施肥是经过测试植物生长所需各种营养元素为依据，按不同比例合理配制专用肥。六、气体条件基本条件二氧化碳和水，空气中二氧化碳的含量为0.03%，二氧化碳含量适量增加则光合作用强度增强。二氧化碳的饱和浓度为0.1%，超过此浓度蕃茄生育失调，甚至中毒；当二氧化碳在0.005%浓度时，植物会因饥饿而死亡。特别是当冬季光照不足时，可以人工补充二氧化碳，以提高二氧化碳的量。若是底肥使用酵素菌生物肥会减少二氧化碳的补充，因此，不能单一使用化肥，要科学配方。科学施肥。七、适时防治病虫草害番茄病虫草害有：一是真菌类，如猝倒病、立枯病、叶霉病、白粉病、早疫病、晚疫病、灰霉病、枯萎病等；二是细菌类，如溃疡病、髓部坏死病等；三是病毒病类，如花叶型、厥叶型、黄化型、丛矮病、斑萎病等病毒病；四是线虫，如根结（瘤）线虫等。还有生理性病害（也叫非侵染性病害），有因高温或低温造成的日灼、裂果，也有因或氮、磷、钾、钙、硼、镁、锌等量过盛造成叶子变黄、变小、萎蔫下垂，造成空洞果、畸型果等症状。害虫如：白粉虱、潜叶蝇、蚜虫等。八、增产措施 1.使用生物菌肥、酵素肥替代化肥用量。利用益生菌的活性来活化土壤，提高土壤温度1～3℃，确保冬季夜间有效积温。 2.使用生物、植物叶面肥，喷施高效率生物叶面肥（诱抗剂）。提高植株的净光合利用率50%～200%，使作物增加碳水化合物浓度，充分发挥自身抗冻耐寒、抗盐耐碱、抗旱耐涝的特性，调节作物自身生殖生长，增强营养吸收，可促进花芽分化，保花保果。施用诱抗剂的作物，可减少常规施肥量的20%～50%。植株成形后，自身调控吸取养分便可调济果实早熟，提高品质，口感好，可提早上市7～10天，并延长作物生命期20天以上，可多留果穗，增加采摘次数，提高番茄产量。 3.系统管理作物的营养比例。实行测土、测植株，掌握营养元素配比，合理施肥，有利于蕃茄营养生长和生殖生长的养分供应，保花保果。

4399造梦西游什么是羊妖,蜈松??ch=rainbow.wty.sear…6674

废话企业靠员工发展的员工好了自然企业就好自然是凝聚者和创造者有什么新东西都是员工在前面抗子弹的自然是实践者

首先你把耳机查到手机听歌可以的话就是耳机没问题接着你插电脑后面插孔,如果后面可以前面不可以就是你设置问题.XP系统的话在C盘WINDOWS文件夹内有个小喇叭图标,双击打开后看个一个小扳手,点击进入设置把禁用前置面板检测打钩

这两句意思正好相反，衣不如新出自《诗经》意思比较积极，意思是老朋友见面了，故人相见会比较开心，胜似刚认识的。新人笑旧人哭出自杜甫的诗。意思专指女人被喜新厌旧的男人伤害的结果。

，

2012年（金木）1月（金木）21日（金火）20时35分（土土）（括号内为五行）土旺，缺水。

自古白马怕青牛，羊鼠相逢一旦休。 云龙玉兔不见面，更鸡见犬泪相流。 猛虎见蛇如刀断，猪迂猿猴不到头。 兔年逢鼠不结婚，坡牛放羊怕猴孙。 午马最怕更鸡叫，小猪不敢跳龙门。 戍犬最怕小龙子，猛虎不能如牛群。 猪虎同婚喜洋洋，牛鼠相会幸福长。 玉兔逢犬真可喜，鸡叫龙舞唱吉祥。 蛇猴一处为伴侣，马羊并行最为强。 男女婚姻月老牵，如若犯忌莫强求。 天地阴阳人为上，美满婚姻吉利祥。 婚姻以此来参考，子孙昌盛福满门。

齐如意演的

骑岭乡 位于汝州市西北部，总面积50.68平方公里，下辖14个行政村，人口4.1万，地势北高南低，多为丘陵和半丘陵区。 陵头乡 位于汝州市西北部15公里处，因北宋秦王赵廷美的陵墓在此，故得名陵头。总面积107平方公里，辖27个村委会，4.4万人。属浅山丘陵地区，北部多山，南部平川。 蟒川乡 位于汝州市南部，地处浅山丘陵区域，距市区15公里。总面积146.5平方公里，现辖24个行政村，总人口5.42万，相传在远古时期此地有大蟒出没，蟒川因此而得名。 夏店乡 位于河南省汝州市西北部22公里处，区域面积67.1平方公里，东与陵头乡紧邻，西南与庙下乡搭界，北与洛阳伊川县接壤，处于南北长，东西短的长方形区域里，北部多为丘陵地，南部以平原为主。人口近3万，有44个自然村，158个村民组， 杨楼乡 位于汝州市区西南部，距市区24公里，全乡除少部分为丘陵地形外，大部分地区地势平坦。总面积69.98平方公里，辖24个行政村，人口5.8万。 庙下乡 位于汝州市西部17公里处，属半丘陵地区，地势北高南低。总面积94.2平方公里，辖24个行政村，人口6.2万人。因唐代建中岳庙于高地，街居其下，故名庙下街。素有“河洛军事要塞”之称。 焦村乡 位于汝州市东北部，距市区14公里，总面积69.82平方公里，下辖16个行政村，人口2.5万 纸坊乡 位于汝州市东南部。面积60平方千米，人口7.1万. 王寨乡 位于汝州市中南部，地势南高北低，由南向北依次由丘陵、半丘陵、平原，呈带状过渡。面积74平方公里，辖33个行政村，人口4.4万。 大峪乡 位于河南省汝州、登封、禹州、郏县四县市的交界处，历来为来往客商的必经之地。大峪乡平均海拔约700余米，总面积140平方公里，辖24个行政村，201个村民组，2.3万人，耕地面积2.3万亩。 尚庄乡 位于汝州市东部，紧邻市区，全乡面积94.9平方公里，辖29个行政村，人口5.01万，是全国著名的武术之乡、河南曲剧的发祥地之一。 寄料镇 历史悠久，因汉光武帝刘秀曾在此寄存草料而得名，并留下了马跑泉、妻贤庄等美丽的传说。地处汝州西南，南连鲁山，西接汝阳，庙鲁路、寄刘路从镇区交叉穿行而过，全镇总面积174.5平方公里，下辖34个行政村，353个自然村，镇区面积达3.5平方公里，总人口7.8万人. 温泉镇 地处汝州市区西27公里处，镇内的地下温泉为古今名胜，因以得名。全镇总面积80.3平方公里，辖28个行政村，54个自然村，4.9万口人。 临汝镇 位于汝州城西约30公里处，因临近北汝河而得名。总面积73.8平方公里，人口6.3万，下辖24个行政村，全境属半丘陵地区，地势北高南低，历来被称为豫西的商埠重镇。 小屯镇 位于河南省汝州市区东南15公里处,北依汝河,南部,东部与宝丰(县)接壤,东北部与郏县隔汝河相望.全镇辖50个村民委员会,85个自然村,人口近9万人,是汝州市第一人口大镇.总面积146平方公里,其中耕地面积113700亩,粮食总产量4100万公斤,工农业总产值超过11个亿,农民人均收入2200元,又是汝州市农业大镇,工业强镇. 煤山区 位于汝州市区西北部，面积15.1平方公里，人口3.9万，辖5个居委会，代管3个行政村。 钟楼区 位于汝州市城区东南部，总面积21.2平方公里。辖6个居委会和2个行政村，人口2.8万。 风穴区 处位于汝州城区东北部，面积192平方公里，辖3个居季委会，代管3个行政村，人口42万人，207国道、山汝线以及平临高速公路从辖区穿过，交通极为便利。 汝南区 处位于汝州市区南部，汝河南岸，距城区3公里，与市区隔河相望。面积58.5平方公里。下辖16个行政村，人口3.4363万人。交通便利。焦柳铁路穿境而过，207国道、上洛高速公路汝州引线纵贯南北。求采纳

首先，由于位数没有变化，所以a只能为1，由a<5得b为偶数，则c为2或3，且c=2时b只能为4，c=3时b为6或8，同理继续推理得d为偶数，e为4或5，而由e为5的倍数得e=5，则d>5.则d只能为6或8，则b只能为3,4,9,8结合前面知b,c,d分别为4,2,8或8,3,6而后面一个组合f无解，故原六位数为142857

天河区

钓鱼处，指隐士隐居之所。骑马人，指当官有权之人。然后，你就能明白什么意思了。

被减数多了：8-3=5 减数少了：90-60=30 正确的差：321-5-30=286 答：正确的差是286

首先那个不是奥特曼，绝对不是，你说的那个是假面骑士当中的人物假面骑士虽然也是特摄，但是和奥特曼却没有关系。

所以的关卡都打过1遍，就可以开达人图。你可以上幻之角，里面什么攻略都有

古玩放入收藏柜 可以得到一定金钱 并提高收藏柜一定星级 古玩无法取出

要看碳化深度修正值，碳化深度取0的话，回弹平均值应该46才算合格。由于混凝土的质量验收是以其28天抗压强度为准，对生产的质量反馈具有较大的滞后性，因而在生产的过程中的质量控制就尤其重要。混凝土的强度主要有水灰比控制，若混凝士中水或水泥，矿粉，粉煤灰某个组份一旦发生波动，将造成混凝土强度的波动。扩展资料：测量仪器测量回弹值使用的仪器为回弹仪。回弹仪的质量及其稳定性是保证回弹法检测精度的技术关键。国内回弹仪的构造及零部件和装配质量必须符合《混凝土回弹仪》（JJG817-93）的要求。回弹仪按回弹冲击能量大小分为重型、中型和轻型。普通混凝土抗压强度不大于C50时，通常采用中型回弹仪；混凝土抗压强度不小于C60时，宜采用重型回弹仪。传统的回弹仪是通过直接读取回弹仪指针所在位置读数来测取数据的，为一直读式。有产品有自记式、带微型工控机的自动记录及处理数据等功能的回弹仪。参考资料：百度百科-回弹法

做什么事不要拘泥于常规，而要自己心中有所期望想法。不知道理解的是否合理

这是求签算命的签文吧。 意思很简单，说你是那隐与山林的凤凰，终有一日会展翅翱翔与蓝天，只要站上了属于自己的舞台，那便会闻达四方，所有人都会钦佩羡慕你。

学前儿童社会教育作业1参考答案 （第一至二章）　　　　一、填空题（每空1　分，共　20分）　　　　1、尊重儿童生活，遵循儿童社会性发展的规律与特点；有教育意义。　　　　2、应用性，实践性　　　　3、整合性。　　　　4、了解与把握新事物，善于调整自己，并与不同的人建立融洽关系；遵守社会规范的能力，根据信息决策的能力。　　　　5、社会化。　　　　6、自我中心。　　　　7、关联的需要。　　　　8、亲社会行为，反社会行为。　　　　9、安全型儿童。　　　　10、共情。　　　　11、言语指导和行为训练。　　　　12、对他人的行为及其强化性结果的观察；动作再现过程。　　　　13、童年早期经验；“前成人”。　　　　14、情感自主性。　　　 二、简述题　　　　1、简述学前儿童社会教育的研究任务。　　学前儿童社会教育的研究任务有三：一是总结历史发展中学前儿童社会教育的思想及实践经验，以为今天学前儿童社会教育的研究与实践提供思想资源。二是研究学前儿童社会教育的基本问题，揭示学前儿童社会教育的基本原理与规律。这是学前儿童社会教育研究的核心任务。三是指导学前儿童社会教育实践，提高幼儿教师从事学前儿童社会教育的水平和效果。这是学前儿童社会教育研究的最终任务。……　　　 2、简述儿童社会认知发展的一般特点　　　　（1）儿童社会认知发展是一个逐步区分认识社会性客体的过程 首先，婴儿的社会认知的发生是一个逐步区分认识社会性客体的过程，即区分认识人类客体与非人类客体、一个个体与另一个个体，自我与非我的过程。其次，这一过程还表现在儿童不同情绪情感、行为意图及社会规则的认识上。塞尔曼认为，在儿童观点采择能力的发展中，能否区分他人有意与无意行为是早期发展中的关键一步，之后儿童才能逐渐理解人们在同一行为中可能有多种意图。在此基础上，儿童发现对于同一事件自己和他人有着不同的观点和反应，也就能区分自己和他人的观点。 （2）儿童社会认知各方面的发展是非同步、非等速的　　儿童对自我、他人、社会关系、社会规则以及对人的情绪、情感、行为意图、态度动机、个性品质等的认识并非同时开始，发展也是非等速的。其发生发展的总趋势是从认识他人到自我，到相互关系；从认知情绪到行为，再到心理状态；从认识身体到心理再到社会。而同一年龄的儿童各方面的发展水平也是有差异的。　　　　（3）儿童社会认知的发展遵循认知发展的普遍规律，但不完全受认知发展的影响　　研究者也认为，儿童社会认知发展与一般认知发展并非完全平行。它不完全受认知发展的研究。不少研究证明，儿童智商与其观点采择能力之间的相关系数一般是中等或偏下。因为当儿童的一般认知达到一定水平后，个体社会认知能力就更多地受社会、文化、教育等因素的影响和制约。　　　　（4）儿童社会认知的发展水平与社会交往密切相关　　儿童社会认知的对象既包括人及由人构成的社会关系，也包括其生活的社会环境。儿童不仅是认知者，而且是积极的行为者，他是通过与他人的社会交往、相互作用的过程中认知社会的。已有研究表明，儿童社会认知的发展与其社会交往存在着密切的关系。首先，儿童同伴互动对社会认知有促进作用。其次，儿童交往的需要和动机与儿童社会认知的水平有密切的关系。　　　　3、电视可能给儿童的社会性发展带来的负面影响主要有哪些?　　这种负面影响主要体现在1）电视有可能使儿童在认识上与现实产生距离。电视虽然是来自于现实，但是以一种艺术化的方式表现出来，其中可能有很多与现实不符的内容和画面。儿童由于理性思维能力还处于低级阶段，主要是通过自己的感官认识世界，感受世界，如果他们长期接触这样的舅母，就很容易产生认识上的偏差和误解。2）电视可能会影响到儿童现实的交往关系，影响社会交往能力的发展。看电视是在户内进行的，儿童看电视越多，相应的户外活动时间就会减少，亲子间、同龄人间的接触也会减少，这样可能影响到儿童现实的社会性交往，进而影响到交往能力的提升。3）一些不健康电视节目可能导致儿童学习模仿，对社会性发展产生不良影响。在电视节目中，存在相当一部分思想不健康，或者不适合儿童观看的内容，如暴力、凶杀、毒品等内容，而电视节目中不清晰的价值导向也使儿童更容易产生模仿行为。而一些电视节目也有可能刺激儿童已有的内心不良感受，加深不满情绪，使儿童出现憎恨、反叛等心理，进而产生一些问题行为。除电视之外，计算机和网络也日益成为影响儿童社会性发展的因素。作为教育者，应趋利避害，利用这些现代化媒体的长处，避免它们可能对儿童的社会性发展产生负面影响。　　4、简述幼儿教师的积极期望与恰当要求如何影响幼儿的社会性发展　　皮格马利翁效应清楚地说明了教师的期望对学生产生的教育影响。在幼儿园阶段，由于幼儿基本上还处在他律阶段，非常看重成人对自己的评价，同时也会有想作一个“好孩子”的愿望，因此，教师对幼儿的期望和要求会直接影响到幼儿的社会化。　　研究观察表明，当幼儿教师对儿童有高期望时，在情绪、身体语言、口头语言、教学材料、赞扬和批评等不同水平上，教师都表现出这种高期望。如会更经常发出微笑、点头、注视儿童、谈话、提问、提供更多的游戏学习材料等积极行为。而被教师寄予希望的儿童，在感受到教师的关心和爱的基础上，与教师更容易形成融洽的关系，常常以积极的态度对待教师，对待学习，更加自尊自信、有一种积极向上的热情。反之，被教师漠视，处于低期望状态的儿童则更容易表现出一些消极的行为。5、简述幼儿自我评价发展的趋势　　幼儿自我评价的发展趋势是：从轻信和运用成人的评价到自己独立的评价。幼儿初期，儿童对自己的评价往往只是成人评价的简单再现，而且不加考虑地轻信成人对自己的评价。此后，儿童对成人的评价不轻易再现，如评价不正确，儿童会有反抗的表现。一直到幼儿晚期，幼儿才开始出现独立的评价。而且，幼儿的自我评价往往比较简单，一般是两分法的评价方式，如“好”与“不好”；“聪明”与“笨”等，很难象成人一向作出全面细致的区分。由此，幼儿园教师在对儿童进行评价时候要慎重，需要更正客观。而且尽量少给孩子定性的评价，避免孩子因为老师的评价而对自我评价产生偏差。　　　　评价常常带有主观情绪性。在幼儿阶段，儿童的行为由于还受情绪的影响比较大，所以在对自我进行评价时也会显示出情绪化的特征。　　学前儿童的自我评价主要还停留在自己外部行为的评价上，如学前儿童基本能评价自己的外貌特征（如高矮、胖瘦等）；而全面、概括地评价自己各方面能力水平的能力还比较低。　　　 6、简述发展生态学关于建构有教育意义的环境需注意的基本原则。　　（1）集体教养环境能否增进儿童智力发展和学习能力，取决于：自然环境是否限制儿童的活动机会；是否有足够的物品玩具可利用于儿童的自发活动中；成人是否有足够的机会参与儿童活动中；成人与儿童相互交往中是否能够激励儿童完成任务的活动；成人能否为儿童从事日益复杂的人际关系创造和保持机会。（2）对于某种学习或规则来说，真正的发展在于儿童的知觉与行为能迁移到其他或更高的环境系统的活动中。由此，课程设计要尽量考虑提供促进迁移练习的机会。（3）对于幼儿自身的活动来说，幼儿在微观系统中与他人的交互作用如果有第三者以支持性关系参与时，其促进儿童发展的功能发挥更有效。这意味着，在一定条件下可以调动支持幼儿园教育的社会关系越多，越有利于儿童发展。（4）对于角色意识的培养来说，在环境中活动时承担的角色对角色意识的发展有重要影响；（5）对社会适应来说，生态变迁往往是发展进程中的转折点，当孩子进入一个新的环境时，为其建立“心理安全基地”是非常重要的。　　　　三、论述题　　1、试论述学前儿童社会教育与其他领域课程的关系　　陈鹤琴先生将五大领域比喻为人的五指，息息相连，五指活动的五指是活的，可以伸缩，依据儿童身心发展的特征，五指活动在儿童生活中结成一张教育的网，它们有组织、有系统、合理地编织在儿童的生活中。不过在这一张网中，学前儿童社会教育起着核心与灵魂的作用，为其他领域提供方向与价值的指引。即一切的教育都在帮助孩子建立与世界的一种恰当关系，学会做一个人格健全有益于人类的人。在幼儿科学教育中，我们不仅让儿童学会科学的认识与探究客观的世界，还要认识到人类与客观世界的关系，以及人类对客观世界所承载的责任；幼儿语言教育也不仅仅只是教会孩子正确与流利的表达，还要教孩子学会表达真诚与善意；幼儿艺术教育不仅仅让孩子学生欣赏与创造美，还让孩子体验与领会人性之美。这些关系的层面，人性的层面就是社会教育需要关注的，因而，社会教育存在于所有领域课程之中。（4分）　　这几者的关系我们可以用一个以学前儿童社会教育为轴心的椎体来表示，底面是健康教育，椎体的三面分别是语言、科学、艺术教育，椎体的轴心是学前儿童社会教育。从这一图示可以发现几大领域是相互支撑、相互渗透的，学前儿童社会教育极大地依赖于其他领域的内容，但它处于课程领域的中心与核心地位。（4分）　　我们认为将学前儿童社会教育作为一个独立地课程领域提出，更多具有研究上的意义，而不是实践上的意义。课程实施中，儿童的发展是整体的，对儿童教育是自然应当是整体的。不过对课程领域的相对区分也有它必要的实践意义，虽然我们强调幼儿的学习要更多遵从幼儿生活的逻辑，而不是知识的逻辑，但生活与知识也不是完全对立的，有组织的教学中按照幼儿知识学习的特点组织教学也是教育的一条基本规律。因为不同类型知识的学习有其不同的特点与方法，如品格、态度的学习与语言或操作技能的学习就有很大的不同，作为教育者自然要根据不同知识的学习特点来设计不同的教育活动，采用不同的影响方式，这才能保证教育的科学性与有效性。这种区分从教的角度看是帮助教育者形成更科学与恰当的教育意识。不过在实践中，教育者越是能将教育作为一个整体加以考虑与实施，那对儿童的发展就是越有益处的。（4分）　　　　有自己的言之成理的独特观点（3分）　　　 2、试论述幼儿教师如何才能为孩子创设一个积极的精神环境？　　（1）教师可以为幼儿创设一个积极交往的气氛，增加交往的机会。例如，对于刚入园的儿童，教师可以让他们互相介绍自己，使他们逐渐消除陌生感的胆怯心理。在日常生活中，引导幼儿相互交流自己的思想、感情，了解别人的需要，学会共情。（4分）　　（2）教师还可以通过引导幼儿相互关心，相互帮助促进儿童社会性的发展。幼儿在生活中或学习中出现了困难，教师可以引导幼儿之间互相帮助解决。如一个幼儿摔倒了，教师可以让其他小朋友把他扶起来；一个幼儿的手工总是做不好，教师可以让做得好的幼儿教他；幼儿之间出现了争执，教师可以引导他们自己解决，提高协调的能力。（4分）　　　（3）还可以通过节日庆祝活动、故事会、合作游戏等活动形式，使儿童增进了解、增进友谊，把班级建成一个团结、温暖的家庭。除此之外，幼儿园中教师与教师之间的关系也是影响儿童社会性发展的一个重要因素。教师之间互相关心、合作可以使儿童产生安全感和归属感，同时也给儿童提供了耳濡目染的学习机会。因此教师之间要友好，工作上要配合，不当着孩子的面说别的老师坏话，不诋毁同事，不互相拆台。班级教师乃至全体教师之间，都应尽力为幼儿创造一个宽松、温情的精神环境。（4分）　　　　有自己言之成理的独特观点（3分）　　四、分析题（每小题10　分，共10　分）　　亲子关系是儿童自出生后最先接触的人际关系，对父母行为的模仿是儿童社会化的重要方式，社会学习理论中的观察学习的概念解释了儿童模仿的过程，认为在社会情境中，儿童直接观察别人的行为就能获得并仿造出一连串新的行为，并且观察到他人行为产生的后果，也就受到了一种“替代强化”。（3分）儿童模仿父母的行为、态度的机制是复杂的。有的学者认为儿童是通过这种方式来获得父母的情感接纳或者避免惩罚，而有的学者则认为儿童的这种行为是受动物性本能的驱动，试图通过对父母行为的模仿来获得对周围环境的控制。由此，家庭中的父母应注重自己的言行举止，为儿童的模仿提供良好的榜样。（3分）教育者既要与家长沟通让他们明白自身行为对孩子的深远影响，也要在幼儿园中通过一定的活动（比如角色扮演，讲故事的方式让涛涛学会尊重帮助、关心与照顾我们的人）（4分）　　　　五、应用题（每小题10分，共10 分）　　　　评分标准：知道相应的能力与知识要求（3分），能对自己的问题进行客观分析（3分），并制定出客观可行的学习与改进计划（4分）　　学前儿童社会教育作业2参考答案（第三至四章）　　　　一、填空题（每空1分，共20分）　　　　1、定向；调控　　　　2、社会发展需要。　　　　3、价值性，合宜性。　　　　4、学前儿童社会教育目标；相关学科知识。　　　　5、幼儿的兴趣与生活经验，社会政治经济文化发展的需求。　　　　6、随机性和无意性，情感驱动性。　　　　7、参观法。　　　　8、行为练习法。　　　　9、试误与练习，强化练习。　　　　10、讲述法；不便直接感知或无法直接感知。　　　　11、共情训练法，类似情绪。　　　　12、潜移默化。　　　　二、简述题（每小题5　分，共30　分）　　　　1、简述幼儿社会教育目标建构的整体性原则。　　整体性原则即建构学前儿童社会教育目标时，要确立一种层次结构的整合观。这种整合观包括横向的类别整合与纵向的层次整合。横向的类别整合包括儿童社会认知、社会情感、社会行为三方面发展目标的整合，学前儿童社会性发展是这三方面的协调发展，避免只重认知而忽视情意和行为发展的现象。是一个整体，它应当包含避免只重知识传授而忽视情感培养和行为习惯培养，要把三者有机的协调起来。横向的类别整合还包括各教育系统幼儿社会教育目标的整合，即家庭、社会与幼儿园的社会教育目标要基本一致，以形成教育的合力，促进幼儿健康发展。纵向的层次整合主要指学前儿童社会教育各层级目标的整合，即各相连层级间的目标是相互联系、相互支持的。　　　　2、简述幼儿社会教育的总目标及其特点。　　《幼儿园教育指导纲要（试行）》中，就社会领域提出以下总目标：“能主动地参与各项活动，有自信心；乐意与人交往，学习互助、合作和分享，有同情心；理解并遵守日常生活中基本的社会行为规则；能努力做好力所能及的事，不怕困难，有初步的责任感；爱父母长辈、老师和同伴，爱集体、爱家乡、爱祖国。”幼儿社会教育总目标的特点有：第一，规范性。第二，共通性。第三，学习结果导向性。第四，可分析性。第五，可扩充性。　　　　3、简述幼儿园与家庭合作需要注意的问题。　　　　幼儿园与家庭合作需要注意以下几个问题：　　（1）取得家长的信任。　　（2）时有效地与家长沟通。　　（3）持家长与幼儿园之间教育观念、教育态度上的一致。　　（4）要充分挖掘、利用家长资源。　　（5）要争取让家长参与幼儿园的决策。　　　 4、简述应用行为评价法需要注意的问题。　　　　行为评价法的运用需要注意：　　（1）根据正面教育原则，行为评价法应以表扬为主，对学前儿童的社会行为进行正向引导。　　（2）行为评价要及时、一致。一方面行为反馈要及时出现在学前儿童好的或不良的行为之后。　　（3）评价要具体，避免空泛。　　（4）强化手段不能运用得过于频繁。　　（5）评价方式要多样化，要根据不同的场合、不同个性的学前儿童选用不同的评价方法。　　（6）引导幼儿进行自我评价和相互评价。　　　 5、积极意义上的良好环境应该具备的基本特征有哪些？　　（1）在物质上是丰富和多样的。　　（2）在气氛上是宽容和接纳的。　　（3）在制度上是明确的和必要的。　　（4）在设计上是具有某种倾向性或暗示性的。　　　　6、简述学前儿童社会教育内容选择的生活性与适宜性的内涵及其运用要求。　　生活性原则是指学前儿童社会教育的内容应当尽可能从儿童的生活出发，选择基于儿童生活经验与生活实际，并能丰富儿童生活经验的内容。适宜性是指学前儿童社会教育内容的选择，要根据目标，儿童发展及社会文化发展需要选择有助于幼儿发展，同时也能为幼儿所理解的内容。前一原则是从学习的经验基础提出的，后一原则是从学习的发展水平提出的。根据这两条原则，学前儿童社会教育内容的选择应当注意：（1）选择幼儿生活需要，并为幼儿所熟悉的内容。（2）选择幼儿可以理解的、有益幼儿发展的内容。

尝试修改一下字体。。。。可能是字体的问题导致草图有问题。。还有草图也不要太大。。。

（1）“我”忐忑不安的原因是：天已经很晚了，我却来打扰老师休息，怕老师责怪，所以会感觉到忐忑不安。（2）这不是普通的光，这是老师生命的光。第一个“光”指的是（灯光下老师银白色的头发）第二个“光”指的是（老师对教育事业的献身精神及老师对学生的热爱之情，是老师散发出来的生命之光）（3）读下面的句子，说说从人物的心理、语言、动作等描写中，你体会到了什么？老师讲完了题，夜色更浓了，我想赶快离开，她却一点也不放松：“自己再做一遍！”（我体会到了老师的严厉是对我的负责及关心，使我能够真真正正掌握好老师所讲的知识也体现了老师的慈爱之情。）

解释 交：一齐，同时；瘁：疲劳。精神和体力都极度劳累。 出处 清·百一居士《壶天录》上卷：“由此心力交瘁，患疾遂卒。” 　　示例 冰心《南归—贡献给母亲在天之灵》：“我们心力交瘁，能报母亲的恩慈于万一么？” 　　用 法 主谓式；作谓语、定语、补语；用于人 　　近义词 精疲力竭、疲惫不堪 　　反义词 神采奕奕、生气勃勃 、精力旺盛 　　瘁：〈形〉形声。从疒，卒声。从“疒”，表示与疾病有关。本义：困病。 　　“心力交瘁”侧重点在过分“劳累”，有憔悴、枯槁的意思。 　　“心力娇脆”侧重点在“脆弱”，脆弱即是不坚强；不稳固。

应该是：广州的春天是一年中最美的季节。这道题属于语序不当。

把称砣放到四两的位置称半斤的东西，称杆子会翘起来。所以意思是：翘尾巴

气体在定容下的比热容与在定压下的比热容不同主要是因为，在定压下气体温度变化会引起体积变化对外做工消耗一部分能量，所以定压下的比热容略大于定容下的比热容。

54

建议你可以下个360顽固木马扫描一下，看看是否行得通。如果再不行的话，那就要重做系统，如果问题依旧存在，那就请格式化你的硬盘，再重做系统。

1、直流单芯电缆穿镀锌钢后，单芯电缆传送的直流信号不受影响。2、如果是镀锌钢板构成电磁屏蔽空间，则单芯电缆穿镀锌钢后，电磁屏蔽性能被破坏。

~建义使用网盾，网盾是一款比较不错的杀毒软件，功能很牛B，可以注册帐号、还可以赚积分，换点卡什么的.。安全娱乐两不误，给你个联接http://dx.ggsafe.com/download/down.php?ID1=1771170801&ID2=49

（1）“我”忐忑不安的原因是：天已经很晚了,我却来打扰老师休息,怕老师责怪,所以会感觉到忐忑不安. （2）这不是普通的光,这是老师生命的光.第一个“光”指的是（灯光下老师银白色的头发）第二个“光”指的是（老师对教育事业的献身精神及老师对学生的热爱之情,是老师散发出来的生命之光） （3）读下面的句子,说说从人物的心理、语言、动作等描写中,你体会到了什么?老师讲完了题,夜色更浓了,我想赶快离开,她却一点也不放松：“自己再做一遍!” （我体会到了老师的严厉是对我的负责及关心,使我能够真真正正掌握好老师所讲的知识也体现了老师的慈爱之情.）

富力通轮胎是广州市华南橡胶的，是以耐磨性著称的全钢轮胎品牌。跟万力轮胎是同厂的，质量不错，相较其他品牌轮胎而言性价比高很多，是个非常不错的品牌。浙江省总代理在台州路桥。

本系列小型线形稳压紧凑型电源非常稳定,纹波极低.具有接触保护、过载和短路保护. DIN导轨安装.集成的电子元件允许高于标称电流许多倍的短暂负载. ·输入电压：230/400 V AC ·输出电压：24 V DC ·输出电流：0.5/1/2/4 A

解释 交：一齐，同时；瘁：疲劳。精神和体力都极度劳累。 出处 清·百一居士《壶天录》上卷：“由此心力交瘁，患疾遂卒。” 　　示例 冰心《南归—贡献给母亲在天之灵》：“我们心力交瘁，能报母亲的恩慈于万一么？” 　　用 法 主谓式；作谓语、定语、补语；用于人 　　近义词 精疲力竭、疲惫不堪 　　反义词 神采奕奕、生气勃勃 、精力旺盛 　　瘁：〈形〉形声。从疒，卒声。从“疒”，表示与疾病有关。本义：困病。 　　“心力交瘁”侧重点在过分“劳累”，有憔悴、枯槁的意思。 　　“心力娇脆”侧重点在“脆弱”，脆弱即是不坚强；不稳固。

开音节指一个单词的发音。 开音节分两种，一种叫绝对开音节，一种叫相对开音节。 ①绝对开音节：单个元音字母后面没有辅音字母的重读音节。例如：no， she， he， we， by ........ ②相对开音节：单个元音字母后...

A search vessel and several search aircraft will be dispatched to the area tomorrow morning to search and locate the targets ( represented by rubber tyres ) in the south china sea , " the spoke *** an added 各参与单位将于明早派出搜索飞机及搜救船找寻及搜索目标（由汽车轮胎组成） 。 A pla search vessel and several search aircraft will be dispatched to the area tomorrow morning to search and locate the targets ( represented by rubber tyres ) in the south china sea , " the spoke *** an added 参与单位将于明早派出飞机往南中国海搜索由汽车轮胎组成的目标，而驻香港部队会派出一艘舰艇参与搜救。 A pla search vessel , a uscg cutter and several search aircraft will be dispatched to the area tomorrow morning to search and locate the targets ( represented by basketballs tied together ) in the south china sea , " the spoke *** an added 参与单位将于明早派出飞机往南中国海搜索由一组篮球组成的目标，而驻香港部队及美国海岸巡逻会各派出一艘舰艇参与搜救。

资深 ARC 展现全新多彩活力 为什么 I/50 会让我格外注目？第一个原因是亮丽的外观，I/50 总共有六种色彩，跳脱了 ARC 传统只有银黑两色的框架；第二是回归6922信号管与6550功率管设计，向最早的ARC放大线路致敬；第三则是意外的参考售价，显示 ARC 吹起强攻负担得起的 Hi End（affordable Hi End）的号角。 首先来看I/50亮丽的外观，银、黑两色依然是ARC的代表颜色，可是新增了四种颜色，包括白色、红色、金色与蓝色，色彩全走鲜艳路线，根本是针对年轻族群所设计，真空管的复古，加上鲜艳的色彩，如果要来个贴切的形容词，可以说是Neo-Vintage风格满分。 新增Ceracote制程 I/50多变又鲜艳的色彩，不是阳极处理，而是Ceracote超薄陶瓷镀膜处理，在金属机箱表面加上陶瓷镀层，做出华丽的色彩。这项改变，ARC必须付出对应的代价，他们采购了新的金属表面处理机具，在明尼苏达自家工厂里制作，所以I/50成为第一部百分之百在ARC自家工厂生产的功放。 难道以前不是在 ARC 自家工厂制作？放心，ARC所有器材都是在美国制造，但是金属机箱的阳极处理，必须遵守严格的环保规范，明尼苏达的 ARC 工厂没有这个加工程序，所以要委外处理，可是为了创造 I/50 多样化的色彩，所以新增 Cerakote 陶瓷镀膜生产线，如此一来 I/50 就是百分之百自家制造了。 从这项新制程的投资，可以预期未来ARC的机器，肯定会有多样化的色彩，甚至可能提供定制化特殊色的选项，毕竟ARC多了Cerakote产线，当然要好好利用，不过对这些未来可能的想象，还有ARC研发中的高端器材，厂家可是三缄其口，什么消息也没放，认真冲刺I/50。 回归6922与6550 I/50的第二项特点是回归6922与6550真空管，与1997年CA50综合功放的真空管配置相同。回顾ARC推出综合功放的 历史 ，最早打响名号的要算是CA50，不过CA50的机箱还是传统的ARC样貌，白色面板搭配黑色把手，外观与I/50很不一样。 到了2003年，ARC推出VSi 55，就是把畅销的VS 55后级加上档位切换与音量控制器，变成综合功放，功率管一样是6550，但是信号管换成6N1P，随后2008年推出的VSi 60，外观与 VSi 55接近，算是后续机型，信号管换上6H30，与高端Reference系列看齐。如果从外观工业设计来看，I/50与 VSi 55、VSi 60 最为接近，而这两款也是 ARC 卖得最好的真空管综合功放，而 I/50 要继承这项光荣传统。 ARC还有两款综合功放，分别是2013年的VSi 75与2015年的GSi 75，可是外观已经很不一样，机箱尺寸更大，承接高端真空管线路技术更多，像是VSi 75采用KT120功率管，输出功率提升到75瓦，而GSi 75则用输出更大的KT150功率管，不过功率依然是75瓦，维持更好的工作线性与余裕度。如果以世代传承的角度来看，I/50 回归与这两部综合功放关系较小，更像是 VSi 60 的后续新机型。 令人意外的相对平价 最后就是I/50令人意外的价格了！目前美国官方售价是5500美元，最早ARC发布的售价更低，但是遇上疫情干扰，全球塞港塞货，还缺芯片，成本大增，所以不得已一上市就调整价格，但I/50还是拥有极高的价格竞争力，在这个价位带，要找到百分之百美国设计、美国制造的真空管综合功放，拿一只手的手指头就算得完。 其实，从2008年的 VSi 60 之后，ARC 再也没有推出过低于一万美金的综合功放，这十多年来，ARC 一直在做高端综合功放，可是 I/50 却打出 5500 美金的相对低价，比起 VSi 75、GSi 75，几乎是半价对折砍，但又是道道地地的 ARC ，您说，I/50 怎么能不叫人惊喜呢？ 继往开来的新机器 虽然我说I/50像是 VSi 60 的后继者，可是I/50不光是继往，更像是开来的全新 ARC 器材，除了全新 Cerakote 外观，可能延续到未来其他 ARC 器材，I/50 还加上了可爱的 Lexie Tube，显示音量数字与输入档位，虽然这与线路放大无关，可是增添了器材的设计感，这项创意会不会延伸到其他 ARC 的新机上面，我们且慢慢等着看。 但眼前的I/50，比起推出十多年的 VSi 60，根本不像是既有设计的改良，更像是全新的设计，不光是 Lexie Tube 新颖好看，还包括面板的网状孔洞，不仅简约好看，还可强化散热效果，而 I/50 把两个控制旋钮，从机箱前方换到顶板，有效缩小了机箱体积，也让 I/50 更有复古真空管机的模样，顶板还加上了亮面压克力，与Cerakote陶瓷涂装形成双色对比（two tone），巧妙地点缀出I/50的年轻气息，谁说真空管机都长得土土的，来看I/50绝对改观。 新增模组扩充功能 而I/50另一个开启未来的设计，就是模组扩充功能，预计会推出唱头放大模组与DAC模组，不过因为全球芯片短缺，目前都还没有到货，但是可以想像ARC未来会有更多器材，采用相似的模组扩充，提升产品的价格竞争力。 毕竟如果您不需要唱放或 DAC，又何必弄成标准配备，强迫推销呢？但对于有需要额外功能的用户来说，扩充模组的价格相对比买单机便宜，进可攻、退可守，ARC这招来得漂亮。 带音量控制的后级 从放大线路的设计来看，I/50与 VSi 55、VSi 60 相同，都是具备音量控制的后级，并没有额外的前级放大线路，可是 ARC 贴心地加上了耳机放大线路，让 I/50 的功能性更好。或许有人会担心，少了独立前级放大线路，I/50会不会比较没力，放心，ARC早就考虑到了，所以I/50的第一级放大，增加了7 dB增益，与一般前级常见的10 dB放大很接近了。 I/50 的真空管回归 CA50，采用 3 只 6922 信号管，其中一只做倒相，两只负责第一级放大，驱动 4 只 6550 功率管推挽放大，输出功率 50 瓦，而且音箱输出端子配置了 4 欧姆与 8 欧姆两组，搭配性更好。输入端子部分，I/50 有 4 组输入，包括 3 组 RCA 单端与 1 组 XLR 平衡，在这个价位带给平衡端子，又是加分。 真空管百分之百测试配对 如果注意I/50的真空管配置，可以6922信号管上面，加了弹性阻尼环，这可是有用的设计，不是装好看的，因为真空管工作时，因为电子束的流动产生振动，会与玻璃管共振，产生失真或干扰，所以ARC加装了阻尼环，与高端机型看齐。这虽是设计的小细节，但是可以看出 ARC 并没有因为 I/50 相对平价，就忘记他们对High Definetion的坚持。 又像是I/50所使用的6550，是新款Sovetek 6550WE，不过这些真空管全都经过ARC自家测试配对，所有采购的真空管，都必须在ARC工厂烧管48小时，然后测试配对，所以ARC厂家的真空管，比外面零售的版本要贵一些，因为经过48小时烧管，可以淘汰掉体质不好的真空管，而且 ARC 测管数据的纪录，也便于日后维修所需，假如日后需要换管，ARC 可以提供适合机器的厂家管。 最后一项I/50对High Definition的坚持，就是机器最后出厂的把关，依然由资深工程师Warren Gahl负责，所有机器都要实际听过，合乎ARC标准才能打包出厂。人耳验证这么特别吗？大多数厂家都是仪器测试通过，就能包装出厂，很少人像 ARC 这么厚工，一定要人耳验收，而且是 Warren Dahl 亲自试听，我十多年前去 ARC 采访，就是 Warren Dahl 负责聆听品管，至今依然没变，确保每一部机器的声音符合 ARC 的高标准。 居然可以把 Contour 60 推得不错 至于I/50的声音表现，我要大声说：这是目前最超值的 ARC！50 瓦的输出功率，不是无坚不摧，可是对一般居家使用来说，除非是想开趴掀屋顶，50 瓦功率多半已经足够，是很实用的输出功率。我在 U-Audio 试听时，不管是书架音箱或落地音箱，I/50 都能自在应对，而我最后试听定稿，让 I/50 搭配 Dynaudio Contour 60，这是 Contour 系列尺寸最大的落地音箱，I/50 都能推得很好了，可以对它的驱动力放心。 不过I/50的音量控制，要开得大一点，饱足感与力道才会出来。I/50 的总音量数字，最大是 45，但我听的时候音量都维持在 25~35 之间，对照传统音量旋钮，不仅超过 12 点钟方向，而且是到了 2~3 点钟方向，不要怕，就算我把音量开到底，也没让 I/50 爆掉，而那时候的音量已经太大了，完全超过正常聆听音乐的量感，代表 I/50 够耐操。 Lexie Tube 不光是I/50 的音量控制与档位显示，开机时还有彩蛋，电源开启，点亮真空管，慢着，还不能听，Lexie Tube会从48开始倒数，归零之后代表软开机完成，I/50暖身完毕，可以开始听音乐了。关机呢？不用等那么久，但是 Lexie Tube 还是亮灯后熄灭，告诉您 I/50 关机了。 中低频弹跳有劲 搭配 Contour 60，I/50 轻松地推出饱满且有弹跳力的中低频，听茄子蛋《爱情比你想的阁较伟大》，前奏的大鼓踩踏，低频圆滚滚的跳出来，背后的电子合成器弹奏长音和弦，Hi Hat 的敲打点缀出节奏的亮点，熟悉 ARC 都知道，就算是真空管机，I/50 硬是比人家通透开阔，如果您期待温暖昏黄的真空管音色，请不要找 I/ 50，人家可是年轻有朝气的声音，中低频活力充沛，声场通透开阔，十足阳光青年的神情。 您听，《爱情比你想的阁较伟大》进到热闹的场面时，背后是两把电吉他，一把弹奏 Funky 节奏，一把弹奏 Solo，I/50 把声场的层次与定位，带出鲜活的样貌，我原本以为 I/50 配上 Contour 60，低频会稍微糊一点，可是 I/50 超过我的期待，低频的力道很好，而且中高频维持丰富的细节与明亮的光泽，这就是 ARC 管机的本色，中频段有着真空管机的温暖，但在高频与低频两端，依然维持High Definition的解析。 既真实又有美感 又像是听蔡琴的《机遇》，我想这是发烧友最熟悉的唱片之一了，开场的电钢琴独奏，音色做得很漂亮，很像真实钢琴的音色，却又美得过头，I/50 带出漂亮的声音质地，中频段有着适当的厚度，而高频延伸的光泽很舒服，等蔡琴的歌声唱起，温暖的嗓音才稍微感觉到 I/50 的真空管味，带着些许的浓郁感，可是音乐的解析力却相当好，这种略带真空管的暖意，却有直追晶体机的解析力，是ARC走跳江湖的本领，兼顾音乐回放得真与美。 用I/50来推Contour 60，其实是越级挑战，50瓦功率够用，可是我知道 Contour 60 用更大的后级来推，还会更厉害，但是 I/50 推起 Contour 60，已经够好了，在适当的音量下，I/50 已经能充分展现音乐的魅力。 三张肖邦、三种面貌 例如《肖邦第二号钢琴协奏曲》，听巴伦波因的版本，钢琴的厚度较好，力度较强，换上皮耶丝的版本，钢琴的音色就多了一点明亮感，琴音厚度稍微薄一点，带出女性钢琴家的触键气氛，假如换上速度很慢的齐玛曼，音色还要再浓郁一点，更浪漫一点。 这三张《萧邦第二号钢琴协奏曲》，全都是 DG 的录音，I/50 清楚地点出录音当中细微的差异，代表功放的解析力很好，没有因为真空管放大，为录音带来过多染色，但即便是强调《High Definition》，I/50 还是有着漂亮的音乐韵味，没有完全抹去真空管的气质，听三位钢琴家弹萧邦，巴伦波因带着贵气，像是公子哥，气宇轩昂，换上皮耶丝，明亮的琴音与藕断丝连的断音，带出年轻肖邦的初恋情怀，而齐玛曼的版本，则是用极慢的速度，演绎萧邦深层的忧郁。 底噪很低，连耳放也很好 关于I/50声音表现，我最后要提的是音乐底噪很低，不管您觉得I/50的音色合不合您的口味，但是有机会试听的话，靠近音箱单元听听看，就知道I/50的工作底噪很低，这赋予音乐宁静的背景。这项测试也可以放在耳机放大部分，先不管音色喜不喜欢，这是主观的评价，可是I/50的工作底噪很低，不光是推音箱如此，搭配耳机也是如此。 我用 Sennheiser HD Pro 400 来听，如果听得到底噪，那一定是老类比录音，像是早期 Blue Note、Verve 的爵士乐，一定可以听见模拟母带的底噪嘶声，可是如果是数字录音，年代比较新的，I/50 可以呈现很干净的音乐背景，用很低的噪讯重现音乐。所以，I/50 的耳机放大不光是堪用，而且好用，可以让您省下额外买耳放的预算。 堪称ARC时代新经典 能用5500美元的预算入手 ARC，这可是很久没听过的大消息了，I/50 可说是继往开来、承先启后的全新 ARC 时代，我相信这几年 ARC 会很快推出崭新的机型，用亮丽的外观呈现年轻化的 ARC，从 I/50 可以看出厂家的企图心，而厂家打出预料之外的合宜售价，在相同价位带，很难找到与I/50相匹敌的真空管综合功放，加上弹性的模组设计，I/50绝对足以成为ARC的时代新经典，诚心推荐您亲自试听，感受ARC呈现音乐的真与美。 Audio Research I/50 综合功放 类型：真空管综合功放 输出功率：50瓦（每声道） 使用真空管：6922 3、6550WE 频率响应：7 Hz~ 30 kHz 输入灵敏度：1.25 V 输入阻抗：100k 欧姆（平衡）/48k 欧姆（非平衡） 尺寸：420 180 340（W H D） 重量：18.1 kg 作者：郭汉丞

Wolfram Research　　Wolfram Research 是当今世界科技计算软件的领导开发商。公司由天才科学家Stephen Wolfram创建。Stephen Wolfram是公司的创建者和首席执行官。　　公司的主打产品为Mathematica.公司的主要产品和服务如下：　　软件　　Mathematica是当今世界四大数学软件之一。Mathematica是由WolframResearch开发的一个广泛使用的计算机代数系统。它拥有强大的数值计算和符号运算能力。它是目前为止使用最广泛的数学软件之一。Mathematica同时也为Wolfram公司的注册商标。

X-Pack是Elastic Stack扩展功能，提供安全性，警报，监视，报告，机器学习和许多其他功能。 ES7.0+之后，默认情况下，当安装Elasticsearch时，会安装X-Pack，无需单独再安装。 自6.8以及7.1+版本之后，基础级安全永久免费。 默认情况下，拥有安全免费许可证时，Elasticsearch安全功能被禁用。 要启用安全功能，需要设置xpack.security.enabled。 在每个节点的elasticsearch.yml配置文件中，新增： 使用范围：配置传输层安全性适用于具有多个节点的集群以及需要外网通信访问的单节点ES。 使用环回地址127.0.0.1的单节点ES可以不用配置。 Elasticsearch节点可能存储是机密的数据，而无处不在的网络攻击对这些数据垂涎欲滴。 网络攻击包括对数据的嗅探，对数据的操纵，以及试图获得对服务器的访问权限，进而访问存储数据的文件。 保护节点的安全有助于降低来自网络的攻击的风险 。 1、证书实现加密通信的原理 TLS需要X.509证书（X.509 证书是一个数字证书，它使用 X.509 公有密钥基础设施标准将公有密钥与证书中包含的身份相关联。X.509 证书由一家名为证书颁发机构 (CA) 的可信实体颁发。CA 持有一个或多个名为 CA 证书的特殊证书，它使用这种证书来颁发 X.509 证书。只有证书颁发机构才有权访问 CA 证书）才能对与之通信的应用程序执行加密和身份验证。 为了使节点之间的通信真正安全， 必须对证书进行验证 。 在Elasticsearch集群中验证证书真实性的推荐方法是信任签署证书的证书颁发机构（CA）。 这样，只需要使用由同一CA签名的证书，即可自动允许该节点加入集群。 2、借助elasticsearch-certutil命令生成证书 启用安全功能后，必须使用TLS来确保节点之间的通信已加密。 在elasticsearch.yml中心新增配置如下： 借助：elasticsearch-setup-passwords 设置集群密码。 核心： auto - 随机生成密码。 interactive - 自定义不同用户的密码。 注意：必须配置好xpack之后，才能设置密码。否则会报错。 最简单的方法， 假定是初始部署集群阶段。 X-Pack安全配置的核心三步骤： 这些对于安全来说只是皮毛，更多的角色、权限、Space需要借助Kibana实现。 5.1 pom文件 5.2修改配置文件

一、ElasticSearch是什么？ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的搜索引擎。能够达到实时搜索，稳定，可靠，快速，安装使用方便，零配置和完全。我们先说说ES的基本概念。1、索引(Index)ES将数据存储于一个或多个索引中，索引是具有类似特性的文档的集合。类比传统的关系型数据库领域来说，索引相当于SQL中的一个数据库，或者一个数据存储方案(schema)。索引由其名称(必须为全小写字符)进行标识，并通过引用此名称完成文档的创建、搜索、更新及删除操作。一个ES集群中可以按需创建任意数目的索引。2、类型(Type)类型是索引内部的逻辑分区(category/partition)，然而其意义完全取决于用户需求。因此，一个索引内部可定义一个或多个类型(type)。一般来说，类型就是为那些拥有相同的域的文档做的预定义。例如，在索引中，可以定义一个用于存储用户数据的类型，一个存储日志数据的类型，以及一个存储评论数据的类型。类比传统的关系型数据库领域来说，类型相当于“表”。3、文档(Document)文档是Lucene索引和搜索的原子单位，它是包含了一个或多个域的容器，基于JSON格式进行表示。文档由一个或多个域组成，每个域拥有一个名字及一个或多个值，有多个值的域通常称为“多值域”。每个文档可以存储不同的域集，但同一类型下的文档至应该有某种程度上的相似之处。4、映射(Mapping)ES中，所有的文档在存储之前都要首先进行分析。用户可根据需要定义如何将文本分割成token、哪些token应该被过滤掉，以及哪些文本需要进行额外处理等。另外，ES还提供了额外功能，例如将域中的内容按需排序。事实上，ES也能自动根据其值确定域的类型。5、集群(Cluster)ES集群是一个或多个节点的集合，它们共同存储了整个数据集，并提供了联合索引以及可跨所有节点的搜索能力。多节点组成的集群拥有冗余能力，它可以在一个或几个节点出现故障时保证服务的整体可用性。集群靠其独有的名称进行标识，默认名称为“elasticsearch”。节点靠其集群名称来决定加入哪个ES集群，一个节点只能属一个集群。如果不考虑冗余能力等特性，仅有一个节点的ES集群一样可以实现所有的存储及搜索功能。6、节点(Node)运行了单个实例的ES主机称为节点，它是集群的一个成员，可以存储数据、参与集群索引及搜索操作。类似于集群，节点靠其名称进行标识，默认为启动时自动生成的随机Marvel字符名称。用户可以按需要自定义任何希望使用的名称，但出于管理的目的，此名称应该尽可能有较好的识别性。节点通过为其配置的ES集群名称确定其所要加入的集群。7、分片(Shard)和副本(Replica)ES的“分片(shard)”机制可将一个索引内部的数据分布地存储于多个节点，它通过将一个索引切分为多个底层物理的Lucene索引完成索引数据的分割存储功能，这每一个物理的Lucene索引称为一个分片(shard)。每个分片其内部都是一个全功能且独立的索引，因此可由集群中的任何主机存储。创建索引时，用户可指定其分片的数量，默认数量为5个。ES集群可由多个节点组成，各Shard分布式地存储于这些节点上。ES可自动在节点间按需要移动shard，例如增加节点或节点故障时。简而言之，分片实现了集群的分布式存储，而副本实现了其分布式处理及冗余功能。OK，上面把ES相关的基本概念及原理大致说明了下，那么ES到底是怎么实现全文检索的呢？Elasticsearch实现全文检索，首先要确定分词器，ES默认有很多分词器，可参考官方文档。了解分词器主要是怎么实现的。一般中文分词器使用第三方的ik分词器、mmsegf分词器和paoding分词器，最初可能构建于lucene，后来移植于ES。目前我们在最新版的ES中，使用的是IK分词。安装ik分词器到elasticsearch很简单，它有个插件目录analysis-ik，和一个配置目录ik, 分别拷贝到plugins和conf目录就可以了。当你有大量的文本数据时，ES均会将其进行分词并将这些词语保存在索引中，当输入关键词进行查询时，索引就会起到作用，查找对应的相同的查询词，从而实现全文检索。当然这个过程是很吃内存的哦。

elasticsearch的config文件夹里面有两个配置文 件：elasticsearch.yml和logging.yml，第一个是es的基本配置文件，第二个是日志配置文件，es也是使用log4j来记录日 志的，所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下elasticsearch.yml这个文件中可配置的 东西。cluster.name: elasticsearch配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。node.name: "Franz Kafka"节点名，默认随机指定一个name列表中名字，该列表在es的jar包中config文件夹里name.txt文件中，其中有很多作者添加的有趣名字。node.master: true指定该节点是否有资格被选举成为node，默认是true，es是默认集群中的第一台机器为master，如果这台机挂了就会重新选举master。

由于需要提升项目的搜索质量，最近研究了一下Elasticsearch，一款非常优秀的分布式搜索程序。最开始的一些笔记放到github，这里只是归纳总结一下。首先，为什么要使用Elasticsearch？最开始的时候，我们的项目仅仅使用MySQL进行简单的搜索，然后一个不能索引的like语句，直接拉低MySQL的性能。后来，我们曾考虑过sphinx，并且sphinx也在之前的项目中成功实施过，但想想现在的数据量级，多台MySQL，以及搜索服务本身HA，还有后续扩容的问题，我们觉得sphinx并不是一个最优的选择。于是自然将目光放到了Elasticsearch上面。根据官网自己的介绍，Elasticsearch是一个分布式搜索服务，提供Restful API，底层基于Lucene，采用多shard的方式保证数据安全，并且提供自动resharding的功能，加之github等大型的站点也采用 Elasticsearch作为其搜索服务，我们决定在项目中使用Elasticsearch。对于Elasticsearch，如果要在项目中使用，需要解决如下问题：索引，对于需要搜索的数据，如何建立合适的索引，还需要根据特定的语言使用不同的analyzer等。搜索，Elasticsearch提供了非常强大的搜索功能，如何写出高效的搜索语句？数据源，我们所有的数据是存放到MySQL的，MySQL是唯一数据源，如何将MySQL的数据导入到Elasticsearch？对于1和2，因为我们的数据都是从MySQL生成，index的field是固定的，主要做的工作就是根据业务场景设计好对应的mapping以及search语句就可以了，当然实际不可能这么简单，需要我们不断的调优。而对于3，则是需要一个工具将MySQL的数据导入Elasticsearch，因为我们对搜索实时性要求很高，所以需要将MySQL的增量数据实时导入，笔者唯一能想到的就是通过row based binlog来完成。而近段时间的工作，也就是实现一个MySQL增量同步到Elasticsearch的服务。LuceneElasticsearch底层是基于Lucene的，Lucene是一款优秀的搜索lib，当然，笔者以前仍然没有接触使用过。:-)Lucene关键概念：Document：用来索引和搜索的主要数据源，包含一个或者多个Field，而这些Field则包含我们跟Lucene交互的数据。Field：Document的一个组成部分，有两个部分组成，name和value。Term：不可分割的单词，搜索最小单元。Token：一个Term呈现方式，包含这个Term的内容，在文档中的起始位置，以及类型。Lucene使用Inverted index来存储term在document中位置的映射关系。譬如如下文档：Elasticsearch Server 1.0 （document 1）Mastring Elasticsearch （document 2）Apache Solr 4 Cookbook （document 3）使用inverted index存储，一个简单地映射关系：TermCountDocuemnt1.0 14 1Apache 1Cookbook 1Elasticsearch 2 .Mastering 1Server 1Solr 1对于上面例子，我们首先通过分词算法将一个文档切分成一个一个的token，再得到该token与document的映射关系，并记录token出现的总次数。这样就得到了一个简单的inverted index。Elasticsearch关键概念要使用Elasticsearch，笔者认为，只需要理解几个基本概念就可以了。在数据层面，主要有：Index：Elasticsearch用来存储数据的逻辑区域，它类似于关系型数据库中的db概念。一个index可以在一个或者多个shard上面，同时一个shard也可能会有多个replicas。Document：Elasticsearch里面存储的实体数据，类似于关系数据中一个table里面的一行数据。document由多个field组成，不同的document里面同名的field一定具有相同的类型。document里面field可以重复出现，也就是一个field会有多个值，即multivalued。Document type：为了查询需要，一个index可能会有多种document，也就是document type，但需要注意，不同document里面同名的field一定要是相同类型的。Mapping：存储field的相关映射信息，不同document type会有不同的mapping。对于熟悉MySQL的童鞋，我们只需要大概认为Index就是一个db，document就是一行数据，field就是table的column，mapping就是table的定义，而document type就是一个table就可以了。Document type这个概念其实最开始也把笔者给弄糊涂了，其实它就是为了更好的查询，举个简单的例子，一个index，可能一部分数据我们想使用一种查询方式，而另一部分数据我们想使用另一种查询方式，于是就有了两种type了。不过这种情况应该在我们的项目中不会出现，所以通常一个index下面仅会有一个 type。在服务层面，主要有：Node: 一个server实例。Cluster：多个node组成cluster。Shard：数据分片，一个index可能会存在于多个shards，不同shards可能在不同nodes。Replica：shard的备份，有一个primary shard，其余的叫做replica shards。Elasticsearch之所以能动态resharding，主要在于它最开始就预先分配了多个shards（貌似是1024），然后以shard为单位进行数据迁移。这个做法其实在分布式领域非常的普遍，codis就是使用了1024个slot来进行数据迁移。因为任意一个index都可配置多个replica，通过冗余备份的方式保证了数据的安全性，同时replica也能分担读压力，类似于MySQL中的slave。Restful APIElasticsearch提供了Restful API，使用json格式，这使得它非常利于与外部交互，虽然Elasticsearch的客户端很多，但笔者仍然很容易的就写出了一个简易客户端用于项目中，再次印证了Elasticsearch的使用真心很容易。Restful的接口很简单，一个url表示一个特定的资源，譬如/blog/article/1，就表示一个index为blog，type为aritcle，id为1的document。而我们使用http标准method来操作这些资源，POST新增，PUT更新，GET获取，DELETE删除，HEAD判断是否存在。这里，友情推荐httpie，一个非常强大的http工具，个人感觉比curl还用，几乎是命令行调试Elasticsearch的绝配。一些使用httpie的例子:# createhttp POST :9200/blog/article/1 title="hello elasticsearch" tags:="["elasticsearch"]"# gethttp GET :9200/blog/article/1# updatehttp PUT :9200/blog/article/1 title="hello elasticsearch" tags:="["elasticsearch", "hello"]"# deletehttp DELETE :9200/blog/article/1# existshttp HEAD :9200/blog/article/1索引和搜索虽然Elasticsearch能自动判断field类型并建立合适的索引，但笔者仍然推荐自己设置相关索引规则，这样才能更好为后续的搜索服务。我们通过定制mapping的方式来设置不同field的索引规则。而对于搜索，Elasticsearch提供了太多的搜索选项，就不一一概述了。索引和搜索是Elasticsearch非常重要的两个方面，直接关系到产品的搜索体验，但笔者现阶段也仅仅是大概了解了一点，后续在详细介绍。同步MySQL数据Elasticsearch是很强大，但要建立在有足量数据情况下面。我们的数据都在MySQL上面，所以如何将MySQL的数据导入Elasticsearch就是笔者最近研究的东西了。虽然现在有一些实现，譬如elasticsearch-river-jdbc，或者elasticsearch-river-mysql，但笔者并不打算使用。elasticsearch-river-jdbc的功能是很强大，但并没有很好的支持增量数据更新的问题，它需要对应的表只增不减，而这个几乎在项目中是不可能办到的。elasticsearch-river-mysql倒是做的很不错，采用了python-mysql-replication来通过binlog获取变更的数据，进行增量更新，但它貌似处理MySQL dump数据导入的问题，不过这个笔者真的好好确认一下？话说，python-mysql-replication笔者还提交过pull解决了minimal row image的问题，所以对elasticsearch-river-mysql这个项目很有好感。只是笔者决定自己写一个出来。为什么笔者决定自己写一个，不是因为笔者喜欢造轮子，主要原因在于对于这种MySQL syncer服务（增量获取MySQL数据更新到相关系统），我们不光可以用到Elasticsearch上面，而且还能用到其他服务，譬如cache上面。所以笔者其实想实现的是一个通用MySQL syncer组件，只是现在主要关注Elasticsearch罢了。项目代码在这里go-mysql-elasticsearch，现已完成第一阶段开发，内部对接测试中。go-mysql-elasticsearch的原理很简单，首先使用mysqldump获取当前MySQL的数据，然后在通过此时binlog的name和position获取增量数据。一些限制：binlog一定要变成row-based format格式，其实我们并不需要担心这种格式的binlog占用太多的硬盘空间，MySQL 5.6之后GTID模式都推荐使用row-based format了，而且通常我们都会把控SQL语句质量，不允许一次性更改过多行数据的。需要同步的table最好是innodb引擎，这样mysqldump的时候才不会阻碍写操作。需要同步的table一定要有主键，好吧，如果一个table没有主键，笔者真心会怀疑设计这个table的同学编程水平了。多列主键也是不推荐的，笔者现阶段不打算支持。一定别动态更改需要同步的table结构，Elasticsearch只能支持动态增加field，并不支持动态删除和更改field。通常来说，如果涉及到alter table，很多时候已经证明前期设计的不合理以及对于未来扩展的预估不足了。更详细的说明，等到笔者完成了go-mysql-elasticsearch的开发，并通过生产环境中测试了，再进行补充。总结最近一周，笔者花了不少时间在Elasticsearch上面，现在算是基本入门了。其实笔者觉得，对于一门不懂的技术，找一份靠谱的资料（官方文档或者入门书籍），蛋疼的对着资料敲一遍代码，不懂的再问google，最后在将其用到实际项目，这门技术就算是初步掌握了，当然精通还得在下点功夫。现在笔者只是觉得Elasticsearch很美好，上线之后铁定会有坑的，那时候只能慢慢填了。话说，笔者是不是要学习下java了，省的到时候看不懂代码就惨了。:-)

由于需要提升项目的搜索质量，最近研究了一下Elasticsearch，一款非常优秀的分布式搜索程序。最开始的一些笔记放到github，这里只是归纳总结一下。首先，为什么要使用Elasticsearch？最开始的时候，我们的项目仅仅使用MySQL进行简单的搜索，然后一个不能索引的like语句，直接拉低MySQL的性能。后来，我们曾考虑过sphinx，并且sphinx也在之前的项目中成功实施过，但想想现在的数据量级，多台MySQL，以及搜索服务本身HA，还有后续扩容的问题，我们觉得sphinx并不是一个最优的选择。于是自然将目光放到了Elasticsearch上面。根据官网自己的介绍，Elasticsearch是一个分布式搜索服务，提供Restful API，底层基于Lucene，采用多shard的方式保证数据安全，并且提供自动resharding的功能，加之github等大型的站点也采用 Elasticsearch作为其搜索服务，我们决定在项目中使用Elasticsearch。对于Elasticsearch，如果要在项目中使用，需要解决如下问题：索引，对于需要搜索的数据，如何建立合适的索引，还需要根据特定的语言使用不同的analyzer等。搜索，Elasticsearch提供了非常强大的搜索功能，如何写出高效的搜索语句？数据源，我们所有的数据是存放到MySQL的，MySQL是唯一数据源，如何将MySQL的数据导入到Elasticsearch？对于1和2，因为我们的数据都是从MySQL生成，index的field是固定的，主要做的工作就是根据业务场景设计好对应的mapping以及search语句就可以了，当然实际不可能这么简单，需要我们不断的调优。而对于3，则是需要一个工具将MySQL的数据导入Elasticsearch，因为我们对搜索实时性要求很高，所以需要将MySQL的增量数据实时导入，笔者唯一能想到的就是通过row based binlog来完成。而近段时间的工作，也就是实现一个MySQL增量同步到Elasticsearch的服务。LuceneElasticsearch底层是基于Lucene的，Lucene是一款优秀的搜索lib，当然，笔者以前仍然没有接触使用过。:-)Lucene关键概念：Document：用来索引和搜索的主要数据源，包含一个或者多个Field，而这些Field则包含我们跟Lucene交互的数据。Field：Document的一个组成部分，有两个部分组成，name和value。Term：不可分割的单词，搜索最小单元。Token：一个Term呈现方式，包含这个Term的内容，在文档中的起始位置，以及类型。Lucene使用Inverted index来存储term在document中位置的映射关系。譬如如下文档：Elasticsearch Server 1.0 （document 1）Mastring Elasticsearch （document 2）Apache Solr 4 Cookbook （document 3）使用inverted index存储，一个简单地映射关系：TermCountDocuemnt1.0 1 <1> 4 1 <3> Apache 1 <3> Cookbook 1 <3> Elasticsearch 2 <1>.<2> Mastering 1 <2> Server 1 <1> Solr 1 <3> 对于上面例子，我们首先通过分词算法将一个文档切分成一个一个的token，再得到该token与document的映射关系，并记录token出现的总次数。这样就得到了一个简单的inverted index。Elasticsearch关键概念要使用Elasticsearch，笔者认为，只需要理解几个基本概念就可以了。在数据层面，主要有：Index：Elasticsearch用来存储数据的逻辑区域，它类似于关系型数据库中的db概念。一个index可以在一个或者多个shard上面，同时一个shard也可能会有多个replicas。Document：Elasticsearch里面存储的实体数据，类似于关系数据中一个table里面的一行数据。document由多个field组成，不同的document里面同名的field一定具有相同的类型。document里面field可以重复出现，也就是一个field会有多个值，即multivalued。Document type：为了查询需要，一个index可能会有多种document，也就是document type，但需要注意，不同document里面同名的field一定要是相同类型的。Mapping：存储field的相关映射信息，不同document type会有不同的mapping。对于熟悉MySQL的童鞋，我们只需要大概认为Index就是一个db，document就是一行数据，field就是table的column，mapping就是table的定义，而document type就是一个table就可以了。Document type这个概念其实最开始也把笔者给弄糊涂了，其实它就是为了更好的查询，举个简单的例子，一个index，可能一部分数据我们想使用一种查询方式，而另一部分数据我们想使用另一种查询方式，于是就有了两种type了。不过这种情况应该在我们的项目中不会出现，所以通常一个index下面仅会有一个 type。在服务层面，主要有：Node: 一个server实例。Cluster：多个node组成cluster。Shard：数据分片，一个index可能会存在于多个shards，不同shards可能在不同nodes。Replica：shard的备份，有一个primary shard，其余的叫做replica shards。Elasticsearch之所以能动态resharding，主要在于它最开始就预先分配了多个shards（貌似是1024），然后以shard为单位进行数据迁移。这个做法其实在分布式领域非常的普遍，codis就是使用了1024个slot来进行数据迁移。因为任意一个index都可配置多个replica，通过冗余备份的方式保证了数据的安全性，同时replica也能分担读压力，类似于MySQL中的slave。Restful APIElasticsearch提供了Restful API，使用json格式，这使得它非常利于与外部交互，虽然Elasticsearch的客户端很多，但笔者仍然很容易的就写出了一个简易客户端用于项目中，再次印证了Elasticsearch的使用真心很容易。Restful的接口很简单，一个url表示一个特定的资源，譬如/blog/article/1，就表示一个index为blog，type为aritcle，id为1的document。而我们使用http标准method来操作这些资源，POST新增，PUT更新，GET获取，DELETE删除，HEAD判断是否存在。这里，友情推荐httpie，一个非常强大的http工具，个人感觉比curl还用，几乎是命令行调试Elasticsearch的绝配。一些使用httpie的例子:# createhttp POST :9200/blog/article/1 title="hello elasticsearch" tags:="["elasticsearch"]"# gethttp GET :9200/blog/article/1# updatehttp PUT :9200/blog/article/1 title="hello elasticsearch" tags:="["elasticsearch", "hello"]"# deletehttp DELETE :9200/blog/article/1# existshttp HEAD :9200/blog/article/1索引和搜索虽然Elasticsearch能自动判断field类型并建立合适的索引，但笔者仍然推荐自己设置相关索引规则，这样才能更好为后续的搜索服务。我们通过定制mapping的方式来设置不同field的索引规则。而对于搜索，Elasticsearch提供了太多的搜索选项，就不一一概述了。索引和搜索是Elasticsearch非常重要的两个方面，直接关系到产品的搜索体验，但笔者现阶段也仅仅是大概了解了一点，后续在详细介绍。同步MySQL数据Elasticsearch是很强大，但要建立在有足量数据情况下面。我们的数据都在MySQL上面，所以如何将MySQL的数据导入Elasticsearch就是笔者最近研究的东西了。虽然现在有一些实现，譬如elasticsearch-river-jdbc，或者elasticsearch-river-mysql，但笔者并不打算使用。elasticsearch-river-jdbc的功能是很强大，但并没有很好的支持增量数据更新的问题，它需要对应的表只增不减，而这个几乎在项目中是不可能办到的。elasticsearch-river-mysql倒是做的很不错，采用了python-mysql-replication来通过binlog获取变更的数据，进行增量更新，但它貌似处理MySQL dump数据导入的问题，不过这个笔者真的好好确认一下？话说，python-mysql-replication笔者还提交过pull解决了minimal row image的问题，所以对elasticsearch-river-mysql这个项目很有好感。只是笔者决定自己写一个出来。为什么笔者决定自己写一个，不是因为笔者喜欢造轮子，主要原因在于对于这种MySQL syncer服务（增量获取MySQL数据更新到相关系统），我们不光可以用到Elasticsearch上面，而且还能用到其他服务，譬如cache上面。所以笔者其实想实现的是一个通用MySQL syncer组件，只是现在主要关注Elasticsearch罢了。项目代码在这里go-mysql-elasticsearch，现已完成第一阶段开发，内部对接测试中。go-mysql-elasticsearch的原理很简单，首先使用mysqldump获取当前MySQL的数据，然后在通过此时binlog的name和position获取增量数据。一些限制：binlog一定要变成row-based format格式，其实我们并不需要担心这种格式的binlog占用太多的硬盘空间，MySQL 5.6之后GTID模式都推荐使用row-based format了，而且通常我们都会把控SQL语句质量，不允许一次性更改过多行数据的。需要同步的table最好是innodb引擎，这样mysqldump的时候才不会阻碍写操作。需要同步的table一定要有主键，好吧，如果一个table没有主键，笔者真心会怀疑设计这个table的同学编程水平了。多列主键也是不推荐的，笔者现阶段不打算支持。一定别动态更改需要同步的table结构，Elasticsearch只能支持动态增加field，并不支持动态删除和更改field。通常来说，如果涉及到alter table，很多时候已经证明前期设计的不合理以及对于未来扩展的预估不足了。更详细的说明，等到笔者完成了go-mysql-elasticsearch的开发，并通过生产环境中测试了，再进行补充。总结最近一周，笔者花了不少时间在Elasticsearch上面，现在算是基本入门了。其实笔者觉得，对于一门不懂的技术，找一份靠谱的资料（官方文档或者入门书籍），蛋疼的对着资料敲一遍代码，不懂的再问google，最后在将其用到实际项目，这门技术就算是初步掌握了，当然精通还得在下点功夫。现在笔者只是觉得Elasticsearch很美好，上线之后铁定会有坑的，那时候只能慢慢填了。话说，笔者是不是要学习下java了，省的到时候看不懂代码就惨了。:-)

Elasticsearch是什么?Elasticsearch是位于ElasticStack核心的分布式搜索和分析引擎。Logstash和Beats有助于收集、聚合和丰富您的数据并将其存储在Elasticsearch中。Kibana使您能够以交互方式探索、可视化和分享对数据的见解，并管理。Elasticsearch是一个分布式文档存储。Elasticsearch存储的是序列化为JSON文档的复杂数据结构，而不是以列行数据的形式存储信息。当集群中有多个Elasticsearch节点时，存储的文档分布在整个集群中，可以立即从任何节点访问。Elasticsearch是由ShayBanon发起的一个开源搜索服务器项目，2010年2月发布。迄今，该项目已发展成为搜索和数据分析解决方案领域的主要一员，广泛应用于声名卓著或鲜为人知的搜索应用程序。Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎。它可以在很短的时间内存储，搜索和分析大量的数据。它通常作为具有复杂搜索场景情况下的核心发动机。搜索引擎，不支持join表等操作。主要用于全文检索。不适合做数据库。如何选择合适的数据库解决方案？1、如果有强大的技术团队，关系型和非关系型数据库都可选择。一般来讲，非关系型数据库需要更多管理维护的时间。2、如果你要储存会话信息，用户配置信息，购物车数据，建议使用NoSQL数据库；不过90%的企业或个人，首选数据库都是MySQL数据库。3、(一)、Access(二)SQLServer(三)MySQL，Access是一种桌面数据库，只适合数据量少的应用，在处理少量数据和单机访问的数据库时是很好的，效率也很高。但是它的同时访问客户端不能多于4个。4、虽然把上面的架构全部组合在一起可以形成一个强大的高可用，高负载的数据库系统，但是架构选择合适才是最重要的。混合架构虽然能够解决所有的场景的问题，但是也会面临更多的挑战，你以为的完美架构，背后其实有着更多的坑。5、例如，如果你需要的是数据分析仓库，关系数据库可能不是一个适合的选择；如果你处理事务的应用要求严格的数据完整性和一致性，就不要考虑NoSQL了。不要重新发明轮子在过去的数十年，开源数据库技术迅速发展壮大。6、本文首先讨论了基于第三范式的数据库表的基本设计，着重论述了建立主键和索引的策略和方案，然后从数据库表的扩展设计和库表对象的放置等角度概述了数据库管理系统的优化方案。ElasticSearch倒排索引及其原理1、倒排索引采用ImmutableDesign，一旦生成，不可更改。Segment写入磁盘的过程相对耗时，所以借助文件系统缓存，Refresh时，先将Segment写入文件缓存中，以开放查询。2、之前我们已经了解过，Elasticsearch是一个基于Lucene实现的分布式全文检索引擎，其实Elasticsearch倒排索引就是Lucene的倒排索引。3、所谓的倒排索引，就是把你的数据内容先分词，每句话分成一个一个的关键词，然后记录好每一个关键词对应出现在了哪些id标识的数据。4、可以将对es的操作记录下来，来确保当出现故障的时候，已经落地到磁盘的数据不会丢失，并在重启的时候可以从操作记录中将数据恢复过来。5、Elasticsearch中使用一种称为倒排索引的结构，适用于快速的全文搜索。一个倒排索引由文档中所有不能重复词的列表构成，对于其中每个词，有一个包含它的文档列表。elasticsearch-倒排索引原理1、倒排索引采用ImmutableDesign，一旦生成，不可更改。Segment写入磁盘的过程相对耗时，所以借助文件系统缓存，Refresh时，先将Segment写入文件缓存中，以开放查询。2、Elasticsearch中使用一种称为倒排索引的结构，适用于快速的全文搜索。一个倒排索引由文档中所有不能重复词的列表构成，对于其中每个词，有一个包含它的文档列表。3、elasticsearch提供了translog来记录这些操作，结合oscachedsegments数据定时落盘来实现数据可靠性保证（flush）。文档被添加到buffer同时追加到translog：进行refresh操作，清空buffer，文档可被搜索但尚未flush到磁盘。4、如果Elasticsearch密钥库受密码保护，则必须先输入密钥库密码，然后才能为内置用户设置密码。为弹性用户设置密码后，引导密码不再有效，无法使用该命令。在某些情况下，分片副本的Lucene索引或事务日志可能会损坏。5、Elasticsearch的查询原理是将查询的关键词与倒排索引中的词条进行匹配，查询的关键词与倒排索引中的词条必须完全相同视为匹配，否则不匹配。这意味着在插入文档时是否进行分析和查询时是否进行分析将产生非常不同的结果。6、财务平台亿级数据量毫秒级查询优化之elasticsearch原理解析_wang123459的博客-CSDN博客_elasticsearch查询优化mysql底层B-tree支持矮胖，高胖的时候就很难受，说白了就是数据量多会增加IO操作。ES底层倒排索引。Elasticsearch一般情况下如果es服务正常启动，可以通过接口的方式获取elasticsearch版本信息：curlhttp：//10.1：9200上述命令可以得到elasticsearch的服务状态和其他信息包括版本号。Elasticsearch是位于ElasticStack核心的分布式搜索和分析引擎。Logstash和Beats有助于收集、聚合和丰富您的数据并将其存储在Elasticsearch中。ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。Elasticsearch架构简单介绍如下。索引索引（index）是Elasticsearch对逻辑数据的逻辑存储，所以它可以分为更小的部分。你可以把索引看成关系型数据库的表。然而，索引的结构是为快速有效的全文索引准备的，特别是它不存储原始值。如何用elasticsearch5.2实现全文索引1、安装ik分词器到elasticsearch很简单，它有个插件目录analysis-ik，和一个配置目录ik，分别拷贝到plugins和conf目录就可以了。2、ES使用倒序索引来加速全文索引。一个倒序索引由两部分组成：如果我们想要搜索quickbrown，我们仅仅只需要找每一个term出现的文档即可。如下图：每一个文档都匹配到了，但是第一个比第二个要匹配的多。3、每次将文本类型数据插入Elasticsearch索引时，都会对其进行分析，然后存储在反向索引中。根据分析器的配置方式，这会影响您的搜索功能，因为分析器也适用于全文搜索。

近一年内对公司的 ELK 日志系统做过性能优化，也对 SkyWalking 使用的 ES 存储进行过性能优化，在此做一些总结。本篇主要是讲 ES 在 ELK 架构中作为日志存储时的性能优化方案。 随着接入ELK的应用越来越多， 每日新增索引约 230 个，新增 document 约 3000万到 5000万 。 每日上午和下午是日志上传高峰期，在 Kibana 上查看日志，发现问题： (1) 日志会有 5-40 分钟的延迟 (2) 有很多日志丢失，无法查到 数据先是存放在 ES 的内存 buffer，然后执行 refresh 操作写入到操作系统的内存缓存 os cache，此后数据就可以被搜索到。 所以，日志延迟可能是我们的数据积压在 buffer 中没有进入 os cache 。 查看日志发现很多 write 拒绝执行的情况 从日志中可以看出 ES 的 write 线程池已经满负荷，执行任务的线程已经达到最大16个线程，而200容量的队列也已经放不下新的task。 查看线程池的情况也可以看出 write 线程池有很多写入的任务 所以我们需要优化 ES 的 write 的性能。 ES 的优化分为很多方面，我们要根据使用场景考虑对 ES 的要求。 根据个人实践经验，列举三种不同场景下的特点 ： 这三类场景的特点如下： 关于实时性 可以从三方面进行优化：JVM性能调优、ES性能调优、控制数据来源 可以从三方面进行优化：JVM 性能调优、ES 性能调优、控制数据来源 第一步是 JVM 调优。 因为 ES 是依赖于 JVM 运行，没有合理的设置 JVM 参数，将浪费资源，甚至导致 ES 很容易 OOM 而崩溃。 (1) 查看 GC 日志 (2) 使用 jstat 看下每秒的 GC 情况 用下面几种方式都可查看新、老年代内存大小 (1) 使用 jstat -gc pid 查看 Eden 区、老年代空间大小 (2) 使用 jmap -heap pid 查看 Eden 区、老年代空间大小 (3) 查看 GC 日志中的 GC 明细 上面的几种方式都查询出，新生代总内存约1081M，即1G左右；老年代总内存为19864000K，约19G。新、老比例约1:19，出乎意料。 这真是一个容易踩坑的地方。 如果没有显示设置新生代大小，JVM 在使用 CMS 收集器时会自动调参，新生代的大小在没有设置的情况下是通过计算得出的，其大小可能与 NewRatio 的默认配置没什么关系而与 ParallelGCThreads 的配置有一定的关系。 所以： 新生代大小有不确定性，最好配置 JVM 参数 -XX:NewSize、-XX:MaxNewSize 或者 -xmn ，免得遇到一些奇怪的 GC，让人措手不及。 新生代过小，老年代过大的影响 32G 的内存，分配 20G 给堆内存是不妥当的，所以调整为总内存的50%，即16G。 修改 elasticsearch 的 jvm.options 文件 设置要求: 因为指定新生代空间大小，导致 JVM 自动调参只分配了 1G 内存给新生代。 修改 elasticsearch 的 jvm.options 文件，加上 老年代则自动分配 16G-8G=8G 内存，新生代老年代的比例为 1:1。修改后每次 Young GC 频率更低，且每次 GC 后只有少数数据会进入老年代。 ES默认使用的垃圾回收器是：老年代（CMS）+ 新生代（ParNew）。如果是JDK1.9，ES 默认使用G1垃圾回收器。 因为使用的是 JDK1.8，所以并未切换垃圾回收器。后续如果再有性能问题再切换G1垃圾回收器，测试是否有更好的性能。 优化前 每秒打印一次 GC 数据。可以看出，年轻代增长速度很快，几秒钟年轻代就满了，导致 Young GC 触发很频繁，几秒钟就会触发一次。而每次 Young GC 很大可能有存活对象进入老年代，而且，存活对象多的时候(看上图中第一个红框中的old gc数据)，有(51.44-51.08)/100 * 19000M = 约68M。每次进入老年代的对象较多，加上频繁的 Young GC，会导致新老年代的分代模式失去了作用，相当于老年代取代了新生代来存放近期内生成的对象。当老年代满了，触发 Full GC，存活的对象也会很多，因为这些对象很可能还是近期加入的，还存活着，所以一次 Full GC 回收对象不多。而这会恶性循环，老年代很快又满了，又 Full GC，又残留一大部分存活的，又很容易满了，所以导致一直频繁 Full GC。 优化后 每秒打印一次 GC 数据。可以看出，新生代增长速度慢了许多，至少要60秒才会满，如上图红框中数据，进入老年代的对象约(15.68-15.60)/100 * 10000 = 8M，非常的少。所以要很久才会触发一次 Full GC 。而且等到 Full GC 时，老年代里很多对象都是存活了很久的，一般都是不会被引用，所以很大一部分会被回收掉，留一个比较干净的老年代空间，可以继续放很多对象。 ES 启动后，运行14个小时 优化前 Young GC 每次的时间是不长的，从上面监控数据中可以看出每次GC时长 1467.995/27276 约等于 0.05秒。那一秒钟有多少时间实在处理Young GC ? 计算公式：1467秒/ (60秒×60分 14小时）= 约0.028秒，也就是100秒中就有2.8秒在Young GC，也就是有2.8S的停顿，这对性能还是有很大消耗的。同时也可以算出多久一次Young GC， 方程是： 60秒×60分*14小时/ 27276次 = 1次/X秒，计算得出X = 0.54，也就是0.54秒就会有一次Young GC，可见 Young GC 频率非常频繁。 优化后 Young GC 次数只有修改前的十分之一，Young GC 时间也是约八分之一。Full GC 的次数也是只有原来的八分之一，GC 时间大约是四分之一。 GC 对系统的影响大大降低，性能已经得到很大的提升。 上面已经分析过ES作为日志存储时的特性是：高并发写、读少、接受30秒内的延时、可容忍部分日志数据丢失。 下面我们针对这些特性对ES进行调优。 本人整理了一下数据写入的底层原理 refresh ES 接收数据请求时先存入 ES 的内存中，默认每隔一秒会从内存 buffer 中将数据写入操作系统缓存 os cache，这个过程叫做 refresh； 到了 os cache 数据就能被搜索到（所以我们才说 ES 是近实时的，因为1s 的延迟后执行 refresh 便可让数据被搜索到） fsync translog 会每隔5秒或者在一个变更请求完成之后执行一次 fsync 操作，将 translog 从缓存刷入磁盘，这个操作比较耗时，如果对数据一致性要求不是跟高时建议将索引改为异步，如果节点宕机时会有5秒数据丢失; flush ES 默认每隔30分钟会将 os cache 中的数据刷入磁盘同时清空 translog 日志文件，这个过程叫做 flush。 merge ES 的一个 index 由多个 shard 组成，而一个 shard 其实就是一个 Lucene 的 index ，它又由多个 segment 组成，且 Lucene 会不断地把一些小的 segment 合并成一个大的 segment ，这个过程被称为 段merge 。执行索引操作时， ES会先生成小的segment ，ES 有离线的逻辑对小的 segment 进行合并，优化查询性能。但是合并过程中会消耗较多磁盘 IO，会影响查询性能。 为了保证不丢失数据，就要保护 translog 文件的安全: 该方式提高数据安全性的同时， 降低了一点性能. ==> 频繁地执行 fsync 操作, 可能会产生阻塞导致部分操作耗时较久. 如果允许部分数据丢失, 可设置异步刷新 translog 来提高效率，还有降低 flush 的阀值，优化如下： 写入 Lucene 的数据，并不是实时可搜索的，ES 必须通过 refresh 的过程把内存中的数据转换成 Lucene 的完整 segment 后，才可以被搜索。 默认1秒后，写入的数据可以很快被查询到，但势必会产生大量的 segment，检索性能会受到影响。所以，加大时长可以降低系统开销。对于日志搜索来说，实时性要求不是那么高，设置为5秒或者10s；对于SkyWalking，实时性要求更低一些，我们可以设置为30s。 设置如下： index.merge.scheduler.max_thread_count 控制并发的 merge 线程数，如果存储是并发性能较好的 SSD，可以用系统默认的 max(1, min(4, availableProcessors / 2))，当节点配置的 cpu 核数较高时，merge 占用的资源可能会偏高，影响集群的性能，普通磁盘的话设为1，发生磁盘 IO 堵塞。设置max_thread_count 后，会有 max_thread_count + 2 个线程同时进行磁盘操作，也就是设置为 1 允许3个线程。 设置如下： 该方式可对已经生成的索引做修改，但是对于后续新建的索引不生效，所以我们可以制作 ES 模板，新建的索引按模板创建索引。 因为我们的业务日志是按天维度创建索引，索引名称示例：user-service-prod-2020.12.12，所以用通配符 202 ..*匹配对应要创建的业务日志索引。 前文已经提到过，write 线程池满负荷，导致拒绝任务，而有的数据无法写入。 而经过上面的优化后，拒绝的情况少了很多，但是还是有拒绝任务的情况。 所以我们还需要优化write线程池。 从 prometheus 监控中可以看到线程池的情况： 为了更直观看到ES线程池的运行情况，我们安装了 elasticsearch_exporter 收集 ES 的指标数据到 prometheus，再通过 grafana 进行查看。 经过上面的各种优化，拒绝的数据量少了很多，但是还是存在拒绝的情况，如下图： write 线程池如何设置： 参考： ElasticSearch线程池 write 线程池采用 fixed 类型的线程池，也就是核心线程数与最大线程数值相同。线程数默认等于 cpu 核数，可设置的最大值只能是 cpu 核数加1，也就是16核CPU，能设置的线程数最大值为17。 优化的方案： config/elasticsearch.yml文件增加配置 优化后效果 Swap 交换分区 : 参考： ElasticSearch官方解释为什么要禁用交换内存 有三种方式可以实现 ES 不使用Swap分区 执行命令 可以临时禁用 Swap 内存，但是操作系统重启后失效 执行下列命令 正常情况下不会使用 Swap，除非紧急情况下才会 Swap。 config/elasticsearch.yml 文件增加配置 分片 索引的大小取决于分片与段的大小，分片过小，可能导致段过小，进而导致开销增加；分片过大可能导致分片频繁 Merge，产生大量 IO 操作，影响写入性能。 因为我们每个索引的大小在15G以下，而默认是5个分片，没有必要这么多，所以调整为3个。 分片的设置我们也可以配置在索引模板。 副本数 减少集群副本分片数，过多副本会导致 ES 内部写扩大。副本数默认为1，如果某索引所在的1个节点宕机，拥有副本的另一台机器拥有索引备份数据，可以让索引数据正常使用。但是数据写入副本会影响写入性能。对于日志数据，有1个副本即可。对于大数据量的索引，可以设置副本数为0，减少对性能的影响。 分片的设置我们也可以配置在索引模板。 有的应用1天生成10G日志，而一般的应用只有几百到1G。一天生成10G日志一般是因为部分应用日志使用不当，很多大数量的日志可以不打，比如大数据量的列表查询接口、报表数据、debug 级别日志等数据是不用上传到日志服务器，这些 即影响日志存储的性能，更影响应用自身性能 。 优化后的两周内ELK性能良好，没有使用上的问题： 参考

一、ElasticSearch是什么？ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。能够达到实时搜索，稳定，可靠，快速，安装使用方便，零配置和完全免费。我们先说说ES的基本概念。1、索引(Index)ES将数据存储于一个或多个索引中，索引是具有类似特性的文档的集合。类比传统的关系型数据库领域来说，索引相当于SQL中的一个数据库，或者一个数据存储方案(schema)。索引由其名称(必须为全小写字符)进行标识，并通过引用此名称完成文档的创建、搜索、更新及删除操作。一个ES集群中可以按需创建任意数目的索引。2、类型(Type)类型是索引内部的逻辑分区(category/partition)，然而其意义完全取决于用户需求。因此，一个索引内部可定义一个或多个类型(type)。一般来说，类型就是为那些拥有相同的域的文档做的预定义。例如，在索引中，可以定义一个用于存储用户数据的类型，一个存储日志数据的类型，以及一个存储评论数据的类型。类比传统的关系型数据库领域来说，类型相当于“表”。3、文档(Document)文档是Lucene索引和搜索的原子单位，它是包含了一个或多个域的容器，基于JSON格式进行表示。文档由一个或多个域组成，每个域拥有一个名字及一个或多个值，有多个值的域通常称为“多值域”。每个文档可以存储不同的域集，但同一类型下的文档至应该有某种程度上的相似之处。4、映射(Mapping)ES中，所有的文档在存储之前都要首先进行分析。用户可根据需要定义如何将文本分割成token、哪些token应该被过滤掉，以及哪些文本需要进行额外处理等。另外，ES还提供了额外功能，例如将域中的内容按需排序。事实上，ES也能自动根据其值确定域的类型。5、集群(Cluster)ES集群是一个或多个节点的集合，它们共同存储了整个数据集，并提供了联合索引以及可跨所有节点的搜索能力。多节点组成的集群拥有冗余能力，它可以在一个或几个节点出现故障时保证服务的整体可用性。集群靠其独有的名称进行标识，默认名称为“elasticsearch”。节点靠其集群名称来决定加入哪个ES集群，一个节点只能属一个集群。如果不考虑冗余能力等特性，仅有一个节点的ES集群一样可以实现所有的存储及搜索功能。6、节点(Node)运行了单个实例的ES主机称为节点，它是集群的一个成员，可以存储数据、参与集群索引及搜索操作。类似于集群，节点靠其名称进行标识，默认为启动时自动生成的随机Marvel字符名称。用户可以按需要自定义任何希望使用的名称，但出于管理的目的，此名称应该尽可能有较好的识别性。节点通过为其配置的ES集群名称确定其所要加入的集群。7、分片(Shard)和副本(Replica)ES的“分片(shard)”机制可将一个索引内部的数据分布地存储于多个节点，它通过将一个索引切分为多个底层物理的Lucene索引完成索引数据的分割存储功能，这每一个物理的Lucene索引称为一个分片(shard)。每个分片其内部都是一个全功能且独立的索引，因此可由集群中的任何主机存储。创建索引时，用户可指定其分片的数量，默认数量为5个。ES集群可由多个节点组成，各Shard分布式地存储于这些节点上。ES可自动在节点间按需要移动shard，例如增加节点或节点故障时。简而言之，分片实现了集群的分布式存储，而副本实现了其分布式处理及冗余功能。OK，上面把ES相关的基本概念及原理大致说明了下，那么ES到底是怎么实现全文检索的呢？Elasticsearch实现全文检索，首先要确定分词器，ES默认有很多分词器，可参考官方文档。了解分词器主要是怎么实现的。一般中文分词器使用第三方的ik分词器、mmsegf分词器和paoding分词器，最初可能构建于lucene，后来移植于ES。目前我们在最新版的ES中，使用的是IK分词。安装ik分词器到elasticsearch很简单，它有个插件目录analysis-ik，和一个配置目录ik, 分别拷贝到plugins和conf目录就可以了。当你有大量的文本数据时，ES均会将其进行分词并将这些词语保存在索引中，当输入关键词进行查询时，索引就会起到作用，查找对应的相同的查询词，从而实现全文检索。当然这个过程是很吃内存的哦。