Lucene+nutch搜索引擎开发的目录　内核揭秘篇

首先爬虫框架有三种分布式爬虫：NutchJAVA单机爬虫：Crawler4j，WebMagic，WebCollector非JAVA单机爬虫：scrapy第一类:分布式爬虫优点：海量URL管理网速快缺点：Nutch是为搜索引擎设计的爬虫，大多数用户是需要一个做精准数据爬取（精抽取）的爬虫。Nutch运行的一套流程里，有三分之二是为了搜索引擎而设计的。对精抽取没有太大的意义。用Nutch做数据抽取，会浪费很多的时间在不必要的计算上。而且如果你试图通过对Nutch进行二次开发，来使得它适用于精抽取的业务，基本上就要破坏Nutch的框架，把Nutch改的面目全非。Nutch依赖hadoop运行，hadoop本身会消耗很多的时间。如果集群机器数量较少，爬取速度反而不如单机爬虫。Nutch虽然有一套插件机制，而且作为亮点宣传。可以看到一些开源的Nutch插件，提供精抽取的功能。但是开发过Nutch插件的人都知道，Nutch的插件系统有多蹩脚。利用反射的机制来加载和调用插件，使得程序的编写和调试都变得异常困难，更别说在上面开发一套复杂的精抽取系统了。Nutch并没有为精抽取提供相应的插件挂载点。Nutch的插件有只有五六个挂载点，而这五六个挂载点都是为了搜索引擎服务的，并没有为精抽取提供挂载点。大多数Nutch的精抽取插件，都是挂载在“页面解析”(parser)这个挂载点的，这个挂载点其实是为了解析链接（为后续爬取提供URL），以及为搜索引擎提供一些易抽取的网页信息(网页的meta信息、text)用Nutch进行爬虫的二次开发，爬虫的编写和调试所需的时间，往往是单机爬虫所需的十倍时间不止。了解Nutch源码的学习成本很高，何况是要让一个团队的人都读懂Nutch源码。调试过程中会出现除程序本身之外的各种问题(hadoop的问题、hbase的问题)。Nutch2的版本目前并不适合开发。官方现在稳定的Nutch版本是nutch2.2.1，但是这个版本绑定了gora-0.3。Nutch2.3之前、Nutch2.2.1之后的一个版本，这个版本在官方的SVN中不断更新。而且非常不稳定（一直在修改）。第二类:JAVA单机爬虫优点：支持多线程。支持代理。能过滤重复URL的。负责遍历网站和下载页面。爬js生成的信息和网页信息抽取模块有关，往往需要通过模拟浏览器(htmlunit,selenium)来完成。缺点：设计模式对软件开发没有指导性作用。用设计模式来设计爬虫，只会使得爬虫的设计更加臃肿。第三类:非JAVA单机爬虫优点：先说python爬虫，python可以用30行代码，完成JAVA50行代码干的任务。python写代码的确快，但是在调试代码的阶段，python代码的调试往往会耗费远远多于编码阶段省下的时间。使用python开发，要保证程序的正确性和稳定性，就需要写更多的测试模块。当然如果爬取规模不大、爬取业务不复杂，使用scrapy这种爬虫也是蛮不错的，可以轻松完成爬取任务。缺点：bug较多，不稳定。爬虫可以爬取ajax信息么？网页上有一些异步加载的数据，爬取这些数据有两种方法：使用模拟浏览器（问题1中描述过了），或者分析ajax的http请求，自己生成ajax请求的url，获取返回的数据。如果是自己生成ajax请求，使用开源爬虫的意义在哪里？其实是要用开源爬虫的线程池和URL管理功能（比如断点爬取）。如果我已经可以生成我所需要的ajax请求（列表），如何用这些爬虫来对这些请求进行爬取？爬虫往往都是设计成广度遍历或者深度遍历的模式，去遍历静态或者动态页面。爬取ajax信息属于deepweb（深网）的范畴，虽然大多数爬虫都不直接支持。但是也可以通过一些方法来完成。比如WebCollector使用广度遍历来遍历网站。爬虫的第一轮爬取就是爬取种子集合(seeds)中的所有url。简单来说，就是将生成的ajax请求作为种子，放入爬虫。用爬虫对这些种子，进行深度为1的广度遍历（默认就是广度遍历）。爬虫怎么爬取要登陆的网站？这些开源爬虫都支持在爬取时指定cookies，模拟登陆主要是靠cookies。至于cookies怎么获取，不是爬虫管的事情。你可以手动获取、用http请求模拟登陆或者用模拟浏览器自动登陆获取cookie。爬虫怎么抽取网页的信息？开源爬虫一般都会集成网页抽取工具。主要支持两种规范：CSSSELECTOR和XPATH。网页可以调用爬虫么？爬虫的调用是在Web的服务端调用的，平时怎么用就怎么用，这些爬虫都可以使用。爬虫速度怎么样？单机开源爬虫的速度，基本都可以讲本机的网速用到极限。爬虫的速度慢，往往是因为用户把线程数开少了、网速慢，或者在数据持久化时，和数据库的交互速度慢。而这些东西，往往都是用户的机器和二次开发的代码决定的。这些开源爬虫的速度，都很可以。

　　Nutch默认只给用户提供一种是用方法就是用一个cygwin的模拟器去模拟一个的环境，然后用户去用命令行在cygwin中执行搜索，还有就是当开发者把nutch的源代码导入到eclipse的工程目录下然后执行　　org.apache.nutch.crawl.Crawl类的main（）这两种方法只是适合程序员做调试的时候手动开启，所以在二次开发nutch的时候就要把crawl放到在jsp中去调用，　　步骤　　1：新建一个web工程，把nutch源代码中plugins文件夹下的目录复制到src下，把nutch下src/java 中的这些包复制src下　　2：把nutch中conf文件夹的所有配置文件复制到src目录下，把nutch中nutch.job文件复制到src下边　　3 把nutch中lib文件夹的jar文件复制到web-inf的lib下　　4 重新在src下建立一个类，用这个类去调用crawl的main（）　　package valley.test;import org.apache.nutch.crawl.Crawl;public class test {public static void main（String[] args） {String []arg ={“url.txt”,“-dir”,“crawled”,“-depth”,“10”,“-topN”,“50”};try {Crawl.main（arg）；} catch （Exception e） {// TODO Auto-generated catch blocke.printStackTrace（）；}}}　　3 接下来就可以在jsp中去调用这个test类了，一般在调用的时候都会出现一个异常-Xms100m -Xmx800m 异常代码如下Injector

之前接触过一点nutch，整个运行过程就是几个分阶段的job，每个阶段的job完成会更新状态信息包括内容（hdfs和db存储皆是），题主问的问题可以在parser job中完成，这个job就是对网页进行解析抽取header、正文等信息。当然在后续的job如updater job处理应该也行。

1. 前言随着互联网时代的到来，数据已经成为了企业发展的重要资源。然而，如何高效地采集海量数据并进行分析，成为了诸多企业面临的难题。因此，大数据采集工具在企业数据分析和决策中显得尤为重要。2. 常用大数据采集工具在市面上，有多种常用的大数据采集工具，下面将针对其中的几款做简要介绍。2.1 Apache NutchApache Nutch是一款高度可扩展的开源网络爬虫，它集成了多种流行的机器学习框架，并且在开源社区中得到了广泛的接受和支持。Nutch的主要优势在于对JavaScript、Java、PHP、Ruby等多种语言支持，并且很容易扩展。2.2 ScrapyScrapy是一款基于Python的高性能网络爬虫框架，它具有强大且灵活的数据提取能力，同时也支持多线程和异步操作的特性。Scrapy将爬取、数据提取和数据处理等流程集成在了一个框架中，能极大地提高爬虫的开发效率。2.3 Beautiful SoupBeautiful Soup是一款强大的Python HTML解析库，它能够帮助我们解析HTML和XML文档，并将其转换成Python对象。Beautiful Soup的主要优势在于它对文档的解析能力比较强，同时也能够处理复杂的HTML标签。3. 大数据采集工具的优缺点每一款大数据采集工具都有其独特的优缺点，下面针对常用大数据采集工具进行简要概述。3.1 Apache Nutch优点：具有高度可扩展性，易于扩展，同时集成了多种流行的机器学习框架。缺点：相比于其他采集工具而言，Nutch的入门门槛较高。3.2 Scrapy优点：具有强大且灵活的数据提取能力，能够快速构建爬虫程序。缺点：由于是基于Python开发的，因此对于Python不熟悉的人而言，入门门槛相对较高。3.3 Beautiful Soup优点：能够高效地解析HTML和XML文档，并将其转换成Python对象，对于处理简单的HTML文档比较合适。缺点：对于复杂的HTML文档，解析效果可能不如其他工具。4. 总结在大数据时代，高效地采集和处理数据对于企业的生存和发展越来越重要。当前市场上有多种可选择的大数据采集工具，如Nutch、Scrapy、BeautifulSoup等等，企业可以根据自身的需求选择相应的工具。每种工具都有其优缺点，需要根据需求综合考虑。5. 参考资料1. Scrapy中文文档 http://doc.scrapy.org/en/latest/intro/install.html2. Beautiful Soup官方文档 https://www.crummy.com/software/BeautifulSoup/bs4/doc/3. Apache Nutch官方文档 https://nutch.apache.org/

有些人问，开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的？这里按照我的经验随便扯淡一下：上面说的爬虫，基本可以分3类：1.分布式爬虫：Nutch2.JAVA单机爬虫：Crawler4j、WebMagic、WebCollector3. 非JAVA单机爬虫：scrapy第一类:分布式爬虫爬虫使用分布式，主要是解决两个问题：1)海量URL管理2)网速现在比较流行的分布式爬虫，是Apache的Nutch。但是对于大多数用户来说，Nutch是这几类爬虫里，最不好的选择，理由如下：1)Nutch是为搜索引擎设计的爬虫，大多数用户是需要一个做精准数据爬取（精抽取）的爬虫。Nutch运行的一套流程里，有三分之二是为了搜索引擎而设计的。对精抽取没有太大的意义。也就是说，用Nutch做数据抽取，会浪费很多的时间在不必要的计算上。而且如果你试图通过对Nutch进行二次开发，来使得它适用于精抽取的业务，基本上就要破坏Nutch的框架，把Nutch改的面目全非，有修改Nutch的能力，真的不如自己重新写一个分布式爬虫框架了。2)Nutch依赖hadoop运行，hadoop本身会消耗很多的时间。如果集群机器数量较少，爬取速度反而不如单机爬虫快。3)Nutch虽然有一套插件机制，而且作为亮点宣传。可以看到一些开源的Nutch插件，提供精抽取的功能。但是开发过Nutch插件的人都知道，Nutch的插件系统有多蹩脚。利用反射的机制来加载和调用插件，使得程序的编写和调试都变得异常困难，更别说在上面开发一套复杂的精抽取系统了。而且Nutch并没有为精抽取提供相应的插件挂载点。Nutch的插件有只有五六个挂载点，而这五六个挂载点都是为了搜索引擎服务的，并没有为精抽取提供挂载点。大多数Nutch的精抽取插件，都是挂载在“页面解析”(parser)这个挂载点的，这个挂载点其实是为了解析链接（为后续爬取提供URL），以及为搜索引擎提供一些易抽取的网页信息(网页的meta信息、text文本)。4)用Nutch进行爬虫的二次开发，爬虫的编写和调试所需的时间，往往是单机爬虫所需的十倍时间不止。了解Nutch源码的学习成本很高，何况是要让一个团队的人都读懂Nutch源码。调试过程中会出现除程序本身之外的各种问题(hadoop的问题、hbase的问题)。5)很多人说Nutch2有gora，可以持久化数据到avro文件、hbase、mysql等。很多人其实理解错了，这里说的持久化数据，是指将URL信息（URL管理所需要的数据）存放到avro、hbase、mysql。并不是你要抽取的结构化数据。其实对大多数人来说，URL信息存在哪里无所谓。6)Nutch2的版本目前并不适合开发。官方现在稳定的Nutch版本是nutch2.2.1，但是这个版本绑定了gora-0.3。如果想用hbase配合nutch（大多数人用nutch2就是为了用hbase)，只能使用0.90版本左右的hbase，相应的就要将hadoop版本降到hadoop 0.2左右。而且nutch2的官方教程比较有误导作用，Nutch2的教程有两个，分别是Nutch1.x和Nutch2.x，这个Nutch2.x上写的是可以支持到hbase 0.94。但是实际上，这个Nutch2.x的意思是Nutch2.3之前、Nutch2.2.1之后的一个版本，这个版本在官方的SVN中不断更新。而且非常不稳定（一直在修改）。所以，如果你不是要做搜索引擎，尽量不要选择Nutch作为爬虫。有些团队就喜欢跟风，非要选择Nutch来开发精抽取的爬虫，其实是冲着Nutch的名气（Nutch作者是Doug Cutting），当然最后的结果往往是项目延期完成。如果你是要做搜索引擎，Nutch1.x是一个非常好的选择。Nutch1.x和solr或者es配合，就可以构成一套非常强大的搜索引擎了。如果非要用Nutch2的话，建议等到Nutch2.3发布再看。目前的Nutch2是一个非常不稳定的版本。

网络爬虫架构在Nutch+Hadoop之上，是一个典型的分布式离线批量处理架构，有非常优异的吞吐量和抓取性能并提供了大量的配置定制选项。由于网络爬虫只负责网络资源的抓取，所以，需要一个分布式搜索引擎，用来对网络爬虫抓取到的网络资源进行实时的索引和搜索。搜 索引擎架构在ElasticSearch之上，是一个典型的分布式在线实时交互查询架构，无单点故障，高伸缩、高可用。对大量信息的索引与搜索都可以在近 乎实时的情况下完成，能够快速实时搜索数十亿的文件以及PB级的数据，同时提供了全方面的选项，可以对该引擎的几乎每个方面进行定制。支持RESTful 的API，可以使用JSON通过HTTP调用它的各种功能，包括搜索、分析与监控。此外，还为Java、PHP、Perl、Python以及Ruby等各 种语言提供了原生的客户端类库。网络爬虫通过将抓取到的数据进行结构化提取之后提交给搜索引擎进行索引，以供查询分析使用。由于搜索引擎的设计目标在于近乎实时的复杂的交互式查询，所以搜索引擎并不保存索引网页的原始内容，因此，需要一个近乎实时的分布式数据库来存储网页的原始内容。分布式数据库架构在Hbase+Hadoop之上，是一个典型的分布式在线实时随机读写架构。极强的水平伸缩性，支持数十亿的行和数百万的列，能够对网络爬虫提交的数据进行实时写入，并能配合搜索引擎，根据搜索结果实时获取数据。网 络爬虫、分布式数据库、搜索引擎均运行在普通商业硬件构成的集群上。集群采用分布式架构，能扩展到成千上万台机器，具有容错机制，部分机器节点发生故障不 会造成数据丢失也不会导致计算任务失败。不但高可用，当节点发生故障时能迅速进行故障转移，而且高伸缩，只需要简单地增加机器就能水平线性伸缩、提升数据 存储容量和计算速度。网络爬虫、分布式数据库、搜索引擎之间的关系：1、网络爬虫将抓取到的HTML页面解析完成之后，把解析出的数据加入缓冲区队列，由其他两个线程负责处理数据，一个线程负责将数据保存到分布式数据库，一个线程负责将数据提交到搜索引擎进行索引。2、搜索引擎处理用户的搜索条件，并将搜索结果返回给用户，如果用户查看网页快照，则从分布式数据库中获取网页的原始内容。整体架构如下图所示：爬虫集群、分布式数据库集群、搜索引擎集群在物理部署上，可以部署到同一个硬件集群上，也可以分开部署，形成1-3个硬件集群。网络爬虫集群有一个专门的网络爬虫配置管理系统来负责爬虫的配置和管理，如下图所示：搜 索引擎通过分片（shard）和副本（replica）实现了高性能、高伸缩和高可用。分片技术为大规模并行索引和搜索提供了支持，极大地提高了索引和搜 索的性能，极大地提高了水平扩展能力；副本技术为数据提供冗余，部分机器故障不影响系统的正常使用，保证了系统的持续高可用。有2个分片和3份副本的索引结构如下所示：一个完整的索引被切分为0和1两个独立部分，每一部分都有2个副本，即下面的灰色部分。在 生产环境中，随着数据规模的增大，只需简单地增加硬件机器节点即可，搜索引擎会自动地调整分片数以适应硬件的增加，当部分节点退役的时候，搜索引擎也会自 动调整分片数以适应硬件的减少，同时可以根据硬件的可靠性水平及存储容量的变化随时更改副本数，这一切都是动态的，不需要重启集群，这也是高可用的重要保 障。

Lucene其实是一个提供全文文本搜索的函数库，它不是一个应用软件。它提供很多API函数让你可以运用到各种实际应用程序中。现在，它已经成为Apache的一个项目并被广泛应用着。Nutch是一个建立在Lucene核心之上的Web搜索的实现，它是一个真正的应用程序。也就是说，你可以直接下载下来拿过来用。它在Lucene的基础上加了网络爬虫和一些和Web相关的东东。其目的就是想从一个简单的站内索引和搜索推广到全球网络的搜索上，就像Google和Yahoo一样。当然，和那些巨人竞争，你得动一些脑筋，想一些办法。我们已经测试过100M的网页，并且它的设计用在超过1B的网页上应该没有问题。当然，让它运行在一台机器上，搜索一些服务器，也运行的很好。 总的来说，我认为LUCENE会应用在本地服务器的网站内部搜索，而Nutch则扩展到整个网络、Internet的检索。当然LUCENE加上爬虫程序等就会成为Nutch，这样理解应该没错吧。

我也有疑问啊…求解答，lcl3356897@qq.com

2 [main] bash 51516 child_copy: stack write copy failed, 0x28A5D0..0x290000, done 580, windows pid 52164, Win32 error 5 2810 [main] bash 51516 fork: child 52128 - pid 52128, exitval 0x103, errno 11./nutch: fork: retry: Resource temporarily unavailable应该是没彻底修改OS的环境，部分还是当linux来操作。

支持Mysql 刚安装，里面有mysql的文件，上去直接装，配置一下，就搞定了，虽然不是大蛋糕，但是也是市场需求啊，他们应该是不会放弃的，你是不是哪里安装出错了，可以发出来看下。

楼主，nutch哪个版本，我也出现同样的问题

大讲台 最专业实战项目最多的Hadoop培训

我觉得这个用于验证url的表达式用：^http://[[a-z0-9\.]+/?]+$ 也许会更准确些。以http://开头，中间是字母数字或英文句号组成，后面可跟或可不跟斜杠

些刚接触Lucene说使用关键:ApacheLucene由java编写高性能全位单词搜索引擎库批评前我必须承认Lucene高性能划词搜索引擎几Lucene已经看作用java编写嵌入式搜索引擎等公民声誉每剧增并且仍源java搜索引擎佳每都说:DougCutting做项伟工作近几月内发进程变缓慢我认Lucene满足现代文档处理需求要东西搞糟:我搜索引擎发者我发者使用搜索引擎提供合适信息检索科技贴讨论未发者言Lucene选择至少我言并且情况并没改变我列Lucene局限性:Lingway公司基于语意复杂查询例查找关于东区冲突文章许需要找关于伊拉克战争文章面用例战争伊拉克别冲突东扩展我使用种技术能析查询产相应合适扩展查询相关结些够:通Lucene实现类似Google等级或经变化积并能满足语意级别积例包含东短语超单词隔种情况并我想要查找更重要相规单词我应该给扩展更低数比我应该给东区冲突短语更高数伊拉克战争Lingway公司我认种文章相关性技术种未搜索引擎Google文章搜索做色我想要却相关文章部代搜索引擎都没复杂查询做相关设计…Lucenewikipedia使用注意查询查单词数查询结并由关联…演示需求Lingway公司即线KM3.7产品界面截图我用语写查询用查找些同主题用英语写文章注意仅仅简简单单翻译我称语言交叉模式:注意些绿色匹配:chanteur变singer,我发现singing匹配同情况流行乐蓝调扩展6理由选用Lucene6.没集群内置支持创建集群写自Directory实现或使用Solr或者使用Nutch+HadoopSolrNutch都支持Lucene直接替代Lucene嵌入必须支持SolrNutch..我认HadoopLucene团队产并惊讶:Lucene并通用内性决定数场合说非快速型文档集合,排除Lucene内核级别并没实现集群必须Lucene转换别搜索引擎做并直接转换Solr或者Nutch问题让遇许必要麻烦:Nutch集crawlingSolr检索服务5.跨度查询太慢Lingway公司说能特殊问题我跨度查询强要求,Lucene检索结构已经始添加细节初没想基础实现导致复杂算并且运行缓慢尤其某些短语份文档重复许现我倾向说Lucene高性能划词检索引擎仅仅使用基本布尔查询4.积能插件化Lucene自积算实现,条件增加使用Similarity类快显示局限性想要表示复杂积,例基于实际匹配元数据查询做继承Lucene查询类Lucene使用类似tf/idf积算我遇场合语意积Lucene积机制并合适我迫重写每Lucene查询类使支持我自定义积问题3.Lucene并非良设计作系统架构师我倾向认(1)Lucene非糟糕OO设计虽包类设计几乎没任何设计模式让我想起由C(++)发者行并且坏习惯带java造需要自定义Lucene满足需求(必定遇需求)必须面问题例:几乎没使用接口查询类(例BooleanQuery,SpanQuery,TermQuery…)都抽象类类要添加其细节首先想写接口描述扩展契约抽象Query类并没实现接口必须经变化自查询象Query并本Lucene调用堆例(HitCollecor,…)使用AOP自代理说问题.别扭迭代实现.没hasNext(),next()返布尔类型并刷新象内容.想要保持迭代元素跟踪说非痛苦.我假定故意用节省内存导致算杂乱复杂.2.关闭API使继承Lucene痛苦Lucene世界,称特性某些用户需要某些细节针放类导致数类都包保护级别意味着能够继承(除非创建类似同包做污染客户代码)或者复制重写代码更重要同面点提严重缺乏OO设计结构些类应该设内部类却没匿名类用作复杂计算需要重写行关闭API理由让代码发布前变整洁并且稳定虽想光荣再让痛苦些代码Lucene主要思路并吻合经归Lucene改进自版本直补丁接受发者始越越限制API更改补丁少机接受些类加final修饰符让遇问题我认Spring框架限制觉流行起1.Lucene搜索算适合网格计算Lucene写候硬件没内存处理器存索引结构设计使用线性内存销式我花间重写跨度查询算并使用线程内容(使用双核处理器)基于迭代器目录读取算几乎能实现些罕见场合能做些优化并能迭代索引通并行式数场合能我遇情况我复杂超50+内嵌跨度查询CPU空闲I/O却直忙碌甚至使用RAMDirectory.没替代品我认观点充满疑问:Lucene达极限现硬件基础条件检索型数据集合我寻找替代Lucene现阅读博客目录Wikia讨论我发现并没替代品我推荐希望案:MG4J良面向象设计性能良检索(索引比Lucene慢)内存销达10倍于Lucene速度跨度查询我跨度查询基准并且原支持集群同内置负载平衡Lucene近才加入项功能并且实验性质MG4J仍缺少些特性例简单索引指数文档移除更简单使用索引处理让我高兴我自定义Lucene功能MG4J需花几Lucene却需要数我认源搜索引擎说仍发展空间通单台电脑用限内存索引批量文档通透明布式索引提供型数据集合检索更快捷答案必利用应用获集群特性Lucene第类搜索引擎实现单我认并符合我需求:合理间内找佳答案基于tf/idf搜索算google等级并未搜索引擎趋势实现原数据语义复杂查询并找相关信息Lingway公司(通Lucene其搜索引擎技术)所作要求更支持新硬件新技术使用Lucene理由论我何指责Lucene,仍java源解决案佳实现

随着大数据技术体系的发展，越来越多的企业应用大数据技术支撑自己的业务发展。数据采集作为大数据的起点，是企业主动获取数据的一种重要手段。数据采集的多样性、全面性直接影响数据质量。 企业获取数据的渠道分为内部和外部两个渠道。内部渠道包含自己建设的业务系统，如电商系统、门户网站、门户论坛等。外部渠道包含爬虫系统爬取的数据、三方合作平台数据、公共社交平台数据等。那么如何从这些渠道获取数据？下面简单地介绍一下常用的数据采集工具。 结构化数据采集工具。 结构化数据在分析型的原始数据占比比较大，大部分经过预处理进入数据仓库进一步多维分析和数据挖掘。常用的数据采集工具有： 1 Apache Flume 支持离线与实时数据导入，是数据集成的主要工具。 2 Apache Sqoop 主要使用JDBC等工具连接关系型数据库与Hadoop生态圈的文件系统，通过配置文件配置双向连接信息后，通过命令完成数据的导入导出。 半结构化数据采集工具 半结构化的数据多见于日志格式。对于日志采集的工具，比较常见的是 1 Logstash Logstash与ElasticSearch、Kibana并称为ELK，是采集日志的黄金搭档。 2 Apache Flume也多用于日志文本类数据采集。 非结构化数据采集工具 1 DataX DataX轻量级中间件，在关系型数据库导入导出性能比较优异。支持多种数据类型的导入导出。 流式数据采集工具 1 Kafka 性能优异超高吞吐量。 Binlog日志采集工具 1 Canal 基于MySQL数据库增量日志解析提供增量日志订阅和消费功能。 爬虫采集框架与工具 1 Java栈，Nutch2、WebMagic等。 2 Python栈，Scrapy、PySpider 3 第三方爬虫工具，八爪鱼、爬山虎、后羿等等。

nutch可以做到吧，但他是一个java框架，不过他提供了直接可执行脚本你可以用shell来掉他脚本进行网页子站的抓取，然后处理。本人对Shell无能为力可以给你个思路像这种都不是太难，甚至可以写死去分析一个网站的数据接口

大数据分析专业什么时候开始有的 以下是计量数据量的历史过程中一些具有里程碑意义的事件，以及属于“大数据”概念进化历程中的一些“第一次”或者是新发现。 1944年 卫斯理大学图书馆员弗莱蒙特·雷德出版了《学者与研究型图书馆的未来》一书。他估计美国高校图书馆的规模每16年就翻一番。按照这一增长速度，雷德推测2040年耶鲁大学图书馆将拥有“约2亿册藏书，将占据6,000余英里书架…[需要的]编目人员超过6,000人。” 1961年德里克·普赖斯出版了《巴比伦以来的科学》，在这本书中，普赖斯通过观察科学期刊和论文的增长规律来研究科学知识的增长。他得出以下结论：新期刊的数量以指数方式增长而不是以线性方式增长，每15年翻一番，每50年以10为指数倍进行增长。普赖斯将其称之为“指数增长规律”，并解释道，“科学每前进一步就以一个相当恒定的出现率产生一系列新的进步。因此在任何时候，新科学的产生数量永远严格地与科学发现总量成正比。” 1964年4月 哈里·J·格雷和亨利·拉斯顿在美国电气与电子工程师协会（IEEE）的《电子计算机学报》上发表了《应对信息爆炸的技巧》一文，在文中，他们提出了以下建议： 1）任何人都不应该发表新论文。2）如果1）不可行，仅短小的论文可以被发表。“短小”的意思是文章不超过2,500字符，空格、标点符号都计算在内。3）如果2）被采纳，则应该实行下述限制：“只有将现存总长度为2501或更多字符的文章删除一篇或多篇，短小的文章才可以被发表。” 上述建议的实行将产生一个重要的副产品，即减轻人才选拔委员会的负担。因为一个人的出版物列表将仅被一个负数所代替，这个负数指代了他从现有信息存储中删除论文的净数目。 1967年11月 B·A·马里恩和P·A·D·德·梅恩在《美国计算机协会通讯》上发表了《自动数据压缩》一文，文章指出，“近年来被人们所关注的‘信息爆炸"使得对所有信息的存储需求保持在最低限度是非常必要的。”文章描写道：“全自动压缩机由三部分组成，能够快速处理信息，它可以被应用于‘任何"信息主体，大大降低了缓慢的外部存储要求，并可以通过计算机提高信息传输速度。” 1971年 亚瑟·米勒在《侵犯隐私》中写道：“太多的信息处理者看似是以个人档案存储容量的比特数目来衡量一个人。” 1975年 日本邮电部开始实施了“信息流普查”计划，以调查日本的信息总量（这一思想首次是在1969年的一篇文章中提出的）。普查以“字数总量”作为所有媒体的统一衡量单位。1975年的普查已经发现信息供给要比信息消费发展得快得多。1978年的普查报告指出“人们对单向传播的大众传媒所提供信息的需求停滞不前，对以双向传播为特征的个人通信媒体所提供信息的需求大规模增长…我们的社会正在进入一个新阶段…在这一阶段中，处于优势地位的是那些能够满足个人需求的碎片性的、更为详细的信息，而不再是那些传统的被大量复制的、一致性的信息。[阿利斯泰尔·D·达夫，2000；参见马丁·希尔伯特，2012] 1980年4月 I·A· 特詹姆斯兰德在第四届美国电气和电子工程师协会（IEEE）“大规模存储系统专题研讨会”上做了一个报告，题为《我们该何去何从？》。在报告中，他指出 “那些很早以前就熟悉存储装置的人们发现，‘帕金森第一法则"可以被用来解释我们的现状——‘数据扩展至任何可用空间"…我相信大量数据正在被保留，因为用户无法识别无用的数据；相较于丢弃潜在有用数据的不利后果，存储无用数据的损失不那么明显。” 1981年 匈牙利中央统计办公室开始实施了一项调查国家信息产......>> 大数据技术会流行下来吗？ 我觉得肯定会，我们学校前一段时间来了几个这方面的专家教授做了一次学术报告，声势浩大啊，国家对这方面的投入是很大的，所以我们学校好多导师带了研究生开始做这方面的研究了 什么是大数据,通俗的讲 笼统点讲吧！顾名思义大数据就是信息量大的数据！比如说一瞬间需要处理上亿条指令的动作，这个也算大数据，或者需要长时间演算的数据，甚至是包含无数条记录的信息，反正就是信息量大！ 现在流行大数据,有哪些大数据相关技术 现在讲大数据的确实很多，数据处理关键技术一般包括:大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用。鸭梨科技建设企业的互联网平台，重在对平台的综合应用，通过大数据让企业保持竞争力，提升企业对互联网技术的应用，拓宽企业的发展渠道。 什么是大数据，大数据为什么重要，如何应用大数据 读读这本书吧。。 驾驭大数据 驾驭未来 大数据的流行，也引发了图书业大数据出版题材的升温。去年出版的《大数据》（涂子沛著）是从数据治国的角度，深入浅出的叙述了美国 *** 的管理之道，细密入微的阐释了黄仁宇先生”资本主义数目式管理“的精髓。最近人民邮电出版社又组织翻译出版了美国Bill Franks的《驾驭大数据》一书。 该书的整体思路，简单来说，就是叙述了一个”数据收集-知识形成-智慧行动“的过程，不仅回答了”what“，也指明了”how“，提供了具体的技术、流程、方法，甚至团队建设，文化创新。作者首先在第一章分析了大数据的兴起，介绍了大数据的概念、内容，价值，并分析了大数据的来源，也探讨了在汽车保险、电力、零售行业的应用场景；在第二章介绍了驾驭大数据的技术、流程、方法，第三部分则介绍了驾驭大数据的能力框架，包括了如何进行优质分析，如何成为优秀的分析师，如何打造高绩效团队，最后则提出了企业创新文化的重要意义。整本书高屋建瓴、内容恣意汪洋、酣畅淋漓，结构上百川归海，一气呵成，总的来说，体系完备、内容繁丰、见识独具、实用性强，非常值得推荐，是不可多得的好书！ 大数据重要以及不重要的一面 与大多数人的想当然的看法不同，作者认为“大数据”中的”大”和“数据”都不重要，重要的是数据能带来的价值以及如何驾驭这些大数据，甚至与传统的结构化数据和教科书上的认知不同，“大数据可能是凌乱而丑陋的”并且大数据也会带来“被大数据压得不看重负，从而停止不前”和大数据处理“成本增长速度会让企业措手不及”的风险，所以，作者才认为驾驭大数据，做到游刃有余、从容自若、实现“被管理的创新”最为重要。在处理数据时，作者指出“很多大数据其实并不重要”，企业要做好大数据工作，关键是能做到如何沙里淘金，并与各种数据进行结合或混搭，进而发现其中的价值。这也是作者一再强调的“新数据每一次都会胜过新的工具和方法”的原因所在。 网络数据与电子商务 对顾客行为的挖掘早已不是什么热门概念，然而作者认为从更深层次的角度看，下一步客户意图和决策过程的分析才是具有价值的金矿，即“关于购买商品的想法以及影响他们购买决策的关键因素是什么”。针对电子商务这一顾客行为的数据挖掘，作者不是泛泛而谈，而是独具慧眼的从购买路径、偏好、行为、反馈、流失模型、响应模型、顾客分类、评估广告效果等方面提供了非常有吸引力的建议。我认为，《驾驭大数据》的作者提出的网络数据作为大数据的“原始数据”其实也蕴含着另外一重意蕴，即只有电子商务才具备与顾客进行深入的互动，也才具有了收集这些数据的条件，从这点看，直接面向终端的企业如果不电子商务化，谈论大数据不是一件很可笑的事？当然这种用户购买路径的行为分析，也不是新鲜的事，在昂德希尔《顾客为什么购买：新时代的零售业圣经》一书中披露了商场雇佣大量顾问，暗中尾随顾客，用摄影机或充满密语的卡片，完整真实的记录顾客从进入到离开商场的每一个动作，并进行深入的总结和分析，进而改进货物的陈列位置、广告的用词和放置场所等，都与电子商务时代的客户行为挖掘具有异曲同工之妙，当然电子商务时代，数据分析的成本更加低廉，也更加容易获取那些非直接观察可以收集的数据（如信用记录）。 一些有价值的应用场景 大数据的价值需要借助于一些具体的应用模式和场景才能得到集中体现，电子商务是一个案例，同时，作者也提到了车载信息“最初作为一种工具出现的，它可以帮助车主和公司获得更好的、更有效的车辆保险”，然而它所能够提供的时速、路段、开始和结束时间等信息，对改善城市交通拥堵具有意料之外的价值。基于GPS技术和手......>> 究竟什么才是大数据 对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据”这个术语最早期的引用可追溯到apache org的开源项目Nutch。当时，大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。随着谷歌MapReduce和GoogleFile System （GFS）的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的速度。 早在1980年，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，将大数据热情地赞颂为“第三次浪潮的华彩乐章”。不过，大约从2009年开始，“大数据”才成为互联网信息技术行业的流行词汇。美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的。此外，数据又并非单纯指人们在互联网上发布的信息，全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递著有关位置、运动、震动、温度、溼度乃至空气中化学物质的变化，也产生了海量的数据信息。 大数据的就业前景怎么样？ 从发现情景来看，大数据一定是后面至少10年的热点。任何系统、任何公司的核心都是数据。现在流行hadoop，流行内存计算、内存数据网格等等，以后还会有更多的概念和技术，但本质都是为大数据服务。数据TB、PB、EB、ZB、YB的飙升，将诞生系列新的技术和产业。而对技术人员，新生的数据科学家Data Scientists，将是最有发展前景的职业。 大数据炒股概念很流行吗？ 现在应该不能说流行吧，只能说这是个趋势，通过数据让投资具有可参考性 网上一直在说大数据，什么是大数据？怎样才能运营大数据？ 大数据简单说就是大多数人花流量最多的地方，基本展示大众流行。然后通过研究大数据找到你要盈利的东西 请问现在最流行的大数据处理系统是啥？谢谢！ 大数据简单的说就是把海量的数据进行分类归纳从中的到有价值的信息或者一些用户的行为习惯等

　　Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。 Hadoop分布式文件系统架构 1 NameNode（名称节点） 　　HDFS命名空间采用层次化（树状——译者注）的结构存放文件和目录。 2 映像和日志 　　Inode和定义metadata的系统文件块列表统称为Image(映像).NameNode将整个命名空间映像保存在RAM中。而映像的持久化记录则保存在NameNode的本地文件系统中，该持久化记录被称为Checkpoint(检查点)。NameNode还会记录HDFS中写入的操作，并将其存入一个记录文件，存放在本地文件系统中，这个记录文件被叫做Journal(日志)。 3 数据节点 　　DataNode上的每一个块(block)副本都由两个本地文件系统上的文件共同表示。其中一个文件包含了块（block）本身所需包含的数据，另一个文件则记录了该块的元数据，包括块所含数据大小和文件生成时间戳。数据文件的大小等于该块（block）的真实大小，而不是像传统的文件系统一样，需要用额外的存储空间凑成完整的块。因此，如果一个块里只需要一半的空间存储数据，那么就只需要在本地系统上分配半块的存储空间即可。 4 HDFS客户端 　　用户应用程序通过HDFS客户端连接到HDFS文件系统，通过库文件可导出HDFS文件系统的接口。像很多传统的文件系统一样，HDFS支持文件的读、写和删除操作，还支持对目录的创建和删除操作。与传统的文件系统不同的是，HDFS提供一个API用以暴露文件块的位置。这个功能允许应用程序。 5 检查点节点 　　HDFS中的NameNode节点，除了其主要职责是相应客户端请求以外，还能够有选择地扮演一到两个其他的角色，例如做检查点节点或者备份节点。该角色是在节点启动的时候特有的。 6 备份节点 　　HDFS的备份节点是最近在加入系统的一项特色功能。就像CheckpintNode一样，备份节点能够定期创建检查点，但是不同的是，备份节点一直保存在内存中，随着文件系统命名空间的映像更新和不断更新，并与NameNode的状态随时保持同步。 7 系统更新和文件系统快照 　　在软件更新的过程中，由于软件的bug或者人为操作的失误，文件系统损坏的几率会随之提升。在HDFS中创建系统快照的目的，就在于把系统升级过程中可能对数据造成的隐患降到最低。快照机制让系统管理员将当前系统状态持久化到文件系统中，这样以来，如果系统升级后出现了数据丢失或者损坏，便有机会进行回滚操作，将HDFS的命名空间和存储状态恢复到系统快照进行的时刻。

本质上daoLinux属于Unix体系是用C写的，duWindows是微软自创zhi用C和汇编写的。区别只不过是dao实现的内方式不同，基本原容理都是一样的，至于安全稳定这都是相对的，Linux和Mac OS X用的人少，编病毒的自然也少。由于开发人员和面向的用户群体不同，所以Linux更接近底层，开放的东西也多，而Windows相比之下更适合普通用户，当然可定制和修改的东西也少。

在生活中，1989年互相会话的双方都希望获得最大利益，从而发生利益间的冲突，商务会话谋求的是双方的共同利益和满足。

1、爬虫技术概述网络爬虫（Web crawler），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它们被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。相对于通用网络爬虫，聚焦爬虫还需要解决三个主要问题：(1) 对抓取目标的描述或定义；(2) 对网页或数据的分析与过滤；(3) 对URL的搜索策略。2、爬虫原理2.1 网络爬虫原理Web网络爬虫系统的功能是下载网页数据，为搜索引擎系统提供数据来源。很多大型的网络搜索引擎系统都被称为基于 Web数据采集的搜索引擎系统，比如 Google、Baidu。由此可见Web 网络爬虫系统在搜索引擎中的重要性。网页中除了包含供用户阅读的文字信息外，还包含一些超链接信息。Web网络爬虫系统正是通过网页中的超连接信息不断获得网络上的其它网页。正是因为这种采集过程像一个爬虫或者蜘蛛在网络上漫游，所以它才被称为网络爬虫系统或者网络蜘蛛系统，在英文中称为Spider或者Crawler。2.2 网络爬虫系统的工作原理在网络爬虫的系统框架中，主过程由控制器，解析器，资源库三部分组成。控制器的主要工作是负责给多线程中的各个爬虫线程分配工作任务。解析器的主要工作是下载网页，进行页面的处理，主要是将一些JS脚本标签、CSS代码内容、空格字符、HTML标签等内容处理掉，爬虫的基本工作是由解析器完成。资源库是用来存放下载到的网页资源，一般都采用大型的数据库存储，如Oracle数据库，并对其建立索引。控制器控制器是网络爬虫的**控制器，它主要是负责根据系统传过来的URL链接，分配一线程，然后启动线程调用爬虫爬取网页的过程。解析器解析器是负责网络爬虫的主要部分，其负责的工作主要有：下载网页的功能，对网页的文本进行处理，如过滤功能，抽取特殊HTML标签的功能，分析数据功能。资源库主要是用来存储网页中下载下来的数据记录的容器，并提供生成索引的目标源。中大型的数据库产品有：Oracle、Sql Server等。Web网络爬虫系统一般会选择一些比较重要的、出度(网页中链出超链接数)较大的网站的URL作为种子URL集合。网络爬虫系统以这些种子集合作为初始URL，开始数据的抓取。因为网页中含有链接信息，通过已有网页的 URL会得到一些新的 URL，可以把网页之间的指向结构视为一个森林，每个种子URL对应的网页是森林中的一棵树的根节点。这样，Web网络爬虫系统就可以根据广度优先算法或者深度优先算法遍历所有的网页。由于深度优先搜索算法可能会使爬虫系统陷入一个网站内部，不利于搜索比较靠近网站首页的网页信息，因此一般采用广度优先搜索算法采集网页。Web网络爬虫系统首先将种子URL放入下载队列，然后简单地从队首取出一个URL下载其对应的网页。得到网页的内容将其存储后，再经过解析网页中的链接信息可以得到一些新的URL，将这些URL加入下载队列。然后再取出一个URL，对其对应的网页进行下载，然后再解析，如此反复进行，直到遍历了整个网络或者满足某种条件后才会停止下来。网络爬虫的基本工作流程如下：1.首先选取一部分精心挑选的种子URL；2.将这些URL放入待抓取URL队列；3.从待抓取URL队列中取出待抓取在URL，解析DNS，并且得到主机的ip，并将URL对应的网页下载下来，存储进已下载网页库中。此外，将这些URL放进已抓取URL队列；4.分析已抓取URL队列中的URL，分析其中的其他URL，并且将URL放入待抓取URL队列，从而进入下一个循环。2.3 抓取策略在爬虫系统中，待抓取URL队列是很重要的一部分。待抓取URL队列中的URL以什么样的顺序排列也是一个很重要的问题，因为这涉及到先抓取那个页面，后抓取哪个页面。而决定这些URL排列顺序的方法，叫做抓取策略。下面重点介绍几种常见的抓取策略：2.3.1 深度优先遍历策略深度优先遍历策略是指网络爬虫会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续跟踪链接。我们以下面的图为例：遍历的路径：A-F-G E-H-I B C D2.3.2 宽度优先遍历策略宽度优先遍历策略的基本思路是，将新下载网页中发现的链接直接**待抓取URL队列的末尾。也就是指网络爬虫会先抓取起始网页中链接的所有网页，然后再选择其中的一个链接网页，继续抓取在此网页中链接的所有网页。还是以上面的图为例：遍历路径：A-B-C-D-E-F G H I2.3.3 反向链接数策略反向链接数是指一个网页被其他网页链接指向的数量。反向链接数表示的是一个网页的内容受到其他人的推荐的程度。因此，很多时候搜索引擎的抓取系统会使用这个指标来评价网页的重要程度，从而决定不同网页的抓取先后顺序。在真实的网络环境中，由于广告链接、作弊链接的存在，反向链接数不能完全等他我那个也的重要程度。因此，搜索引擎往往考虑一些可靠的反向链接数。2.3.4 Partial PageRank策略Partial PageRank算法借鉴了PageRank算法的思想：对于已经下载的网页，连同待抓取URL队列中的URL，形成网页集合，计算每个页面的PageRank值，计算完之后，将待抓取URL队列中的URL按照PageRank值的大小排列，并按照该顺序抓取页面。如果每次抓取一个页面，就重新计算PageRank值，一种折中方案是：每抓取K个页面后，重新计算一次PageRank值。但是这种情况还会有一个问题：对于已经下载下来的页面中分析出的链接，也就是我们之前提到的未知网页那一部分，暂时是没有PageRank值的。为了解决这个问题，会给这些页面一个临时的PageRank值：将这个网页所有入链传递进来的PageRank值进行汇总，这样就形成了该未知页面的PageRank值，从而参与排序。2.3.5 OPIC策略策略该算法实际上也是对页面进行一个重要性打分。在算法开始前，给所有页面一个相同的初始现金（cash）。当下载了某个页面P之后，将P的现金分摊给所有从P中分析出的链接，并且将P的现金清空。对于待抓取URL队列中的所有页面按照现金数进行排序。2.3.6 大站优先策略对于待抓取URL队列中的所有网页，根据所属的网站进行分类。对于待下载页面数多的网站，优先下载。这个策略也因此叫做大站优先策略。3、爬虫分类开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的？上面说的爬虫，基本可以分3类：（1）分布式爬虫：Nutch（2）JAVA爬虫：Crawler4j、WebMagic、WebCollector（3）非JAVA爬虫：scrapy（基于Python语言开发）3.1 分布式爬虫爬虫使用分布式，主要是解决两个问题：1)海量URL管理2)网速现在比较流行的分布式爬虫，是Apache的Nutch。但是对于大多数用户来说，Nutch是这几类爬虫里，最不好的选择，理由如下：1)Nutch是为搜索引擎设计的爬虫，大多数用户是需要一个做精准数据爬取（精抽取）的爬虫。Nutch运行的一套流程里，有三分之二是为了搜索引擎而设计的。对精抽取没有太大的意义。也就是说，用Nutch做数据抽取，会浪费很多的时间在不必要的计算上。而且如果你试图通过对Nutch进行二次开发，来使得它适用于精抽取的业务，基本上就要破坏Nutch的框架，把Nutch改的面目全非，有修改Nutch的能力，真的不如自己重新写一个分布式爬虫框架了。2)Nutch依赖hadoop运行，hadoop本身会消耗很多的时间。如果集群机器数量较少，爬取速度反而不如单机爬虫快。3)Nutch虽然有一套插件机制，而且作为亮点宣传。可以看到一些开源的Nutch插件，提供精抽取的功能。但是开发过Nutch插件的人都知道，Nutch的插件系统有多蹩脚。利用反射的机制来加载和调用插件，使得程序的编写和调试都变得异常困难，更别说在上面开发一套复杂的精抽取系统了。而且Nutch并没有为精抽取提供相应的插件挂载点。Nutch的插件有只有五六个挂载点，而这五六个挂载点都是为了搜索引擎服务的，并没有为精抽取提供挂载点。大多数Nutch的精抽取插件，都是挂载在“页面解析”(parser)这个挂载点的，这个挂载点其实是为了解析链接（为后续爬取提供URL），以及为搜索引擎提供一些易抽取的网页信息(网页的meta信息、text文本)。4)用Nutch进行爬虫的二次开发，爬虫的编写和调试所需的时间，往往是单机爬虫所需的十倍时间不止。了解Nutch源码的学**成本很高，何况是要让一个团队的人都读懂Nutch源码。调试过程中会出现除程序本身之外的各种问题(hadoop的问题、hbase的问题)。5)很多人说Nutch2有gora，可以持久化数据到avro文件、hbase、mysql等。很多人其实理解错了，这里说的持久化数据，是指将URL信息（URL管理所需要的数据）存放到avro、hbase、mysql。并不是你要抽取的结构化数据。其实对大多数人来说，URL信息存在哪里无所谓。6)Nutch2的版本目前并不适合开发。官方现在稳定的Nutch版本是nutch2.2.1，但是这个版本绑定了gora-0.3。如果想用hbase配合nutch（大多数人用nutch2就是为了用hbase)，只能使用0.90版本左右的hbase，相应的就要将hadoop版本降到hadoop 0.2左右。而且nutch2的官方教程比较有误导作用，Nutch2的教程有两个，分别是Nutch1.x和Nutch2.x，这个Nutch2.x官网上写的是可以支持到hbase 0.94。但是实际上，这个Nutch2.x的意思是Nutch2.3之前、Nutch2.2.1之后的一个版本，这个版本在官方的SVN中不断更新。而且非常不稳定（一直在修改）。所以，如果你不是要做搜索引擎，尽量不要选择Nutch作为爬虫。有些团队就喜欢跟风，非要选择Nutch来开发精抽取的爬虫，其实是冲着Nutch的名气，当然最后的结果往往是项目延期完成。如果你是要做搜索引擎，Nutch1.x是一个非常好的选择。Nutch1.x和solr或者es配合，就可以构成一套非常强大的搜索引擎了。如果非要用Nutch2的话，建议等到Nutch2.3发布再看。目前的Nutch2是一个非常不稳定的版本。3.2 JAVA爬虫这里把JAVA爬虫单独分为一类，是因为JAVA在网络爬虫这块的生态圈是非常完善的。相关的资料也是最全的。这里可能有争议，我只是随便谈谈。其实开源网络爬虫（框架）的开发非常简单，难问题和复杂的问题都被以前的人解决了（比如DOM树解析和定位、字符集检测、海量URL去重），可以说是毫无技术含量。包括Nutch，其实Nutch的技术难点是开发hadoop，本身代码非常简单。网络爬虫从某种意义来说，类似遍历本机的文件，查找文件中的信息。没有任何难度可言。之所以选择开源爬虫框架，就是为了省事。比如爬虫的URL管理、线程池之类的模块，谁都能做，但是要做稳定也是需要一段时间的调试和修改的。对于爬虫的功能来说。用户比较关心的问题往往是：1）爬虫支持多线程么、爬虫能用代理么、爬虫会爬取重复数据么、爬虫能爬取JS生成的信息么？不支持多线程、不支持代理、不能过滤重复URL的，那都不叫开源爬虫，那叫循环执行http请求。能不能爬js生成的信息和爬虫本身没有太大关系。爬虫主要是负责遍历网站和下载页面。爬js生成的信息和网页信息抽取模块有关，往往需要通过模拟浏览器(htmlunit,selenium)来完成。这些模拟浏览器，往往需要耗费很多的时间来处理一个页面。所以一种策略就是，使用这些爬虫来遍历网站，遇到需要解析的页面，就将网页的相关信息提交给模拟浏览器，来完成JS生成信息的抽取。2）爬虫可以爬取ajax信息么？网页上有一些异步加载的数据，爬取这些数据有两种方法：使用模拟浏览器（问题1中描述过了），或者分析ajax的http请求，自己生成ajax请求的url，获取返回的数据。如果是自己生成ajax请求，使用开源爬虫的意义在哪里？其实是要用开源爬虫的线程池和URL管理功能（比如断点爬取）。如果我已经可以生成我所需要的ajax请求（列表），如何用这些爬虫来对这些请求进行爬取？爬虫往往都是设计成广度遍历或者深度遍历的模式，去遍历静态或者动态页面。爬取ajax信息属于deep web（深网）的范畴，虽然大多数爬虫都不直接支持。但是也可以通过一些方法来完成。比如WebCollector使用广度遍历来遍历网站。爬虫的第一轮爬取就是爬取种子集合(seeds)中的所有url。简单来说，就是将生成的ajax请求作为种子，放入爬虫。用爬虫对这些种子，进行深度为1的广度遍历（默认就是广度遍历）。3）爬虫怎么爬取要登陆的网站？这些开源爬虫都支持在爬取时指定cookies，模拟登陆主要是靠cookies。至于cookies怎么获取，不是爬虫管的事情。你可以手动获取、用http请求模拟登陆或者用模拟浏览器自动登陆获取cookie。4）爬虫怎么抽取网页的信息？开源爬虫一般都会集成网页抽取工具。主要支持两种规范：CSS SELECTOR和XPATH。至于哪个好，这里不评价。5）爬虫怎么保存网页的信息？有一些爬虫，自带一个模块负责持久化。比如webmagic，有一个模块叫pipeline。通过简单地配置，可以将爬虫抽取到的信息，持久化到文件、数据库等。还有一些爬虫，并没有直接给用户提供数据持久化的模块。比如crawler4j和webcollector。让用户自己在网页处理模块中添加提交数据库的操作。至于使用pipeline这种模块好不好，就和操作数据库使用ORM好不好这个问题类似，取决于你的业务。6）爬虫被网站封了怎么办？爬虫被网站封了，一般用多代理（随机代理）就可以解决。但是这些开源爬虫一般没有直接支持随机代理的切换。所以用户往往都需要自己将获取的代理，放到一个全局数组中，自己写一个代理随机获取（从数组中）的代码。7）网页可以调用爬虫么？爬虫的调用是在Web的服务端调用的，平时怎么用就怎么用，这些爬虫都可以使用。8）爬虫速度怎么样？单机开源爬虫的速度，基本都可以讲本机的网速用到极限。爬虫的速度慢，往往是因为用户把线程数开少了、网速慢，或者在数据持久化时，和数据库的交互速度慢。而这些东西，往往都是用户的机器和二次开发的代码决定的。这些开源爬虫的速度，都很可以。9）明明代码写对了，爬不到数据，是不是爬虫有问题，换个爬虫能解决么？如果代码写对了，又爬不到数据，换其他爬虫也是一样爬不到。遇到这种情况，要么是网站把你封了，要么是你爬的数据是javascript生成的。爬不到数据通过换爬虫是不能解决的。10）哪个爬虫可以判断网站是否爬完、那个爬虫可以根据主题进行爬取？爬虫无法判断网站是否爬完，只能尽可能覆盖。至于根据主题爬取，爬虫之后把内容爬下来才知道是什么主题。所以一般都是整个爬下来，然后再去筛选内容。如果嫌爬的太泛，可以通过限制URL正则等方式，来缩小一下范围。11）哪个爬虫的设计模式和构架比较好？设计模式纯属扯淡。说软件设计模式好的，都是软件开发完，然后总结出几个设计模式。设计模式对软件开发没有指导性作用。用设计模式来设计爬虫，只会使得爬虫的设计更加臃肿。至于构架，开源爬虫目前主要是细节的数据结构的设计，比如爬取线程池、任务队列，这些大家都能控制好。爬虫的业务太简单，谈不上什么构架。所以对于JAVA开源爬虫，我觉得，随便找一个用的顺手的就可以。如果业务复杂，拿哪个爬虫来，都是要经过复杂的二次开发，才可以满足需求。3.3 非JAVA爬虫在非JAVA语言编写的爬虫中，有很多优秀的爬虫。这里单独提取出来作为一类，并不是针对爬虫本身的质量进行讨论，而是针对larbin、scrapy这类爬虫，对开发成本的影响。先说python爬虫，python可以用30行代码，完成JAVA 50行代码干的任务。python写代码的确快，但是在调试代码的阶段，python代码的调试往往会耗费远远多于编码阶段省下的时间。使用python开发，要保证程序的正确性和稳定性，就需要写更多的测试模块。当然如果爬取规模不大、爬取业务不复杂，使用scrapy这种爬虫也是蛮不错的，可以轻松完成爬取任务。上图是Scrapy的架构图，绿线是数据流向，首先从初始URL 开始，Scheduler 会将其交给 Downloader 进行下载，下载之后会交给 Spider 进行分析，需要保存的数据则会被送到Item Pipeline，那是对数据进行后期处理。另外，在数据流动的通道里还可以安装各种中间件，进行必要的处理。 因此在开发爬虫的时候，最好也先规划好各种模块。我的做法是单独规划下载模块，爬行模块，调度模块，数据存储模块。对于C++爬虫来说，学**成本会比较大。而且不能只计算一个人的学**成本，如果软件需要团队开发或者交接，那就是很多人的学**成本了。软件的调试也不是那么容易。还有一些ruby、php的爬虫，这里不多评价。的确有一些非常小型的数据采集任务，用ruby或者php很方便。但是选择这些语言的开源爬虫，一方面要调研一下相关的生态圈，还有就是，这些开源爬虫可能会出一些你搜不到的BUG（用的人少、资料也少）4、反爬虫技术因为搜索引擎的流行，网络爬虫已经成了很普及网络技术，除了专门做搜索的Google，Yahoo，微软，百度以外，几乎每个大型门户网站都有自己的搜索引擎，**小小叫得出来名字得就几十种，还有各种不知名的几千几万种，对于一个内容型驱动的网站来说，受到网络爬虫的光顾是不可避免的。一些智能的搜索引擎爬虫的爬取频率比较合理，对网站资源消耗比较少，但是很多糟糕的网络爬虫，对网页爬取能力很差，经常并发几十上百个请求循环重复抓取，这种爬虫对中小型网站往往是毁灭性打击，特别是一些缺乏爬虫编写经验的程序员写出来的爬虫破坏力极强，造成的网站访问压力会非常大，会导致网站访问速度缓慢，甚至无法访问。一般网站从三个方面反爬虫：用户请求的Headers，用户行为，网站目录和数据加载方式。前两种比较容易遇到，大多数网站都从这些角度来反爬虫。第三种一些应用ajax的网站会采用，这样增大了爬取的难度。4.1 通过Headers反爬虫从用户请求的Headers反爬虫是最常见的反爬虫策略。很多网站都会对Headers的User-Agent进行检测，还有一部分网站会对Referer进行检测（一些资源网站的防盗链就是检测Referer）。如果遇到了这类反爬虫机制，可以直接在爬虫中添加Headers，将浏览器的User-Agent复制到爬虫的Headers中；或者将Referer值修改为目标网站域名。对于检测Headers的反爬虫，在爬虫中修改或者添加Headers就能很好的绕过。[评论：往往容易被忽略，通过对请求的抓包分析，确定referer，在程序中模拟访问请求头中添加]4.2 基于用户行为反爬虫还有一部分网站是通过检测用户行为，例如同一IP短时间内多次访问同一页面，或者同一账户短时间内多次进行相同操作。

大数据技术的薪资高相对应的在学习上有一定的难度，有坚实的Java基础或者其他技术的开发经验，再学习大数据技术会轻松一些。大数据开发五个月时间依次掌握：Java语言基础，HTML、CSS与JavaScript，JavaWeb和数据库，Linux基础，Hadoop生态体系，Spark生态体系，Storm实时开发等专业技术。

对于程序员来说，大部分都是学习的编程开发语言，而编程也一直是互联网软件开发领域的主流编程语言之一。今天，我们就一起来了解一下，的生态圈都包含了哪些框架。的生态环境开放、自由，在Sun/Oracle、Google、Apache、Eclipse基金会等各大厂商，还有技术大牛的共同努力下，的生态圈异常繁荣，各种优秀的开源框架层出不穷。SpringBootSpringBoot是Pivotal团队推出的一个支持快速开发的框架，伴随Spring4.0而生，继承了Spring的优秀特质，简化了使用Spring编码、配置、部署的过程，使项目的开发变得简单、敏捷。SpringCloudSpringCloud是基于SpringBoot的一整套分布式系统下的微服务构建框架，包含了众多的子项目，如SpringCloudConfig、SpringCloudStream等。Hadoop/SparkHadoop是个获得极大应用的大数据框架，是大数据领域标志性的解决方案。Spark通过完善的内存计算和处理优化，极大的提升了速度，是具备流处理能力的下一代批处理框架。Spark体系还包括一系列附加库，如SparkStreaming、SparkMLlib、SparkGraphX、SparkNet、CaffeOnSpark等。KafkaKafka是LinkedIn使用Scala开发的一个分布式消息中间件，可以实现不同应用之间的松耦合，由于其可扩展、高吞吐、低延迟、高可靠等特性而被广泛使用。ElasticSearchElasticSearch是基于Lucene的实时分布式搜索引擎，昌平北大青鸟认为由于其搜索稳定、可靠，速度快、安装方便等特点，是使用广泛的开源搜索引擎之一。NutchNutch是Apache旗下的高度可扩展、可伸缩、可插拔的开源网络爬虫框架，功能完整。当然爬出框架还有很多：Heritrix、Crawler4j、WebCollector、WebMagic、SeimiCrawler、HtmlUnit等，可根据实际项目需要选择。在爬虫领域，Python可能使用的更多一些，入门也简单。爬虫的难点不在于语言的选择，无论、Python都可以胜任，关键还是反反爬策略的制定，以及各种实战的积累。

10集。《珠光璀璨》是由萨拉萨瓦蒂·翁索姆佩奇执导，纳瓦希·普潘塔奇斯、娜琳迪帕·莎功昂格派主演的泰国爱情剧。该剧于2021年5月10日在泰国3台播出，共10集。剧情：Praomook在一家夜总会工作，赚钱并偿还债务。她与Chalunthorn无法和睦相处因为Chalunthorn误会了她，认为她是个坏女孩。有一天，Chalunthorn的父母要求Praomook嫁给Chalunthorn，以消除他的厄运。她接受提议只是为了报复他。Chalunthorn假装是同性恋以避免她，但Praomook不相信。他们终究爱上了彼此，但他们的爱情受到阻碍。Chalunthorn的前女友Treenutch打算报仇同时试图把Chalunthorn抢回来。还有Praomook家庭和Chalunthorn的竞争对手Maithong。

RewriteCond %{HTTP_USER_AGENT} Nutch [NC]RewriteRule ^(.*).php$ /error.html [R,NC]HTTP_USER_AGENT是用正则来匹配，去掉星号勉强可以，建议把完整的user-agent帖出来，然后再根据实际情况来写。

创始人 ：人称Hadoop之父的 Doug Cutting ，Apache软件基金会主席，是Lucene、Nutch 、Hadoop等项目的发起人。 最开始Hadoop只是Apache Lucene的子项目Nutch的一部分。 Lucene 是全球第一个开源的全文检索引擎工具包，想必做过Javaweb的搜索功能的同学都接触过。 它有完成的查询引擎和部分文本分析引擎。 Nutch 基于Lucene，并具有网页抓取和解析的功能，可以实现一个搜索引擎的开发，但是如果投入使用的话就必须在极短时间内做出反应，并且能够实现短时间内对亿级数量的网页进行分析处理，这就需要考虑分布式任务处理、故障恢复、负载均衡这些问题。 后来Doug Cutting 借鉴谷歌的 Google File System 和 MapReduce:Simplified Data Processing On Large Clusters 两篇论文，移植了其中的技术，并将其命名为：Hadoop。

hadoop是开源软件。。各个公司都有版本，比如Apache Hadoop和Intel Hadoop，不过使用比较多的是apache hadoop

塔纳查·威吉翁通塔纳查·威吉翁通（Mond），1997年1月25日出生于泰国曼谷，泰国、中国、印度混血，泰国男演员。中文名：塔纳查·威吉翁通外文名：TanutchaiVijitvongthong、____________________别名：Mond、TanutchaiWijitwongthong国籍：泰国星座：水瓶座出生地：曼谷出生日期：1997年1月25日职业：演员毕业院校：曼谷大学经纪公司：GmmGrammy代表作品：《水男孩》演艺经历2017年，出演电视剧《水男孩》，饰演游泳社的Kluay学长，喜欢欺负Chi学弟。2018年，出演电视剧《爱我你再亲亲我》饰演Matt。个人生活Mond的姐姐是泰国3台女演员查莉达·薇吉翁彤。主要作品参演电视剧审判-2018-08-09，饰演Namnhao/Namnuea爱我你再亲亲我-2018-04-22，饰演Momit租赁男友-2018，饰演Actor水男孩-2017-04-09，饰演Kluay

有些人问，开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的？这里按照我的经验随便扯淡一下： 上面说的爬虫，基本可以分3类： 1.分布式爬虫：Nutch 2.JAVA单机爬虫：Crawler4j、WebMagic、WebCollector

hadoop是用Java写的,2005年12月-- Nutch移植到新的框架，Hadoop在20个节点上稳定运行。2004年-- 最初的版本（称为HDFS和MapReduce）由Doug Cutting和Mike Cafarella开始实施。2004年9月30日18:00PM，J2SE1.5发布，成为Java语言发展史上的又一里程碑。为了表示该版本的重要性，J2SE1.5更名为Java SE 5.0 　　2005年6月，JavaOne大会召开，SUN公司公开Java SE 6。也就是说6.0及以上是支持的

1、Scrapy：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。它是很强大的爬虫框架，可以满足简单的页面爬取，比如可以明确获知url pattern的情况。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面，如weibo的页面信息，这个框架就满足不了需求了。它的特性有：HTML, XML源数据 选择及提取 的内置支持；提供了一系列在spider之间共享的可复用的过滤器(即 Item Loaders)，对智能处理爬取数据提供了内置支持。2、Crawley：高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。　　3、Portia：是一个开源可视化爬虫工具，可让使用者在不需要任何编程知识的情况下爬取网站！简单地注释自己感兴趣的页面，Portia将创建一个蜘蛛来从类似的页面提取数据。简单来讲，它是基于scrapy内核；可视化爬取内容，不需要任何开发专业知识；动态匹配相同模板的内容。　　4、newspaper:可以用来提取新闻、文章和内容分析。使用多线程，支持10多种语言等。作者从requests库的简洁与强大得到灵感，使用python开发的可用于提取文章内容的程序。支持10多种语言并且所有的都是unicode编码。　　5、python-goose:java写的文章提取工具。Python-goose框架可提取的信息包括：文章主体内容、文章主要图片、文章中嵌入的任何Youtube/Vimeo视频、元描述、元标签。　　6、Beautiful Soup:名气大，整合了一些常用爬虫需求。它是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间。Beautiful Soup的缺点是不能加载JS。　　7、mechanize:它的优点是可以加载JS。当然它也有缺点，比如文档严重缺失。不过通过官方的example以及人肉尝试的方法，还是勉强能用的。　　8、selenium:这是一个调用浏览器的driver，通过这个库你可以直接调用浏览器完成某些操作，比如输入验证码。Selenium是自动化测试工具，它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，如果在这些浏览器里面安装一个 Selenium 的插件，可以方便地实现Web界面的测试. Selenium 支持浏览器驱动。Selenium支持多种语言开发，比如 Java，C，Ruby等等，PhantomJS 用来渲染解析JS，Selenium 用来驱动以及与 Python 的对接，Python 进行后期的处理。　　9、cola:是一个分布式的爬虫框架，对于用户来说，只需编写几个特定的函数，而无需关注分布式运行的细节。任务会自动分配到多台机器上，整个过程对用户是透明的。项目整体设计有点糟，模块间耦合度较高。　　10、PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。python 脚本控制，可以用任何你喜欢的html解析包。 以上就是Python爬虫一般用的十大主流框架。这些框架的优缺点都不同，大家在使用的时候，可以根据具体场景选择合适的框架。

个人建议可以用 netty的上层封装框架 AsyncHttpClient，支持同步异步模式，API比较丰富。

spider.getStatus();//获取爬虫状态spider.getStatus().equals(Spider.Status.Running);//运行中Spider.Status.InitSpider.Status.RunningSpider.Status.Stopped

一个进程，开了一条线程去执行，那么这个线程就是主线程，一般在UI程序中，如果主线程执行CPU密集型的耗时工作（如IO操作），那么就会导致界面处于”假死“状态，直到主线程完成这个耗时的任务，所以，我们需要解决这种假死的问题，以带给用户更好的交互体验，那么就要用到多线程技术，将耗时的工作，交给后台线程执行。

开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的？这里按照我的经验随便扯淡一下：上面说的爬虫，基本可以分3类： 1.分布式爬虫：Nutch 2.JAVA单机爬虫：Crawler4j、WebMagic、WebCollector 3. 非JAVA单机爬虫：scrapy全国独享高端优质ip，高匿稳定来了解下

　　开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的？这里按照我的经验随便扯淡一下：上面说的爬虫，基本可以分3类：1.分布式爬虫：Nutch　　2.JAVA单机爬虫：Crawler4j、WebMagic、WebCollector　　3. 非JAVA单机爬虫：scrapy　　第一类：分布式爬虫　　爬虫使用分布式，主要是解决两个问题：　　1）海量URL管理　　2）网速　　现在比较流行的分布式爬虫，是Apache的Nutch。但是对于大多数用户来说，Nutch是这几类爬虫里，最不好的选择，理由如下：　　1）Nutch是为搜索引擎设计的爬虫，大多数用户是需要一个做精准数据爬取（精抽取）的爬虫。Nutch运行的一套流程里，有三分之二是为了搜索引擎而设计的。对精抽取没有太大的意义。也就是说，用Nutch做数据抽取，会浪费很多的时间在不必要的计算上。而且如果你试图通过对Nutch进行二次开发，来使得它适用于精抽取的业务，基本上就要破坏Nutch的框架，把Nutch改的面目全非，有修改Nutch的能力，真的不如自己重新写一个分布式爬虫框架了。　　2）Nutch依赖hadoop运行，hadoop本身会消耗很多的时间。如果集群机器数量较少，爬取速度反而不如单机爬虫快。

一直不明白 java中的框架是什么意思？比如就是说java的三大开源框架他们到底是个什么概念？ 其实框架很简单的，你可以认为它是一个工具，甚至一个插件。 框架的作用，就是将一个公用的，常用的技术，封装起来， 帮你处理一些基础的东西，可以让你不用再去写那些繁琐的东西。 就拿你要学的struts来说：他本质上也是用java写的，和我们自己写的类没有区别，他实现的东西我们自己也可以实现。比如接收客户端的数据，我们是用request.getParameter（）来的，但是如果有很多个参数，我们要写很多个，很麻烦。struts它就帮我们实现，不用我们写，直接写个属性，就可以得到弧其实本质还是用request.getParameter（）。。 所以你不要再在意框架是什么东西，等你接触了就知道了。你把它当做一个工具来用，这就是框架。 开源框架和开源项目有区别吗？ 相同点：它们都是开源的，都是一种项目。 不同点：框架是为了方便开发者开发的，是供开发者使用的，比如libevent网络框架。项目是指实现某一种需要而制定的方案，比如开发libevent的方案就是一个项目，使用libevent来开发网络方面的软件，又是另一个项目。 Java开源框架是什么？ 其实框架很简单的，你可以认为它是一个工具，甚至一个插件。 框架的作用，就是将一个公用的，常用的技术，封装起来， 帮你处理一些基础的东西，可以让你不用再去写那些繁琐的东西。 就拿你要学的struts来说：他本质上也是用java写的，和我们自己写的类没有区别，他实现的东西我们自己也可以实现。 比如接收客户端的数据，我们是用request.getParameter（）来的，但是如果有很多个参数，我们要写很多个，很麻烦。struts它就帮我们实现，不用我们写，直接写个属性，就可以得到。其实本质还是用request.getParameter（）。。 所以你不要再在意框架是什么东西，等你接触了就知道了。你把它当做一个工具来用，这就是框架。 前台框架：jQuery Mvc框架：Struts、spring Mvc 核心框架：Spring orm框架：Hibernate、Spring JDBC、myBatis。 开源爬虫框架各有什么优缺点 开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的？这里按照我的经验随便扯淡一下：上面说的爬虫，基本可以分3类：1.分布式爬虫：Nutch 2.JAVA单机爬虫：Crawler4j、WebMagic、WebCollector 3. 非JAVA单机爬虫：scrapy 第一类：分布式爬虫 爬虫使用分布式，主要是解决两个问题： 1）海量URL管理 2）网速 现在比较流行的分布式爬虫，是Apache的Nutch。但是对于大多数用户来说，Nutch是这几类爬虫里，最不好的选择，理由如下： 1）Nutch是为搜索引擎设计的爬虫，大多数用户是需要一个做精准数据爬取（精抽取）的爬虫。Nutch运行的一套流程里，有三分之二是为了搜索引擎而设计的。对精抽取没有太大的意义。也就是说，用Nutch做数据抽取，会浪费很多的时间在不必要的计算上。而且如果你试图通过对Nutch进行二次开发，来使得它适用于精抽取的业务，基本上就要破坏Nutch的框架，把Nutch改的面目全非，有修改Nutch的能力，真的不如自己重新写一个分布式爬虫框架了。 2）Nutch依赖hadoop运行，hadoop本身会消耗很多的时间。如果集群机器数量较少，爬取速度反而不如单机爬虫快。 3）Nutch虽然有一套插件机制，而且作为亮点宣传。可以看到一些开源的Nutch插件，提供精抽取的功能。但是开发过Nutch插件的人都知道，Nutch的插件系统有多蹩脚。利用反射的机制来加载和调用插件，使得程序的编写和调试都变得异常困难，更别说在上面开发一套复杂的精抽取系统了。而且Nutch并没有为精抽取提供相应的插件挂载点。Nutch的插件有只有五六个挂载点，而这五六个挂载点都是为了搜索引擎服务的，并没有为精抽取提供挂载点。大多数Nutch的精抽取插件，都是挂载在“页面解析”（parser）这个挂载点的，这个挂载点其实是为了解析链接（为后续爬取提供URL），以及为搜索引擎提供一些易抽取的网页信息（网页的meta信息、text文本）。 4）用Nutch进行爬虫的二次开发，爬虫的编写和调试所需的时间，往往是单机爬虫所需的十倍时间不止。了解Nutch源码的学习成本很高，何况是要让一个团队的人都读懂Nutch源码。调试过程中会出现除程序本身之外的各种问题（hadoop的问题、hbase的问题）。 5）很多人说Nutch2有gora，可以持久化数据到avro文件、hbase、mysql等。很多人其实理解错了，这里说的持久化数据，是指将URL信息（URL管理所需要的数据）存放到avro、hbase、mysql。并不是你要抽取的结构化数据。其实对大多数人来说，URL信息存在哪里无所谓。 6）Nutch2的版本目前并不适合开发。官方现在稳定的Nutch版本是nutch2.2.1，但是这个版本绑定了gora-0.3。如果想用hbase配合nutch（大多数人用nutch2就是为了用hbase），只能使用0.90版本左右的hbase，相应的就要将hadoop版本降到hadoop 0.2左右。而且nutch2的官方教程比较有误导作用，Nutch2的教程有两个，分别是Nutch1.x和Nutch2.x，这个Nutch2.x官网上写的是可以支持到hbase 0.94。但是实际上，这个Nutch2.x的意思是Nutch2.3之前、Nutch2.2.1之后的一个版本，这个版本在官方的SVN中不断更新。而且非常不稳定（一直在修改...... 开源，免费的应用快速开发框架是什么意思 ThinkAndroid是一个免费的开源的、简易的、遵循Apache2开源协议发布的Android开发框架，其开发宗旨是简单、快速的进行Android应用程序的开发，包含Android mvc、简易sqlite orm、ioc模块、封装Android clitent的模块,具有快速构建文件缓存功能，无需考虑缓存文件的格式，都可以非常轻松的实现缓存，它还基于文件缓存模块实现了图片缓存功能，在android中加载的图片的时候，对oom的问题，和对加载图片错位的问题都轻易解决。他还包括了一个手机开发中经常应用的实用工具类，如日志管理，配置文件管理，android下载器模块，网络切换检测等等工具。 目前ThinkAndroid主要有以下模块： MVC模块：实现视图与模型的分离。 ioc模块：android中的ioc模块，完全注解方式就可以进行UI绑定、res中的资源的读取、以及对象的初始化。 数据库模块：android中的orm框架，使用了线程池对sqlite进行操作。 模块：通过client进行封装数据请求，支持异步及同步方式加载。 缓存模块：通过简单的配置及设计可以很好的实现缓存，对缓存可以随意的配置 图片缓存模块：imageview加载图片的时候无需考虑图片加载过程中出现的oom和android容器快速滑动时候出现的图片错位等现象。 配置器模块：可以对简易的实现配对配置的操作，目前配置文件可以支持Preference、Properties对配置进行存取。 日志打印模块：可以较快的轻易的是实现日志打印，支持日志打印的扩展，目前支持对sdcard写入本地打印、以及控制台打印 下载器模块:可以简单的实现多线程下载、后台下载、断点续传、对下载进行控制、如开始、暂停、删除等等。 网络状态检测模块：当网络状态改变时，对网络状态进行检测。 PHP开源框架是什么意思？ 开源就是开放源代码也就是免费~ 框架川楼说的很清楚了 我就不多说了 框架当然都是用本语言的写的了java的框架都是用java写的c#的框架都是用c#写的 php的肯定也是用php写的了 有谁能说明下安卓SDK和开源框架都是什么意思 30分 百度下就可以了啊，要多动手 前端框架跟经常听到的php开源框架之类有什么不同吗 PHP开源框架针对服务器脚本开发，例如CakePHP，CodeIgniter等。 前端框架注重浏览器前端操作，例如jQuery，extJS等。 在系统整体设计上，两者之间会产生联系。 希望有所帮助，谢谢！ 优秀的开源 Web 应用开发框架有哪些 jquery、Extjs、prototype、kissy，bootstrap、jQuery UI、easyui、flex、yui、Dojo等。里面有侧重js的框架和侧重css的框架。 开源爬虫框架各有什么优缺点 无论是各种什么爬虫的开源框架，都有一个共同的显著性缺点，就是功能限制大。本人是写 C++爬虫的，给你推荐一下我自己写的通用性爬虫软件吧。 我写的前嗅ForeSpider爬虫工具，具备全面的采集范围、精准的数据精度、绝佳的抓取性能、简易的可视化操作、智能的自动化采集，使企业能够以很少的人工成本，快速获取互联网中结构化或非结构化的数据。 软件几乎可以采集互联网上所有公开的数据，通过可视化的操作流程，从建表、过滤、采集到入库一步到位。支持正则表达式操作，更有强大的面向对象的脚本语言系统。 单机采集能力可达4000-8000万，日采集能力超过500万。服务器单机采集能力可达8亿-16亿，日采集能力超过2000万。并行情况下可支撑百亿以上规模数据链接，堪与百度等搜索引擎系统媲美。 总的来说特点就是： （1）采集全面。基本上就是把网址链接输进去一步步操作就OK。有特殊情况需要特殊处理才能采集的，也支持配置脚本。 （2）人性化。支持动态调整、自动定时采集、模板在线更新。 （3）操作效率高。前嗅ForeSpider爬虫的操作都是可视化的，而且你要采集的东西在它这个爬虫软件内可以直接预览，让我在采集数据之前直接先把无效数据剔除干净，学习成本很低。 （4）精度高。数据提取同样可进行可视化操作，此外支持正则表达式和脚本配置更加做到精准采集。 （5）功能强大。支持验证码识别、关键字搜索、登录采集、HTTPS协议。再也不用担心登录和验证码限制了！！ （6）采集性能强大：单机采集能力可达4000-8000万，日采集能力超过500万。服务器单机采集能力可达8亿-16亿，日采集能力超过2000万。并行情况下可支撑百亿以上规模数据链接，堪与百度等搜索引擎系统媲美。

可以用bing查一下，ifont那个可以

开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的？这里按照我的经验随便扯淡一下：上面说的爬虫，基本可以分3类：1.分布式爬虫：Nutch2.JAVA单机爬虫：Crawler4j、WebMagic、WebCollector3. 非JAVA单机爬虫：scrapy第一类：分布式爬虫爬虫使用分布式，主要是解决两个问题：1）海量URL管理2）网速现在比较流行的分布式爬虫，是Apache的Nutch。但是对于大多数用户来说，Nutch是这几类爬虫里，最不好的选择，理由如下：1）Nutch是为搜索引擎设计的爬虫，大多数用户是需要一个做精准数据爬取（精抽取）的爬虫。Nutch运行的一套流程里，有三分之二是为了搜索引擎而设计的。对精抽取没有太大的意义。也就是说，用Nutch做数据抽取，会浪费很多的时间在不必要的计算上。而且如果你试图通过对Nutch进行二次开发，来使得它适用于精抽取的业务，基本上就要破坏Nutch的框架，把Nutch改的面目全非，有修改Nutch的能力，真的不如自己重新写一个分布式爬虫框架了。2）Nutch依赖hadoop运行，hadoop本身会消耗很多的时间。如果集群机器数量较少，爬取速度反而不如单机爬虫快。

HDFS命名空间采用层次化（树状——译者注）的结构存放文件和目录。文件和目录用NameNode上的inodes表示。Inode记录了权限，修改和访问时间，命名空间，磁盘容量等属性。文件内容会被分成不同的“大块”（典型分块策略是每块128M，不过用户可以对每个文件的分块大小进行选择）。NameNode负责维护命名空间树以及与DataNode上文件分块的映射关系。目前采用的设计结构是，没一个集群只有一个NameNode,一个NameNode可以对应多个DataNode以及成千上万的HDFS客户端。一个DataNode可以同步执行多个应用任务。

hdfs属于云存储系统架构。Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统（DistributedFileSystem）。和现有的分布式文件系统有很多共同点。但同时，和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为ApacheNutch搜索引擎项目的基础架构而开发的。HDFS是ApacheHadoopCore项目的一部分。

在这个大数据时代，面对大数据的薪资诱惑，前景诱惑，相信想学习大数据的人已经不在少数了。在学习大数据技术之前，三思而后行才是智者所为。今天千锋小编先解决大家的头一思——大数据工程师培训学费多少。钱虽然不是万能的，但没有钱却是万万不能的。钱在很多用途上都有着不同的价值，有大有小。有的人花钱享受生活，有的人花钱投资项目，有的人花钱投资自己。每个人都有对钱的使用权，就像对于学习大数据而言，就是花钱给自己投资，为自己的未来投资！每一个有远见的人都懂得为自己的未来投资，但前提是有价值的投资。大数据工程师培训，对于有志于在互联网行业走技术路线的人来说便是一个非常有价值的投资，但对于不想走大数据技术路线的人来说就是一个失败的投资。在学习每一个技术之前都要考虑的一点是：自己是不是真的想学习这门技术，是不是愿意花心思和时间去在这件事上下功夫，即使在短时间内达不到自己的目标，也是有毅力支撑下去。如果你已经下定决心学习大数据，并想在大数据行业一展自己的风采，那下面的信息对你肯定是有价值的。大数据工程师培训学费多少？对与大数据学习是分为线下班和线上班还有视频教程类的，每一种学习方式花费不同，获得效果也不同。大数据视频教程学习：网上有很多这样或那样的视频教程，从几块到几十再到几百，价格不等。质量参差不齐，有的还是不全的，所以小编认为如果想对以后的自己负责的话，还是绕道而行吧！大数据线上班学习：对于线上班的学费一般是在几千元不等。线上班的学习，就相当于直播式教学，对自己本身的自制力要求很高，跟上讲师的节奏是关键，这种模式适合有一定基础、一定项目经验的同学学习，能够在一定程度上提升自己的技术能力。应该在该模式下学习，只有理论知识，没有实战项目，对于初学者来说很难掌握到大数据技术的精髓！大数据线下班学习：全程面授线下班的学习费用在两万左右吧！毕竟越来越多的人开始注重培训的质量，而讲师的成本又是培训企业的主要支出之一，加上企业实战项目的配备和电脑等硬件的提供，更更关键的一点是全程面授的大数据培训班高薪就业率都是很高的，这也是为什么线下班虽贵，但还是备受欢迎的原因！大数据工程师培训费用多少，相信在千锋小编的详细介绍下，大家已经有了自己的打算，此外小编还有一个建议：学习大数据，试听真的很重要，一来是可以看看自己适不适合学习大数据，再就是看看该大数据培训机构的教学模式是不是合自己的心意。千锋大数据长达两周的免费试听课程，感兴趣的可以联系小编，为你安排试听！

HDFS命名空间采用层次化（树状——译者注）的结构存放文件和目录。文件和目录用NameNode上的inodes表示。Inode记录了权限，修改和访问时间，命名空间，磁盘容量等属性。文件内容会被分成不同的“大块”（典型分块策略是每块128M，不过用户可以对每个文件的分块大小进行选择）。NameNode负责维护命名空间树以及与DataNode上文件分块的映射关系。目前采用的设计结构是，没一个集群只有一个NameNode,一个NameNode可以对应多个DataNode以及成千上万的HDFS客户端。一个DataNode可以同步执行多个应用任务。

大数据开发工程师课程体系——Java部分。第一阶段：静态网页基础1、学习Web标准化网页制作，必备的HTML标记和属性2、学习HTML表格、表单的设计与制作3、学习CSS、丰富HTML网页的样式4、通过CSS布局和定位的学习、让HTML页面布局更加美观5、复习所有知识、完成项目布置第二阶段：JavaSE+JavaWeb1、掌握JAVASE基础语法2、掌握JAVASE面向对象使用3、掌握JAVASEAPI常见操作类使用并灵活应用4、熟练掌握MYSQL数据库的基本操作，SQL语句5、熟练使用JDBC完成数据库的数据操作6、掌握线程，网络编程，反射基本原理以及使用7、项目实战 + 扩充知识：人事管理系统第三阶段：前端UI框架1、JAVASCRIPT2、掌握Jquery基本操作和使用3、掌握注解基本概念和使用4、掌握版本控制工具使用5、掌握easyui基本使用6、项目实战+扩充知识：项目案例实战POI基本使用和通过注解封装Excel、druid连接池数据库监听,日志Log4j/Slf4j第四阶段：企业级开发框架1、熟练掌握spring、spring mvc、mybatis/2、熟悉struts23、熟悉Shiro、redis等4、项目实战：内容管理系统系统、项目管理平台流程引擎activity，爬虫技术nutch,lucene，webService CXF、Tomcat集群 热备 MySQL读写分离以上Java课程共计384课时，合计48天！大数据开发工程师课程体系——大数据部分第五阶段：大数据前传大数据前篇、大数据课程体系、计划介绍、大数据环境准备&搭建第六阶段：CentOS课程体系CentOS介绍与安装部署、CentOS常用管理命令解析、CentOS常用Shell编程命令、CentOS阶段作业与实战训练第七阶段：Maven课程体系Maven初识:安装部署基础概念、Maven精讲:依赖聚合与继承、Maven私服:搭建管理与应用、Maven应用:案列分析、Maven阶段作业与实战训练第八阶段：HDFS课程体系Hdfs入门:为什么要HDFS与概念、Hdfs深入剖析:内部结构与读写原理、Hdfs深入剖析:故障读写容错与备份机制、HdfsHA高可用与Federation联邦、Hdfs访问API接口详解、HDFS实战训练、HDFS阶段作业与实战训练第九阶段：MapReduce课程体系MapReduce深入剖析:执行过程详解、MapReduce深入剖析:MR原理解析、MapReduce深入剖析:分片混洗详解、MapReduce编程基础、MapReduce编程进阶、MapReduc阶段作业与实战训练第十阶段：Yarn课程体系Yarn原理介绍:框架组件流程调度第十一阶段：Hbase课程体系Yarn原理介绍:框架组件流程调度、HBase入门:模型坐标结构访问场景、HBase深入剖析:合并分裂数据定位、Hbase访问Shell接口、Hbase访问API接口、HbaseRowkey设计、Hbase实战训练第十二阶段：MongoDB课程体系MongoDB精讲:原理概念模型场景、MongoDB精讲:安全与用户管理、MongoDB实战训练、MongoDB阶段作业与实战训练第十三阶段：Redis课程体系Redis快速入门、Redis配置解析、Redis持久化RDB与AOF、Redis操作解析、Redis分页与排序、Redis阶段作业与实战训练第十四阶段：Scala课程体系Scala入门:介绍环境搭建第1个Scala程序、Scala流程控制、异常处理、Scala数据类型、运算符、Scala函数基础、Scala常规函数、Scala集合类、Scala类、Scala对象、Scala特征、Scala模式匹配、Scala阶段作业与实战训练第十五阶段：Kafka课程体系Kafka初窥门径:主题分区读写原理分布式、Kafka生产&消费API、Kafka阶段作业与实战训练第十六阶段：Spark课程体系Spark快速入门、Spark编程模型、Spark深入剖析、Spark深入剖析、SparkSQL简介、SparkSQL程序开发光速入门、SparkSQL程序开发数据源、SparkSQL程序开DataFrame、SparkSQL程序开发DataSet、SparkSQL程序开发数据类型、SparkStreaming入门、SparkStreaming程序开发如何开始、SparkStreaming程序开发DStream的输入源、SparkStreaming程序开发Dstream的操作、SparkStreaming程序开发程序开发--性能优化、SparkStreaming程序开发容错容灾、SparkMllib 解析与实战、SparkGraphX 解析与实战第十七阶段：Hive课程提体系体系结构机制场景、HiveDDL操作、HiveDML操作、HiveDQL操作、Hive阶段作业与实战训练第十八阶段：企业级项目实战1、基于美团网的大型离线电商数据分析平台2、移动基站信号监测大数据3、大规模设备运维大数据分析挖掘平台4、基 于互联网海量数据的舆情大数据平台项目大数据部分共计学习656课时，合计82天！0基础学员估计学习1040课时，150天！

hdfs是HadoopDistributedFileSystemHadoop的缩写分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以实现流的形式访问（streaming access）文件系统中的数据。HDFS采用了主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件的访问操作；集群中的DataNode管理存储的数据。

包括Java基础，前端技术（HTML，CSS，javascript），JavaWeb和数据库，Linux基础，Hadoop生态体系，Spark生态体系，Storm实时开发等，在选择的时候建议是找小班授课比较好，我弟是在光环学的，小班授课，找培训班一定要小班教学，人数过多，一个老师根本照顾不过来，老师和学员良好的沟通是获取项目经验的重要渠道。

　　HDFS命名空间采用层次化（树状——译者注）的结构存放文件和目录。文件和目录用NameNode上的inodes表示。Inode记录了权限，修改和访问时间，命名空间，磁盘容量等属性。文件内容会被分成不同的“大块”（典型分块策略是每块128M，不过用户可以对每个文件的分块大小进行选择）。NameNode负责维护命名空间树以及与DataNode上文件分块的映射关系。目前采用的设计结构是，没一个集群只有一个NameNode,一个NameNode可以对应多个DataNode以及成千上万的HDFS客户端。一个DataNode可以同步执行多个应用任务。

1、数据收集2、大数据智能化分析3、大数据信息挖掘大数据技术就业方向?1.互联网电商方向作为当前最热门的风口，互联网电商是互联网领域应用于实践最多的地方，也是人才需求量最大的部分。大数据技术与应用专业毕业生可以从事互联网电商运营维护、日常管理、消费大数据分析、金融数据风控管理等相关技术工作。目前大到已经上市的头部电商平台小到社区电商，这些技术人才的缺口都比较大。2.零售金融方向零售金融与互联网电商虽然同属于消费大范畴领域，但具体而言，零售电商的范围要小于互联网电商，比互联网电商更需要精准对接消费群体和消费群体的爱好、收入等特征。大数据技术与应用专业毕业生可以从事基于计算机等...开发等方面的工作。适合在零售金融企业承担相关技术服务工作，也可在IT领域从事计算机应用工作。

　　Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。Hadoop分布式文件系统架构1 NameNode（名称节点）　　HDFS命名空间采用层次化（树状——译者注）的结构存放文件和目录。2 映像和日志　　Inode和定义metadata的系统文件块列表统称为Image(映像).NameNode将整个命名空间映像保存在RAM中。而映像的持久化记录则保存在NameNode的本地文件系统中，该持久化记录被称为Checkpoint(检查点)。NameNode还会记录HDFS中写入的操作，并将其存入一个记录文件，存放在本地文件系统中，这个记录文件被叫做Journal(日志)。3 数据节点　　DataNode上的每一个块(block)副本都由两个本地文件系统上的文件共同表示。其中一个文件包含了块（block）本身所需包含的数据，另一个文件则记录了该块的元数据，包括块所含数据大小和文件生成时间戳。数据文件的大小等于该块（block）的真实大小，而不是像传统的文件系统一样，需要用额外的存储空间凑成完整的块。因此，如果一个块里只需要一半的空间存储数据，那么就只需要在本地系统上分配半块的存储空间即可。4 HDFS客户端　　用户应用程序通过HDFS客户端连接到HDFS文件系统，通过库文件可导出HDFS文件系统的接口。像很多传统的文件系统一样，HDFS支持文件的读、写和删除操作，还支持对目录的创建和删除操作。与传统的文件系统不同的是，HDFS提供一个API用以暴露文件块的位置。这个功能允许应用程序。5 检查点节点　　HDFS中的NameNode节点，除了其主要职责是相应客户端请求以外，还能够有选择地扮演一到两个其他的角色，例如做检查点节点或者备份节点。该角色是在节点启动的时候特有的。6 备份节点　　HDFS的备份节点是最近在加入系统的一项特色功能。就像CheckpintNode一样，备份节点能够定期创建检查点，但是不同的是，备份节点一直保存在内存中，随着文件系统命名空间的映像更新和不断更新，并与NameNode的状态随时保持同步。7 系统更新和文件系统快照　　在软件更新的过程中，由于软件的bug或者人为操作的失误，文件系统损坏的几率会随之提升。在HDFS中创建系统快照的目的，就在于把系统升级过程中可能对数据造成的隐患降到最低。快照机制让系统管理员将当前系统状态持久化到文件系统中，这样以来，如果系统升级后出现了数据丢失或者损坏，便有机会进行回滚操作，将HDFS的命名空间和存储状态恢复到系统快照进行的时刻。