Nutch-2.2.1系列之一Nutch简介||及jar包问题解决

问题导读

1、什么是Nutch，用于做什么？
2、Nutch-2.2.1安装时如果无法从资源库下载jar包，怎么解决？

Nutch起源于ApacheLucene项目，已经是一个高度可扩展和可伸缩的开源网络爬虫软件项目，并且实现了多元化，包括两个版本的代码库，即：
1.Nutch1.x版本：一个成熟的产品化的爬虫。1.x版本依赖于Apache Hadoop的数据结构，并使用了细粒度配置。Hadoop对于批处理提供了很强大的功能。
2. Nutch2.x的版本：一个新兴的、直接受1.x版本启发的替代方案。该版本在存储的关键领域不与1.x版本同，新版本通过使用 Apache Gora™处理对象的持久映射使得存储从任何特定的底层数据存储分离出来。这意味着我们可以实现一个极其灵活多变的、用来存储任何东西的模型（抓取时间、状态、内容、分析的文本、外链接、内链接等）使其集成到许多NoSQL存储解决方案。

上面的内容直接翻译自Nutch的官方网站http://nutch.apache.org/，从上面的信息可以了解到：
1. Nutch是一个开源的网络爬虫项目，更具体些是一个爬虫软件，可以直接用于抓取网页内容。
2. 现在Nutch分为两个版本，1.x和2.x。1.x最新版本为1.7，2.x最新版本为2.2.1。
3. 两个版本的主要区别在于底层的存储不同。1.x版本是基于Hadoop架构的，底层存储使用的是HDFS，而2.x通过使用Apache Gora，使得Nutch可以访问HBase、Accumulo、Cassandra、MySQL、DataFileAvroStore、AvroStore等NoSQL。

现在大体上已经对Nutch有了大概的了解，那为什么要学习Nutch呢？学习Nutch的初衷是源于当今比较流行的大数据，开始的想法是获取网络上的信息，经由Hadoop处理后存储在HBase中，方便后续数据分析。对那些想学习大数据而又苦于没有数据源的人，我们可以通过Nutch自己动手构建大规模数据，创建属于自己的大数据。

Nutch-2.2.1安装时无法从资源库下载jar包的问题
在Nutch2.2.1目录下执行ant命令后，在从http://repo1.maven.org/maven2/下载所需的jar包时出现下图出现的问题，

导致依赖的jar无法正常下载，编译失败。此问题的原因是http://repo1.maven.org/maven2/不存在，解决方案是寻找能使用的资源库URL。经过测试http://mirrors.ibiblio.org/maven2/在浏览器下可以正常访问，用此URL替换\ivy目录下ivysettings.xml中的http://repo1.maven.org/maven2/，可以正常下载所依赖的jar包，编译成功。
<property name="repo.maven.org" value="http://repo1.maven.org/maven2/" override="false"/>

或者修改hosts文件，添加72.21.81.253 repo1.maven.org，该方法也可以解决下载问题

相关文章推荐

Nutch-2.2.1系列之二编译部署Nutch及常见问题
http://www.aboutyun.com/thread-10049-1-1.html

Nutch-2.2.1系列之三Nutch配置文件||Nutch与Hbase结合使用时常见问题
http://www.aboutyun.com/thread-10050-1-1.html

Nutch-2.2.1系列之四Nutch抓取数据在HBase中的存储
http://www.aboutyun.com/thread-10051-1-1.html

Nutch-2.2.1学习之五以伪分布模式运行Nutch
http://www.aboutyun.com/thread-10078-1-1.html

Nutch-2.2.1系列之六Nutch与Solr的集成
http://www.aboutyun.com/thread-10079-1-1.html

Nutch-2.2.1系列之七过滤抓取数据
http://www.aboutyun.com/thread-10080-1-1.html

Nutch-2.2.1系列之八Nutch过滤URL实践
http://www.aboutyun.com/thread-10081-1-1.html