Nutch-2.2.1系列之三Nutch配置文件||Nutch与Hbase结合使用时常见问题

问题导读
1、如何配置Nutch文件，整合Hbase？
2、使用Nutch的生态系统，哪些最易出错？
3、如果Nutch和HBase的版本问题引起错误，怎么处理？



本文接上一篇：Nutch-2.2.1学习之二编译部署Nutch及常见问题


Nutch-2.2.1学习之Nutch配置文件

Nutch2.2.1的配置文件存放在Nutch目录下的conf文件夹下，对此文件夹下的配置文件做的修改，需要执行ant命令重新编译Nutch，由于编译所依赖的jar都已经缓存，重新编译花费的时间是很短暂的。对该文件夹下的文件所做的修改，在重新编译后也会更新到runtime目录下的deploy和local目录下的conf目录中，所以大家不要奇怪，明明只是修改了根目录下的conf中的配置文件，local和deploy目录中的配置文件也做了相同的修改。现在就来看看conf目录下有哪些重要的配置文件。

Conf目录下的文件有：
automaton-urlfilter.txt、gora-accumulo-mapping.xml、hbase-site.xml、nutch-site.xml、regex-urlfilter.txt、suffix-urlfilter.txt、 configuration.xsl、gora-cassandra-mapping.xml、httpclient-auth.xml、parse-plugins.dtd、schema-solr4.xml、domain-suffixes.xml、gora-hbase-mapping.xml、log4j.properties、parse-plugins.xml、schema.xml、domain-suffixes.xsd、gora.properties、nutch-conf.xsl、prefix-urlfilter.txt、solrindex-mapping.xml、domain-urlfilter.txt、gora-sql-mapping.xml、nutch-default.xml、regex-normalize.xml、subcollections.xml。

在这些文件中以txt结尾的文件用于定义爬取网页时的过滤规则，比如正则表达式过滤、前缀过滤、后缀过滤等，有些文件是用于solr索引的，比如schema-solr4.xml、schema.xml等，对于刚开始学习Nutch的人（包括自己），比较重要的文件有三个：nutch-site.xml、gora.properties、nutch-default.xml。nutch-default.xml保存了Nutch所有可用的属性名称及默认的值，当需要修改某些属性值时，可以拷贝该文件中的属性到nutch-site.xml中，并修改为自定义的值。不做任何配置修改的情况，文件nutch-site.xml不包含任何属性和属性值，该文件用于保存用户调整Nutch配置后的属性。gora.properties用于配置Gora的属性，由于Nutch2.x版本存储采用Gora访问Cassandra、HBase、Accumulo、Avro等，需要在该文件中制定Gora属性，比如指定默认的存储方式gora.datastore.default= org.apache.gora.hbase.store.HBaseStore，该属性的值可以在nutch-default.xml中查找storage.data.store.class属性取得，在不做gora.properties文件修改的情况下，存储类为org.apache.gora.memory.store.MemStore，该类将数据存储在内存中，仅用于测试目的。本人在学习Nutch2.2.1的过程中，存储使用了HBase，所以在gora.properties中添加了gora.datastore.default=org.apache.gora.hbase.store.HBaseStore，在nutch-site.xml中添加了

<property>  
     <name>storage.data.store.class</name>  
     <value>org.apache.gora.hbase.store.HBaseStore</value>  
     <description>Defaultclass for storing data</description>  
</property>  
复制代码

做完这些修改后，还要修改ivy目录下的ivy.xml文件，下载依赖的jar包，找到这段代码<dependencyorg="org.apache.gora" name="gora-core" rev="0.3"conf="*->default"/>，在其下方定义了不同存储方式所依赖的jar包，使用某一特定存储时，去掉注释即可，比如<dependency org="org.apache.gora"name="gora-hbase" rev="0.3" conf="*->default"/>，这样就可以下载HBase相关的jar包。做完这些修改后，在Nutch主目录下执行ant命令，重新编译。







Nutch-2.2.1学习之Nutch与Hbase结合使用时常见问题

   Nutch-2.2.1不再使用单一的存储结构，而是通过使用Apache Gora，是得Nutch-2.2.1可以将数据存储在诸如HBase、Accumulo、Cassandra、MySQL、DataFileAvroStore、AvroStor中。这一变化在提供更多选择，更多灵活性的同时，势必增加了Nutch的复杂性。相信很多人在从Nutch-1.x版本过渡到Nutch-2.x版本时都或多或少的遇到了各种问题，这篇文章主要记录了笔者在学习Nutch-2.2.1结合HBase使用时遇到的一些问题，希望对独到这篇文章的人有些帮助或者提供一些解决自己特定问题的思路。
        目前HBase的最新稳定版本为HBase-0.94.14，而编译Nutch-2.2.1时依赖的gora-hbase版本为0.3，gora-hbase依赖的hbase版本为0.90.4，这就要求hbase的版本为0.90.4，与最新的hbase版本还是有较大差距的。笔者也曾经试图将Nutch-2.2.1与hbase-0.94.14结合起来，方法是将hbase的jar包复制到Nutch目录中runtime下local目录中lib目录下，但失败了。原因是gora-hbase调用hbase中的方法有的已经发生了变化，也曾试图下载gora-hbase源代码使用hbase-0.94.14的jar包重新编译，出现了一些gora-hbase实现hbase的接口，但这些hbase接口新增了一些方法，若想编译成功就必须实现成功。最后查看了Apache Gora的最新版本0.4的问题跟踪列表，找到了关于hbase的问题，原文如下：

We haven't touched the HBase versioning in a good while. When a new user heads over to the HBase site, they are directed to the 'stable' release which is currently sitting at 0.94.4.   
  
I realise that we have (legacy) support for the 0.90.X branch of HBase, but from what I can see, there is no current justification for this decision and it is also not within any strategic short/medium/long term objectives of Gora.   
  
This issue should   
  
*Enable us to discuss what Hbase branch we wish to support moving forward   
*Actually implement the upgrade which gathers most consensus.
复制代码

       该段评论的url链接为https://issues.apache.org/jira/browse/GORA-201，大家可以自己阅读一下更多的讨论。从这些讨论中可以得到gora-hbase是支持hbase-0.92.X版本的，所以在尝试最新的hbase版本失败后，笔者决定将hbase的版本将为0.92.1，读者可以从http://archive.apache.org/dist/hbase/下载自己喜欢的版本。下面这些问题都是在使用Nutch-2.2.1和HBase-0.92.1的过程出现的问题，后面会做些修改gora-hbase源码，实现hbase最新版本接口的方法的尝试，至于成功与否不敢保证。

      在执行Nutch的各种操作之前，先要确保已经正确配置了gora.properties、nutch-site.xml，修改了ivy目录下的ivy.xml文件，然后再nutch家目录下执行ant命令重新编译，这时会下载依赖的jar包。编译成功后，在对hbase的配置文件做些修改，在配置文件中指定hbase和zookeeper保存数据的目录。在完成这些配置后，启动hbase，执行start-hbase.sh，然后就可以执行nutch的各种命令了。

        第一个遇到的问题如下面的代码所示，对这个问题首先google了一下，也搜到了一些解决方案，比如说要下载gora-0.3的源码，编译gora-hbase目录等，但在我的lib目录下是存在gora-hbase的jar包，而根据错误信息确实是缺少org.apache.gora.hbase.store.HBaseStore类，通过打印classpath，也能确认该类在路径中，怎么还是会出现这种情况呢？万般无奈之下，只好查看源代码了。在StorageUtils类中的90行，可以发现会根据nutch-site.xml中的配置storage.data.store.class进行类的加载，打开配置文件，发现value那里竟然有空格，所以导致了无法发现org.apache.gora.hbase.store.HBaseStore类的问题。当然这只本人的一个笔误而引发的问题，可能其他人在学习过程中不会遇到这样的问题，但是这说明了一个思路，就是出现问题时不要盲目的相信网络上的解决方案，能解决最好，不能解决可以通过去官网查看问题列表或者查看源代码解决。

[hadoop@hadoop local]$ bin/nutch inject urls -crawlId blog  
InjectorJob: starting at 2013-12-01 17:09:50  
InjectorJob: Injecting urlDir: urls  
InjectorJob: java.lang.ClassNotFoundException:  org.apache.gora.hbase.store.HBaseStore  
    at java.net.URLClassLoader$1.run(URLClassLoader.java:202)  
    at java.security.AccessController.doPrivileged(Native Method)  
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190)  
    at java.lang.ClassLoader.loadClass(ClassLoader.java:306)  
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)  
    at java.lang.ClassLoader.loadClass(ClassLoader.java:247)  
    at java.lang.Class.forName0(Native Method)  
    at java.lang.Class.forName(Class.java:169)  
    at org.apache.nutch.storage.StorageUtils.getDataStoreClass(StorageUtils.java:89)  
    at org.apache.nutch.storage.StorageUtils.createWebStore(StorageUtils.java:73)  
    at org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:221)  
    at org.apache.nutch.crawl.InjectorJob.inject(InjectorJob.java:251)  
    at org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:273)  
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)  
    at org.apache.nutch.crawl.InjectorJob.main(InjectorJob.java:282)
复制代码

        第二个遇到的问题如下所示，这个问题可以在网上或者Gora的官网找到答案。这个问题是由于HBase的版本问题引起的。编译完的Nutch依赖的hbase版本是0.90.4，而我所采用的版本是0.92.1，这时只要将HBase-0.92.1目录下的jar复制到Nutch的lib目录下，并且移除0.90.4的jar包即可。

InjectorJob: starting at 2013-12-01 17:49:22  
InjectorJob: Injecting urlDir: urls  
InjectorJob: org.apache.gora.util.GoraException: java.lang.RuntimeException: java.lang.IllegalArgumentException: Not a host:port pair:2967@hadoophadoop,46346,1385888950533  
    at org.apache.gora.store.DataStoreFactory.createDataStore(DataStoreFactory.java:167)  
    at org.apache.gora.store.DataStoreFactory.createDataStore(DataStoreFactory.java:135)  
    at org.apache.nutch.storage.StorageUtils.createWebStore(StorageUtils.java:75)  
    at org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:221)  
    at org.apache.nutch.crawl.InjectorJob.inject(InjectorJob.java:251)  
    at org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:273)  
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)  
    at org.apache.nutch.crawl.InjectorJob.main(InjectorJob.java:282)  
Caused by: java.lang.RuntimeException: java.lang.IllegalArgumentException: Not a host:port pair:                                                                                                  2967@hadoophadoop,46346,1385888950533  
    at org.apache.gora.hbase.store.HBaseStore.initialize(HBaseStore.java:127)  
    at org.apache.gora.store.DataStoreFactory.initializeDataStore(DataStoreFactory.java:102)  
    at org.apache.gora.store.DataStoreFactory.createDataStore(DataStoreFactory.java:161)  
    ... 7 more  
Caused by: java.lang.IllegalArgumentException: Not a host:port pair:2967@hadoophadoop,46346,1385888950533  
    at org.apache.hadoop.hbase.HServerAddress.<init>(HServerAddress.java:60)  
    at org.apache.hadoop.hbase.MasterAddressTracker.getMasterAddress(MasterAddressTracker.java:63)  
    at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation.getMaster(HConnectionManager.java:354)  
    at org.apache.hadoop.hbase.client.HBaseAdmin.<init>(HBaseAdmin.java:94)  
    at org.apache.gora.hbase.store.HBaseStore.initialize(HBaseStore.java:109)  
    ... 9 more
复制代码

这是本人在学习Nutch2.2.1，且以HBase为存储时暂时遇到的问题，相信后面还会陆陆续续遇到一些其他问题，也会随时更新该文章，与大家一起分享。



相关文章推荐





Nutch-2.2.1系列之一Nutch简介||及jar包问题解决
http://www.aboutyun.com/thread-10048-1-1.html

Nutch-2.2.1系列之二编译部署Nutch及常见问题
http://www.aboutyun.com/thread-10049-1-1.html


Nutch-2.2.1系列之四Nutch抓取数据在HBase中的存储
http://www.aboutyun.com/thread-10051-1-1.html


Nutch-2.2.1学习之五以伪分布模式运行Nutch
http://www.aboutyun.com/thread-10078-1-1.html

Nutch-2.2.1系列之六Nutch与Solr的集成
http://www.aboutyun.com/thread-10079-1-1.html

Nutch-2.2.1系列之七过滤抓取数据
http://www.aboutyun.com/thread-10080-1-1.html

Nutch-2.2.1系列之八Nutch过滤URL实践
http://www.aboutyun.com/thread-10081-1-1.html

早看到这文章我就不用琢磨那么久了，唉，但现在还碰到一个问题，

aqi915 发表于 2015-8-5 12:11
早看到这文章我就不用琢磨那么久了，唉，但现在还碰到一个问题，

hadoop@ktbigdata1:~/hbase-0.92.2$ /home/hadoop/apache-nutch-2.2.1/runtime/local/bin/nutch inject urls/seed.txt
InjectorJob: starting at 2015-08-05 12:10:56
InjectorJob: Injecting urlDir: urls/seed.txt
InjectorJob: Using class org.apache.gora.hbase.store.HBaseStore as the Gora storage class.
java.lang.RuntimeException: java.lang.ClassNotFoundException: org.apache.gora.mapreduce.GoraOutputFormat
        at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:857)
        at org.apache.hadoop.mapreduce.JobContext.getOutputFormatClass(JobContext.java:235)
        at org.apache.hadoop.mapred.Task.initialize(Task.java:513)
        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:347)
        at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:396)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)
        at org.apache.hadoop.mapred.Child.main(Child.java:249)
Caused by: java.lang.ClassNotFoundException: org.apache.gora.mapreduce.GoraOutputFormat
        at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
        at java.lang.Class.forName0(Native Method)
        at java.lang.Class.forName(Class.java:249)
        at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:810)
        at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:855)
        ... 8 more

现在整合的环境是hadoop1.2.1 hbase0.92.2 nutch2.2.1
gora.hbase类是找到了，但mapreduce 没找到，还要配置什么呢？

或者现在nutch2.3 现在比较靠谱的环境是什么呢？

SOS~~~求问LZ,,,
在使用nutch后，爬取的都是一个一个的网页内容。。。
想问：后续的处理一般是怎么样的。
比如，想爬取一个网站的视频资源，如何下载下来呢。。。
谢谢啦！！