Spark读取hbase报错

desehawk 发表于 2014-10-9 10:16
把hosts,hostname，程序，用的语言，等信息贴出来看看

hosts中的节点配置如下：
192.168.63.101 Master1.Hadoop
192.168.63.102 Master2.Hadoop
192.168.63.103 TSlave1.Hadoop
192.168.63.104 TSlave2.Hadoop
192.168.63.105 TSlave3.Hadoop

程序如下：
import java.io.ByteArrayOutputStream;
import java.io.DataOutputStream;
import java.util.List;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.KeyValue;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableInputFormat;
import org.apache.hadoop.hbase.util.Base64;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.solr.util.IOUtils;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaSparkContext;

import scala.Tuple2;

public class SparkHBase {

        public static void main(String[] args) throws Exception {
                JavaSparkContext context = new JavaSparkContext("spark://Master1.Hadoop:7077","SparkHBase","/home/spark",new String[]{"hbase-client.jar","hbase-common.jar","hbase-server.jar","hbase-protocol.jar"});

                Configuration conf = HBaseConfiguration.create();
                Scan scan = new Scan();

                scan.addFamily(Bytes.toBytes("info"));
                scan.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"));

                String tableName = "user";
                conf.set(TableInputFormat.INPUT_TABLE, tableName);


                ClientProtos.Scan proto = ProtobufUtil.toScan(scan);
                String scanStr = Base64.encodeBytes(proto.toByteArray());
                conf.set(TableInputFormat.SCAN, scanStr);

                JavaPairRDD<ImmutableBytesWritable, Result> hBaseRDD = context
                                .newAPIHadoopRDD(conf, TableInputFormat.class,
                                                ImmutableBytesWritable.class, Result.class);

                Long count = hBaseRDD.count();
                System.out.println("count: " + count);
        }
}
程序很简单，就是为了测试下，相关的jar包都已导入进去，hbase-site.xml，hdfs-site.xml和core-site.xml放在src目录下了。

配置文件，在程序中都没有设置

SparkConf sparkConf = new SparkConf();  
        sparkConf.setMaster("spark://centos.host1:7077");  
        sparkConf.setAppName("Spark HBase");  
        JavaSparkContext context = new JavaSparkContext(sparkConf);  
  
        Configuration conf = HBaseConfiguration.create();  
        conf.set("hbase.zookeeper.property.clientPort", "2181");  
        conf.set("hbase.zookeeper.quorum", "centos.host1");  
        conf.set("hbase.master", "centos.host1:60000");  
复制代码

按照自己的实际情况，修改下。

高帝斯法则 发表于 2014-10-9 15:04
骚年是来占楼的么

我是来看你如何解决问题的，多像你学习。学习的过程中难免会遇到解决不了的问题。相互学习。

高帝斯法则 发表于 2014-10-10 08:23
哈哈，我也是菜鸟而已啦，大家互相学习嘛

互相学习。