用spark写数据到hbase

本帖最后由 remarkzhao 于 2017-7-19 14:24 编辑

请问各位大神这是什么情况。。

从网上看了一个例子用spark向hbase写数据

抛出的异常：java.lang.IllegalArgumentException: Can not create a Path from a null string

用sbt打包的时候出现的warning：
[warn] there were four deprecation warnings; re-run with -deprecation for details
[warn] one warning found
[warn] Multiple main classes detected.  Run 'show discoveredMainClasses' to see the list  （我在里面写了2个scala，另一个scala能正常运行并已成功）

PS：hbase的student表能成功写入数据

我的环境： hadoop全分布集群

               hbase全分布集群

代码如下：

import org.apache.hadoop.hbase.HBaseConfiguration  import org.apache.hadoop.hbase.mapreduce.TableOutputFormat  import org.apache.spark._  import org.apache.hadoop.mapreduce.Job  import org.apache.hadoop.hbase.io.ImmutableBytesWritable
import org.apache.hadoop.hbase.client.Result  import org.apache.hadoop.hbase.client.Put
import org.apache.hadoop.hbase.util.Bytes
object SparkWriteHBase {
def main(args: Array[String]): Unit = {
  val sparkConf = new SparkConf().setAppName("SparkWriteHBase").setMaster("local")
  val sc = new SparkContext(sparkConf)
val tablename = "student"
sc.hadoopConfiguration.set(TableOutputFormat.OUTPUT_TABLE, tablename)
val job = new Job(sc.hadoopConfiguration)
job.setOutputKeyClass(classOf[ImmutableBytesWritable])
job.setOutputValueClass(classOf[Result])
job.setOutputFormatClass(classOf[TableOutputFormat[ImmutableBytesWritable]])
val indataRDD = sc.makeRDD(Array("3,Rongcheng,M,26","4,Guanhua,M,27"))
val rdd = indataRDD.map(_.split(',')).map{arr=>{       val put = new Put(Bytes.toBytes(arr(0)))             put.add(Bytes.toBytes("info"),Bytes.toBytes("name"),Bytes.toBytes(arr(1)))       put.add(Bytes.toBytes("info"),Bytes.toBytes("gender"),Bytes.toBytes(arr(2)))             put.add(Bytes.toBytes("info"),Bytes.toBytes("age"),Bytes.toBytes(arr(3).toInt))    (new ImmutableBytesWritable, put)    }}          rdd.saveAsNewAPIHadoopDataset(job.getConfiguration()) } }