Spark scala 求救

查看数: 5282 | 评论数: 2 | 收藏 0
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2017-11-24 16:24

正文摘要:

put.addClumn    这个addClumn为什么会报错

回复

arsenduan 发表于 2017-11-24 19:32:05
上面一看代码就不少错误,不知道是从哪看到的,还是自己写的。
首先put.addColumn这个是没有 错误的,肯定是缺包或则前面的参数不对。建议参考标准的资料。
这里给你推荐下官网的资料
http://hbase.apache.org/book.html#hbase_apis
贴出官网跟你类似的例子
[mw_shl_code=scala,true]val sc = new SparkContext("local", "test")
val config = new HBaseConfiguration()

val hbaseContext = new HBaseContext(sc, config)
val ssc = new StreamingContext(sc, Milliseconds(200))

val rdd1 = ...
val rdd2 = ...

val queue = mutable.Queue[RDD[(Array[Byte], Array[(Array[Byte],
    Array[Byte], Array[Byte])])]]()

queue += rdd1
queue += rdd2

val dStream = ssc.queueStream(queue)

dStream.hbaseBulkPut(
  hbaseContext,
  TableName.valueOf(tableName),
  (putRecord) => {
   val put = new Put(putRecord._1)
   putRecord._2.foreach((putValue) => put.addColumn(putValue._1, putValue._2, putValue._3))
   put
  })[/mw_shl_code]
里面介绍的很详细

sstutu 发表于 2017-11-24 17:34:38
看下自己的参数是否正确,然后包是否引入
关闭

推荐上一条 /2 下一条