用户组:游客
应用场景: 间隔一个时间段来一次数据,使用spark做数据的清洗。有效数据写到hive表中,但是有一部分数据只有开始,结束 ...
如图:
大家有用过spring和sparksql一块用吗?我从github上找了一个demo(https://github.com/Zhuinden/spring-spark-example),打成ja ...
怎们用Scala 编写一个通过时间找到对应的ip..........,然后按时间排序
环境 : win10 win10下 spark2.2 scala 2.11.8 自己下载解压的sbt 0.13.11 试了网上各种方法 ...
如何从sqlserver里把数据导入到hbase里,这个问题纠结了我一个月,各种方法的取舍,以及判断 还是有点迷糊,目前想尝试以下方法 ...
同样的语句在spark-shell正常无报错。 用spark-submit提交就报缺少)。能考虑的情况都考虑过的,spark-shell和submit有什么不同 ...
在local模式下,eclipse中进行调试,是可以正常运行的;打包后放在集群环境中,使用spark-submit运行程序,报错如下 16/06/02 ...
现在的需求是这样的,假设我在外部声明了一个字段,在map中对这个字段进行了赋值,然后在reduce中对这个字段进行取值操作。我以w ...
一个Spark集群中能否同时运行多个任务,即一个监控多个kafka中的数据变动,一个监控多个flume中的数据变动
我有如下图所示的任务需求: 任务3的输入数据是任务1和任务2的输出数据,像这种任务,如何用spark的编程模型来实现?
业务场景描述: 我现在有一个这样的需求,我们有一张表大概有300万行数据,但是频繁有页面的多条件查询(大概有十多个 ...
我提交的命令为 spark-submit --master yarn-cluster --driver-class-path /home/hadoop/mysql-connector-java-5.1.30.jar --ja ...
spark-submit提交程序,一直处于waiting状态 日志打印: 16/05/19 09:10:29 INFO scheduler.TaskSchedulerImpl: Adding task s ...
SparkConf sparkConf = new SparkConf().setMaster(master).set("spark.driver.host", host); JavaStreamingContext ssc = new ...
本人用的是最低配置的网络云服务器1核1G内存。
我想把统计结果出入数据库 可是无法存入到mysql里面 已经不诶困扰了很久了 ,求大神讲解一下 wordCounts.foreachRDD(new V ...
想增加个新的调度算法,模仿FIFO,FAIR算法,求教思路或者类似源码,多谢了
spark无法启动,查看日志报如下错误。能帮忙看下原因吗,java这块不熟 [root@nameNode logs]# cat spark-root-org.apache.spa ...
我使用Spark Streaming接受kafka数据,然后想要根据每条数据中的orderId字段是否存在,若不存在,则添加至一个Set中以及对redis ...
数据源:一份1300个字段的数据,主键是 uid,后面是各个属性,命名是 x1,x2,x3...x1229 处理结果:想要得到,每个UID 的x1-x1 ...
我在window本地搭建spark环境,想请教下 如何提交到集群中呢 代码如下: [mw_shl_code=scala,true]import org.apache.spark.{S ...
[mw_shl_code=java,true]public class GetRank { public static void rank(String stuID,ArrayList list){ HashMa ...
object QueueStream { def main(args: Array[String]) { val sparkConf = new SparkConf().setAppName("TestRDDQueue").setM ...
Spark版本号是1.4.1 scala版本是2.10.5 kafka对应的版本是2.11-1.4.1 在运行到 JavaPairReceiverInputDStream messages = ...
这是个什么错误,数据量稍微大大点就出错了。很容易OOM 怎么优化参数都不行。
报错信息,求解决啊
大家好,我是新人,最近想用一下Spark Notebook(https://github.com/andypetrella/spark-notebook/) ,不知道怎么配置,社区里面 ...
网上要不然是scala实现,要不然就是转载别人的java实现(中间实现有错误),有没有大佬会这个的,求指点
请问这是什么原因 我的code是 用spark bulkload数据到hbase 以HFile的形式 报的异常 java.io.IOException: org.apache.sp ...
本版积分规则 发表帖子
查看 »