用户组:游客
有人知道 如何用 应用服务器 通过 jdbc 执行 spark sql ?
如何用maven构建spark,求具体步骤
通过Spark向HBase添加记录,主要代码如下 String tableName = "test"; conf.set(TableOutputFormat.OUTPU ...
准备研究spark了,发现支持的语言有 java,scala,python 其中,scala,python都不熟悉,准备学其中一门用来开发spark。java ...
测试Spark Streaming的DirectStream时需要设置泛型,import kafka.serializer.StringDecoder导入后报错,哪位碰到过类似的问题? ...
写了个SparkStreaming运行后报Java Head Space,求调优手册 java.lang.OutOfMemoryError: Java heap space java ...
key为null时Kafka会将消息发送给哪个分区?
主要代码如下: JavaReceiverInputDStream dataStr = jsc.socketTextStream("xxx.xxx.xxx.xx", 9999); dataStr.foreachRDD(n ...
实时指标业务需求之一:根据实时日志来统计每天/每小时的顾客数量 使用技术: spark streaming,redis。 流入的数据是由f ...
spark执行任务时,总是抛连接拒绝的信息,详细信息如下: 已经按照帖子 http://www.aboutyun.com/thread-8321-1-1.html 修 ...
ERROR network.ConnectionManager: Corresponding SendingConnection to ConnectionManagerId(dn3.9961.bj,41242) not found 15 ...
本帖最后由 bioger_hit 于 2015-1-8 12:24 编辑 遇到此问题整理下,加入下面代码即解决 spark读取hbase数据 老是报错 15/ ...
14/12/24 17:19:12 INFO master.Master: Registered signal handlers for [TERM, HUP, INT] 14/12/24 17:19:12 INFO spark.Se ...
大家好: 问个问题。 我spark on yarn中跑spark streaming,为什么我在历史服务(18088)查不到这个任务 ? 这是我的提交脚 ...
[root@nn1 ~]# spark-shell Spark assembly has been built with Hive, including Datanucleus jars on classpath 14/12/25 13 ...
偶是一个spark的新人,现在一个需求需要启动spark streaming for flume-ng,用yarn管理,启动脚本是 spark-submit \ --class ...
我的sparkstreaming是运行在spark on yarn上边。 flum-ng向spark streaming发送数据。 当将spark streaming程序提交给集群后 ...
现有简单的hadoop程序,想将其转为spark程序,对于hadoop的map函数的转换没有什么问题,但是对于reduce的转换却出现问题,本人使 ...
eclipse中写的spark代码 怎样才能跑起来呢 直接运行报java.lang.ClassNotFoundException错误
各位 请教一下,我配置的SparkMaster上面运行启动了start-dfs.sh和start-yarn.sh通过jps查看 进程有:Namenode NodeManager ...
每次写好一个spark应用程序都需要进行打包,然后通过spark-submit提交才能运行,感觉很费劲,Spark有没有像hadoop Mapreduce那样 ...
1412043042 125.64.229.40 CN5115 auto.sohu.com /wmh-auto-tab?pvid=tc_auto&a=tab&b=auto 000242D62CB409A55251BDCE0 ...
实际生产中玩Spark,都是在yarn上运行吗? 还是运行在其它的平台上?
公司的论坛,博客,提问等地方经常有人发布垃圾数据 比如:找小姐,全套莞式服务等等 现在想做一个垃圾系统过滤的系统,达到 ...
我在网上看到一个spark读取hbase的例子(地址http://blog.csdn.net/fighting_one_piece/article/details/38437647),然后想自己 ...
本版积分规则 发表帖子
查看 »