用户组:游客
//val kafkaStream1 = KafkaUtils.createStream(ssc, zks, group, topicmaptmp) println("---------------kafk ...
各位大神,最近在使用Spark Graphx做一些图相关计算,遇到了 java.lang.ArrayIndexOutOfBoundsException: -1问题,大概的异常信 ...
现在有个数据表:店铺 订单 sku详情(sku编号:数量) xxx旗舰店 ECO001 [SKU1:8,sku2:3,sku3:5] xxx旗舰店 ...
spark-shell yarn-client模式启动总是出现异常。 运行环境如下: spark1.3 hadoop2.6 HA jdk1.8.0_31 spark-env.sh ...
感谢您,点进来,作为学校第一届大数据相关专业,导师对于毕业设计题目也没有什么眉头,请求各位探讨一些方案,离线的项目太过简 ...
RDD默认持久方式是MEMORY_ONLY,无法通过persist进行修改持久方式,提示“Cannot change storage level of an RDD after it was ...
在尝试用sparkstreaming消费kafka topic数据时,在生产环境上编译发现程序卡住不执行。在虚拟机环境一切正常。代码如下: packa ...
我是用hive+hbase+hadoop+spark 在使用spark sql执行语句的时候启动的task的数量与设置的hbase 的numregions是一致,并不是和had ...
目的:一次读取很多不同的目录,每个目录生成不同的orc格式文件,输出到不同的目录下 请教如何实现生成不同的orc格式文件输出到 ...
我已经配置好Spark2.3.1 使用hive1.2.2元数据,但是运行spark-shell时,经常会出现一个WARN。具体情况如下:==============Hive ...
我已经把hive-site.xml 扔到resource下面了
用spark-submit提交一个程序,如果数据量大一些就经常出现java.io.EOFException错误,数据小也会出现,但还是会执行成功,只要不 ...
用spark-submit 提交python程序,里面需要引用pywt的module,现在集群每个节点的python环境都安装了pywt,每个节点运行python,i ...
spark streaming 空跑有时候就报这个错,什么数据都不给传,有时候就会报这个错 16/05/12 19:10:53 WARN TaskSetManager: Lost ...
1.准备hadoop环境 1.1 官网下载hadoop-2.7.3.tar.gz解压http://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/ ...
sparksql 可以修改map数吗
maven项目结构 Cloud ---common ---Analysis Analysis依赖了common项目,使用idea自带打包 Analysis可以找到 ...
spark-sql --master yarn 启动spark-sql CREATE TABLE IF NOT EXISTS scalar_test ( id bigint, x double, y double, type int) ...
用spark-submit 提交任务之后,怎么监测任务的运行状态呢,运行了百分比和最后是否运行成功,在spark-submit提交之后会出现一些 ...
maven项目,语言用的scala,AnalysisSimulation模块依赖commons模块,打包之后运行报ClassNotFoundException: analysis.DangerLev ...
maven项目,AnalysisSimulation模块依赖commons模块,打包之后运行报ClassNotFoundException: analysis.DangerLevelTop10肯定没 ...
头大了。。。。。下面这个map在循环里面有值,到循环外的map里就没有值了。。。 object Test { def main(args: Array[Stri ...
spark去读取hive数据,报空指针异常; hive-site.xml是从集群上拷下来的, 报错如下: 18/07/30 10:34:45 INFO Datasto ...
我看官方文档说Structured Streaming是通过checkpoint和WAL来保证容错的,并且通过数据源的可重复消费以及幂等来保证端到端的exa ...
kafka的一个topic里面来了几条消息,sparkstreaming需要按照顺序处理,但是topic是有多个分区的,除了把这几条消息放到一个分区 ...
各位老师,我用breeze的pinv求矩阵伪逆,为什么结果是错的?下面是一段测试代码: package AE_LOC import breeze.linalg.{De ...
val conf = HBaseConfiguration.create();val tableName = "data1" val table = new HTable(conf,tableName) conf.set(TableOu ...
使用spark开发程序,需要从大量如下格式的txt文本中读取数据,编写程序以后发现只能操作其中单个文本,操作多个文本时只操作了第 ...
import kafka.api.OffsetRequest import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apac ...
版本: sparkstreaming 2.2 kafka 0.10sparkstreaming 集成kafka后(Direct模式),同一个groupid下的多个spark-streaming ...
本版积分规则 发表帖子
查看 »