用户组:游客
感觉是超时被中断了,每次都是耗时240000ms后报错,请各位大神指导!
pyspark streaming 消费kafka的时候一直报这个错误,查了好多资料也不知道怎么解决,希望大神帮我看看,非常感谢。 [mw_shl_c ...
使用scala写的spark任务,基本流程是从kafka读取信息,然后根据条件到elasticsearch中进行检索,最后整理入库ORIENTDB 每一步单 ...
//val kafkaStream1 = KafkaUtils.createStream(ssc, zks, group, topicmaptmp) println("---------------kafk ...
各位大神,最近在使用Spark Graphx做一些图相关计算,遇到了 java.lang.ArrayIndexOutOfBoundsException: -1问题,大概的异常信 ...
在尝试用sparkstreaming消费kafka topic数据时,在生产环境上编译发现程序卡住不执行。在虚拟机环境一切正常。代码如下: packa ...
我已经配置好Spark2.3.1 使用hive1.2.2元数据,但是运行spark-shell时,经常会出现一个WARN。具体情况如下:==============Hive ...
用spark-submit提交一个程序,如果数据量大一些就经常出现java.io.EOFException错误,数据小也会出现,但还是会执行成功,只要不 ...
maven项目结构 Cloud ---common ---Analysis Analysis依赖了common项目,使用idea自带打包 Analysis可以找到 ...
spark-sql --master yarn 启动spark-sql CREATE TABLE IF NOT EXISTS scalar_test ( id bigint, x double, y double, type int) ...
maven项目,语言用的scala,AnalysisSimulation模块依赖commons模块,打包之后运行报ClassNotFoundException: analysis.DangerLev ...
maven项目,AnalysisSimulation模块依赖commons模块,打包之后运行报ClassNotFoundException: analysis.DangerLevelTop10肯定没 ...
spark去读取hive数据,报空指针异常; hive-site.xml是从集群上拷下来的, 报错如下: 18/07/30 10:34:45 INFO Datasto ...
import kafka.api.OffsetRequest import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apac ...
[mw_shl_code=java,true]val spark = SparkSession.builder().appName(this.getClass.getSimpleName) .master(master). ...
[mw_shl_code=scala,true]import org.apache.spark.sql.SparkSession object yfgspark01 { def main(args: Array[Strin ...
在cmd输入sbt中出现如下: C:%users\tssdetyy>sbt Error: Unable to access jarfile Copying runtime jar. 文件名、目录名或 ...
报错信息,求解决啊
请大神指教:parquet文件读出来之后,要经过处理排序。很奇怪的是,dataframe = context.sql(xxx),这个dataframe.foreach(printl ...
2017-04-17 12:49:22 [ DataStreamer for file /historyserverforSpark/app-20170417124915-0005.inprogress block BP-19173524 ...
"""SimpleApp""" from pyspark import SparkContext from pyspark.streaming.kafka import KafkaUtils logFile = "C:\s ...
scala> val sqlContext = new org.apache.spark.sql.SQLContext(sc) sqlContext: org.apache.spark.sql.SQLContext = org.apach ...
本版积分规则 发表帖子
查看 »