用户组:游客
有没有比较完整,又适合初学者的spark 文档。网上太多太杂了。
本人用的是最低配置的网络云服务器1核1G内存。
spark on yarn 运行命令后,一直循环出现:Application report for application_1468011021285_0005 (state: RUNNING),如下面日 ...
本帖最后由 InSight 于 2015-4-30 23:46 编辑 问题导读: 1.什么是朴素贝叶斯? 2.朴素贝叶斯运行在什么样的场景下? 3. ...
如题,我想将如下数据格式的数据源通过spark做数据转换: id, ip, version : 有效数据 ...
spark默认分区,是怎么分区的?
spark无法启动,查看日志报如下错误。能帮忙看下原因吗,java这块不熟 [root@nameNode logs]# cat spark-root-org.apache.spa ...
Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于Map ...
官方网站上提供的方法是 http://192.168.1.91:4040/api/v1/applications 但是报错 HTTP ERROR 503Problem accessing /a ...
问题: spark-shell运行命令,action后: sc.stop() exit 退出后再到WEB UI上查看: 然而:直接到hdfs文件系统中查看是生 ...
如题。。。
如何通过spark API获取spark streaming正在运行的 Application
在运行spark的测试程序SparkPi时,点击运行,出现了如下错误: Exception in thread "main" org.apache.spark.SparkException: ...
程序写好后,右键Run application,报错:SparkException: An application name must be set in your configuration如图: 求解 ...
Spark Streaming 有几种运行方式?各怎么监控?
官方示例说明按照官方文档的 这个示例说明,可以轻松的在本地的spark-shell环境中测试这个示例。示例,即为了更好的入门,那 ...
应用场景: 间隔一个时间段来一次数据,使用spark做数据的清洗。有效数据写到hive表中,但是有一部分数据只有开始,结束 ...
学习spark有哪些好书推荐下。
刚接触Spark想用Java先练练手。 集群是CentOS6.5,装的是CDH5.0.1,里面的spark版本是0.9.0 现在在windows系统上用eclipse向集 ...
sparkSQL报错如: value registerAsTable is not a member of org.apache.spark.rdd.RDD value createSchemaRDD is not a memb ...
在spark-shell中,执行如下代码: val sqlContext=new org.apache.spark.sql.SQLContext(sc) import sqlContext._ case c ...
如题,求Intellij idea开发spark应用程序完全教程,本人菜鸟,现在想用scala写个wordcount程序在spark中运行,但是怎么都打包不 ...
进到/spark/bin目录后,运行:./run-example org.apache.spark.examples.SparkPi 打开网页:http://192.168.56.11:8080/ ...
如下图所示,build scala程序报错 网上说可能没有引入hadoop的jar,但是我项目里面已经引进了,如下: 不知道什么原因,求 ...
linux环境下的IDEA 及其插件: 链接: http://pan.baidu.com/s/1hslTUio 密码: mwre
spark on yarn 配置spark-env.sh: export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export YARN_CONF_DIR=$HADOOP_HOME/etc/ ...
启动:bin/spark-shell --master yarn-client --executor-memory 1g --num-executors 3 部分日志: 日志上已经有提示U ...
环境为hadoop HA集群,yun01-nn-01、 yun01-nn-02为namenode,状态分别是ACTIVE和STANDBY,如下运行: bin/spark-submit --maste ...
我搭建了hadoop+zookeeper的集群环境,可以运行mapreduce程序,spark 1.5 也安装了,搭建了standalone,求教 spark on yarn的配 ...
写了一下从rdd的依赖关系划分stage,大家有没有什么意见? 详情见我的日志:http://www.aboutyun.com/home.php?mod=space&u ...
本版积分规则 发表帖子
查看 »