分享 Could not find the main class: Error exist in required project(s);
howtodown 2014-8-21 19:30
Could not find the main class: Error exist in required project(s);
今天运行hadoop mapreduce,忽然报下面错误 Could not find the main class: Error exist in required project(s); 但是项目中的代码都没有错误,但是文件却显示红叹号,一看原来是引用的jar包找不到了,而这个jar不是项目所必须的,所以导致找不到错误。 下面显示的是叉号 而显示红叹号,则会报 ...
685 次阅读|0 个评论
分享 spark sql遇到问题
howtodown 2014-8-21 03:20
1sparksql不支持multiplejoin 如select*fromajoinbona.c1=b.c1joincona.c2=c.c2 2sparksql不支持分区控制 repartition对之无效,在数据量大时容易heapspace 3spark&n ...
1188 次阅读|0 个评论
分享 Flume-ng的HdfsSink出现Lease mismatch错误
howtodown 2014-8-18 16:09
11 Mar 2014 12:21:02,971 WARN ( org.apache.flume.sink.hdfs.HDFSEventSink.process:418) - HDFS IO error java.io.IOException: IOException flush:org.apache.hadoop.ipc.RemoteException(org .apache.hadoop.hdfs.server.namenode.LeaseExpiredException): Lease mi ...
844 次阅读|0 个评论
分享 hadoop大数据入门必读(各种视频入门资料)
howtodown 2014-8-12 17:44
零基础学习hadoop到上手工作线路指导(初级篇) http://www.aboutyun.com/thread-6780-1-1.html 云技术、大数据(hadoop)入门常见问题回答 http://www.aboutyun.com/thread-7826-1-1.html hadoop10G云计算和实战hadoop视频教程外加炼术成金和云计算视频(免费分享) http://www.aboutyun.com/thread-1708-1-1.html h ...
795 次阅读|0 个评论
分享 HBase-No columns to insert
howtodown 2014-8-8 16:51
近期在执行一个已经长期执行没有问题的M.R Job存储HBase时,出现了下面的异常 Caused by: java.lang.IllegalArgumentException: No columns to insert at org.apache.hadoop.hbase.client.HTable.validatePut(HTable.java:1304) at org.apache.hadoop.hbase.client.HTable.doPut(HTable.java:941) ...
6506 次阅读|1 个评论 热度 1
分享 eclipse下提交job时报错mapred.JobClient: No job jar file set. User classes may no ...
howtodown 2014-8-6 23:29
windows下,连接远程集群,直接在eclipse里运行mapreduce作业时, 错误信息: 11/10/14 13:52:07 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same. 11/10/14 13:52:07 WARN mapred.JobClient: No job jar file set. User ...
916 次阅读|0 个评论
分享 Scala环境搭建之eclipse .
howtodown 2014-8-5 23:33
Scala环境搭建之eclipse .
因为Spark的缘故,我们来看看另外一门语言——Scala,为什么要看这门语言呢?唉~其实你不看也没关系,只不过spark的内核就是用Scala写的,spark也提供其他语言的编程模型....看自己爱好啦~ 1、下载 地址: http://www.scala-lang.org/download/2.11.1.html 即可,这没什么好说的,如果不会,那我建 ...
693 次阅读|0 个评论
分享 hadoop集群配置文件修改后生效的方法
howtodown 2014-8-5 17:04
hadoop集群配置文件修改后生效的方法 hadoop dfsadmin -refreshNodes
751 次阅读|0 个评论
分享 关于java String.split() 的问题
howtodown 2014-8-5 14:54
关于点的问题是用string.split(" ") 解决。 关于竖线的问题用 string.split("\\|")解决。 关于星号的问题用 string.split("\\*")解决。 关于斜线的问题用 sring.split("\\\\")解决。 关于中括号的问题用 sring.split("\\ ")解决。
539 次阅读|0 个评论
分享 请问多个reducer任务的文件怎么合成到一个里面呢?
howtodown 2014-8-5 10:11
请问多个reducer任务的文件怎么合成到一个里面呢? 使用:getmerge
531 次阅读|0 个评论
关闭

推荐上一条 /2 下一条