立即注册
登录
About云-梭伦科技
返回首页
langke93的个人空间
https://www.aboutyun.com/?1415
[收藏]
[复制]
[分享]
[RSS]
空间首页
动态
记录
日志
相册
主题
分享
留言板
个人资料
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
首页
Portal
专题
BBS
面试
办公|编程助手
更多
我的空间
好友
帖子
收藏
道具
勋章
任务
动态
日志
相册
分享
记录
留言板
群组
导读
留言板
涂鸦板
您需要登录后才可以留言
登录
|
立即注册
留言
jinhero
2021-1-24 00:09
zouzhi
2017-4-8 22:46
你好
zouzhi
2017-4-6 22:16
你好
pianai
2015-10-30 17:05
谢谢楼主的分享~
397376972
2015-10-5 15:50
很好很好,了解了解。。。
jancan
2015-9-14 23:20
大哥,你好。请问你一个问题,这个我好久好久了
最近在用Mapreduce连Hadoop,出现各类问题。
环境:
hadoop:2.7.0
Hbase:1.0.1.1
刚开始的时候报:HBaseConfiguration 找不到,百度之,说将 hbase的lib下的jar复制到hadoop的lib下
复制之,无果,找各类参考资料修改hadoop参数,都还是报异常。
最后无奈,只能修改 hadoop-env.sh,将 hbase 的lib加入到 classpath下。
最后终于不报这个异常。
可是接着更加无解的事情发生了。
报出各类我自己定义的类找不到。
网上找遍了所有的贴,没找到答案。
public static void main(String[] args) throws Exception
{
Configuration conf = new Configuration();
conf = HBaseConfiguration.create(conf);
if (args.length != 6)
{
System.err.println("Usage: MroFormat <in-mro> <in-xdr> <sample tbname> <event tbname>");
System.exit(2);
}
//makeConfig(conf, args);
String inpath1 = args[0];
String inpath2 = args[1];
Job job = Job.getInstance(conf,"MyTest");
job.setNumReduceTasks(40);
job.setJarByClass(Main.class);
job.setReducerClass(ReduceDeal.MroFormatReducer.class);
//job.setReducerClass(ReduceDeal.TestReducer.class);
job.setSortComparatorClass(MapDeal.SortKeyComparator.class);
job.setPartitionerClass(MapDeal.CellIDPartitioner.class);
job.setGroupingComparatorClass(MapDeal.SortKeyGroupComparator.class);
job.setMapOutputKeyClass(CellTimeKeyPare.class);
job.setMapOutputValueClass(Text.class);
MultipleInputs.addInputPath(job, new Path(inpath1), KeyValueTextInputFormat.class, MapDeal.MroMapper.class);
MultipleInputs.addInputPath(job, new Path(inpath2), TextInputFormat.class, MapDeal.XdrMapper.class);
job.setOutputFormatClass(MultiTableOutputFormat.class);
//job.setOutputFormatClass(NullOutputFormat.class);
//LOG.info(job.getPartitionerClass().getName());
//TableMapReduceUtil.addDependencyJars(job);
//TableMapReduceUtil.addDependencyJars(job.getConfiguration());
//TableMapReduceUtil.initTableReducerJob("tab1", ReduceDeal.MroFormatReducer.class, job);
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
在本机的win7环境下,代码能跑过,但打包放到服务器就报错,找不着类。去掉了“conf = HBaseConfiguration.create(conf);”这段代码后,下面的 处理类就可以找到。请大牛们帮忙看看,非常感谢
langke93
加为好友
给我留言
打个招呼
发送消息
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈