分享 Kafka 配置说明
howtodown 2014-9-25 22:06
配置文件在config/server.properties 下面的一些配置可能是你需要进行修改的。 broker.id 整数,建议根据ip区分   log.dirs kafka存放消息文件的路径, 默认/tmp/kafka-logs port broker用于接收producer消息的端口   zookeeper.connnect zookeeper连接 格式为 ...
840 次阅读|0 个评论
分享 编译hadoop-eclipse插件出现Target does not exist in the project "eclipse-plug ..
howtodown 2014-9-25 01:28
编译hadoop-eclipse插件出现Target  does  not exist in the project "eclipse-plug ..
jar: BUILD FAILED Target "E:\hadoop2x-eclipse-plugin\build\contrib\eclipse-plugin\eclipseIDE" does not exist in the project "eclipse-plugin". 原因: E:\hadoop2x-eclipse-plugin\src\contrib\eclipse-pluginant jar -Dversion=2.5.0 - D eclipse .home=E:\eclipseIDE -D ...
1347 次阅读|0 个评论
分享 Storm生命周期
howtodown 2014-9-24 17:11
配置了一个spout和两个bolt,安装拓扑顺序依次是bolt、nextbolt。 采用的是本地模式进行测试的。 1:启动zookpeer 2:启动master node节点nimbus。会有很多默认的参数选项 3:选择调度器(默认) 4:启动worker node节点,supervisor。会有很多默认参数选项 5:bolt的prepare方法被调用 6:spout的open方法 ...
659 次阅读|0 个评论
分享 遇到进入shell之后HMaster自动挂掉的问题,并且master的log里出现“TableExistsExcept ...
howtodown 2014-9-18 13:36
如果遇到进入shell之后HMaster自动挂掉的问题,并且master的log里出现“TableExistsException: hbase:namespace”,很可能是更换了Hbase的版本过后zookeeper还保留着上一次的Hbase设置,所以造成了冲突。 解决方案: 1.切换到zookeeper的bin目录; 2.执行$sh zkCli.sh 输入‘ls /’ 4.输入‘rmr /hbase’ 5.退出 重 ...
817 次阅读|0 个评论
分享 hive在进行JDBC连接问题
howtodown 2014-9-17 21:36
在做kettle与hive对接的时候, 启动hiveserver报错 hive --service hiveserver org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0.0.0.0:10000. 要确保没有客户端在连接hive,检查方式: netstat -nl | grep 10000 ...
749 次阅读|0 个评论
分享 service cloudera-scm-agent一直起不来,最后发现hostname及hosts配置不匹配
howtodown 2014-9-17 20:16
sudo service cloudera-scm-agent clean_restart sudo: unable to resolve host CDH3 cloudera-scm-agent is already stopped supervisord is already stopped Starting cloudera-scm-agent: * Couldn't start cloudera-scm-agent
1913 次阅读|0 个评论
分享 百度云开发文档积累
howtodown 2014-9-15 23:28
文件API错误码 http://developer.baidu.com/wiki/index.php?title=docs/pcs/rest/file_data_apis_error 文件API列表 http://developer.baidu.com/wiki/index.php?title=docs/pcs/rest/file_data_apis_list
567 次阅读|0 个评论
分享 cloudera CDH5 vmware中cloudera manager报错"Internal error while querying the H
howtodown 2014-9-15 18:36
无法获取host和service状态,解决办法: sudo vi /etc/hosts #改为下面就好了 127.0.0.1 localhost
603 次阅读|0 个评论
分享 cloudera创建私服错误一例
howtodown 2014-9-15 18:36
执行“reposync -r cloudera-cdh4 ”报如下错误: ImportError: No module named yum 解决: vi /usr/bin/reposync 将 #!/usr/bin/python -tt 修改为: #!/usr/bin/python2.4 -tt 可以了。 原因: reposync使用了python2.7(不带),而非本机再带的python2.4( ...
486 次阅读|0 个评论
分享 Cloudera Manager的Hadoop配置文件管理
howtodown 2014-9-15 18:35
本文基于Cloudera Manager 4.8,以下简称CM 初次使用CM有个困惑: 修改/etc/hadoop/conf目录下配置不会使service instance(如NN、DN、TT、JT等)生效 CM中service instance的配置文件分为服务端和客户端。 服务端文件:/var/run/cloudera ...
1144 次阅读|0 个评论
关闭

推荐上一条 /2 下一条