图文精华

hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...

About云-梭伦科技 › 日志

日志

分享 storm 运行topology出现worker中以下问题记录下来: jixianqiuxue 2015-4-17 21:46; 求助：storm运行topology出现worker中以下问题 Asyncloopdied! java.lang.NoSuchMethodError:org.apache.zookeeper.ZooKeeper.init(Ljava/lang/String;ILorg/apache/zookeeper/Watcher;Z)V atorg.apache.curator.utils ...; 1685 次阅读|0 个评论

分享 64位CentOS上编译 Hadoop 2.2.0: jixianqiuxue 2015-4-15 08:07; 下载了Hadoop预编译好的二进制包，hadoop-2.2.0.tar.gz，启动起来后，总是出现这种警告： WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 原因是apache官网提供的二进制包，里面的native库，是32位的，坑跌啊，现在服务器谁还 ...; 995 次阅读|0 个评论

分享 hadoop指定某个文件的blocksize，而不改变整个集群的blocksize: jixianqiuxue 2015-3-31 22:28; 文件上传的时候，使用下面的命令即可 hadoop fs -D fs.local.block.size=134217728 -put local_name remote_location 参考 http://stackoverflow.com/questions/2669800/changing-the-block-size-of-a-dfs-file-in-hadoop 经过验证，上述命令在0.21版本上不行，需要改为 hadoop dfs -D dfs.blocksize=134217728 -copy ...; 1123 次阅读|0 个评论

分享 Hive/Beeline 使用记录: jixianqiuxue 2015-3-31 20:04; Hive: 利用squirrel-sql 连接hive add driver - nameexample url(jdbc:hive2://xxx:10000)-extra class path -Add {hive/lib/hive-common-*.jar hive/lib/hive-contrib-*.jar hive/lib/hive-jdbc-*.jar hive/lib/libthrift-*.jar hive/lib/hive-service-*.jar hive/lib/httpclient-*.jar hive/lib/http ...; 2157 次阅读|0 个评论

分享 hive测试写入，需要添加配置hive.in.test为true，否则报错: jixianqiuxue 2015-3-24 13:17; hive测试写入，需要添加配置hive.in.test为true，否则报错如下：错误1： FAILED: LockException : Error communicating with the metastore 错误2： The underlying exception is: org.apache.thrift.TException: MetaException(message:Unable to select from transaction database, java.sql.SQ ...; 2235 次阅读|0 个评论

分享 hadoop错误总结: jixianqiuxue 2015-3-24 12:34; 其实也不能说是什么陷阱，其实讲来应该说hadoop的错误日志是非常非常有问题的，他的错误提示让人摸不到头脑，完全无法知道自己到底是哪里错了。从这点上来说，hadoop的源码和spring以及jdk的源码差距不是一点两点的。这两天研究了一下，发现有以下两点陷阱： 1.用hadoop的eclipse插件下M/R程序的时候，有 ...; 3421 次阅读|0 个评论

分享 Hadoop报错：NoRouteToHostException: No route to host: jixianqiuxue 2015-3-18 23:45; 当用户上传数据到HDFS上时经常会出现这个错误 hdfs . DFSClient : Exception in createBlockOutputStream java . net . NoRouteToHostException : No route to host 这种情况网上的解决办法通常是告诉要关闭防火墙，至于关于哪台主机的防火墙并没提。查看日志文件，只说是No route to host没有提 ...; 1084 次阅读|0 个评论

分享查看HADOOP中一个文件有多少块组成及所在机器ip: jixianqiuxue 2015-3-16 22:20; 看文件信息 hadoop fsck /user/filename 更详细的。 hadoop fsck /user/filename -files -blocks -locations -racks -files 文件分块信息， -blocks 在带-files参数后才显示block信息 -locations 在带-blocks参数后才显示block块所在datano ...; 729 次阅读|0 个评论

分享 HDFS 安全模式介绍及各种命令: jixianqiuxue 2015-3-16 21:43; NameNode在启动的时候首先进入安全模式，如果 datanode 丢失的block达到一定的比例（1-dfs.safemode.threshold.pct），则系统会一直处于安全模式状态即只读状态。 dfs.safemode.threshold.pct（缺省值0.999f）表示HDFS启动的时候，如果DataNode上报的block个数达到了元数据记录的block个数的0.999倍才可以离开安全模式 ...; 691 次阅读|0 个评论

分享 flume-ng如何根据源文件名输出到HDFS文件名: jixianqiuxue 2015-3-15 20:09; flume-ng如何根据源文件名输出到HDFS文件名需求：源中不同的文件，格式和内容不一样，希望采集到hdfs中后，能有对应的文件名，方便后续分析。 flume-ng可以自定义header，所以可以通过header来传递一些变量。而旧版的flume则可能不得不通过逻辑节点来部署不同的端口来曲线完成一些变量约定。自定义header的方法，至少 ...; 2537 次阅读|0 个评论

123 / 3 页下一页

推荐 /2

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / 京ICP备2020039040号简书网举报电话：021-34700000

意见
反馈