图文精华

hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...

About云-梭伦科技 › 日志

日志

mahout| HADOOP_HDFS| HADOOP_MAPRED| hbase| 数据挖掘的R实现|

分享 fs -getmerge: maizhu 2014-10-20 10:15; 可以通过以下命令把HDFS当中指定路径的多个文件，合并下载到本地当中 bin/hadoop fs -getmerge /user/foo/demofiles merged.txt; 个人分类: HADOOP_HDFS|451 次阅读|0 个评论

分享设置replication factor: maizhu 2014-10-19 23:34; 1、可以在$HADOOP_HOME/conf/hdfs-site.xml 设置 property namedfs.replication/name value2/value /property 2、也可以在上传文件的时候进行指定 bin/hadoop fs -D dfs.replication=1 -copyFromLocal non-critical- file.txt /use ...; 个人分类: HADOOP_HDFS|599 次阅读|0 个评论

分享设置block的大小: maizhu 2014-10-19 23:28; hadoop中HDFS block的默认大小为64M，这个参数会影响到系统的性能，较大的值会带来更加优异的性能，在默认情况下，hadoop会为输入文件的每一个block创建一个map。 1、通过在 $HADOOP_HOME/conf/hdfs-site.xml 中的配置可以改变block的大小，不过不会改变已经存在的block的大小。单位为bytes property ...; 个人分类: HADOOP_HDFS|428 次阅读|0 个评论

分享使用多个硬盘和限制硬盘的使用比例: maizhu 2014-10-19 23:18; hadoop支持为DataNode 的data设置多个存储的硬盘路径，hadoop将会向这些路径中均衡的写入数据，同时我们也可以通过设置限定硬盘的使用比例。 1、在每个硬盘或卷中创建数据的存储路径 2、在hdfs-site.xml文件中对dfs.data.dir进行如下配置 3、限制硬盘的使用比例，在 $HADOOP_HOME/conf/ hdfs-site.xml 进行如下 ...; 个人分类: HADOOP_HDFS|525 次阅读|0 个评论

分享移除一个节点（Decommissioning DataNodes）: maizhu 2014-10-19 23:09; 接下来将展示如何在不损失数据的前提下，从集群当中移除一个节点： 1、在namenode中创建一个新的文件，同时把这个文件包含到conf/hdfs-site.xml当中，配置如下 property namedfs.hosts.exclude/name value /value descriptionNames a file ...; 个人分类: HADOOP_HDFS|475 次阅读|0 个评论

分享添加一个新的DataNode(Adding a new DataNode): maizhu 2014-10-19 22:58; 接下来将展示如何向一个hadoop集群中添加一个新的DataNode，以及如何强制HDFS进行数据的平衡 1、在新的节点上安装hadoop，同时把原来节点中的配置文件拷贝过来，可以使用rsync命令完成： rsync -a master_node_ip:hadoop-1.0.x/conf $HADOOP_HOME/conf 2、确保master node能够对新的节点实现免密码ssh登录， ...; 个人分类: HADOOP_HDFS|507 次阅读|0 个评论

分享 HDFS 基准测试（Benchmarking HDFS）: maizhu 2014-10-19 22:38; 翻译自hadoop mapreduce cookbook 使用DFSIO对haoop集群的HDFS进行读写能力的测试，要安装好hadoop，设置好HADOOP_HOME环境变量，benchmark的程序在$HADOOP_HOME/hadoop-*test.jar文件中接下来的步骤将展示如何进行写入性能的测试： 1、执行如下命令，nrFiles 参数为文件的数量，fileSize为文件的个数 bin/h ...; 个人分类: HADOOP_HDFS|1911 次阅读|0 个评论热度 1

推荐 /2

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / 京ICP备2020039040号简书网举报电话：021-34700000

意见
反馈