图文精华

About云-梭伦科技 › 日志

    blog 日志

    最新发表的日志| 推荐阅读的日志 | Nutch | Docker | K8s | Flink | Hyperledgar | 比特币 | 以太坊 | 机器学习 | 图像处理 | NLP | 神经网络 | 其它 | ElasticSearch | 大数据 | Spark | Sqoop | Lucene | Solr | Nosql | Oozie | Cloudera系列 | ZooKeeper | Flume | Hadoop | Kafka | Hive | Hbase | Mapreduce | Storm | 人工智能 | 区块链 | openstack | 物联网 | 容器
    分享 大数据之进程出现process information unavailable
    hyj 2019-4-28 20:02
    大数据之进程出现process information unavailable
    1.在/tmp目录下还有没有这些目录,把所有安装对应进程的客户端都删掉这些文件将爱 2.出现的进程号也删掉 即可解决
    774 次阅读|0 个评论
    分享 HDFS 2.x 磁盘间数据均衡如何实现
    yaojiank 2019-1-2 18:33
    一、背景 当HDFS的datanode节点挂载多个磁盘时，往往会出现两种数据不均衡的情况： （1） 不同datanode节点间数据不均衡； （2） 挂载数据盘的磁盘间数据不均衡。 特别是这种情况：当datanode原来是挂载单数据磁盘，当磁盘占用率很高之后，再挂载新的数据盘。由于hadoop 2.x 版本并不支持 HDFS 的磁盘间数据 ...
    2393 次阅读|0 个评论
    分享 Client cannot authenticate via: [KERBEROS];
    bioger_hit 2018-11-22 12:05
    调用hadoop rpc框架实现了一个rpc，但是需要krb认证，client端在认证的时候只有Login user是krb认证过的，current user还是root，导致连接错误：org.apache.hadoop.security.AccessControlException: Client cannot authenticate via: ; Host Details : local host is: "XXX"; desination host is: "XXX";
    3211 次阅读|0 个评论
    分享 Hadoop3.x改变了多副本冗余暂用大量存储空间的问题
    admin 2018-8-27 11:03
    问题导读 1.Hadoop3.x通过什么方式来容错？ 2.Hadoop3.x存储开销减少了多少？ 3.Hadoop3.x MR API是否兼容hadoop1.x？ 最新经典文章，欢迎关注公众号 1.目的 在这篇文章中，我们将讨论Hadoop 2.x与Hadoop 3.x之间的比较。 Hadoop3版本中添加了哪些新功能，Hadoop3中兼容的Hadoop 2程序，Hadoop ...
    2575 次阅读|0 个评论
    分享 要怎么设置HDFS可以根据磁盘空间百分比来负载均衡呢？
    desehawk 2018-6-13 16:28
    集群有2台机器，磁盘大小1台1TB、另1台300GB，然后300GB那台经常空间告警。 要怎么设置HDFS可以根据磁盘空间百分比来负载均衡呢？ 根据空间百分比平衡的是这个hdfs-site.xml 中的这个配置项： dfs.datanode.available-space-volume-choosing-policy.balanced-space-preference-fraction 来自 about云1 ...
    1593 次阅读|0 个评论
    分享 Operation category READ is not supported in state standby
    desehawk 2018-6-11 18:31
    RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state standby 两个namenode都是standby 在一台主机上执行: hdfs haadmin -transitionToActive --forcemanual nn1 再访问,一台active 一台standy
    1785 次阅读|0 个评论
    关闭

    推荐上一条 /2 下一条

    关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

    Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

    简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000