图文精华

About云-梭伦科技 › 日志

    blog 日志

    hadoop| 平时小问题|
    分享 hadoop中secondnamenode合并操作过程分析
    pergrand 2016-9-23 18:40
    hadoop中secondnamenode合并操作过程分析
    hdfs中包含namenode,datanode,secondnamenode; datanode存放数据； namenode是管理整个文件系统的节点，存放元数据信息和每个文件对应的数据块列表信息；接受客户端请求。 secondnamenode：与nn通信合并操作日志和元数据文件。 secnn合并过程： 1.什么时候：secnn定期与nn通信，配置文件设置时间：默认3600， ...
    个人分类: hadoop|1051 次阅读|0 个评论
    分享 hadoop往hbase中写中文乱码问题解决思路
    pergrand 2016-9-23 18:08
    无意中看到的，记录下来，以后遇到可以直接使用；忘记原博客的地址了。 有三种情况会出现乱码： hbase默认是utf-8 1.hadoop 编码问题，配置文件配置 2.os本身问题：通过echo $LAN; echo $LC-ALL查看linux的编码 3.jvm问题：启动时参数可以设置，配置file.encoding修改也行. 工作中如果不同机器的jvm编码设置不一样 ...
    个人分类: 平时小问题|4147 次阅读|0 个评论
    分享 通过源码看hadoop读取文件过程
    pergrand 2016-9-23 17:43
    个人看源码的思路： 1.如果是项目中，就通过跟踪参数，很慢但对于问题排查会很准确，也可以了解源码 2.平时阅读源码：先抛出问题，找到入口，在抛弃问题由入口深入，到最后看通之后在结合问题，绘出每每一个过程，学习每个过程中用到的技术。 3.具体阅读方法：由入口类进入，看创建了什么对象，什么时候创建的，对 ...
    个人分类: hadoop|1486 次阅读|0 个评论 热度 2
    关闭

    推荐上一条 /2 下一条

    关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

    Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

    简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000