图文精华

About云-梭伦科技 › 日志

    blog 日志

    sqoop| kettle| hadoop|
    分享 hadoop学习手记之mapreduce工作机制篇
    云中漫步者 2018-4-10 09:44
    知识点概述 实体组成： 1 客户端：用于提交作业 2 YARN资源管理器：协调集群资源分配 3 YARN节点管理器：启动和监视集群中的计算容器 4 APPLICATION MASTER:协调运行MP作业的任务，两者都在容器中运行 5 分布式文件系统（HDFS）：实体间共享作业文件 作业初始化： 资源管理器收到submitApplication()消息-请求传 ...
    个人分类: hadoop|976 次阅读|0 个评论
    分享 kettle7.1资源库无法打开，找不到connect按钮的问题处理
    云中漫步者 2018-4-9 10:28
    kettle是一个比较好用的ETL开源工具，之前一直使用的是6.1版本，最近项目组有小伙伴第一次使用，直接下载了7.1版本。在使用中关于资源库的使用和6.1版本略有不同，如何创建资源库这里就不赘述了，大家可以参考网上的方法。但是小伙伴反馈资源库每次在kettle关闭重新打开后就不能用了，甚至连右上角那个connect按钮也不见了 ...
    个人分类: kettle|4044 次阅读|0 个评论
    分享 sqoop学习手记
    云中漫步者 2018-4-4 10:00
    最近开始接触大数据，由于从来没有相关的技术知识储备，所以要一切从0开始，这两天在学习sqoop的过程中遇到了一些麻烦，参考网上的技术文章自己搭建了一套虚拟机上的分布式平台，利用sqoop从mysql导数据到hdfs,成功，再从hdfs导数到mysql时屡次失败，最近一次失败的输出信息如下： hadoop@Master:~$ sqoop export --conn ...
    个人分类: sqoop|1047 次阅读|1 个评论 热度 1
    关闭

    推荐上一条 /2 下一条

    关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

    Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

    简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000