图文精华

About云-梭伦科技 › 日志

    blog 日志

    linux tips| linux| sqoop| kafka| hive| Greenplum| spark| ElasticSearch| Mysql| nginx| hbase| psychology| postgresql|
    分享 hive报错native snappy library not available: this version of libhadoop was built .
    Aningorg 2019-1-18 15:21
    1.原因是snappy本地库不可用，在编译libhadoop的时候需要制定支持snappy，这一点不同于hadoop1.0，haodop1.0只需要将snappy本地库往指定目录copy就行了，不需要重新编译libhadoop本地库文件。 2.参考网上一些解决方案，重新编译native后会生成 libhadoop.so和 libsnappy.so.1, 编译主要是使用这两个文件。 ...
    个人分类: hive|1229 次阅读|0 个评论
    分享 hive窗口函数
    Aningorg 2018-10-18 10:19
    在 sql 中有一类函数叫做聚合函数 , 例如 sum() 、 avg() 、 max() 等等 , 这类函数可以将多行数据按照规则聚集为一行 , 一般来讲聚集后的行数是要少于聚集前的行数的 . 但是有时我们想要既显示聚集前的数据 , 又要显示聚集后的数据 , 这时我们便引入了窗口函数 . 在深入研究 Over 字句之前 ...
    个人分类: hive|1035 次阅读|0 个评论
    分享 sqoop抽取数据到hive失败，报错metadata问题
    Aningorg 2018-9-27 10:32
    使用 sqoop 抽取 GreenPlum 数据或者 oracle 数据到 hive 时报错如下，仔细看一下报错即可看到提示是 metadata 元数据的问题，但是当时考虑到在 mysql 中 hive 的元数据库以及表都有，所以没有进去查看表数据是否正确，下面写一下处理问题时的思路： 从以下几点出发考虑 1.sqoop 本身 ...
    个人分类: hive|1150 次阅读|0 个评论
    关闭

    推荐上一条 /2 下一条

    关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

    Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

    简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000