分享 Impala、Hive如何存储图片

nettman 2020-4-15 16:31

我认为你有几种方法可以解决这个问题，具体取决于你的具体要求。 1.使用Hive Hive允许您将二进制数据存储在Hive'数据库'中。 Hive与Impala类似，但通常较慢但功能更多。 您可以在表定义中使用DataType BINARY并使用LOAD DATA加载图像。 这样的东西可能有效（未经测试）。&nbs ...

2568 次阅读|0 个评论

分享 awk使用和详解

pig2 2020-2-10 14:59

awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。 awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。 awk ...

1088 次阅读|0 个评论

分享 Hadoop(MapR)分布式安装及自动化脚本配置

hyj 2020-2-2 11:50

　MapR的分布式集群安装过程还是很艰难的，远远没有计划中的简单。本人总结安装配置，由于集群有很多机器，手动每台配置是很累的，编写了一个自动化配置脚本，下面以脚本为主线叙述（脚本并不完善，后续继续完善中）。　　编写脚本需要shell基础的，还要掌握awk和sed等统计手段为佳。操作系统是CentOS7。　　准备：安装Cent ...

1157 次阅读|0 个评论 热度 1

分享 Flink Catalog的作用

阿飞 2020-1-12 10:14

Catalog：所有对数据库和表的元数据信息都存放再Flink CataLog内部目录结构中，其存放了flink内部所有与Table相关的元数据信息，包括表结构信息/数据源信息等。

2623 次阅读|0 个评论

分享 hive instr使用及例子

hyj 2019-12-25 13:10

instr(string str, string substr) 查找字符串str中子字符串substr出现的位置，如果查找失败将返回0，如果任一参数为Null将返回null，注意位置为从1开始的 来自About云7群552029443（枫，dual） hive如何匹配字符串第一个中文，返回第一个中文匹配下标 selectinstr('aaaa报表asf',regexp_extract('a ...

7144 次阅读|0 个评论

分享 2020中国国际物联网技术与设备博览会

tangyao 2019-12-20 08:35

2020 中国国际物联网技术与设备博览会 China International Internet of Things Technologies Expo 时间 :2020年5月28日-6月1日 地点:中国国际展览中心（顺义） 关于展会 2012年国务院批准由中华人民共和国商务部、北京市人民政府共同主办中国国际服务贸易 ...

636 次阅读|0 个评论

分享 Hbase写入优化策略

阿飞 2019-11-19 16:49

1 关闭autoflush，批量put 2 检查memstore大小，是不是频繁刷hfile 3 检查JVM，是否有频繁full GC，导致客户端查询卡死 4 检查是否写入的时候频繁compaction(minor compaction或者major compaction) 5 检查表是否存在预定义分区，避免region热点导致不断的split 6 检查版本设置，是否版本太大，导致过期数据太多，查 ...

706 次阅读|0 个评论

分享 心理健康标准

Aningorg 2019-11-18 16:47

现今社会每个人大大小小都有心理健康问题，甚者被抑郁症整日折磨，这是不幸的，是大家不所愿见到的。 那么你是不是有“我心理是否健康？”、“我抗压能力够不够强啊？”、“我是不是抑郁症啊？”之类的困扰呢。要想打败敌人，先要了解敌人，今天在这里粗略聊一下心理健康的标准，我们是否健康，怎么才算健康。 心 ...

807 次阅读|0 个评论

分享 Spark SQL与Hive On MapReduce速度比较

阿飞 2019-10-31 18:45

1.运行spark-sql shell aboutyun@aboutyun:/opt/spark-1.6.1-bin-hadoop2.6/bin$ spark-sql spark-sql create external table cn(x bigint, y bigint, z bigint, k bigint) row format delimited fields terminated by ',' &nbs ...

851 次阅读|0 个评论

本页有 1 篇日志因作者的隐私设置或未通过审核而隐藏