日志
linux tips|
linux|
sqoop|
kafka|
hive|
Greenplum|
spark|
ElasticSearch|
Mysql|
nginx|
hbase|
psychology|
postgresql|
- 分享 Linux释放buff/cache
- Linux内存使用量超过阈值，使得Java应用程序无可用内存，最终导致程序崩溃。即使在程序没有挂掉时把程序停掉，系统内存也不会被释放。 Cached只要用来缓存文件的，经常读写的文件会被缓存到Cached中，可以增加读写效率, 当 项目主要就是处理文件时，所有接收和下载的文件会被缓存起来，一直耗着内存不释放，即 ...
- 分享 centos6.9升级glibc
- G libc升级 在 Centos6安装mysql 5.7.x 系列提示错误如下： # rpm - ivh mysql - community - libs -5.7 . 17 - 1 .el7.x86_64.rpm warning: mysql - community - libs -5.7 . 17 - 1 .el7.x86_64.rpm: Header V3 DSA / SHA1 Signature, key ID 5072e1f5: NOKEY ...
- 分享 MySQL的Limit详解
- 转自https://www.cnblogs.com/acm-bingzi/p/msqlLimit.html 问题：数据库查询语句，如何只返回一部分数据？ Top子句 TOP 子句用于规定要返回的记录的数目。对于拥有数千条记录的大型表来说，TOP 子句是非常有用的。 在SQL Server数据库中语法为： SELECT TOP number|percent column_ ...
- 分享 CDH集群修改IP后，无法启动默认postgre元数据库
- 由于CDH集群迁移， 涉及到 IP修改 ， 故准备登陆postgre数据库进行信息修改 1.执行service cloudera-scm-server-db status 查看数据库是否启动： 提示：pg_ctl: no server running 2.执行service cloudera-scm- server -db start 报错： DB initialization done. waiting for server to st ...
- 分享 心理健康标准
- 现今社会每个人大大小小都有心理健康问题，甚者被抑郁症整日折磨，这是不幸的，是大家不所愿见到的。 那么你是不是有“我心理是否健康？”、“我抗压能力够不够强啊？”、“我是不是抑郁症啊？”之类的困扰呢。要想打败敌人，先要了解敌人，今天在这里粗略聊一下心理健康的标准，我们是否健康，怎么才算健康。 心 ...
- 分享 不解压jar包，修改并替换jar包的文件
- 如果要替换的文件在jar包的二级及以下目录下，则需要以下步骤： （1）使用jar tvf jar名称 | grep 目标文件名 查询出目标文件在war包中的目录 （2）使用jar xvf jar名称 目标文件名(copy上面查出的全路径) 将目标文件及所在war包中的目录解压到当前路径 （3）修改目标文件的内容，或者将要新的目标文件替换掉 ...
- 分享 linux下压缩方式比较
- 1. tar 只是打包动作，相当于归档处理，不做压缩；解压也一样，只是把归档文件释放出来。 2. tar.gz tgz (tar.gz和tgz只是两种不同的书写方式，后者是一种简化书写，等同处理) 这种格式是Linux下使用非常普遍的一种压缩方式， 兼顾了压缩时间（耗费CPU）和压缩空间（压缩比率） 其实这是对tar包进行gzi ...
- 分享 处理hive写入速度大于elasticsearch接收速度（含Elasticsearch写入性能优化及hive优化 ...
- 使用hive往elasticsearch的映射外部表中插入数据， 报错： Caused by: org.elasticsearch.hadoop.EsHadoopException: Could not write all entries (maybe ES was overloaded?). Bailing out... 分析： ES涉及到该部分源码如下： public void flush() { ...
- 分享 HiveHBaseTableOutputFormat cannot be cast to org.apache.hadoop.hive.ql.io.HiveOu
- 问题： 在CDH集群中用sql语句往hive中hbase的映射表中插入数据时报错如下： Causedby:java.lang.ClassCastException:org.apache.hadoop.hive.hbase.HiveHBaseTableOutputFormatcannotbecasttoorg.apache.hadoop.hive.ql.io.HiveOutputFormat atorg ...
- 分享 hive报错native snappy library not available: this version of libhadoop was built .
- 1.原因是snappy本地库不可用，在编译libhadoop的时候需要制定支持snappy，这一点不同于hadoop1.0，haodop1.0只需要将snappy本地库往指定目录copy就行了，不需要重新编译libhadoop本地库文件。 2.参考网上一些解决方案，重新编译native后会生成 libhadoop.so和 libsnappy.so.1, 编译主要是使用这两个文件。 ...
/2 
