日志
云技术|
- 分享 spark sql遇到问题ERROR metastore.RetryingHMSHandler: AlreadyExistsException(mess ...
- scala spark.sql("show databases").show() 18/10/14 07:55:47 WARN conf.HiveConf: HiveConf of name hive.conf.hidden.list does not exist ivysettings.xml file not found in HIVE_HOME or HIVE_CONF_DIR,/usr/hive/conf/ivysettings.xml will be used 18/10/14 07:55:49 WARN conf.HiveConf: HiveConf of name ...
- 分享 hbase、impala、hive整合，impala查询遇到问题总结
- 问题背景： hbase、impala、hive整合，impala查询遇到问题总结 impala用来查询实时数据 hive用来查询数据量比较大的数据 为何不用hbase查询？ 原因impala支持sql语义，交互性更好，根适合业务开发 问题描述： hive建的表映射的hbase表，在用impala 窗口查询hive。遇到个很妖怪的事情。select 表，where条件如果 ...
- 分享 什么情况下使用MongoDB与Redis
- MongoDB(v2.4.9)： 依赖内存,TPS较高 Redis： 依赖内存,TPS非常高 比较： Redis优于MongoDB ###################### MongoDB(v2.4.9)： 丰富的数据表达,索引;最类似于关系型数据库,支持丰富的查询语句 Redis： 数据丰富,较少的IO 比较： MongoDB优于Redis
- 分享 mysql数据实时备份上hdfs使用什么工具
-
sqoop不是实时的，需要增量导入，表特殊比如没有id等，可以使用canal. 数据抽取是 ETL 流程的第一步。我们会将数据从 RDBMS 或日志服务器等外部系统抽取至数据仓库，进行清洗、转换、聚合等操作。在现代网站技术栈中，MySQL 是最常见的数据库管理系统，我们会从多个不同的 MySQL 实例中抽取数据，存入一个中心节点， ...
- 分享 从一个集群A hive表同步到另一个集群B hive表，中间可能有一些etl操作
- 有没有好办法 从一个集群A hive表同步到另一个集群B hive表，中间可能有一些etl操作 方法1：采用sqoop，用hive到mysql，在从mysql到hive 方法2：使用flume-ng-sql-source-1.5.2.jar组件 链接: https://pan.baidu.com/s/1hYulCU8wvFwmckXGFz2OIw 密码: cjvr
- 分享 spark读取kafka为什么这么慢
- sparkstreaming2.3, kafka消息处理慢，进行全流程打点，发现消息创建的时间和streaming中开始处理的时间相差比较大，处理过程很快，随着streaming运行时间增长，消息拉取越来越慢，加大cpu 内存都不起作用。 qq群里老铁遇到这么个问题，而且很多遇到了，这里说下，遇到问题，首先要做的是分析日志，然后分析源码。 ...
- 分享 ile segment length cannot be negative (got -571962)
- 18/08/20 23:36:01 ERROR Executor: Exception in task 306.0 in stage 0.0 (TID 192) java.lang.IllegalArgumentException: requirement failed: File segment length cannot be negative (got -571962) at scala.Predef$.require(Predef.scala:233) at org. ...
- 分享 cloudrea manager 执行创建文件夹目录错误总结
- 本文来自铁粉群：觉得不错分享给大家。 用cloudrea manager 安装的 CDH5.14，装好了之后，运行 sudo -u spark hadoop fs -mkdir -p /user/spark/share/lib，这样的命令会报错：sudo: hadoop: command not found 上面命令的含义： 切换spark用户，然后执行Hadoop命令创建目录。 可是却找不到命令，初步判断是 ...
- 分享 Scala 中区别 apply 和 update 方法
- Scala 是构建在 JVM 上的静态类型的脚本语言，而脚本语言总是会有些约定来增强灵活性。灵活性可以让掌握了它的人如鱼得水，也会让初学者不知所措。比如说 Scala 为配合 DSL 在方法调用时有这么一条约定： 在明确了方法调用的接收者的情况下，若方法只有一个参数时，调用的时候就可以省略点及括号。如 “0 to 2”，实际完 ...
- 分享 hadoop HA 备份standby node损坏，该如何修复
- 总结来自about云5群：432264021 集群是HA，【journal node】 备用节点损坏，需要添加namenode。 首先： 1.把ip 改成损坏 的那台机器 ，Java环境，网络等一致 2.直接把 当前namenode的Hadoop目录整个cp到新的namenode上 3.用 daemon命令启动 namenode 和 zkfc 4.执行 hdfsnamenod ...
/2 
