图文精华

hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...

About云-梭伦科技 › 日志

日志

最新发表的日志| 推荐阅读的日志 | Nutch | Docker | K8s | Flink | Hyperledgar | 比特币 | 以太坊 | 机器学习 | 图像处理 | NLP | 神经网络 | 其它 | ElasticSearch | 大数据 | Spark | Sqoop | Lucene | Solr | Nosql | Oozie | Cloudera系列 | ZooKeeper | Flume | Hadoop | Kafka | Hive | Hbase | Mapreduce | Storm | 人工智能 | 区块链 | openstack | 物联网 | 容器

分享 ES安装参数设置---java.lang.OutOfMemoryError: unable to create new native thread: Aningorg 2018-9-27 14:34; java.lang.OutOfMemoryError: unable to create new native thread 该报错应也适用于除ES外的内存溢出，不可创建新线程。以下为解决过程：使用两个节点单独部署 ES 集群，每个节点启动五个实例，但是在启动最后一个实例的时候报错如下，内存溢出 outofMemoryError 以及不能创建新线 ...; 1570 次阅读|1 个评论

分享 sqoop抽取数据到hive失败，报错metadata问题: Aningorg 2018-9-27 10:32; 使用 sqoop 抽取 GreenPlum 数据或者 oracle 数据到 hive 时报错如下，仔细看一下报错即可看到提示是 metadata 元数据的问题，但是当时考虑到在 mysql 中 hive 的元数据库以及表都有，所以没有进去查看表数据是否正确，下面写一下处理问题时的思路：从以下几点出发考虑 1.sqoop 本身 ...; 1146 次阅读|0 个评论

分享 mysql数据实时备份上hdfs使用什么工具: sstutu 2018-9-25 19:53; sqoop不是实时的，需要增量导入，表特殊比如没有id等，可以使用canal. 数据抽取是 ETL 流程的第一步。我们会将数据从 RDBMS 或日志服务器等外部系统抽取至数据仓库，进行清洗、转换、聚合等操作。在现代网站技术栈中，MySQL 是最常见的数据库管理系统，我们会从多个不同的 MySQL 实例中抽取数据，存入一个中心节点， ...; 1539 次阅读|0 个评论

分享 flink REST API的学习: yue23yue 2018-9-17 20:33; /jobs 显示当前flink作业的id 以及当前状态，请求方式为get; 1901 次阅读|0 个评论

分享 The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions: 阿飞 2018-9-8 21:30; The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rw- 解决办法： hadoop fs -chmod -R 777 /tmp; 1130 次阅读|0 个评论

分享 RAID 技术: Aningorg 2018-9-6 11:18; RAID 的两个关键目标是提高数据可靠性和 I/O 性能。从实现角度看， RAID 主要分为软 RAID、硬 RAID 以及软硬混合 RAID 三种。软 RAID 所有功能均有操作系统和 CPU 来完成，没有独立的 RAID 控制 / 处理芯片和 I/O 处理芯片，效率自然最低。硬 RAID 配备了专门的 RAID 控制 / 处理芯片和 I/O 处理芯片以及阵列缓冲，不占 ...; 696 次阅读|0 个评论

分享 CentOS6本地yum源配置(6.4和6.5已测): Aningorg 2018-9-5 14:23; 1、挂载系统ISO镜像，或拷贝系统安装包 1) mkdir /local_yum 创建存储rpm包的目录 2) mkdir /mnt/cdrom 3) mount -o loop -t iso9660/opt/CentOS-6.8-x86_64-bin-DVD1.iso ...; 733 次阅读|0 个评论

分享【Linux】Linux下统计当前文件夹下的文件个数、目录个数: Aningorg 2018-9-5 14:01; 1.统计当前文件夹下文件的个数，包括子文件夹里的 ls -lR|grep "^-"|wc -l 2.统计文件夹下目录的个数，包括子文件夹里的 ls -lR|grep "^d"|wc -l 3.统计当前文件夹下文件的个数 ls -l |grep "^-"|wc -l 4.统计当前文件夹下目录的个数 ...; 732 次阅读|0 个评论

分享 ile segment length cannot be negative (got -571962): sstutu 2018-8-23 15:38; 18/08/20 23:36:01 ERROR Executor: Exception in task 306.0 in stage 0.0 (TID 192) java.lang.IllegalArgumentException: requirement failed: File segment length cannot be negative (got -571962) at scala.Predef$.require(Predef.scala:233) at org. ...; 1471 次阅读|0 个评论

分享 Spark详解--场景、概念、组件、实践、案例: pig2 2018-7-24 07:22; 问题导读 1.spark有哪些使用场景？ 2.spark有包含哪些组件？ 3.spark在哪些厂商已经应用？ 4.spark如何实现地震检测？ Apache Spark是一个用于实时处理的开源集群计算框架。它是Apache软件基金会中最成功的项目。 Spark已成为大数据处理市场的领导者。今天，Spark被亚马逊，eBay和雅虎等主要厂 ...; 1954 次阅读|0 个评论

1 ... 4 5 6 7 8 9 101112 / 12 页下一页

推荐 /2

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / 京ICP备2020039040号简书网举报电话：021-34700000

意见
反馈