图文精华

hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...

About云-梭伦科技 › 日志

日志

分享 spark Exception in task 0.0 in stage 0.0: s060403072 2017-5-14 21:51; 大家好，有个问题，local模式submit 时，程序里println的内容在控制台有输出，而换成standalone client 方式submit时println里的内容没有输出，是内存不够吗，还是其他什么问题。我是虚拟机在笔记本上搭建的spark集群 17/05/14 19:20:24 INFO util.Utils: Fetching http://192.168.31.160:33039/jars/spark_study_java ...; 3276 次阅读|0 个评论

分享解决方法：在启动的时候加入参数--driver-class中加入mysql 驱动: s060403072 2016-3-21 11:04; org.apache.hadoop.hive.ql.metadata.HiveException: Unable to fetch table SOGOUQ1 at org.apache.hadoop.hive.ql.metadata.Hive.getTable(Hive.java:958) at org.apache.hadoop.hive.ql.metadata.Hive.getTable(Hive.java:924) ...; 2244 次阅读|1 个评论热度 1

分享在MapReduce中map是单行进行处理的，想在map处理前，初始化一个数组供map使用，该如何 ...: s060403072 2016-3-20 19:07; 在MapReduce中map是单行进行处理的，想在map处理前，初始化一个数组供map使用，该如何处理？解答：重写setup方法整理自： 371358502 2群; 1111 次阅读|0 个评论

分享 Hbase简单入门的技巧: s060403072 2016-3-16 21:55; 我们已经知道了Hbase是一个开源的非关系型分布式数据库以及它的作用，下来我们学习这个软件的应用，今天我给大家讲一一些HBase简单入门的技巧。 HBaseConfiguration是用来配置HBase的对象。他只有两个过时的构造方法，这里不讲。他还有两个静态的创造配置文件的方法， create() 和create(org.apa ...; 1575 次阅读|0 个评论

分享 java.util.ConcurrentModificationException的解决办法: s060403072 2016-3-6 22:29; 项目需求：比较两个list集合里面的元素，根据某些规则，删除里面某个集合的元素，本想以为比较简单，但是还是碰到了一些问题。本次使用的是foreach来实现的。之前使用的是Iterator迭代来实现，不报此异常。使用Iterator来迭代的代码如下： public String findByEvent() throws Excepti ...; 1280 次阅读|0 个评论

分享 flume传递速率限制【二次开发】: s060403072 2015-9-21 20:23; API 地址 http://flume.apache.org/releases/content/1.3.0/apidocs/index.html 按理说，应该在sink端限制数据的发送速度，但flume-ng提供了非常便利的interceptor模式，因此本文，就只是在source端简单的实现了对数据发送速度的限制。 package com.xxx.flume.core.intercep ...; 2137 次阅读|0 个评论

分享 HBase 负载均衡: s060403072 2015-6-29 21:46; HBase 可以根据当前集群的负载以region为单位进行rebalance。在HMaster中，后台会起一个线程定期检查是否需要进行rebalance，线程叫做BalancerChore。线程每隔 hbase.balancer.period会定期执行 master.balance()函数，配置项默认300000毫秒，5分钟。每次balance最多执行 hbase.balancer.max.balancing，如果没有配 ...; 2200 次阅读|1 个评论热度 4

分享 Redis 的 master/slave 复制: s060403072 2015-5-27 19:22; Redis 的 master/slave 数据复制方式可以是一主一从或者是一主多从的方式，Redis 在 master 是非阻塞模式，也就是说在 slave 执行数据同步的时候，master 是可以接受客户端的请求的，并不影响同步数据的一致性，然而在 slave 端是阻塞模式的，slave 在同步 master 数据时，并不能够响应客户端的查询 Re ...; 932 次阅读|0 个评论

分享 Scala Trait详解: s060403072 2015-5-27 19:20; 除了从父类集成代码外，Scala中的类还允许从一个或者多个traits中导入代码。对于Java程序员来说理解traits的最好方法就是把他们当作可以包含代码的接口（interface）。在Scala中，当一个类继承一个trait时，它就实现了这个trait的接口，同时还从这个trait中继承了所有的代码。让我们通过一个典型的实例来看看这种tr ...; 2424 次阅读|0 个评论

分享 Java多线程系列--“基础篇”02之常用的实现多线程的两种方式: s060403072 2015-5-9 01:32; 概要本章，我们学习“常用的实现多线程的2种方式”： Thread 和 Runnable 。之所以说是常用的，是因为通过还可以通过java.util.concurrent包中的线程池来实现多线程。关于线程池的内容，我们以后会详细介绍；现在，先对的Thread和Runnable进行了解。本章内容包括： Thread和Runnable的简介 ...; 882 次阅读|0 个评论

123 4 / 4 页下一页

推荐 /2

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / 京ICP备2020039040号简书网举报电话：021-34700000

意见
反馈