立即注册 登录
About云-梭伦科技 返回首页

muyannian的个人空间 https://www.aboutyun.com/?440 [收藏] [复制] [分享] [RSS]

日志

分享 Hive 源码- GenericUDAFRowNumber.java
2015-9-10 15:24
/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regarding copyright ownership. The ASF licenses this file * to you ...
1717 次阅读|0 个评论
分享 Hive中什么时候执行FetchTask任务
2015-7-5 21:29
select * from table hive select * from t limit 1; 直接执行FetchTask Hive中有各种各样的Task任务,其中FetchTask算是最简单的一种了。FetchTask不同于MapReduce任务,它不会启动mapreduce,而是直接读取文件,输出结果。当你执行简单的select * with limit语句的时候,其不会运行mapred ...
3898 次阅读|0 个评论
分享 OpenStack部署工具总结
2015-4-13 00:28
OpenStack部署工具总结
目前感觉比较简单直观的部署工具有RDO、devstack、Fuel等: 1. RDOhttps://openstack.redhat.com/Quickstart REDHAT出品,支持Redhat、CentOS等系统。RDO基于puppet部署各个组件,支持单节点或多节点部署,在Redhat系操作系统上使用非常方便。 2. devstackhttp://docs.openstack.org/devel ...
1679 次阅读|0 个评论
分享 storm 一个报错 Async loop died! & reconnect
2015-1-9 22:51
Async loop died! 重启任务后发现任务一直异常,日志中有大量reconnect。 b.s.m.n.Client Reconnect started for Netty-Client-192.168.1.2/192.168.1.21:6724... telnet到对应级机器的6724端口,连接不上,登陆机器检测端口,发现端口没有正常关闭,重启使用此端口job,之后恢复正常。
1491 次阅读|0 个评论
分享 编译Hadoop2.6.0源码
2015-1-7 00:24
1. jdk1.7 此处省略二百字 2. maven 3.2.1 安装 #wget http://apache.communilink.net/maven/maven-3/3.2.1/binaries/apache-maven-3.2.1-bin.tar.gz #tar xf apache-maven-3.2.1-bin.tar.gz #mv apache-maven-3.2.1-bin /usr/local/maven-3.2.1 #vim ~/.bashrc添加 export PATH=/usr ...
1526 次阅读|0 个评论
分享 Hive之insert into 和insert overwrite
2015-1-4 08:16
insert into 和overwrite的用法: INSERT INTO TABLE tablename1 \ select_statement1 FROM from_statement; INSERT OVERWRITE TABLE tablename1 ] \ select_statement1 FROM from_statement; 两种方式的相同点: 1.两个表的维度必须一样,才能够正常写入 2.如果查询出来的数据类型和插入表 ...
1911 次阅读|0 个评论
分享 如何使用directGrouping
2014-12-28 17:25
如何使用directGrouping 申明流是direct Stream spout/bolt的declareOutputFields中 outputFieldsDeclarer.declare(/ direct /true, new Fields("word")); 使用emitDirect来发送数据 spout/bolt的nextTuple/execute中 collector.emitDirect(/ taskId /getWordCountIndex(word),new Values(word)); 注意:因为第一个参数是 ...
2187 次阅读|0 个评论
分享 openstack网络详解(Essex版)
2014-12-16 13:49
openstack网络详解(Essex版)
这篇文章基本是参考了 http://www.mirantis.com/blog/ 的几篇英文blog,进过翻译和整理,详细介绍了openstack Essex版的网络模型,虽然在Folsom版启动了Quantum,但并不成熟,如果是部署中没有用到网络高级特性,建议大家还是使用nova-network。 1 Flat Flat模式和FlatDHCP模式 ...
832 次阅读|0 个评论
分享 openstack juno安装网络节点第三块网卡配置的疑问
2014-12-12 17:12
openstack juno安装网络节点第三块网卡配置的疑问,目前对这个的作用还不太明确: # The external network interface auto INTERFACE_NAME iface INTERFACE_NAME inet manual up ip link set dev $IFACE up down ip link set dev $IFACE down 据了解 ...
847 次阅读|0 个评论
分享 java.lang.OutOfMemoryError:GC overhead limit exceeded解决办法及分析
2014-12-10 17:13
我遇到这样的问题,本地部署时抛出异常java.lang.OutOfMemoryError:GC overhead limit exceeded导致服务起不来,查看日志发现加载了太多资源到内存,本地的性能也不好,gc时间消耗的较多。解决这种问题两种方法是,增加参数,-XX:-UseGCOverheadLimit,关闭这个特性,同时增加heap大小,- Xmx1024m。 坑填了,but why? ...
1961 次阅读|0 个评论
12下一页
关闭

推荐上一条 /2 下一条