日志
- 分享
spout Failed 问题失败分析及解决方案
-
2017-4-26 14:59
-
这个问题比较麻烦！定位了很久（至少花了我10天左右的时间）才解决此问题！ 出现此问题的原因是： spout在默认超时时间(30s)内发射出去的Tuple没有被bolt处理就会出现spout failed。 尝试解决问题的过程： 1、调整bolt的worker、executor、task数目，希望能够解决问题。结果失败！ 2、调整修改默认超时时间（topology ...
-
1311 次阅读|0 个评论
- 分享
连接Excel到Kylin
-
2017-2-20 21:33
-
Microsoft Excel是当今Windows平台上最流行的数据处理软件之一，支持多种数据处理功能，可以利用Power Query从ODBC数据源读取数据并返回到数据表中。 Microsoft Power BI 是由微软推出的商业智能的专业分析工具，给用户提供简单且丰富的数据可视化及分析功能。 Apache Kylin目前版本不支持原始数据的查询，部分查 ...
-
2262 次阅读|1 个评论
热度 1
- 分享
zookeeper 大量连接成功，秒断开原因分析
-
2017-1-5 19:53
-
问题现象 最后发现线上的zookeeper的日志zookeeper.out 文件居然有6G，后来设置下日志为滚动输出，参考： http://blog.csdn.net/hengyunabc/article/details/19006911 但是改了之后，发现一天的日志量就是100多M，滚动日志一天就被冲掉了，这个不科学。 再仔细查看下日志里的内容，发现有很多连接建立好，马上又断 ...
-
4919 次阅读|0 个评论
- 分享
linux目录权限继承问题
-
2016-10-31 14:19
-
我现在有个samb服务器，共享文件夹：ABC 赋予权限是drwxrwxs--- root abc 现在用win往共享文件里些，文件的权限是-rwxr--r-- user1 abc 想让子文件或者文件夹继承父目录的权限。怎么设置。 umask 全局的，不行。不能影响其他用户。 也别说chmod －R 770 不能建个文件我敲一条命令。 谢谢。如果能帮我解决另加分，倾家相谢！ ...
-
1485 次阅读|0 个评论
- 分享
cmd下后台运行python程序
-
2016-10-27 13:59
-
运行python程序的时候会在背景显示一个cmd，要想不显示其实很简单( 虽然是我找了1个小时...才了解的基本知识 ) 方法1:pythonw xxx.py 方法2:将.py改成.pyw (这个其实就是使用脚本解析程序pythonw.exe) 原文： 1) Try changing the file extension to .pyw. Double-clicking a .pyw will use pyth ...
-
2085 次阅读|1 个评论
热度 1
- 分享
openstack - 云盘管理 (备忘)
-
2016-8-13 13:39
-
Openstack 中, 创建云主机时, 需要定义 flavor 类型, flavor 定义了每个云主机的硬件类型, 包括 cpu 个数, 内存大小, 硬盘大小(根盘), 作为通用类型, 我们不会把硬盘容量设定过大, 那么对于数据库用户或其他需要使用大容量磁盘的用户是不合适的. 特点: 云主机与云硬盘, 需要独立地创建, 独立管理云硬盘需要通过命令指定云 ...
-
1381 次阅读|1 个评论
热度 1
- 分享
如何在hadoop中控制map的个数
-
2016-6-28 15:51
-
hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。 为了方便介绍，先来看几个名词： block_size : ...
-
1344 次阅读|1 个评论
热度 1
- 分享
Kafka 的消息日志Offset
-
2016-6-8 16:04
-
之前在做Kafka 整合Storm的时候，因为对Kafka 不是很熟，考虑过这样的一个场景问题，针对一个Topic,Kafka消息日志中有个offset信息来标注消息的位置，Storm每次从kafka 消费数据，都是通过zookeeper存储的数据offset，来判断需要获取消息在消息日志里的起始位置。 那么我们想，这个Offset 是消息在日志里是一个什么样 ...
-
3068 次阅读|0 个评论
- 分享
sqoop导出数据到mysql出现异常，语句是对的，不多不知道为什么报错
-
2016-6-8 15:31
-
# sqoop export --connect jdbc:mysql://192.168.56.1:3306/hive --username root --password root --table pv_info --export-dir /hive/hmbbs.db/result/dat2=2013-05-30 --input-fields-terminated-by '\t'; 13/10/31 02:24:43 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Cons ...
-
1617 次阅读|0 个评论
- 分享
php开发Hive Web查询
-
2016-6-7 08:41
-
用php写了一个hive的查询界面，顺便把开发过程和遇到的问题记录下来。 一、php Hive API的问题 默认情况下，Hive本身自带的php API是不太好使的。一个是路径有问题，一个是代码本身也有问题。所以，采用thrift重新自己生成hive的php api。 找到所有的thrift文件，并复制到某个路径下 #cd hive #for i in `f ...
-
848 次阅读|0 个评论
- 新手帮助
- 新手帮助：注册遇到问题，领取资源，加入铁粉群，不会使用搜索，如何获取积分等
查看 »
/2 
