日志
- 分享
hadoop MR 任务 报错 "Error: java.io.IOException: Premature EOF from inputStrea
-
2015-11-27 15:06
-
错误原文分析 文件操作超租期，实际上就是data stream操作过程中文件被删掉了。通常是因为Mapred多个task操作同一个文件，一个task完成后删掉文件导致。这个错误跟dfs.datanode.max.transfer.threads参数到达上限有关。这个是datanode同时处理请求的任务上限，总默认值是 4096，该参数取值范围 hadoop docs hdfs- ...
-
1154 次阅读|0 个评论
- 分享
Django: 路由与视图
-
2015-11-10 21:20
-
简介 Django框架是美国World Company（世界公司？NB）的工程师Adrian Holovaty和Simon Willison在开发其公司运行的新闻网站（LJWorld.com、Lawrence.com、KUsports.com ） 过程中，逐渐完善丰富而成，2005年开源，是迄今为止Python界名气最大的Web框架。 Django这个词来自吉普赛语，D不发音，中文通常翻为姜戈，不过也有人 ...
-
819 次阅读|0 个评论
- 分享
用SQOOP从SQLSERVER导入数据到（HDFS,HIVE,HBASE)
-
2015-10-23 14:41
-
假定: 用户database：InsideTSQL2008， tablename:Employees 注意：如果需要导入的table “No primary key could be found”， 则需要“specify one with --split-by or perform a quential import with '-m 1'.” 准备：从Microsoft官网下载jdbc驱动， 将sqljdbc_3.0/enu/下的sqljdbc4.jar和sqljdbc.jar包导入到$S ...
-
3893 次阅读|0 个评论
- 分享
Ceph 安装配置之一 扩展集群
-
2015-10-3 17:33
-
compute(mon0):增加一个osd进程osd2 和一个元数据服务器mds0 controller(osd0):增加一个监视器服务器mon1 network(osd1) :增加一个监视器服务器mon2 注：多个监视器服务器可以生成quoraum 1. 在compute上增加OSD节点 (1)compute节点创建osd2目录 s ...
-
2461 次阅读|0 个评论
- 分享
kafka_2.9.2-0.8.1.1分布式集群搭建代码开发实例
-
2015-9-2 11:48
-
准备3台虚拟机, 系统是RHEL64服务版. 1) 每台机器配置如下: $ cat /etc/hosts # zookeeper hostnames: 192.168.8.182 zk1 192.168.8.183 zk2 ...
-
1823 次阅读|0 个评论
- 分享
zookeeper session过期问题
-
2015-7-27 11:13
-
我们经常碰到session过期的问题，比如hbase等 ，很有可能ntp的问题
-
774 次阅读|0 个评论
- 分享
怎么确定分片？
-
2015-7-22 19:28
-
分布式环境下，Solr的索引按照一定的策略分为分片Shard，然后部署到各个节点上。对给定数据源的任一个给定的数据，无论是新增，还是删除和修改，总是有对应的一个分片。也即：分片＝F(数据行) 针对分片是否存在，以及操作，可以有以下的处理方式： 分片存在 分片不存在 新增 获取分片，更新分片 ...
-
759 次阅读|0 个评论
- 分享
kafka解决查找效率的两大方法
-
2015-5-9 22:39
-
数据文件的分段 Kafka 解决查询效率的手段之一是将数据文件分段，比如有100条Message，它们的offset是从0到99。假设将数据文件分成5段，第一段为0-19，第二段为20-39，以此类推，每段放在一个单独的数据文件里面，数据文件以该段中最小的offset命名。这样在查找指定offset的Message的时候，用二分查找就可以定位到该 ...
-
960 次阅读|0 个评论
- 分享
hive创建表语句详解
-
2015-5-9 22:36
-
创建表的语句： Create TABLE table_name , ...)] , ...)] ,...)]INTO num_buckets BUCKETS] CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT EXIST 选项来忽略这个异常。 EXTERNAL ...
-
5706 次阅读|0 个评论
- 分享
storm中一个Bolt发emit多次相同类型消息
-
2015-4-17 18:20
-
在storm中的Bolt中可以处理完成逻辑后，向后面的Blot继续发送消息。 可以发送多个不同的消息，如： collector.emit("update-delivered-status",new Values(emailDeliverStatus)); collector.emit("save-request",new Values(udsn)); 也可以同一个类型的消息发送多个不同内容如; for (int i = 0; i ...
-
1012 次阅读|0 个评论
- 新手帮助
- 新手帮助：注册遇到问题，领取资源，加入铁粉群，不会使用搜索，如何获取积分等
查看 »
/2 
