图文精华

About云-梭伦科技 › 日志

    blog 日志

    分享 Openstack文件和元数据注入
    admin 2015-3-5 00:48
    说明 : openstack 在创建实例的时候可以将文件注入到实例中，也可以传一些参数到实例，这在有些情况下会非常有用，比如修改 root 密码，注入 ssh 密钥，对实例的个性化定制（后面会举例子） Note: 只有注入文件失败才会使创建实例过程失败 对注入 ...
    2627 次阅读|0 个评论
    分享 Flume lzo压缩输出至 hadoop
    admin 2015-2-5 17:43
    1. Hadoop 支持lzo压缩依赖： lzo：Unix/linux系统默认没有lzo的 库，因此需要安装，sudo yum install lzo-devel.x86_64 sudo yum install lzo.x86_64 sudo yum install lzop.x86_64 2. 准备maven,ant,gcc 等 3. ...
    1341 次阅读|0 个评论
    分享 ceph RBD 在线扩容
    admin 2015-1-6 17:08
    要求linux 内核3.8以上 在线改变已经挂载的ceph 块设备容量： # rbd create --size 10000 test # rbd map test # mkfs.ext4 -q /dev/rbd1 # mount /dev/rbd1 /mnt # df -h /mnt Filesystem Size Used Avail Use% Mounted on /dev/rbd1 9.5G 22M 9.0G 1% /mnt # blockdev --getsize64 /dev/rbd1 ...
    1619 次阅读|0 个评论
    分享 storm api记录下来，以备后用
    admin 2015-1-5 21:18
    storm api记录下来，以备后用 https://storm.apache.org/apidocs/backtype/storm/task/TopologyContext.html
    803 次阅读|0 个评论
    分享 hbase储存结构及客户端访问hbase表的过程
    admin 2014-12-30 17:36
    hbase储存结构及客户端访问hbase表的过程
    hbase存储结构及客户端访问hbase表的过程 　　要说明客户端访问/操作hbase表，先简要说明hbase表的存储结构。 　　Hbase最初有一个表，则一个表对应一个region，随着表增大，一个region会分为多个region，即一个表对应了多个region。Region是hbase存储的最小单位，不能分割，即一个region内的数据只能存在一个服 ...
    939 次阅读|0 个评论
    分享 storm - 可靠机制
    admin 2014-12-28 17:54
    storm - 可靠机制
    一 可靠性简介 Storm的可靠性是指Storm会告知用户每一个消息单元是否在一个指定的时间(timeout)内被完全处理。完全处理的意思是该MessageId绑定的源Tuple以及由该源Tuple衍生的所有Tuple都经过了Topology中每一个应该到达的Bolt的处理。 注: timetout 可以通过Config.TOPOLOGY_MESSAGE_TIMEOUT_SECS 来指 ...
    934 次阅读|0 个评论
    分享 hadoop编译如何不生成文档及生成文档编译命令
    admin 2014-11-23 17:25
    第一种编译命令 mvn package -DskipTests -Pdist,native,docs 把上面命令中的docs去掉即可，就不必生成文档了 另外一种编译命令 mvn package -Pdist,native -DskipTests -Dtar
    782 次阅读|0 个评论
    分享 pig中查询top k，返回每个hour和ad_network_id下最大两个记录（SUBSTRING，order，...
    admin 2014-11-12 15:35
    pig里面是有TOP函数，不知道为什么用不了。有时间要去看看pig源码了。 SET job.name 'top_k'; SET job.priority HIGH; --REGISTER piggybank.jar; REGISTER wizad-etl-udf-0.1.jar; --DEFINE SequenceFileLoader org.apache.pig.piggybank.storage.SequenceFileLoader(); DEFINE SequenceFileLoader com.v ...
    1136 次阅读|0 个评论
    分享 gradle安装
    admin 2014-11-11 15:36
    gradle安装
    我对 Gradle 的理解是其是结合了 Maven 和 Ant 双方优点的一种基于 Groovy DSL 的新式项目构建工具。而且由于是基于 Groovy 语言，所以语法上要比基于 XML 的 Maven 和 Ant 简洁许多，并且功能更加强大。没有maven那么繁琐和复杂。 1.前提条件 a.需要安装jdk 1.5或以上版本才能运行gradle. b.要确 ...
    987 次阅读|0 个评论
    分享 kafka log4j配置
    admin 2014-11-11 15:14
    kafka日志文件分为5种类型，依次为：controller,kafka-request,server,state-change,log-cleaner，不同类型log数据，写到不同文件中: kafka.logs.dir=logs log4j.rootLogger=INFO, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.l ...
    2765 次阅读|0 个评论
    12345下一页
    关闭

    推荐上一条 /2 下一条

    关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

    Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

    简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000