图文精华

hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...

About云-梭伦科技 › 日志

日志

分享 Libvirt的三种CPU配置模式: nextuser 2015-7-7 23:48; CPU 配置模式可以有以下几种模式：（ 1 ） custom 模式 xml 配置文件为： cpu mode='custom' match='exact' modelfallback='allow'kvm64/model ... featurepolicy='require' name='monitor'/ /cpu （ 2 ） host-model 模式根据物理 CPU 的 ...; 4481 次阅读|0 个评论

分享 flume难题记录，日后解决: nextuser 2015-7-1 19:10; local id = "111111" local user = '{"a": ,"key": ,"c": }' local userProfile = cjson.decode(user) -- 使用Flume采集以上数据，要求 id 与 userProfile 以键值对的方式存储，要求Flume Source支持异步写入，支持高并发 -- 在此脚本中，如果Flume配置为HTTP SOURCE、FILE CHANNEL、HDFS SINK, 如何将 id ...; 787 次阅读|0 个评论

分享 HBase二级索引与Join: nextuser 2015-6-1 16:13; 二级索引与索引Join是Online业务系统要求存储引擎提供的基本特性。RDBMS支持得比较好，NOSQL阵营也在摸索着符合自身特点的最佳解决方案。这篇文章会以HBase做为对象来探讨如何基于Hbase构建二级索引与实现索引join。文末同时会列出目前已知的包括0.19.3版secondary index,?ITHbase, Facebook和官方Coprocessor ...; 1462 次阅读|0 个评论

分享 Linux过长的单行命令，需要进行换行: nextuser 2015-1-27 01:43; 过长的单行命令，需要进行换行，都知道需要使用 \ 来达到目的，但是昨晚的三封监控邮件没有按时发出，检查了一下，发现就是换行问题，要进行换行的时候，你需要注意那个 \的颜色问题。按照这样的模式换行吧：空格斜杠回车继续命令：）; 864 次阅读|0 个评论

分享 hadoop中使用 Gzip 压缩格式支持笔记: nextuser 2015-1-6 18:22; hadoop中支持的压缩方式有多种，比如Gzip，bzip2，zlib等，其中Gzip是hadoop中内置就支持的一种压缩方式，这种压缩方式在平时 linux 的开发人员和管理员中使用的比较广泛，压缩比也比较高，压缩速度也还不错，所以很多人都喜欢第一趋向于使用这种压缩格式进行文件的压缩。 &nb ...; 871 次阅读|0 个评论

分享在mapreduce任务中使用distributedCache: nextuser 2015-1-6 18:21; 在使用mapreduce时，各个map之间需要共享一些信息。如果信息不大，可以保存在conf中。但是需求是在各个map之间共享文件或者tar包使用distributedCache可以满足这个需求： distributedCache可以把HDFS上的文件（数据文件、压缩文件等等）分发到各个执行task的节点。执行map或者reduce task的节点就可以在本地，直接用 ...; 885 次阅读|0 个评论

分享 Apache Pig中文教程（进阶）: nextuser 2015-1-6 15:15; 本文的大量实例都是作者Darran Zhang（website: codelast.com）在工作、学习中总结的经验或解决的问题，并且添加了较为详尽的说明及注解，此外，作者还在不断地添加本文的内容，希望能帮助一部分人。 Apache Pig是用来处理大规模数据的高级查询语言，配合Hadoop使用，可以在处理海量数据时达到事半功倍的效果，比使用J ...; 1942 次阅读|0 个评论

分享 Cloudera manager点滴: nextuser 2015-1-6 12:11; 1.架构 2.组件 3.安装使用本地库 Cloudera网速有时不稳定，下载失败后需要重下，所以可以使用其它下载工具先下载到本地，再使用本地库进行安装。 : http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM4Ent/latest/Cloudera-Manager-Installation-Guide/cmig_create_local_repo.html#cmig ...; 619 次阅读|0 个评论

分享 hive0.14配置参数项的功能介绍: nextuser 2015-1-5 20:23; ?xml version="1.0" encoding="UTF-8" standalone="no"? ?xml-stylesheet type="text/xsl" href="configuration.xsl"? !-- Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the NOTICE file distributed ...; 10074 次阅读|0 个评论

分享 hadoop使用kerberos增加权限验证功能: nextuser 2015-1-5 20:21; 更改network中的hostname vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=nn21021 更改hosts vim /etc/hosts 127.0.0.1 localhost #::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 172.17.210.21 nn21021 1 ...; 13169 次阅读|0 个评论热度 1

1 23 / 3 页

推荐 /2

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / 京ICP备2020039040号简书网举报电话：021-34700000

意见
反馈