日志
云技术|
- 分享 Ubuntu 14.04增强了安全性，不允许默认使用root连接ssh
- 因为，最新的Ubuntu 14.04增强了安全性，不允许默认使用root连接ssh xshell连接ssh问题 在该文件里：vi /etc/ssh/sshd_config 将PermitRootLoginwithout-password修改为PermitRootLoginyes即可。 因为，最新的Ubuntu14.04增强了安全性，不允许默认使用root连接ss ...
- 分享 IOUtils.copyBytes的简单例子
- IOUtils.copyBytes可以方便地将数据写入到文件，不需要自己去控制缓冲区，也不用自己去循环读取输入源。 import java.io.BufferedInputStream; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileS ...
- 分享 hadoop2.3.0cdh5.0编译安装
- 系统版本:ubuntu12.04 1、安装JDK 我这里用的是64位机，要下载对应的64位的JDK,下载地址：http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260-zhs.html，选择对应的JDK版本，解压JDK，然后配置环境变量 vi /etc/profile export PATH export JAVA_HOME=/usr/share/jdk1.7 ...
- 分享 python爬虫工具组合
- 组合一： urllib+urllib2 组合二： python+pamie+ie 组合三： python+jssh+firefox 组合四： beautifulsoup+re 组合五： Twisted + lxml 组合六： wget 组合七： python+scrapy
- 分享 spark程序运行时问题
- spark java程序写完后，执行 java -jar jar包name报如下错误： Exception in thread "main" com.typesafe.config.ConfigException$Missing: No configuration setting found for key 'akka.remote.log-sent-messages' 或者报 Exception in thread "main" java.lang.SecurityException: Inva ...
- 分享 已编译好的oozie-4.0.1-distro.tar
- 链接：http://pan.baidu.com/s/1pJ0m0gb 密码：uyoa
- 分享 hadoop家族，简练总结
- Apache Hadoop : 是Apache开源组织的一个分布式计算开源框架，提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架构。 Apache Hive : 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应 ...
- 分享 Storm0.8.2新特性：topology隔离（Isolation Scheduler）
-
Storm0.8.2中退出了新的特性：topology隔离。Storm官方称之为“Isolation Scheduler”。官方说明说下： 也就是说，在Storm0.8.2中，可以为Topology配置单独隔离的N个节点来运行这个topology，这N个节点上只运行指定的某个Topology，不会与其它Topology共享。 而且更进一步，这些topology具有更高的优先级，在资源不 ...
- 分享 Storm弹性计算：实时调整Topology并发数
- Storm计算以topology为单位，topology提交到Storm集群中运行后，通过storm rebalance 命令可对topology进行动态调整。比如增加Topology的worker数，修改Bolt，Spout的并行执行数量 parallelism等，从而实现topology的动态调整，达到弹性计算的目的。（当然调整时要配合监控模块） 可通过storm help rebala ...
/2 
