日志
- 分享
Multi-Node Lab
-
2015-12-21 12:01
-
Here is OpenStack in a realistic test configuration with multiple physical servers. Prerequisites Linux Network Minimal Install You need to have a system with a fresh install of Linux. You can download the Minimal CD for Ubuntu releases since DevStack will download install all the ...
-
1322 次阅读|0 个评论
- 分享
Openstack文件和元数据注入
-
2015-11-30 11:54
-
openstack在创建实例的时候可以将文件注入到实例中，也可以传一些参数到实例，这在有些情况下会非常有用，比如修改root密码，注入ssh密钥，对实例的个性化定制（后面会举例子） Note: 只有注入文件失败才会使创建实例过程失败 对注入的支持可以有loop, guestfs, nbd, mount等，其中 mount 不安全。缺省使用:&n ...
-
1142 次阅读|0 个评论
- 分享
大型网站之分布式会话管理
-
2015-11-20 15:38
-
大型网站之分布式会话管理 随着网站的功能和用户越来越多，单机器服务部署的Web应用已经不能再支持了。这时候就需要优化或调整目前的架构，具体怎么优化，或先优化哪部分，这取决于网站的具体情况， 并非总是一个套路。 如根据使用情况得知，数据库压力大，则就可以先设施读写分离，分库分表，是垂直划分(可以简单的理解 ...
-
1099 次阅读|0 个评论
热度 1
- 分享
yum localinstall 解决本地rpm包的依赖问题,以及yum 命令常用方法
-
2015-10-21 22:00
-
今天在Fedora 12上安装VBox的时候遇到一点麻烦，还好yum localinstall 帮我轻松的解决这个问题. $ rpm -ivh VirtualBox-3.1-3.1.0_55467_fedora12-1.i686.rpm warning: VirtualBox-3.1-3.1.0_55467_fedora12-1.i686.rpm: Header V4 DSA signature: NOKEY, key ID 6dfbcbae error: Failed dependencies: libQtCore.so.4 is ...
-
2873 次阅读|0 个评论
- 分享
Hive调优实战
-
2015-9-18 17:33
-
优化时，把hive sql 当做map reduce 程序来读，会有意想不到的惊喜。 理解hadoop 的核心能力，是hive 优化的根本。这是这一年来，项目组所有成员宝贵的经验总结。 长期观察hadoop处理数据的过程，有几个显著的特征 : 1.不怕数据多，就怕数据倾斜。 2．对jobs数比较多的作业运行效率相对比较低 ...
-
997 次阅读|0 个评论
热度 1
- 分享
nutch1.4：爬虫定时抓取设置
-
2015-9-8 16:02
-
nutch1.4定时爬取数据配合linux定时任务可以实现nutch的自动定时爬取，linux定时任务请参考 linux crontab 配置定时mapreduce job http://www.aboutyun.com/thread-6289-1-1.html (出处: about云开发) 步骤如下： 1、首先查看当前用户的 crontab服务执行命令： crontab -l 执行结果： no ...
-
1633 次阅读|1 个评论
热度 1
- 分享
java.lang.NullPointerException记录下来
-
2015-8-24 18:22
-
java.lang.NullPointerException atorg.apache.hadoop.hive.ql.io.HiveInputFormat.init(HiveInputFormat.java:255) atorg.apache.hadoop.hive.ql.io.HiveInputFormat.pushProjectionsAndFilters(HiveInputFormat.java:440) a ...
-
884 次阅读|0 个评论
- 分享
运行mr例子，卡在Running job: job_1440140081964_0002。
-
2015-8-21 16:31
-
运行mr例子，卡在Running job: job_1440140081964_0002。resourcemanager的日志最后显示State change from SUBMITTED to SCHEDULED，nodemanager没有日志。这应该如何解决啊？网上查到的都解决不了
-
541 次阅读|0 个评论
- 分享
solr和elasticsearch总结
-
2015-7-28 17:45
-
前段时间在系统的学习solr和elasticsearch，前者是之前就接触过的，后者是其他部门过来一个大神带过来的技术。之前我们用solr搭建的是单核(core)全文检索，一个网站，一个solr，一个索引库，一个表，很有局限性，最近搭起了一个多核（cores）的solr，同时通过配置 Scripts文件（ solr_home/conf/scripts.conf ）里内容搭 ...
-
1261 次阅读|0 个评论
- 分享
Hadoop2.X异常No FileSystem for scheme: hdfs
-
2015-7-22 21:41
-
把eclipse中的hadoop项目，换了一个工作空间，再次启动任务时，发现报如下异常： lt;pre name="code" class="java"gt;java.io.IOException: No FileSystem for scheme: hdfs at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.jav ...
-
784 次阅读|0 个评论
- 新手帮助
- 新手帮助：注册遇到问题，领取资源，加入铁粉群，不会使用搜索，如何获取积分等
查看 »
/2 
