日志
- 分享
并行编程
-
2014-6-8 01:49
-
下面我从并行编程、资源管理、云计算等三个角度帮助读者理解YARN。 并行编程 在单机程序设计中，为了快速处理一个大的数据集，通常采用多线程并行编程，如图2-12所示，大体流程如下：先由操作系统启动一个主线程，由它负责数据切分、任务分配、子线程启动和销毁等工作，而各个子线程只负责计算自己的数据，当所 ...
-
485 次阅读|0 个评论
- 分享
Linux文件权限图解及解说
-
2014-5-29 23:02
-
r 表示文件可以被读（read） w 表示文件可以被写（write） x 表示文件可以被执行（如果它是程序的话） 其中： 最前面那个 - 代表的是类型 第一组： （1）wxr代表的是所属用户，（2） wxr 表示的含义：代表读写执行都可以 第二组： （1）XR 代表的是组群（group），（2） XR 表示的含义：执行与读权 ...
-
557 次阅读|0 个评论
- 分享
HIve升级到新版本过程
-
2014-5-22 17:00
-
1: 将原有的hive改名为hive_backup 2: 将原有hive中的conf文件夹全部复制到新版本hive中 3： 修改hive-conf.sh 文件 添加HADOOP_HOME 4： 相关第三方的包要转移到新的hive版本lib目录下 5： 首先要把之前的10000端口对应的线程kill掉， 然后 $HIVE_PORT=10000 bin/hive --service hiveserver
-
565 次阅读|0 个评论
- 分享
hadoop中mapred.tasktracker.map.tasks.maximum的设置
-
2014-5-22 16:56
-
目前，我们邮件的一部分log已经迁移到Hadoop集群上 并由Hive来执行相关的查询 hadoop中默认的mapred.tasktracker.map.tasks.maximum设置是2 也即：每一个tasktracker同时运行的map任务数为2 照此默认设置，查询80天某用户的操作日志，耗时5mins, 45sec 经过测试，发现将mapred.tasktracker.map.tasks.maximum设置为节 ...
-
454 次阅读|0 个评论
- 分享
如何禁用ubuntu的IPV6
-
2014-5-22 16:55
-
禁止 IPv6 需要在启动内核后面加入“disable_ipv6=1” 做内核参数直接传递。 可用以下方法： 修改grub: gksu gedit /etc/default/grub 将 GRUB_CMDLINE_LINUX_DEFAULT="quiet splash" 变为 GRUB_CMDLINE_LINUX_DEFAULT="ipv6.disable=1 quiet splash" 让修改生效: sudo update-grub
-
523 次阅读|0 个评论
- 分享
Linux下查看MySQL的安装路径
-
2014-5-20 15:49
-
Linux下查看mysql、apache是否安装,并卸载。 指令 ps -ef|grep mysql 得出结果 1.root 17659 1 0 2011 ? 00:00:00 /bin/sh /usr/bin/mysqld_safe --datadir= /var/lib/mysql --socket= /var/lib/mysql /mysql.sock --log-error=/var/log/m ...
-
535 次阅读|0 个评论
- 分享
Hive配置文件介绍
-
2014-5-19 04:23
-
•hive-site.xml hive的配置文件 •hive-env.sh hive的运行环境文件 •hive-default.xml.template 默认模板 •hive-env.sh.template hive-env.sh默认配置 •hive-exec-log4j.properties.template exec默认配置 ...
-
570 次阅读|0 个评论
- 分享
查看mysql版本的四种方法
-
2014-5-18 18:12
-
1：在终端下：mysql -V。 以下是代码片段： $ mysql -V mysql Ver 14.7 Distrib 4.1.10a, for redhat-linux-gnu (i686) 2：在mysql中：mysql status; 以下是代码片段： mysql status; -------------- mysql Ver 14.7 Distrib 4.1.10a, for redhat-linux-gnu (i686) Connection ...
-
517 次阅读|0 个评论
- 分享
hbase安装对Linux资源的调整
-
2014-5-14 08:21
-
hbase单机及集群安装配置，整合到hadoop http://www.aboutyun.com/thread-7495-1-1.html 上文中提到了下面 在 /etc/pam.d/common-session 加上这一行: session required pam_limit.so --------------------------------------------------------------------------------- ...
-
635 次阅读|0 个评论
- 分享
hadoop、hbase、hive版本对应关系
-
2014-4-9 21:43
-
hadoop 与 HBase 版本对应关系 : Hbase Hadoop 0.92.0 1.0.0 0.92.1 1.0.0 0.92.2 1.0.3 0.94.0 1.0.2 0.94.1 1.0.3 0.94.2 1.0.3 0.94.3 1.0.4 0.94.4 1.0.4 0.94.5 1.0.4 ...
-
641 次阅读|0 个评论
- 新手帮助
- 新手帮助：注册遇到问题，领取资源，加入铁粉群，不会使用搜索，如何获取积分等
查看 »
/2 
