日志
- 分享
Spark分析之DAGScheduler
-
2015-3-31 17:12
-
DAGScheduler概述：是一个面向Stage层面的调度器； 主要入参有： dagScheduler.runJob( rdd , cleanedFunc , partitions, callSite, allowLocal, resultHandler , localProperties.get) rdd： final RDD； cleanedFunc： 计算每个分区的函数； resultHander： 结果侦听器； 主要功能如下： 1 ...
-
2203 次阅读|0 个评论
- 分享
OOzie 一分钟入门
-
2015-3-29 14:57
-
用几句话就可以概括什么是Oozie： Oozie是一个管理Hdoop作业（job）的工作流程调度管理系统。 Oozie的工作流是一系列动作的直接周期图。 Oozie协调作业就是通过时间（频率）和有效数据触发当前的Oozie工作流程 Oozie是Yahoo针对Apache Hadoop开发的一个开源工作流引擎。 用于管理和协调运行在Hadoop ...
-
3298 次阅读|1 个评论
热度 1
- 分享
HBase shell数据备份
-
2015-3-29 14:57
-
HBase提供了备份的API，直接使用shell脚本调用就可以啦。具体命令如下： hbase org.apache.hadoop.hbase.mapreduce.Export 'user' /hbase_backup_set/20141110/user hbase org.apache.hadoop.hbase.mapreduce.Import 'user' /hbase_backup_set/20141110/user “user ...
-
718 次阅读|0 个评论
- 分享
hive最新版本权限说明
-
2015-3-28 21:09
-
https://cwiki.apache.org/confluence/display/Hive/AuthDev 1. Privilege1.1 Access Privilege Admin privilege, DB privilege, Table level privilege, column level privilege 1.1.1 Admin privileges are global privileges, and are used to perform administration. 1.1.2 DB privileges are database specif ...
-
1827 次阅读|0 个评论
- 分享
hadoop+hbase导致报错（NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfigu ...
-
2015-3-28 21:08
-
Exception in thread "main" java.io.IOException: Error opening job jar: ./ADReport2Hbase_0309.jar at org.apache.hadoop.util.RunJar.main(RunJar.java:90) Caused by: java.util.zip.ZipException: error in opening zip file &n ...
-
992 次阅读|0 个评论
- 分享
HTML5实战与剖析之判断移动端横屏竖屏功能
-
2015-3-28 14:14
-
在手机端经常游走的我们很多时候都会对横屏和竖屏的概念比较熟悉，大家都经常头疼怎么才能判断这横屏和竖屏的状态呢，今儿梦龙就为大家分享分享。 用CSS判断横屏竖屏问题。CSS代码如下 1、 @media (orientation: portrait) { } 横屏 @media (orientation: landscape) { }竖屏 2、 ...
-
709 次阅读|0 个评论
- 分享
Scala学习记录
-
2015-3-14 13:36
-
Scala 还支持定义匿名函数，匿名函数由参数列表，箭头连接符（ =）和函数体组成 // 定义匿名函数 val cube = (x: Int) = x * x *x 函数在 Scala 中属于一级对象，它可以作为参数传递给其他函数，可以作为另一个函数的返回值，或者赋给一个变量。 没有显示的 return语句，最后一条表达 ...
-
510 次阅读|0 个评论
- 分享
hive不支持修改
-
2015-3-9 22:09
-
Hive不支持一条一条的用insert语句进行插入操作，也不支持update的操作。数据是以load的方式，加载到建立好的表中。数据一旦导入，则不可修改。要么drop掉整个表，要么建立新的表，导入新的数据。
-
868 次阅读|0 个评论
- 分享
hive 导入数据总结sql记录
-
2015-3-9 22:07
-
从本地导入数据到表格并追加原表 LOAD DATALOCAL INPATH /tmp/pv_2008-06-08_us.txt INTO TABLE c02PARTITION(date=’2008-06-08′, country=’US’) 从本地导入数据到表格并追加记录 LOAD DATALOCAL INPATH ‘./examples/files/kv1.txt’ INTO TABLE pokes; 从hdfs导入数据到表格并覆盖 ...
-
827 次阅读|0 个评论
- 分享
网桥适合网卡的混杂模式
-
2015-1-21 10:24
-
对于混杂模式一直处于理解不清晰，今天偶遇了一些相关资料，加深了理解 网卡加入网桥以后，要按照网桥的工作标准工作，那么加入的一个端口就必须是以混杂模式工作，工作在链路层，处理2层的帧，所以这个port就不需要配置IP了。 当我们看到网桥，被分配ip的时候有些诧异，原来在创建网桥的同时，同时会产生虚拟网卡，所 ...
-
1276 次阅读|0 个评论
- 新手帮助
- 新手帮助：注册遇到问题，领取资源，加入铁粉群，不会使用搜索，如何获取积分等
查看 »
/2 
