spark sql自定义udf 2017-08-21

import org.apache.spark.sql.functions._ val convert = udf ((str: String ) => "1" ) val df = hiveContext.sql( "" ) val df2 = hiveContext.s ...

(1250)次阅读|(0)个评论

azkaban 2.5 安装详解 2017-07-21

出于任务，必须要装azkaban，无奈，找了各种资料，不知道是我错了还是官网错了(好吧，应该是我错了)，反正最新版本的各种error，三天没装好，降版本，装个2.5的 ...

(1748)次阅读|(0)个评论

编译hadoop-2.6.4 2017-07-19

一直用的这个版本，时间久了，重新拿出来编译一下，有些坑，记录一下，各个版本之间的版本要求可能不一样，比如jdk...... BUILDING.txt * Unix System * JDK ...

(1077)次阅读|(0)个评论

spark读取hive表数据详解 2017-07-12

好久没写了，找了一个月的工作，心累，有些东西都快忘了（没实操） 环境:spark1.6   hive1.2.1  hadoop2.6.4 1.添加一下依赖包     ...

(1727)次阅读|(0)个评论

[转] log4j.properties配置详解与实例-全部测试通过 2017-05-23

################################################################################  # ① 配置根 Logger ，其语法为：   #  #log4j.rootLo ...

(1491)次阅读|(0)个评论

(window开发hadoop配置问题)IOException: Could not locate executable null\bin\winu ... 2017-04-26

1.配置win机器的hadoop_home环境变量 HADOOP_HOME H:\BigData\apache\hadoop-2.6.4 并且在Path下添加 HADOOP_HOME/bin 2.在http://www.abouty ...

(1235)次阅读|(0)个评论

查看更多