图文精华

hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...

About云-梭伦科技 › 日志

日志

spark| hadoop| sqoop| CDH| mysql| hive| azkaban|

分享 spark sql自定义udf: SuperDove 2017-8-21 13:08; import org.apache.spark.sql.functions._ val convert = udf ((str: String ) = "1" ) val df = hiveContext.sql( "" ) val df2 = hiveContext.sql( "select 1 as time" ) hiveContext. udf .register( "convert" , ((str: String ) = if (str.substring( 5 , 7 ).toInt= 1 str.substring ...; 个人分类: spark|1253 次阅读|0 个评论

分享 azkaban 2.5 安装详解: SuperDove 2017-7-21 17:24; 出于任务，必须要装azkaban，无奈，找了各种资料，不知道是我错了还是官网错了(好吧，应该是我错了)，反正最新版本的各种error，三天没装好，降版本，装个2.5的，具体操作步骤如下下载安装包http://pan.baidu.com/s/1hsy0ZR2 1.解压安装包，并将所有文件放入/usr/azkaban下 tar -zxvf azkaban-web-server-2.5.0.t ...; 个人分类: azkaban|1752 次阅读|0 个评论

分享编译hadoop-2.6.4: SuperDove 2017-7-19 00:01; 一直用的这个版本，时间久了，重新拿出来编译一下，有些坑，记录一下，各个版本之间的版本要求可能不一样，比如jdk...... BUILDING.txt * Unix System * JDK 1.6+ (hadoop-2.6.4不能用jdk1.8的，编译会出错，亲测) * Maven 3.0 or later * Findbugs 1.3.9 (if running findbugs) * ProtocolBuffer 2.5.0 * CMake ...; 个人分类: hadoop|1084 次阅读|0 个评论

分享 spark读取hive表数据详解: SuperDove 2017-7-12 10:44; 好久没写了，找了一个月的工作，心累，有些东西都快忘了（没实操）环境:spark1.6 hive1.2.1 hadoop2.6.4 1.添加一下依赖包 spark-hive_2.10的添加为了能创建hivecontext对象 dependency groupIdorg.apache.spark/groupId &nbs ...; 个人分类: hive|1730 次阅读|0 个评论

分享 [转] log4j.properties配置详解与实例-全部测试通过: SuperDove 2017-5-23 18:17; ################################################################################ # ① 配置根 Logger ，其语法为： # #log4j.rootLogger = ,appenderName,appenderName2,... #level 是日志记录的优先级，分为 OFF,TRACE,DEBUG,INFO,WARN,ERROR,FATAL,ALL ##Log4j 建议只使用四个级 ...; 个人分类: hadoop|1492 次阅读|0 个评论

分享 (window开发hadoop配置问题)IOException: Could not locate executable null\bin\winu ...: SuperDove 2017-4-26 09:14; 1.配置win机器的hadoop_home环境变量 HADOOP_HOME H:\BigData\apache\hadoop-2.6.4 并且在Path下添加 HADOOP_HOME/bin 2.在http://www.aboutyun.com/thread-8178-1-1.html寻找 winutils.exe 下载下来，然后放到$HADOOP_HOME/bin目录下 (第三步里面有这个文件) 3.hadoop2.6 window下eclipse开发hadoop ...; 个人分类: hadoop|1240 次阅读|0 个评论

分享 java.sql.SQLException: Incorrect string value: '\xF0\x9F\x91\xBD\xF0\x9F…'[转]: SuperDove 2017-4-26 08:54; mysql编码解决方法 1.utf8mb4的最低mysql版本支持版本为5.5.3+，若不是，请升级到较新版本。 2.修改database、table和column字符集。参考以下语句： 1)ALTER DATABASE database_name CHARACTER SET = utf8mb4 COLLATE = utf8mb4_unicode_ci; 2)ALTER TABLE table_name CONVERT TO CHARACTER SET utf8mb4 COLLATE ...; 个人分类: mysql|1191 次阅读|0 个评论

分享 Sqoop 1.99.5-cdh5.7.0 执行的小心得: SuperDove 2017-4-19 18:05; 想了想还是记录一笔，毕竟.......... 首先来一张cloudera的图，这张图是cloudera-sqoop2的安装jdbc驱动的信息我看的这个是CDH5.7.0的，5.4.0的好像也是对mysql-connector-java的版本控制在5.1.31以上才支持，因为这个，我被坑了好久好久，虽说不知道后面是为啥sqoop2跑成功的，但是这个肯定是主要原因，后面我会说我主 ...; 个人分类: sqoop|1524 次阅读|0 个评论热度 1

分享 NTP 服务: SuperDove 2017-4-19 10:47; 装了CDH5.7.0，然后页面老是时钟同步出错，找了N个资源，不懂NTP原理，只想把这个红色的问题给解决掉，查了不少于30个网页，依旧不行，后来实行了如下步骤解决了，不知所以然，但是能解决问题是好的。步骤如下: 1.安装NTP(集群每台) yum install ntp 2.编辑/etc/ntp.conf(集群每台) vi /etc/ntp.conf serv ...; 个人分类: CDH|1061 次阅读|0 个评论热度 1

分享 sqoop1.99.4安装: SuperDove 2017-4-17 16:06; 最近因为sqoop的问题，我重装了hadoop2.6.5，然后把sqoop也重装了一下，整理文档如下，亲测有效，对了，sqoop1.99.4好像不能再hadoop2.6.5上安装，一直报莫名的错误，无具体内容提示，可能跟版本有关，我后来换了sqoop1.99.5，安装步骤一样，亲测了sqoop从mysql导数到hdfs，oracle导数到hdfs都没问题，从greenplum到hdfs驱 ...; 个人分类: sqoop|998 次阅读|0 个评论热度 1

12 / 2 页下一页

推荐 /2

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / 京ICP备2020039040号简书网举报电话：021-34700000

意见
反馈