分享 Hbase如何将hfile二进制文件转换为文本txt格式
nettman 2019-5-14 19:56
我们知道hbase文件hfile直接是不能阅读的,我们如何转换为可以阅读的格式 通过命令 hbase org.apache.hadoop.hbase.io.hfile.HFile -f hdfsHfilepath -p -b -m -v hdfsHfilepath 写成你要查看的路径
1271 次阅读|0 个评论
分享 mysql Your password does not satisfy the current policy requirements问题的解决办 ...
nettman 2019-5-3 11:39
mysql Your password does not satisfy the current policy requirements问题的解决办 ...
在搭cdh执行命令:/opt/cm-5.13.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hs201 -uroot -proot_pwd_123 --scm-host s201 scm scm scm,初始化cm的时候,一直报:java.sql.SQLException: Your password does not satisfy the current policy requirements这个错 通过mysql shell修改了policy ,可是依然 ...
2016 次阅读|0 个评论
分享 oozie配置mysql:表结构详解
nettman 2019-3-11 17:59
oozie配置mysql所需表结构。Apache Oozie是用于Hadoop平台的一种工作流调度引擎。 链接: https://pan.baidu.com/s/10x6Ut4-vsF3saoSI5XoGTQ 提取码: dudm
1492 次阅读|0 个评论
分享 通过代码实现kerberos 认证的 kafka
nettman 2019-1-10 21:03
由于不同的版本不一样,这里总结下相关内容 import org.apache.kafka.clients.CommonClientConfigs; import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.clients.consumer.ConsumerRecords; import org.apache.kafka.clients.consumer.KafkaConsumer; import java.util.Colle ...
979 次阅读|0 个评论
分享 Warning: $HADOOP_HOME is deprecated解决方法
nettman 2015-4-23 00:12
启动Hadoop时报了一个警告信息,我的系统是CentOS,安装的Hadoop版本是hadoop1.2.1,具体警告信息如下: # bin/start-all.sh Warning: $HADOOP_HOME is deprecated. 网上的说法是因为Hadoop本身对HADOOP_HOME做了判断,具体在bin/hadoop和bin/hadoop-config.sh里。在hadoop-config.sh里有如下的配置: if ...
1629 次阅读|0 个评论
分享 HTML5新特性小结
nettman 2015-4-23 00:11
HTML5 新特性 新的DocType: !DOCTYPE html 不需要声明文档类型; 脚本和链接不需要type属性,如 lingk, script; 语义化标签,如:header, footer, hgroup, mark, figure, small, article, 属性及校验, 新的属性,如:placeholder, required, autofocus, pattern, autocomplete, data, ...
1173 次阅读|0 个评论
分享 Storm杂记 — Field Grouping和Shuffle Grouping的区别
nettman 2015-4-22 22:23
最近研究Storm的Stream Grouping的时候,对Field Grouping和Shuffle Grouping理解不是很透彻。去看WordCountTopology也不怎么理解,后来脑洞一开,加了一行代码再次运行,彻底顿悟。只能说自己对Storm的基本概念还是没吃透啊。(WordCountTopology这个例子请自行参考Storm-Starter) ...
1463 次阅读|0 个评论
分享 eclipse加载maven工程提示pom.xml无法解析org.apache.maven.plugins:maven-resources- ...
nettman 2015-4-22 20:42
在别的机子上创建一个maven工程,复制到本机上导入,出现pom.xml文件错误,提示错误如下 Multiple annotations found at this line: - Execution default-testResources of goal org.apache.maven.plugins:maven-resources- plugin:2.4.3:testResources failed: Plugin o ...
2482 次阅读|0 个评论
分享 spark sql on hive安装问题解析
nettman 2015-4-6 16:24
安装spark时,默认的spark assembly 不包含hive支持。spark官网上说明“Spark SQL also supports reading and writing data stored in Apache Hive. However, since Hive has a large number of dependencies, it is not included in the default Spark assembly.” ,要想spark sql在hive上运行,需要编辑与自己使用spark ...
4861 次阅读|0 个评论
分享 Google的Python代码格式化工具YAPF详解
nettman 2015-4-3 19:17
介绍 目前用于Python的格式化程序(如autopep8和pep8ify)都用于删除代码中的lint错误。这有很明显的局限性。 YAPF采用了不同的方法,基于Daniel Jasper开发的“'clang-format”。从本质上来说,该算法取走代码并重新排版,以符合样式指南的最佳格式,即便原始代码没有违反样式指南。这个想法也是类似于Go编程语言的go ...
3073 次阅读|0 个评论
关闭

推荐上一条 /2 下一条