日志
- 置顶 ·分享
spark开发基础：一文能帮助大家阅读比较常见的Scala程序
-
2016-11-6 19:52
-
问题导读 1.Scala中有哪些常见符号？ 2.本文讲了哪些符号？ 3.你对符号的理解是什么？ 4.-,-,=,Int=,_ 它们含义是什么？用在什么地方？ 当我们学习spark的时候，我们知道spark是使用Scala语言开发的，由于语言是相通的，所以对于传统程序员【Java，.net，c等】，我们能看懂Scala程序是 ...
-
1719 次阅读|0 个评论
- 置顶 ·分享
hadoop、hbase、hive、zookeeper版本对应关系
-
2014-4-9 21:58
-
最新版本： hadoop、hbase、hive、zookeeper版本对应关系续 hadoop与HBase版本对应关系: Hbase Hadoop 0.92.0 1.0.0 0.92.1 1.0.0 0.92.2 1.0.3 0.94.0 1.0.2 0.94.1 1.0.3 0.94.2 1.0.3 0 ...
-
25791 次阅读|7 个评论
热度 17
- 分享
没工作经验到底有那些坑，该如何填坑解决
-
2018-7-2 10:19
-
看到很多about云会员，铁粉及QQ群成员，当然也包括一些转行成员，而且整个IT行业很多人可能都面临这个问题，感到困惑。比如没有大数据工作经验，没有人工智能工作经验，该如何找这方面的工作。 很多人可能有这方面的经历，学习这方面的技术有一两年的，可是没有做过项目，怎么找工作，公司怎么可能用没有项目经验的人 ...
-
1762 次阅读|2 个评论
热度 3
- 分享
Hadoop3.0 Yarn支持网络资源：network原理设计文档说明【中文】
-
2017-12-26 17:06
-
问题导读 1.网络作为Yarn的资源，有什么好处？ 2.Yarn是否只支持调度和强制执行“传出流量”？ 3.Yarn是否支持入口流量？ 4.DistributedShell是否可以让用户指定网络带宽？ 5.hadoop3.0网络设计存在哪些已知的问题? 开始在学习之前，其实需要一定的基础，因为Yarn里面使用了Linux TC和C ...
-
924 次阅读|1 个评论
热度 1
- 分享
hadoop3.1开始支持disk，网络，带宽等资源类型
-
2017-12-23 15:18
-
hadoop3.1资源类型支持比如： disk(YARN-2139), network(YARN-2140), and HDFS 带宽(YARN-2681). 链接： 磁盘（disk） https://issues.apache.org/jira/browse/YARN-2139 网络（network） https://issues.apache.org/jira/browse/YARN-2140 HDFS 带宽 https://issues.apache.org/jira/browse/YARN-268 ...
-
1859 次阅读|4 个评论
热度 3
- 分享
spark2.2以后版本任务调度将增加黑名单机制[提高任务执行效率]
-
2017-11-20 18:38
-
问题导读 1.spark如何开启黑名单机制？ 2.哪些条件将executors列入黑名单？ 3.整个节点被列入黑名单，executors如何处理？ 原文链接 spark2.2以后版本任务调度将增加黑名单机制 http://www.aboutyun.com/forum.php?mod=viewthreadtid=23346 spark2.2中在任务调度中，增加了黑名单机制， ...
-
1050 次阅读|0 个评论
- 分享
如何编译自己想要的spark安装包
-
2017-11-9 19:13
-
问题导读 1.编译失败的可能问题有哪些？ 2.指定hadoop版本，需要添加什么配置？ 3.如不添加profile，会出现什么问题？ 上一篇： spark编译1：构建基于hadoop的spark安装包 http://www.aboutyun.com/forum.php?mod=viewthreadtid=23257 spark编译时间还是比较长的，可能要一两个小时，而 ...
-
1232 次阅读|0 个评论
- 分享
通过flume1.7解决实时搜集日志问题：不断追加文件及不断增加的文件
-
2017-8-21 09:07
-
问题导读 1.对于不断追加的文件可以使用flume哪个属性？ 2.对于不断追加的文件及变化的文件个数，可是使用flume哪个属性? 3.该如何配置能够搜集网站日志的flume？ 本文的背景： 在搜集日志的过程中，日志文件的个数及日志文件需要不断的追加。flume1.6中，可以使用tail -f可以解决不断追加的文件， ...
-
2655 次阅读|0 个评论
- 分享
flume配置思考及与kafka整合的介绍
-
2017-7-3 16:35
-
问题导读 1.flume的配置你是如何理解的？ 2.flume与kafka整合，kafka可以做哪些组件？ 3. flume与kafka的区别是什么？ flume是比较常用的大数据技术，那么学习flume，我们还需要思考flume，这样理解才能在遇到问题的时候，更容易解决，使用起来更加的得心应手。下面介绍了flume的相关内容及个人的理 ...
-
10258 次阅读|0 个评论
- 分享
spark零基础学习线路指导
-
2017-6-16 14:25
-
问题导读 1.你认为spark该如何入门？ 2.你认为spark入门编程需要哪些步骤？ 3.本文介绍了spark哪些编程知识？ spark学习一般都具有hadoop基础，所以学习起来更容易多了。如果没有基础，可以参考 零基础学习hadoop到上手工作线路指导（初级篇） 。具有基础之后，一般都是按照官网或则视频 ...
-
1350 次阅读|1 个评论
热度 1
- 分享
企业改选择什么软件来监控hadoop集群
-
2017-6-11 06:40
-
问题导读 1.文中哪些监控软件有邮件通知功能？ 2.监控粒度更细如何自定义实现？ 3.哪些监控软件可以自定义？ 企业转型大数据，随着发展，可能会遇到很多的问题。 该如何使用磁盘的使用情况；遇到问题，该如何及时的报警通知。该如何知道各个组件的运行情况，各自暂用内存、磁盘、网络使用等， ...
-
2697 次阅读|0 个评论
- 分享
mapreduce编程需要注意的问题
-
2017-3-25 14:17
-
1.setOutputFormatClass与setOutputValueClass的区别是什么？ 如下代码： // 输入格式 job.setInputFormatClass(TextInputFormat.class); // 设置输出格式 job.setOutputFormatClass(TextOutputFormat.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.cla ...
-
1344 次阅读|0 个评论
热度 1
- 新手帮助
- 新手帮助：注册遇到问题，领取资源，加入铁粉群，不会使用搜索，如何获取积分等
查看 »
/2 
