日志
- 置顶 ·分享
spark开发基础：一文能帮助大家阅读比较常见的Scala程序
-
2016-11-6 19:52
-
问题导读 1.Scala中有哪些常见符号？ 2.本文讲了哪些符号？ 3.你对符号的理解是什么？ 4.-,-,=,Int=,_ 它们含义是什么？用在什么地方？ 当我们学习spark的时候，我们知道spark是使用Scala语言开发的，由于语言是相通的，所以对于传统程序员【Java，.net，c等】，我们能看懂Scala程序是 ...
-
1719 次阅读|0 个评论
- 置顶 ·分享
hadoop、hbase、hive、zookeeper版本对应关系
-
2014-4-9 21:58
-
最新版本： hadoop、hbase、hive、zookeeper版本对应关系续 hadoop与HBase版本对应关系: Hbase Hadoop 0.92.0 1.0.0 0.92.1 1.0.0 0.92.2 1.0.3 0.94.0 1.0.2 0.94.1 1.0.3 0.94.2 1.0.3 0 ...
-
25785 次阅读|7 个评论
热度 17
- 分享
about云系列spark入门4：Spark Streaming介绍
-
2015-7-6 19:21
-
问题导读 1.spark Streaming支持哪些语言？ 2.spark Streaming是否具有故障恢复功能？ Spark Streaming使容易的建立可扩展的容错的流程序。 容易使用 Spark Streaming使用spark语言集成api处理流，使写流job跟批处理job是一样的。他支持Java, Scala and Python. TwitterUtils.createStrea ...
-
1183 次阅读|0 个评论
- 分享
about云系列spark入门3：Spark SQL处理结构化数据的spark模块
-
2015-7-6 19:20
-
问题导读 1.在spark程序中，如何使用spark sql? 2.spark对于不同的数据源是如何处理的？ 3.spark sql是否支持 JDBC 和 ODBC? 1.集成 spark程序中使用spark sql 纯文本查看 复制代码 ? 1 2 3 4 sqlCtx = new HiveContext(sc) results = sqlCt ...
-
1334 次阅读|0 个评论
- 分享
about云系列spark入门2：spark最新源码包、安装包、git源码、maven等下载介绍
-
2015-7-6 19:20
-
问题导读 1.spark安装包如何下载？ 2.如何git下载源码包？ 3.如果通过maven下载spark？ 1.安装包下载 下载步骤 1.选择spark发布版本 2.选择包类型 3.选择下载类型 4.下载spark 5.验证 spark1.4安装包下载 spark-1.4.0.tgz 2.spark maven方式下载 &nbs ...
-
1753 次阅读|0 个评论
- 分享
如何根据安装包自带wordcount例子，写相关mapredcue
-
2015-7-6 14:45
-
问题导读 1.如何查看hadoop带自带例子源码？ 2.本文使用的什么工具进行反编译？ 3.hadoop2.7如何实例化job的？ 原文连接： 如何反编译hadoop2.x(2.7为例)安装包自带wordcount 我们在自己写wordcount的过程中，最烦恼的一个问题，api兼容问题。 从别的地方直接copy过来不能直接使 ...
-
1783 次阅读|0 个评论
- 分享
about云系列spark入门1：初步介绍及相关文档、安装包、例子、spark库等初步介绍
-
2015-6-30 18:55
-
问题导读 1.spark速度快的原因是什么？ 2.spark有哪些组件？ 3.spark可以使用哪些开发语言？ Apache Spark™ 是一个快速的通用的大数据处理工具 速度 运行程序，在内存中是mapredcue 100倍，磁盘中是mapreduce的10倍。 spark有一个DAG引擎，支持循环数据流和内存计算 ...
-
1134 次阅读|0 个评论
- 分享
hadoop(hdfs)限额配置
-
2015-6-24 20:11
-
应用场景： 同一个集群内有些服务器磁盘 2T，有些服务器 500G，2T 的服务器磁盘得不到有效利用，这是就需要对 500G 的磁盘做限额配置. 配置方法： 在 hdfs-site.xml 里配置如下参数，注意，那个 value 的值是配置该磁盘保留的DFS不能使用的空间大小，单位是字节. (如果多块硬盘，则表示为每块硬盘保留这么多空间) dfs ...
-
899 次阅读|0 个评论
- 分享
hadoop、hbase、hive、zookeeper版本对应关系续(最新版)
-
2015-6-24 16:10
-
hadoop2.7、hbase1.1、hive1.2.0、zookeeper版本对应关系续(最新版) 接上篇： hadoop、hbase、hive、zookeeper版本对应关系 hive 0.14 支持hadoop版本 Hadoop 1.x.y, 2.x.y hive 1.0.0 支持hadoop版本 Hadoop 1.x.y, 2.x.y hive 1.1.0 支持hadoop版本 Hadoop 1.x.y, 2.x.y hive 1.2.0 ...
-
16552 次阅读|0 个评论
- 分享
openstack【juno】入门高级篇：为何你的实例ping不通外网【详述】
-
2015-6-4 08:56
-
原文链接： http://www.aboutyun.com/thread-13508-1-1.html 前面是概述，这里给大家在详细说一下，openstack网络。 由于在安装部署中，我们遇到了实例ping不通外网、ping不通节点，ping不通域名。而且有的甚至获取不到ip。 获取不到ip，一直没有遇到过这个问题，只要是完全按照 about云openstack入门 ...
-
1335 次阅读|0 个评论
- 分享
openstack kilo 如何解决计算网络ip开始地址及end ip地址
-
2015-5-29 01:56
-
如何创建网络 neutron subnet-create ext-net --name ext-subnet \ --allocation-pool start=10.0.0.100,end=10.0.0.200 \ --disable-dhcp --gateway 10.0.0.2 10.0.0.0/24 如何启动虚拟机 nova --debug boot --flavor m1.tiny --image cirros-0.3.4-x86_64 --nic net-id=4b1ff90a-a13a-4 ...
-
936 次阅读|0 个评论
- 分享
openstack kilo安装遇到问题汇总记录
-
2015-5-29 01:54
-
/var/lib/nova/instances/7189b31d-13c4-471b-a20a-9690574bb4aa/console.log TRACE nova.compute.manager libvirtError: Requested operation is not valid: cpu affinity is not supported 2015-05-26 15:54:31.129 33746 INFO nova.api.openstack.wsgi HTTP exception thrown: The resou ...
-
6985 次阅读|20 个评论
热度 7
- 新手帮助
- 新手帮助：注册遇到问题，领取资源，加入铁粉群，不会使用搜索，如何获取积分等
查看 »
/2 
