图文精华

hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...

About云-梭伦科技 › 日志

日志

分享 Spark作为一套用Scala写成的分布式内存计算系统: howtodown 2014-7-15 16:48; 有关集群运算的编程框架和模型例如MapReduce, Dryad等正在被大量运用于处理不断增长的数据量，这些系统具有容错、平衡负载等优点，使得大部分用户都可以使用这些系统进行大数据的处理。但是几乎所有的现代集群计算系统都是基于非循环式的数据流模型，意味着每一次的计算过程都必然包含着从存储中读取数据然后计算完成之后 ...; 712 次阅读|0 个评论

分享 Spark1.0.0 的一些小经验: howtodown 2014-7-12 22:11; 1：关于读取本地文件使用spark-shell连接Spark集群，然后在运行应用程序中读取本地文件时，会经常碰上文件不存在的错误。主要原因是由于： spark-shell作为应用程序，是将提交作业给spark集群，然后spark集群分配到具体的worker来处理，worker在处理作业的时候会读取本地文件。这时候冲突就发生了，运行spark-shell ...; 1327 次阅读|0 个评论

分享 spark集群安装: howtodown 2014-7-8 21:24; 这里是结合hadoop2.0使用的 1，download :http://spark.incubator.apache.org/downloads.html选择prebuilt:中hadoop2的下载，hadoop安装就不介绍了，spark节点可以不是hadoop节点，可以是一个hadoop客户端。 2，download scala，http://www.scala-lang.org/download/all.html根据下载的spark的README中的描述下载 ...; 759 次阅读|0 个评论

分享 hadoop执行put操作日志记录: howtodown 2014-7-8 18:37; 当我们执行hadoop fs -put aa.txt /bb.txt，则aa.txt会被复制为集群的/bb.txt。查看系统的log日志hadoop-$username-namenode-*.log，可以看到类似于 2011-09-07 08:39:12,506 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* NameSystem.addStoredBlock: blockMap updated: 127. 0.0.1:50010 is added to blk_57 ...; 1119 次阅读|0 个评论

分享 maven各种命令: howtodown 2014-6-23 09:48; mavn 常用命令 1. 创建Maven的普通java项目： mvn archetype:create -DgroupId=packageName -DartifactId=projectName 2. 创建Maven的Web项目： mvn archetype:cr ...; 834 次阅读|0 个评论

分享如何卸掉eclipse插件：maven插件: howtodown 2014-6-19 13:28; 从菜单 Help About Eclipse Installation Details 找到不需要的 feature 点 Uninstall 卸载。操作步骤如下图所示（1）图1单击help （2）图2中有安装的插件列表（3）图3uninstall就可以了图 1 图2 图3; 616 次阅读|0 个评论

分享 Maven插件之Maven-Enforcer-Plugin: howtodown 2014-6-19 11:09; 实际开发中,项目经理总会告诉开发人员:开发时要遵守什么什么样的约定,命名规范怎么怎样样.... 约定优于配置,很重要!比较规范的公司(或者项目组),会把规范写到文档中,让开发人员去遵守。问题来了,怎么才能知道大家有没有按照规范走呢?有人会说了,找个工具校验一下就可以了,开源工具很多。是的,这是对的。但对于项 ...; 713 次阅读|0 个评论

分享 maven生命周期: howtodown 2014-6-18 21:00; 查看goals是默认被绑定到了哪个phase上: mvn help:describe -Dplugin=org.apache.maven.plugins:maven-source-plugin:2.1.1 -Ddetail 最后，来看一下Maven的最重要的Default生命周期，绝大部分工作都发生在这个生命周期中，这里，我只解释一些比较重要和常用的阶段： validate generate-sources ...; 617 次阅读|0 个评论

分享 python使用thrift访问操作hbase: howtodown 2014-6-17 12:26; 1.看不同语言对hbase的thrift访问demo，可以参考examples/thrift/DemClient.*,有c++,java,php,pl,py,rb等多种语言 2.使用python访问hbase需要借助thrift的帮助，首先通过--gen生成python的hbase的thrift脚本使用命令： Shell代码 cd$HBASE_HOME thrift& ...; 886 次阅读|0 个评论

分享 hbase shell命令集合图: howtodown 2014-6-12 15:29; hbase shell命令集合图; 466 次阅读|0 个评论

1 ... 4 5 6 7 8 91011 12 / 12 页下一页

推荐 /2

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / 京ICP备2020039040号简书网举报电话：021-34700000

意见
反馈