日志
- 分享
Apache Hadoop NextGen MapReduce (YARN)
-
2015-4-18 23:31
-
MRV2的设计是基于分离JobTracker的主要职能，将以下2个职能放在2个单独的进程中，以前都是在一个(JobTracker)进程中。 1、资源管理 2、Job调度/监控 2个核心概念： 1、全局的资源管理器 global Resource Manager (RM) 2、Per Application 每个应用程序有一个 Application Master (AM) Applica ...
-
1023 次阅读|0 个评论
- 分享
web调用hdfs出现找不到Configuration这个类
-
2015-4-15 10:50
-
用Spring MVC 框架搭建了一个网站，想做类似云盘的东西，在Controller去查询hdfs的文件目录，出现 Servlet.service() for servlet in context with path threw exception with root cause java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration。 问题解决： 原来是加两个包 ...
-
1098 次阅读|0 个评论
- 分享
Nutch2.2.1抓取流程
-
2015-4-14 01:49
-
一、抓取流程概述 1、nutch抓取流程 当使用crawl命令进行抓取任务时，其基本流程步骤如下： （1）InjectorJob 开始第一个迭代 （2）GeneratorJob （3）FetcherJob （4）ParserJob （5）DbUpdaterJob （6）SolrIndexerJob 开始第二个迭代 （2）GeneratorJob （3）FetcherJob （4）ParserJob （5）DbUpdaterJo ...
-
1169 次阅读|0 个评论
- 分享
habse集群HRegionServer连接不到master原因总结
-
2015-4-14 00:31
-
在配置好hbase分布式后，并且通过start-hbase.sh启动了master，zookeeper，regionserver后，通过master.host:60010 web界面查看时，在regionservers栏下没有任何regionserver信息；查看regionserver上的日志，看到以下异常: 2012-09-25 18:25:11,902 WARN org.apache.hadoop.hbase.regionserver.HRegionServer: Unable ...
-
984 次阅读|0 个评论
- 分享
NoServerForRegionException: Unable to find region for blog_dest,,99999999999999
-
2015-4-14 00:27
-
我在执行hbase官方说明中的一个例子，是用mapreduce连接hbase进行数据读写的一个程序。报了以下错误： Exceptioninthread"main"java.lang.RuntimeException:org.apache.hadoop.hbase.client.NoServerForRegionException:Unabletofindregionforblog_d ...
-
2203 次阅读|0 个评论
- 分享
HBase 获得多version 的值 在同一列簇中存入多个版本的不同价value
-
2015-4-9 23:12
-
在HBase中 一个row对应的相同的列只会有一行。使用scan 或get 得到都是最新的数据 如果我们对这某一row所对应的列进行了更改操作后，并不会多生成一条数据，不会像RDBMS一样 insert时多生成一条记录，在HBase中对同一条数据的修改或插入 都只是put操作，最终看到的都是 最新的数据，其它的数据在不同的version中保存 ...
-
951 次阅读|0 个评论
- 分享
使用python来操作hive(通过pyhs2和HiveServer2)
-
2015-4-6 22:17
-
HiveServer2为客户端在远程执行hive查询提供了接口，通过Thrift RPC来实现，还提供了多用户并发和认证功能。目前使用python的用户可以通过pyhs2这个模块来连接HiveServer2，实现查询和取回结果的操作。 pyhs2的项目托管在github之上，地址为https://github.com/BradRuderman/pyhs2 可通过以下方 ...
-
8857 次阅读|0 个评论
- 分享
spark on yarn运行产生缺jar包错误及解决办法
-
2015-4-6 16:44
-
1、本地运行出错及解决办法 当运行如下命令时： ./bin/spark-submit \ --class org.apache.spark.examples.mllib.JavaALS \ --master local \ /opt/cloudera/parcels/CDH-5.1.2-1.cdh5.1.2.p0.3/lib/hadoop-yarn/lib/spark-examples_2.10-1.0.0-cdh5.1.2.jar \ /user/data/netf ...
-
1308 次阅读|0 个评论
- 分享
大数据分析在智慧零售的应用
-
2015-4-5 20:57
-
1.大数据如何应用于零售业？ 零售业在大数据的推波助澜下，早已颠覆了过去的销售模式，带来的是新一波智慧零售，主要是以个别消费者为核心，利用大数据分析其需求特性，并藉此提供个别化之营销策略，以期透过个人需求的满足以提高企业的获利;由于每位消费者的身上有其专属的行为模式与消费习惯，只要零售业厂商有意蒐集 ...
-
851 次阅读|0 个评论
- 分享
hbase上应用lucene创建索引及检索
-
2015-4-4 20:20
-
hbasene(https://github.com/akkumar/hbasene)是开源项目，在hbase存储上封装使用Lucene来创建索引，代码API非常简单，熟悉lucene的朋友可以很方便地创建。 以下为测试代码，完成读取一张hbase上记录url和用户id的表，对其创建索引并进行简单的基于url的索引的代码。当取到search的 ...
-
1302 次阅读|0 个评论
热度 2
- 新手帮助
- 新手帮助：注册遇到问题，领取资源，加入铁粉群，不会使用搜索，如何获取积分等
查看 »
/2 
