用户组:游客
各位大虾好: 环境是:hadoop2.6.0 hbase 0.98.8 nutch 2.3 但报错了: hadoop@ktbigdata1:~/apache-nutch-2.3$ /home ...
看了这个帖子,跟着他的帖子搭建了一个集群。http://www.aboutyun.com/forum.php?mod=viewthread&tid=12605 运行[mw_shl_code ...
最近写了个java程序solr按小时抽取一天数据https://www.zybuluo.com/zhou-si/note/450891,打成jar包放测试环境测试,遇到了些小 ...
错误提示空指针异常:
现在在linux 安装eclipse 并导入 ant eclipse 编译的nutch ,运行injectorjob想把已有的几个网站地址注入到hbase出错了, 而 ...
近期公司想要通过es出报表,总监就让我学习下es,这几天环境折腾好了,其实如果只是想搭好几台十几台的集群,最多也就半天吧,快 ...
solrcloud提高查询性能, 我现在使用3台机器搭建的solrcloud是每一个core对应一个collection,每个collection有一个shard,每个sh ...
如题,我用nutch抓取网页,用mysql作为持久层,在我的一个任务fetch 阶段执行完成后,因数据库连接问题导致parse数据至数据库失 ...
elsaticsearch 5.1.2 安装head 并且安装了x-pack插件 head访问的时候怎么配置x-pack的用户名和密码呢?现在 head连接不上elas ...
nutch的抓取调度策略是怎样的?是根据nutch-default.xml中的fecthInternal进行自动调度,还是需要用cron进行调度呢?请大牛们指 ...
用nutch抓取互联网上的网页信息,抓取的content字段,包含了当前网页的所有内容;但是我想只取出正文部分的信息,这个应该如何处 ...
elasticsearch的template 可不可以向solr的schema.xml那样 维护在一个文件中。
solrcloud router选择 implicit 使用solrj在创建索引的时候如何指定shard?
生产环境中,我有两个集群,每个集群6台服务器,数据量大概1T左右 用solrcloud来建立索引,都是只有一个collection,姑且叫做 ...
kibana定位到一行数据后,希望查询快速这行数据的上下100行数据,这个kibana能实现吗,要二次开发不?有大神解答吗?
之前我以为 solr数据默认存储在 hdfs上,并且看到solr的配置页面有如下两个配置: 1、HDFS 数据目录 Solr(服务范围) 该 So ...
由于业务需求,数据量大概1t 左右,在sql里面很慢。未来也想在hdfs中存数据。 业务表中,一条数据中,有一个content字段,不 ...
最近很大一段时间研究大数据开发遇到了很多问题,于是各种搜索指向了这个网站,发现了很多牛人,他们写的帖子和博客足以让我深信 ...
solr一个查询语句同时查询两个core的时候,如果两个core有相同ID的数据,结果查出来的数据少一条, 这个是不是有解决方法,求教 ...
环境如下: 服务器:6台solr版本:4.10.3 solr索引大小:每个replia索引达到22G,如果每个core 3 个replia,那么 索引大小就是 ...
如题: 一个主,一个备份的情况。刚刚突然出现两个节点同时都坏掉的情况。 查看日志,说是找不到主节点(leader) 这种情况如何 ...
这个参数可以忽略失败或者坏掉的数据, 我用的语言是perl,用的是Apache::Solr相关模块 不知道这个参数怎么设置呢?还望知道的 ...
nutch是如何进行定时调度的,需要用cron么,有没有相关的调度脚本,求解决方案,谢谢
我的es服务是亚马逊的elasticsearch服务,配置下就可以生成es集群,这个集群在国外,而我的hadoop的集群在国内,想通过代理让map ...
solrcloud 请求问题: 我通过webservice方式向solrcloud的其中一台机器发起请求,不知道这个集群里面会有负载均衡?
各位大虾好: 安装了hadoop 1.2.1 hbase 0.92.2 nutch 2.2.1 在抓去数据时报错 执行命令: hadoop@ktbigdata1:~$ /home/ ...
如题:目前测试,用了2个分片,每个分片4个备份,入了2千万的数据,然后查询,发现有三个结果,现在怀疑是备份上的数据不一致。 ...
是用nutch抓取10个网站的数据,设置了url信息和过滤策略以后,执行抓取 查看抓取的文件,现在主要分析的是crawldb和linkdb文 ...
一般情况下使用dataimport 导入数据库中的数据,data-config.xml中的query语句是类似这种query="select * from info" ,但是我现 ...
备份索引的时候 segments_N文件找不到了 应该怎么办 怎么能重新生成一个
本版积分规则 发表帖子
查看 »