立即注册 登录
About云-梭伦科技 返回首页

langke93的个人空间 https://www.aboutyun.com/?1415 [收藏] [复制] [分享] [RSS]

日志

分享 hbase memstore设置无效解决思路
2018-6-14 10:43
sqlserver中的数据导入至HBase中一张表数据2kw左右,使用的是kettle工具,大量的数据导入可能会产生compaction,这里memestore设置的是128m,但是在执行至memstore至30m大小开始flush就开始flush了,请问这是什么原因? 建议: 1.RS 内存设置太小 memstore默认占40% 2.HF达到允许的最大数量 具体看 hbase.hstore.block ...
1475 次阅读|0 个评论
分享 如何设置port_security_enabled为False
2017-5-27 15:22
一.什么是Port Security Kilo 版本之前,对整个云要么禁止安全组要么使用安全组。从 Kilo 版本开始,可以使用新的属性 port-security-enabled 来启用或者禁用某个虚拟机端口上的安全组了。这个新的属性目 前被 Open vSwitch agent 和 IptablesFirewallDriver 支持。 Port Security 提供了一个新的参数por ...
4631 次阅读|0 个评论
分享 linux根分区扩容
2017-5-15 16:05
linux根分区扩容
今天网站上传图片出问题了,一开始还以为是程序问题,后来发现原来是服务器存储空间不够,明明有200G的磁盘空间,没理由这么快就用完,查了一下分区情况,原来有两块磁盘,根分区只挂载在大少只有10g那块磁盘上面,而且已使用了100%了!接着就要为根分区扩容了:(环境:redhat 5.2 x64) 1:查看分区情况 shellfd ...
1543 次阅读|0 个评论
分享 大数据软件如何限制网速
2017-4-3 18:18
很多同学都遇到同样一个问题,比如spark,或则cloudera或则其中某一个暂用宽带过多 ,想限制他们的。所以这里其实本质还是Linux网速,如同我们使用360限制比如qq网速,百度网盘网速道理是一样的。下面供大家参考 ######################### 因为最近做实验,需要在不同的网速下跑Hadoop程序,查看网速对程序的影响有多 ...
1800 次阅读|0 个评论
分享 基于Kafka 使用ACL进行权限控制
2017-3-30 12:30
kafka版本 0.9 一.官网内容 kafka附带一个可插拔的认证,并使用zookeeper来存储所有的acl。kafka的acl在一般格式定义"Principal P is Operation O From Host H On Resource R”,你可以阅读更多关于KIP-11的结构,为了添加,删除或列表,你可以使用kafka认证CLI。默认情况下,如果资源R没有相关acl,除了超 ...
2665 次阅读|0 个评论 热度 1
分享 MongoDB登陆
2017-2-22 17:53
1.mongo 远程连接 配置mongodb.conf,注释掉bind_ip #bind_ip = 127.0.0.1 //注释此行 启用认证登陆 auth = true //将此行前的注释去掉 登陆(authenticationDatabase验证数据库) mongo host:port/dbname -uuser-p password -- ...
1897 次阅读|1 个评论 热度 1
分享 Oozie遇到错误Error:DB schema exists解决办法
2017-1-12 19:40
Oozie遇到错误Error:DB schema exists解决办法
老板突然想删除 CDH5.4.5 上的 Oozie服务重装。 删除Oozie时提示需要先删除Hue,删之。 注:删除后Hue、Oozie服务数据是被保留的。 删除后重新添加服务。 选择Oozie,到第四步: 根据指南 http://tiny.cloudera.com/cm-install-guide-5.4 配置数据库的部分, 结合安装手册,数据库名称尝试写 amon ...
2396 次阅读|0 个评论
分享 Kylin Java API
2016-12-16 13:56
  最近在做大数据方面的开发, 学习研究了一段时间的kylin系统, 对于前端开发需要使用 RESTful API ,但是官网并没有提供详细的Java API. 经过几天的看文档,最终写出了 Java 的API,不敢私藏,特分享与大家. import java.io.BufferedReader; import java.io.InputStream; import java.io.InputStreamReader; impo ...
1884 次阅读|0 个评论
分享 cloudera 生态系统中文官方文档地址
2016-10-25 13:50
cloudera 生态系统中文官方文档地址
地址: http://www.cloudera.com/content/www/zh-CN/documentation/enterprise/5-3-x/topics/introduction.html
1305 次阅读|0 个评论
分享 sqoop 1.99.6遇到的异常
2016-9-26 21:32
sqoop 1.99.6遇到的错误 1、create job 时: There are issues with entered data, please revise your input: 说明配置有错,请重新检查各输入项 2、create job 时: Last value is required during incremental read 是因为 Check column: 输入了值,所以要求输入 Last value ...
1532 次阅读|0 个评论
1234下一页
关闭

推荐上一条 /2 下一条