图文精华

About云-梭伦科技 › 日志

    blog 日志

    云技术|
    分享 Storm中Spout使用总结
    sstutu 2014-6-13 23:57
    Storm中Spout用于读取并向计算拓扑中发送数据源，最近在调试一个topology时遇到了系统qps低，处理速度达不到要求的问题，经过排查后发现是由于对Spout的使用模式不当导致的多线程同步等待。这里罗列几点个人觉得编写Spout代码时需要特别注意的地方： 1. 最常用的模式是使用一个线程安全的queue，如BlockingQueue，spout主 ...
    558 次阅读|0 个评论
    分享 hive安装笔记
    sstutu 2014-6-12 15:35
    1.Hive 1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据，同时可以查询hadoop中的数据。 本质上讲，hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。 hive有一套映射工具，可以把SQL转换为MapReduce中的job，可以把SQL中的表、字段转换为HDFS中的文件(夹) ...
    609 次阅读|0 个评论
    分享 hdfs笔记，包括经常操作命令
    sstutu 2014-6-12 15:32
    1.对hdfs的操作方式：hadoop fs xxx hadoop fs -ls / 查看hdfs的根目录下的内容的 hadoop fs -lsr / 递归查看hdfs的根目录下的内容的 hadoop fs -mkdir /d1 在hdfs上创建文件夹d1 （新建文件夹之后，下面的造作默认路径就是d1）所以上传下载最好用绝对路径，不会出错 h ...
    724 次阅读|1 个评论 热度 1
    分享 执行mapreduce的几种方式总结
    sstutu 2014-6-9 16:10
    执行mapreduce的几种方式 1、copy jar到hadoop中执行 ./hadoop jar xxxx.jar mainclass ./hadoop jar -libjars xxx.jar /home/test/xxx.jar 对于引用的第三方jar,该如何处理？？ &nb ...
    841 次阅读|1 个评论 热度 1
    分享 流式处理、实时计算、Add-hoc、离线计算、实时查询等区别整理
    sstutu 2014-6-9 16:06
    流式处理、实时计算、Add-hoc、离线计算、实时查询 这几个概念在数据处理中经常提高，这里简单的梳理一下他们的区别。 流处理、实时计算属于一类的，即 计算在数据变化时 ，都是在数据的计算实时性要求比较高的场景，能够实时的响应结果，一般在秒级，Yahoo的S4,twiter的storm都属于流处理和实时计算一类的。 Add-hoc和 ...
    1225 次阅读|0 个评论
    分享 简单分享开放平台的设计理念和思路
    sstutu 2014-6-9 16:04
    简单分享开放平台的设计理念和思路
    以前的一个电商开放平台，里面的设计思路和理念拿出来和大家分享一下 该平台统一各大电商服务提供方的服务，进行编排后提供为开放的API为各个业务产品服务。 在设计平台架构时，主要考虑以下几个因素： 1、高并发和高吞吐量，我们采用分段式的架构，段与段之间采用同步非阻塞方式的通信方式，并且在http协议接入部 ...
    498 次阅读|0 个评论
    分享 kafka log4j配置
    sstutu 2014-6-7 07:05
    kafka日志文件分为5种类型，依次为：controller,kafka-request,server,state-change,log-cleaner，不同类型log数据，写到不同文件中: kafka.logs.dir=logs log4j.rootLogger=INFO, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.lo ...
    4796 次阅读|0 个评论
    分享 eclipse下hbase整合mapreduce时,报Session for Sercer null,Connetciont refused
    sstutu 2014-6-6 12:44
    eclipse下hbase整合mapreduce时,报Session for Sercer null,Connetciont refused
    base能正常启动，操作，但在eclipse下hbase整合mapreduce时，报了如上异常 解决方案： （1）zookeeper通信问题 （2）是否添加hbase-site.xml
    332 次阅读|0 个评论
    分享 怎么在Hbase 的 .META. 表中查到记录表中
    sstutu 2014-6-5 21:34
    怎么在Hbase的.META.表中查到某条条记录 in.META.fortable:tbl_mchnt_trans_query,row=tbl_mchnt_trans_query,,99999999999999 可以通过通过scan这张表
    386 次阅读|0 个评论
    分享 如何寻找hadoop、hbase命令及单独启动hadoop datanode 及hbase regionserver
    sstutu 2014-5-31 21:59
    问题导读： 1.如何寻找hadoop,hbase命令？ 2.执行命令的方式有几种？ 3.配置环境变量，是否会立即生效？ 扩展： hadoop,hbase启动命令有什么共同点？ 对于hadoop2.2启动命令如下： 一、启动hadoop namenode 1. 启动datanode 方式一： 需要配置环境变下面命令才能起作用 hadoop-da ...
    953 次阅读|0 个评论
    123456下一页
    关闭

    推荐上一条 /2 下一条

    关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

    Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

    简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000