图文精华

About云-梭伦科技»专题 › 技术学习(版主发帖区) › 大数据学习 › 实操演练› 云计算实战 （海量日志管理）hadoop + scribe -- scribe ...
分享

云计算实战 （海量日志管理）hadoop + scribe -- scribe案例

howtodown 2014-5-7 23:31:18 发表于 实操演练 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 2 13479
About云VIP帮助找工作和提升
本帖最后由 howtodown 于 2014-5-7 23:32 编辑
问题导读：
1.scribe是什么？
2.scribe安装需要哪些软件？
3.如何生成scribe客户端？
4.log4j三个Java文件的作用是什么？






scribe 介绍:

scribe 是facebook 开源的分布式日志系统 。 可以用java 借助log4j 向分布式scribe 写入日志。

安装环境： centos5.2

所需软件：
68722319-e309-381f-ab00-973b9f38ca7c.jpg


安装过程：
一、输入gcc –v 检查gcc版本是否>3.3.5
       是，则继续下一步。否，则安装gcc 。

二、安装ruby 和python
python 用默认安装路径。Ruby 推荐使用默认路径
    安装过程均为./configure  make  make install

三、安装lievent  
解压安装即可
       安装过程为./configure  make  make install

四、安装 boost   
解压安装即可（不可改路径）

五、安装 php 和libxml2
先安装libxml2 （php依赖它） 在安装php（默认安装路径）
       安装过程均为./configure  make  make install

六、安装facebook 服务-- thrift 和 fb303
       首先解压并进入thrift 目录      
./bootstrap.sh
./configure –with-boost=/usr/local/include/boost/ -- with-php-config=/phppath /bin/php-config
make
make install   
thrift 安装完毕。
在当前目录 cd 到contrib/fb303/ ：
./bootstrap.sh
./configure –with-boost=/usr/local/include/boost/
make
make install
fb303安装完毕。

七、安装scribe
       ./bootstrap
./configure –with-boost=/usr/local/include/boost/
make
make install

安装完毕。

配置环境变量 :
BOOST_ROOT=/usr/local/include/boost/
LD_LIBRARY_PATH=/usr/local/include/boost/lib::/usr/lob:/usr/local/lib
测试：
        /usr/local/bin/scribed  [scribe 解压目录]/examples/example1.conf

     回车会出现：
     [Sun Oct 31 23:37:38 2010] "STATUS: STARTING"

  1. [Sun Oct 31 23:37:38 2010] "STATUS: configuring" 

  2. [Sun Oct 31 23:37:38 2010] "got configuration data from file </home/setups/scribe/scribe/examples/example1.conf>" 

  3. [Sun Oct 31 23:37:38 2010] "CATEGORY : default" 

  4. [Sun Oct 31 23:37:38 2010] "Creating default store" 

  5. [Sun Oct 31 23:37:38 2010] "configured <1> stores" 

  6. [Sun Oct 31 23:37:38 2010] "STATUS: " 

  7. [Sun Oct 31 23:37:38 2010] "STATUS: ALIVE" 

  8. [Sun Oct 31 23:37:38 2010] "Starting scribe server on port 1463" 

  9. Thrift: Sun Oct 31 23:37:38 2010 libevent 2.0.7-rc method epoll
复制代码

okay  scribe 服务已启动。 （这个不只是测试，也是启动scribe 服务的方式。） 补充：  关于scribe 的安装 在下载目录下有个有个readme 写的很详细（可能没我写的实用^^）  scribe的启动和集群测试，均在examples 目录下的redme 上 写得相当详细。




上面已经安装完scribe，下面我们用java端，通过log4j 把日志写入scribe 日志系统。


一、生成scribe客户端

  • 生成 java客户端api
   A. 修改配置文件scribe.thrift
      cd /usr/local/scribeInstall/scribe/if
      vi scribe.thrift
      修改scribe.thrift文件: 把 include "fb303/if/fb303.thrift" 改成
      include "[thrift解压路径]/thrift-0.5.0/contrib/fb303/if/fb303.thrift"
   B. 生成 java客户端api     
      运行命令 thrift --gen java scribe.thrift
      运行后会生成一个‘gen-java’的文件夹.里面会有3个java类，封装了所有java客户端发送log所需要的api。


  • 生成客户端代码所需要的jar包
   A. 如果之前没设置ANT_HOME 和 PATH 请先设置这两个环境变量
      export ANT_HOME=/usr/local/apache-ant-1.8.0
      export PATH=$PATH:$ANT_HOME/bin
   B. 生成libthrift.jar
      cd /usr/local/scribeInstall/thrift-0.2.0/lib/java
      ant
      (如果没有错误在本文夹夹下会生成libthrift.jar)
   C. 生成libfb303.jar

cd /usr/local/scribeInstall/thrift-0.2.0/contrib/fb303/java
ant
ant 执行成功后 libfb303.jar 会出现在/usr/local/scribeInstall/contrib/fb303/java/build/lib下


二、创建项目，运行测试
  • 创建项目
     A.在eclipse 创建普通java项目
     B.在项目中导入以下jar
      f6bdf56a-ab7c-325b-abd5-214a1a0d4679.jpg
    C.在项目中添加gen-java 文件夹里的三个java类。
  •    编写项目
    编写log4j 的scribe appender

    AsyncScribeAppender.java:
  1. package com.logtest;

  2. 

  3. import org.apache.log4j.AsyncAppender;

  4. /**

  5.  * log4j 的scribe appender

  6.  * 用ScribeAppender 类连接scribe服务器，并把日志写如scribe

  7.  * @author ninja

  8.  */

  9. public class AsyncScribeAppender extends AsyncAppender {

  10. 

  11.         private String hostname;

  12.         private String scribeHost;

  13.         private int scribePort;

  14.         private String scribeCategory;

  15.         private String encoading;

  16. 

  17.         public String getHostname() {

  18.                 return hostname;

  19.         }

  20. 

  21.         public void setHostname(String hostname) {

  22.                 this.hostname = hostname;

  23.         }

  24. 

  25.         public String getScribeHost() {

  26.                 return scribeHost;

  27.         }

  28. 

  29.         public void setScribeHost(String scribeHost) {

  30.                 this.scribeHost = scribeHost;

  31.         }

  32. 

  33.         public int getScribePort() {

  34.                 return scribePort;

  35.         }

  36. 

  37.         public void setScribePort(int scribePort) {

  38.                 this.scribePort = scribePort;

  39.         }

  40. 

  41.         public String getScribeCategory() {

  42.                 return scribeCategory;

  43.         }

  44. 

  45.         public void setScribeCategory(String scribeCategory) {

  46.                 this.scribeCategory = scribeCategory;

  47.         }

  48. 

  49.         public String getEncoading() {

  50.                 return encoading;

  51.         }

  52. 

  53.         public void setEncoading(String encoading) {

  54.                 this.encoading = encoading;

  55.         }

  56. 

  57.         @Override

  58.         public void activateOptions() {

  59.                 super.activateOptions();

  60.                 synchronized (this) {

  61.                         ScribeAppender scribeAppender = new ScribeAppender();

  62.                         scribeAppender.setLayout(getLayout());

  63.                         scribeAppender.setHostname(getHostname());

  64.                         scribeAppender.setScribeHost(getScribeHost());

  65.                         scribeAppender.setScribePort(getScribePort());

  66.                         scribeAppender.setScribeCategory(getScribeCategory());

  67.                         scribeAppender.setEncoding(getEncoading());

  68.                         scribeAppender.activateOptions();

  69.                         addAppender(scribeAppender);

  70.                 }

  71.         }

  72. 

  73.         @Override

  74.         public boolean requiresLayout() {

  75.                 return true;

  76.         }

  77. 

  78. }
复制代码
ScribeAppender .java
  1. package com.logtest;

  2. 

  3. import net.scribe.LogEntry;

  4. import net.scribe.scribe;

  5. 

  6. import org.apache.log4j.WriterAppender;

  7. import org.apache.log4j.spi.LoggingEvent;

  8. import org.apache.thrift.protocol.TBinaryProtocol;

  9. import org.apache.thrift.transport.TFramedTransport;

  10. import org.apache.thrift.transport.TSocket;

  11. import org.apache.thrift.transport.TTransportException;

  12. 

  13. import java.util.List;

  14. import java.util.ArrayList;

  15. import java.net.Socket;

  16. import java.net.UnknownHostException;

  17. import java.net.InetAddress;

  18. import java.io.IOException;

  19. 

  20. /**

  21.  * 继承WriterAppender 

  22.  * 实现了scribe 服务器的链接和日志的发送。

  23.  * @author ninja

  24.  */

  25. public class ScribeAppender extends WriterAppender {

  26. 

  27.         private String hostname;

  28.         private String scribeHost;

  29.         private int scribePort;

  30.         private String scribeCategory;

  31.         private String encoding;

  32. 

  33.         private List<LogEntry> logEntries;

  34. 

  35.         private scribe.Client client;

  36.         private TFramedTransport transport;

  37. 

  38.         public String getHostname() {

  39.                 return hostname;

  40.         }

  41. 

  42.         public void setHostname(String hostname) {

  43.                 this.hostname = hostname;

  44.         }

  45. 

  46.         public String getScribeHost() {

  47.                 return scribeHost;

  48.         }

  49. 

  50.         public void setScribeHost(String scribeHost) {

  51.                 this.scribeHost = scribeHost;

  52.         }

  53. 

  54.         public int getScribePort() {

  55.                 return scribePort;

  56.         }

  57. 

  58.         public void setScribePort(int scribePort) {

  59.                 this.scribePort = scribePort;

  60.         }

  61. 

  62.         public String getScribeCategory() {

  63.                 return scribeCategory;

  64.         }

  65. 

  66.         public void setScribeCategory(String scribeCategory) {

  67.                 this.scribeCategory = scribeCategory;

  68.         }

  69.         

  70. 

  71.         public String getEncoding() {

  72.                 return encoding;

  73.         }

  74. 

  75.         public void setEncoding(String encoding) {

  76.                 this.encoding = encoding;

  77.         }

  78. 

  79.         /*

  80.          * Activates this Appender by opening a transport to the Scribe server.

  81.          */

  82.         @Override

  83.         public void activateOptions() {

  84.                 try {

  85.                         synchronized (this) {

  86.                                 if (hostname == null) {

  87.                                         try {

  88.                                                 hostname = InetAddress.getLocalHost()

  89.                                                                 .getCanonicalHostName();

  90.                                         } catch (UnknownHostException e) {

  91.                                                 // can't get hostname

  92.                                         }

  93.                                 }

  94.                 System.out.println(scribeHost + scribePort + scribeCategory + encoding);

  95.                                 // Thrift boilerplate code

  96.                                 logEntries = new ArrayList<LogEntry>(1);

  97.                                 TSocket sock = new TSocket(new Socket(scribeHost, scribePort));

  98.                                 transport = new TFramedTransport(sock);

  99.                                 TBinaryProtocol protocol = new TBinaryProtocol(transport,

  100.                                                 false, false);

  101.                                 client = new scribe.Client(protocol, protocol);

  102.                                 // This is commented out because it was throwing Exceptions for

  103.                                 // no good reason.

  104.                                 // transport.open();

  105.                         }

  106.                 } catch (TTransportException e) {

  107.                         e.printStackTrace();

  108.                 } catch (UnknownHostException e) {

  109.                         e.printStackTrace();

  110.                 } catch (IOException e) {

  111.                         e.printStackTrace();

  112.                 } catch (Exception e) {

  113.                         e.printStackTrace();

  114.                 }

  115.         }

  116. 

  117.         /*

  118.          * Appends a log message to Scribe

  119.          */

  120.         @Override

  121.         public void append(LoggingEvent event) {

  122.                 synchronized (this) {

  123.                         try {

  124.                                 String message = String.format("%s %s", hostname, layout

  125.                                                 .format(event));

  126.                                 LogEntry entry = new LogEntry(scribeCategory, message);

  127.                                 logEntries.add(entry);

  128.                                 client.Log(logEntries);

  129.                         } catch (Exception e) {

  130.                                 e.printStackTrace();

  131.                         } finally {

  132.                                 logEntries.clear();

  133.                         }

  134.                 }

  135.         }

  136. 

  137.         @Override

  138.         public void close() {

  139.                 if (transport != null) {

  140.                         transport.close();

  141.                 }

  142.         }

  143. 

  144.         @Override

  145.         public boolean requiresLayout() {

  146.                 return true;

  147.         }

  148. }
复制代码

   log4j.properties
  1. #1 \u5b9a\u4e49\u4e86\u4e24\u4e2a\u8f93\u51fa\u7aef

  2. log4j.rootLogger = DEBUG,CONSOLE,scribe

  3. log4j.addivity.org.apache=true

  4. 

  5. log4j.appender.CONSOLE = org.apache.log4j.ConsoleAppender

  6. log4j.appender.CONSOLE.layout = org.apache.log4j.PatternLayout

  7. log4j.appender.CONSOLE.layout.ConversionPattern = %-4r [%t] %-5p %c - %m%n

  8. 

  9. log4j.logger.com.vmars= DEBUG, scribe

  10. log4j.appender.scribe= com.logtest.AsyncScribeAppender

  11. log4j.appender.scribe.encoading=utf-8

  12. log4j.appender.scribe.hostname=scribe

  13. log4j.appender.scribe.scribeHost=192.168.2.221

  14. log4j.appender.scribe.scribePort=1463

  15. log4j.appender.scribe.hostname=ninja

  16. log4j.appender.scribe.scribeCategory=scribe

  17. log4j.appender.scribe.layout=org.apache.log4j.PatternLayout

  18. log4j.appender.scribe.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{2}: %m%n

复制代码

测试客户端：
  1. package com.logtest;

  2. 

  3. import org.apache.commons.logging.Log;

  4. import org.apache.commons.logging.LogFactory;

  5. 

  6. 

  7. public class LogTest {

  8.         

  9.         private static Log log = LogFactory.getLog(LogTest.class);

  10.         

  11.         public static void main(String[] args) {

  12.                 log.error("this is a charactor test ");

  13.                 log.debug("这是中文测试");

  14.                 log.fatal("fatal error 致命错误！！");

  15.         }

  16. }

复制代码










关注公众号，获取大数据、人工智能20套、区块链资源5阶段等资源，随时更新，获取最新技术资源
回复

使用道具 举报

自定义广告语

已有(2)人评论

跳转到指定楼层
正序浏览
bbfj 发表于 2016-3-23 15:14:31
很好的实战例子，学习一下
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发表新帖
howtodown

版主

关注

  • 666

    主题

  • 1249

    帖子

  • 321

    粉丝

TA的主题
关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000