分享

小白不会Morphine配置文件以及Avro的使用,求帮助!!!

1. 编写Morphline配置文件,将<软件信息>解析为<软件名字>:<平台类型> <版本号>  (比如grep:amd64 3.1-2对应grep名字,amd64平台 4.8.4版本)。解析后的数据以带有Schema的Avro格式发送到kafka channel
2. 为log建立Avro Schema,其中包含<日期> <时间> <操作阶段> <阶段状态> <软件名字> <平台类型> <版本号>
3. 将kafka channel中数据 以Avro格式存在HDFS里。
4. 使用Hive读取HDFS上Avro格式的数据 下面是提供的log(我好难受啊。我就配置了flume代理,那个morphline完全不懂,希望大佬们帮帮忙)
2018-08-04 12:16:58 startup,archives,install
2018-08-04 12:16:58 install,base-passwd:amd64,<none> 3.5.44
2018-08-04 12:16:58 status,half-installed,base-passwd:amd64 3.5.44
2018-08-04 12:16:58 status,unpacked,base-passwd:amd64 3.5.44
2018-08-04 12:16:58 status,unpacked,base-passwd:amd64 3.5.44
2018-08-04 12:16:58 configure,base-passwd:amd64,3.5.44 3.5.44
2018-08-04 12:16:58 status,unpacked,base-passwd:amd64 3.5.44
2018-08-04 12:16:58 status,half-configured,base-passwd:amd64 3.5.44
2018-08-04 12:16:58 status,installed,base-passwd:amd64 3.5.44
2018-08-04 12:16:58 startup,archives,install
2018-08-04 12:16:58 install,base-files:amd64,<none> 10.1ubuntu2
2018-08-04 12:16:58 status,half-installed,base-files:amd64 10.1ubuntu2
2018-08-04 12:16:58 status,unpacked,base-files:amd64 10.1ubuntu2
2018-08-04 12:16:58 status,unpacked,base-files:amd64 10.1ubuntu2
2018-08-04 12:16:58 configure,base-files:amd64,10.1ubuntu2 10.1ubuntu2
2018-08-04 12:16:58 status,unpacked,base-files:amd64 10.1ubuntu2
2018-08-04 12:16:58 status,unpacked,base-files:amd64 10.1ubuntu2
2018-08-04 12:16:58 status,unpacked,base-files:amd64 10.1ubuntu2
2018-08-04 12:16:58 status,unpacked,base-files:amd64 10.1ubuntu2
2018-08-04 12:16:58 status,unpacked,base-files:amd64 10.1ubuntu2
2018-08-04 12:16:58 status,unpacked,base-files:amd64 10.1ubuntu2
2018-08-04 12:16:58 status,unpacked,base-files:amd64 10.1ubuntu2
2018-08-04 12:16:59 status,unpacked,base-files:amd64 10.1ubuntu2
2018-08-04 12:16:59 status,unpacked,base-files:amd64 10.1ubuntu2
2018-08-04 12:16:59 status,unpacked,base-files:amd64 10.1ubuntu2

已有(4)人评论

跳转到指定楼层
你微笑时很美呀 发表于 2018-8-16 09:10:53
s060403072 发表于 2018-8-15 20:38
一脸懵逼,这个软件你们用来干嘛的,谷歌都搜不到

这个morphline就是flume上的ETL工具,这个题我不会把那个log格式拆分。
回复

使用道具 举报

s060403072 发表于 2018-8-15 20:38:36
一脸懵逼,这个软件你们用来干嘛的,谷歌都搜不到
回复

使用道具 举报

s060403072 发表于 2018-8-19 14:57:30
你微笑时很美呀 发表于 2018-8-16 09:10
这个morphline就是flume上的ETL工具,这个题我不会把那个log格式拆分。

{
  "type" : "record",
  "name" : "Doc",
  "doc" : "adoc",
  "fields" : [ {
    "name" : "id",
    "type" : "string"
  }, {
    "name" : "user_statuses_count",
    "type" : [ "int", "null" ]
  }, {
    "name" : "user_screen_name",
    "type" : [ "string", "null" ]
  }, {
    "name" : "created_at",
    "type" : [ "string", "null" ]
  }, {
    "name" : "text",
    "type" : [ "string", "null" ]
  }

  ...

  ]
}
按照上面格式试试


回复

使用道具 举报

你微笑时很美呀 发表于 2018-8-20 09:12:31
s060403072 发表于 2018-8-19 14:57
{
  "type" : "record",
  "name" : "Doc",

我去试试看~~  蟹蟹
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条