分享

about云分析discuz论坛apache日志hadoop大数据项目:数据库设计说明书V1.0.1

pig2 发表于 2014-7-20 18:15:46 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 12725
about云分析discuz论坛
apache日志hadoop大数据项目
数据库设计说明书






修改记录
  
版本号
  
更改人/发布人
审批人
更改日期
V1.0.1
About
About
20140-7-20



程序命名规则:
包:统一www.aboutyun.com.包名
注释中:程序开头加上个人名字

文件清洗,放入路径
/usr/local/abotuyunlog

git地址:https://code.csdn.net/bj278595437/aboutyunhadoop.git

hive表设计
表名称:LogTable
字段:
IpAddress 字符串(STRING
IpCount  整型(INT
Url      字符串(STRING
UserBrowser 字符串(STRING
OS   字符串(STRING
AccressTime 时间类型(TIMESTAMP

hbase表设计
加载到hbase
hbase两个字段即可:
表名称:
LogTable
RowKeyIpAddress+Url
一个列族
Info
5个列:
IpAddress
IpCount(暂时去掉)
Url      
UserBrowser
OS   
AccressTime

Mysql表设计
一、统计ip
表名称
IPStatistical  
字段:
IpAddress  VARCHAR
VisitNum   INT
Time       DATETIME  

二、统计跳出率
表名称:
BounceRate
字段:
Url  VARCHAR
Rate  FLOAT


三、统计后台登陆ip
表名称:BackgroundIP
字段:
IpAddress   VARCHAR
VisitNum   INT
Time      DATETIME  


四、统计搜索量及搜索词
表名称:SearchStatistics
字段:
IpAddress   VARCHAR
SearchWod  NVARCHAR
SearchNum  INT
Time        DATETIME

注释:SearchNum   搜索次数

五、统计模块点击量
表名称:ModuleClicks
字段:
IpAddress   VARCHAR
VisitNum    INT
Time        DATETIME  


六、空间总访问量
表名称:ModuleClicks
字段:
IpAddress   VARCHAR
VisitNum    INT
Time        DATETIME  




七、统计导航点击量:

表名称:NavigationStatistics

字段:
IpAddress   VARCHAR
VisitNum    INT
Type          INT
Time        DATETIME  

type类型:数字与统计对相应

1.统计论坛社区
2.统计图文阅读区
3.统计导读
4.统计博客
5.统计排行榜
6.统计分享
7.统计群组
8.统计广播
9.统计微信



已有(3)人评论

跳转到指定楼层
admln 发表于 2014-12-22 09:53:22
现在数据库更新了么?有没有SQL文件
回复

使用道具 举报

wubaozhou 发表于 2014-12-31 08:53:59
回复

使用道具 举报

若无梦何远方 发表于 2019-9-5 20:52:40
舒舒坦坦过日子,折折腾腾学技术
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条