about云开发

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 9731|回复: 2

about云分析discuz论坛apache日志hadoop大数据项目:数据库设计说明书V1.0.1

[复制链接]
发表于 2014-7-20 18:15:46 | 显示全部楼层 |阅读模式
about云分析discuz论坛
apache日志hadoop大数据项目
数据库设计说明书






修改记录
  
版本号
  
更改人/发布人
审批人
更改日期
V1.0.1
About
About
20140-7-20



程序命名规则:
包:统一www.aboutyun.com.包名
注释中:程序开头加上个人名字

文件清洗,放入路径
/usr/local/abotuyunlog

git地址:https://code.csdn.net/bj278595437/aboutyunhadoop.git

hive表设计
表名称:LogTable
字段:
IpAddress 字符串(STRING
IpCount  整型(INT
Url      字符串(STRING
UserBrowser 字符串(STRING
OS   字符串(STRING
AccressTime 时间类型(TIMESTAMP

hbase表设计
加载到hbase
hbase两个字段即可:
表名称:
LogTable
RowKeyIpAddress+Url
一个列族
Info
5个列:
IpAddress
IpCount(暂时去掉)
Url      
UserBrowser
OS   
AccressTime

Mysql表设计
一、统计ip
表名称
IPStatistical  
字段:
IpAddress  VARCHAR
VisitNum   INT
Time       DATETIME  

二、统计跳出率
表名称:
BounceRate
字段:
Url  VARCHAR
Rate  FLOAT


三、统计后台登陆ip
表名称:BackgroundIP
字段:
IpAddress   VARCHAR
VisitNum   INT
Time      DATETIME  


四、统计搜索量及搜索词
表名称:SearchStatistics
字段:
IpAddress   VARCHAR
SearchWod  NVARCHAR
SearchNum  INT
Time        DATETIME

注释:SearchNum   搜索次数

五、统计模块点击量
表名称:ModuleClicks
字段:
IpAddress   VARCHAR
VisitNum    INT
Time        DATETIME  


六、空间总访问量
表名称:ModuleClicks
字段:
IpAddress   VARCHAR
VisitNum    INT
Time        DATETIME  




七、统计导航点击量:

表名称:NavigationStatistics

字段:
IpAddress   VARCHAR
VisitNum    INT
Type          INT
Time        DATETIME  

type类型:数字与统计对相应

1.统计论坛社区
2.统计图文阅读区
3.统计导读
4.统计博客
5.统计排行榜
6.统计分享
7.统计群组
8.统计广播
9.统计微信



1

主题

3

听众

1

收听

中级会员

Rank: 3Rank: 3

积分
421
发表于 2014-12-22 09:53:22 | 显示全部楼层
现在数据库更新了么?有没有SQL文件

0

主题

17

听众

55

收听

高级会员

Rank: 4

积分
2775
QQ
发表于 2014-12-31 08:53:59 | 显示全部楼层
舒舒坦坦过日子,折折腾腾学技术
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条

QQ|小黑屋|about云开发-学问论坛|社区 ( 京ICP备12023829号

GMT+8, 2018-11-17 02:18 , Processed in 0.339111 second(s), 31 queries , Gzip On.

Powered by Discuz! X3.2 Licensed

快速回复 返回顶部 返回列表