跪求答案

                自己做了一个很小的日志分析项目，面试问到以下问题，个人回答老露馅，没有经验，不知道怎么回答，求指导


1. 集群多少台, 数据量多大, 吞吐量是多大, 每天处理多少G的数据？
2. 你们业务数据量多大？有多少行数据？
3. 你们提交的 job 任务大概有多少个？这些 job 执行完大概用多少时间？

4.使用hive做日志统计，遇到了哪些难题，是怎么解决的？

前辈们，跪求答案，

可以参考这篇文章：

大数据集群资源预估规划【适用于面试与集群规划】
https://www.aboutyun.com/forum.php?mod=viewthread&tid=29958

求答案？？？？？？？？？？？？？？？？？？？？？？

persist 发表于 2015-5-8 19:09
求答案？？？？？？？？？？？？？？？？？？？？？？

问题是多种多样的，而且是变化的。所以楼主应该是做过这方面的，既然做过就好，自己首先思考：
那么你在自己操作的时候，吞吐量是多少，自己处理过多少G的。大概有多少行
自己执行的mapreduce，有多少个map、多少个reduce.执行时间是多少
hive自己是否做过统计。
楼主自己先回答这些问题，你才能回答后面的问题。
如果自己都搞不懂自己处理过什么，别人说了，也只是别人的，只有真正转换为自己的才可以。
弄明白这些后，咱们在讨论面试官提问你的问题

jixianqiuxue 发表于 2015-5-8 19:45
问题是多种多样的，而且是变化的。所以楼主应该是做过这方面的，既然做过就好，自己首先思考：
那么你在 ...

首先谢谢你，是这样的，这个是我自己做的一个很小的项目，数据量也小，也没遇到什么大的问题，只是熟悉了项目开发各个组件的使用流程，没法拿出来说，在简历上包装成一个在公司做的项目，现在问到这些问题，我不知道怎么回答，自己估计着回答老露馅。不太清楚公司到底是怎么使用的,一问到关于公司里面的集群，业务数据量，直接无语了， 我应该怎么回答面试官不会怀疑？

persist 发表于 2015-5-8 22:45
首先谢谢你，是这样的，这个是我自己做的一个很小的项目，数据量也小，也没遇到什么大的问题，只是熟悉了 ...

你所要作的不是伪装，而是展现自己的实力建议：
1.多看面试经验
推荐：
大数据面试宝典

2.多跟有经验的人沟通，q群可以多向有经验的指导。不需要多了在几个千人群中，相信有人会帮助你的。
3.多思考

另外：

不建议自己的实际项目说日志，这个已经属于一个众所周知的网络项目了。

参考：

面试题、经验分享及新手问答整理

s060403072 发表于 2015-5-9 01:22
你所要作的不是伪装，而是展现自己的实力建议：
1.多看面试经验
推荐：

非常谢谢你，哎面试真难忽悠

persist 发表于 2015-5-9 08:21
非常谢谢你，哎面试真难忽悠

面试其实是展示自己的一个过程，如果不是特别的优秀，hr、招聘人员很难下决定，这样风险大。短短一两个小时的面试，当然也比较难了解一个人。平时可以多写博客，能够别人更加的了解你。
虽然不能解决你当下的问题，但是这个在以后的求职路上，是很有帮助的
面试经验：2.5年, 从0->阿里

persist 发表于 2015-5-8 19:09
求答案？？？？？？？？？？？？？？？？？？？？？？

集群40台，目前正在扩展，每天处理40G，多少行，可以about云日志，自己可以计算下。日志都是差不多的。hive统计日志，可以统计统计最后卡住，原因数据倾斜。
日志在这里下载：

about云分析discuz论坛apache日志hadoop大数据项目：需求分析说明书

赞啊。楼主现在怎么样了。

加油加油