去公司面试，记录下的最新hadoop面试题

1.简要描述如何安装配置一个apache开源版hadoop，描述即可，列出步骤更好

2.请列出正常工作的hadoop集群中hadoop都需要启动哪些进程，他们的作用分别是什么？

3.启动hadoop报如下错误，该如何解决？
error  org.apache.hadoop.hdfs.server.namenode.NameNode

org.apache.hadoop.hdfs.server.common.inconsistentFSStateExceptio

n Directory /tmp/hadoop-root/dfs/name is in an inconsistent

state storage direction does not exist or is not accessible?

4.请写出以下执行命令
1）杀死一个job?
2)删除hdfs上的/tmp/aaa目录
3加入一个新的存储节点和删除一个计算节点需要刷新集群状态命令？

5.请列出你所知道的hadoop调度器，并简要说明其工作方法？
6.请列出在你以前工作中所使用过的开发mapreduce的语言？
7.当前日志采样格式为

a,b,c,d
b,b,f,e
a,a,c,f
复制代码

请用你最熟悉的语言编写一个mapreduce，并计算第四列每个元素出现的个数


8.你认为用Java，Streaming,pipe方式开发mapreduce,各有哪些优缺点？
9.hive有哪些方式保存元数据，各有哪些特点？
10.请简述hadoop怎么样实现二级排序？
11.简述hadoop实现join的几种方法？
12.请用Java实现非递归二分查找？
13.请简述mapreduce中，combiner，partition作用？
14.某个目录下有两个文件a.txt和b.txt,文件格式为（ip，username）,

列如：

a.txt
127.0.0.1 zhangsan
127.0.0.1 wangxiaoer
127.0.0.2 lisi
127.0.0.3 wangwu

b.txt
127.0.0.4 lixiaolu
127.0.0.1 lisi

每个文件至少100万行，请使用Linux命令完成如下工作：

1）每个文件各自的ip数
2）出现在b.txt而没有出现在a.txt的ip
3）每个user出现的次数以及每个user对应的ip数

补充一些：

用户手机号  出现的地点  出现的时间                 逗留的时间

111111111     2          2014-02-18 19:03:56.123445   133
 

222222222     1          2013-03-14 03:18:45.263536    241

333333333     3          2014-10-23 17:14:23.176345    68

222222222     1          2013-03-14 03:20:47.123445    145    

333333333     3          2014-09-15 15:24:56.222222    345
 
222222222     2          2011-08-30 18:13:58.111111    145


222222222     2          2011-08-30 18:18:24.222222    130   
复制代码

按时间排序  

期望结果是  

222222222     2           2011-08-30 18:13:58.111111    145

222222222     2          2011-08-30 18:18:24.222222     130 

222222222     1           2013-03-14 03:18:45.263536    24


111111111   ~~~~~~~~ 


333333333  ~~~~~~~
复制代码

FILE1
83
26
69
129

FILE2

56
103
266
45

FILE3

15
199
467
23  

期望 输出结果

1  15

2  23

3  26

4  45 
复制代码

这样依次排序下去     

学习中，争取给出结果。

学习  学习   

帖子收下了，谢谢楼主

帖子分享了，给好参考参考

先收了，谢谢楼主分享

好，可以多练习一下

坐等答案。