分享

阿里,头条,美团,快手大数据开发岗面试总结

admin 发表于 2020-8-31 11:03:28 [显示全部楼层] 回帖奖励 正序浏览 阅读模式 关闭右栏 0 1603

问题导读

1.Java基础主要有哪些问题?
2.数据结构和算法有哪些公司会考?
3.下面哪些问题我们比较熟悉?


从3月份开始,陆续面了阿里,头条,美团,快手四家公司的大数据开发岗位,近20场面试面下来挺耗费脑力的,不过结果还行,除了头条外,目前拿到了其他三家的offer,今天把还能记住的题目做个整理,整理是按技术分类的,因为确实记不太清哪一场问了哪些题了。

先说一下这几场面试的整体感受,头条和快手风格相似,每一面基本都有算法或实现题,算法主要是leetcode easy, middle难度的题,这跟你面试情况有关,可能项目上没有亮点的算法题会出的难一点。笔者刷题不多,也就100多道吧,还好没有遇到太难的算法,不过刷题还是平时没事多刷刷的好,毕竟每次面试才突击刷有点累,刷题也有助于开阔思维。实现题主要是让你实现下HashMap,LRU,生产消费者模型,单例模式等,面试官通过这些可以看出你对数据结构的理解和代码实现能力。

阿里和美团的话,算法题不是很多,但会比较注重问项目里的亮点,我理解的亮点包括你开发或优化过比较有价值的功能,解决过复杂或有难度的问题等,这个需要自己根据做过的项目总结好。数仓的话SQL,建模理论问的比较多。

建议刚开始面试不要海投简历,可以先找一家练练手,面试过程中查漏补缺,不断完善知识盲点,这些公司,你只要表现不是太差,一个部门面不过还可以面其他部门的。投简历可以在脉脉,拉钩,boss直聘上找HR,内部员工内推,也可以通过猎头投,不过猎头参差不齐,好的猎头会对公司在招的岗位给出详细的介绍,这个尤其在后面你有多个offer做选择时比较方便,你可以通过猎头了解这些offer的利弊,不过好猎头不好碰。

特别想说的一点是,面试前你要先想好自己适合做哪个方向的开发,大数据的话,有平台开发,数仓业务开发,数据分析挖掘,算法等,每个方向的岗位要求是不一样的。毕竟每个人精力有限,你也不可能所有方向都精通。

平台开发包括内部平台产品开发,组件源码级开发等,一般要求对某个或某几个组件有源码级的开发能力,这个大厂基本都在专门的基础研发平台部门,当然也有一些只是对开源组件做些封装啥的,方便用户使用,这个岗位一般不直接做业务,而是开发和维护业务开发使用的平台工具。

数仓业务开发,这个在大数据开发的招聘岗位里需求量比较大,因为平台可以用云或开源的,但每家公司的数仓都要根据自己的业务构建,所有其他的业务也都是以数仓为基础开展的。这个岗位面试重点是SQL要熟,常用的开窗函数,Hive优化要懂,还有就是数仓建模理论,维度建模,范式建模基本是必问的。一般还需要有Spark,Flink处理离线,实时数据的能力,你要问清楚这个岗位的主要工作内容,谁也不想只做SQL boy。

数据分析挖掘岗,一般是SQL,Python居多,也会用公司的数据分析产品构建模型做报表啥的,还需要对机器学习算法有了解,能够用算法做更深层次的数据分析。

算法岗,如推荐,广告等场景的算法研究,模型构建,调参等,这个一般需要比较深的机器学习,深度学习算法基础,一般需要科班出身的算法工程师,如果之前不是这个方向的,中间转不是很好转,本文不涉及此岗位的面试题。

好了,下面开始罗列这次面试中遇到的面试问题,这些题没有答案,不过会先给出一些我看过的书籍和课程。后续的文章中会对这些知识点进行总结,敬请关注。

1 Java基础
说说Java里的多态什么意思
Java 里的final关键用过吗
讲讲volatile关键字的作用,与synchronized关键字的不同
了解HashMap的内部结构吗?自己实现一个HashMap
HashMap、Hashtable、ConcurrentHashMap的原理与区别
用Java实现一个生产者消费者模型,可以用BlockingQueue阻塞队列
了解哪些设计模式,实现一个单例模式
感言:做大数据开发,java基础是必须的,一般一面,二面都会问到,java基础答的不好,一般都不会给过。

2 数据结构与算法

算法:

搜索旋转排序数组,leetcode 33,中等难度
实现一个LRU缓存,leetcode 146 ,中等难度
用两个栈实现一个队列,leetcode 232 , 简单难度
给定一个非空的整数数组,返回其中出现频率前 k 高的元素。Leetcode 347 , 中等难度
二叉树的最近公共祖先, Leetcode 236 , 中等难度
感言:就记住了这几个,大家也能看出来,基本都是leetcode上的题,刷题还是很有必要的。刷题时建议先按分类刷,像二分查找,动态规划都有一些固定的模式的。

数据结构:

布隆过滤器
Bitmap
B+树
LSM Tree
跳表
Hyperloglog
推荐阅读:强烈推荐极客时间王争老师的《数据结构与算法之美》课程,目前已有8万多人购买,应该是极客时间购买人数最多的课程,有需要的可以扫下面二维码购买。质量绝对优质,反正我读了受益匪浅。比如讲Redis的有序集合底层数据结构为什么用跳表时,老师会从二叉搜索树,B+树开始讲起,让你同时了解了这三种数据结构的异同和应用场景。

3 Hive
做大数据,Hive SQL也是必问的,大厂的ETL任务很多都是Hive SQL,主要问题如下:

Hive row_number,rank两个函数的区别
Hive窗口函数怎么设置窗口大小
Hive order by,sort by,distribute by,cluster by 区别
Hive map,reduce数怎么设置
Hive SQL数据倾斜有哪些原因?怎么优化
parquet数据格式内部结构了解吗
Hive数据选择的什么压缩格式
Hive SQL 如何转化成MR任务的
Hive 分桶了解吗
Hive的udf、udaf和udtf了解过吗?自己有没有写过udf
怎么验证Hive SQL 的正确性
lateral view explode关键字来拆分数组
join操作底层的MapReduce是怎么去执行的

SQL应用题:
一个login_in表,userid、login_time、ip,数据量很大,一个人可能有多条登录数据,取出最近10个登录的用户。
还是login_in表,统计登录的总条数( PV )和登录的总人数 (UV)。
一个用户好友表 userid , follow_list (该用户的好友id数组) A [B, C, D] B [A, C] C [D] 统计这个表有多少对好友
感言:这个主要考察你平时写SQL多不多,数仓开发岗会比较在意SQL能力

4 MapReduce&Spark
MapReduce的作业流程,涉及到几次排序
Spark任务执行过程
MapReduce Shuffle 和 Spark Shuffle的区别
Spark的内存管理模型
讲讲Spark Shuffle
Spark Shuffle bypass模型了解吗
Spark使用中遇到什么问题,怎么解决的
感言:MapReduce&Spark是主要的离线计算引擎,需要对任务调度流程和可能出现性能瓶颈的点熟悉, 懂得组件原理和调优,如果工作中遇到并解决过大数据工程性能问题会有加分

5 Spark Streaming&Flink
Spark Streaming 与Flink的对比
Flink怎么做到Exactly Once
Spark Streaming能做到Exactly Once语义吗
Flink的StateStore有哪些,工作中用过哪些
做过Flink内存调优吗
遇到过OOM的情况吗,怎么处理的
讲讲Spark Streaming 与Flink的反压机制
Flink的窗口函数,时间机制,CheckPoint机制,两阶段提交
Flink 双流Join
Flink State TTL怎么设置
Flink 维表关联有哪些方式,数据量大时怎么处理
其他一些应用题:

实时PV,UV统计
实时TOP N 统计
广告曝光流和点击流实时join
感言:不仅要对组件的原理清楚,还要实际做过实时相关的业务开发,面试官也会出一些他们场景的业务让你说下你会怎么设计,所以需要多关注些实时业务场景的应用实现。


6 数据仓库
你们公司数仓是怎么构建的,怎么做的分层
说说范式建模和维度建模的区别
说说星型模型和雪花模型的区别
设计一个统计各渠道用户留存的模型
缓慢变化维怎么处理
你们数据怎么同步到数仓的,怎么保证数据不丢失
数据质量怎么控制
数据规范怎么定义的
如果进行元数据管理
感言:数仓方法论的东西需要了解,数仓整体的构建理念要对,给一个业务需求,能够给出合理的数仓构建模型。

7 Kafka
说说对kafka的了解
Kafka基本原理说一下,和其他的MQ相比的优势
讲讲Kafka的高阶,低阶消费者API的区别
Kafka的ack有哪几种
Kafka 消费者怎么从Kafka取数据的
Kafka生产消费怎么保证Exactly Once
Kafka怎么保证有序性的
Kafka Controller是做什么用的
Kafka 多副本leader如何选举
Kafka 消费者组重平衡流程是怎样的
新版和老版Kafka offset的管理有什么不同
如何查看消费者的消费进度


8 HBase
HBase rowkey如何设计的
谈谈热点问题以及如何解决
说下HBase的读写流程
HBase使用过程中做过哪些优化
HBase的Compaction机制作用


9 Redis
Redis 包含哪些数据结构
Redis 有序集合的底层实现
Redis 有哪几种数据持久化方式及各自优缺点
一致性哈希了解吗



原文链接:
https://mp.weixin.qq.com/s/bxMrhhqohxosPj5YB0lifw

没找到任何评论,期待你打破沉寂

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /5 下一条