文章插图
据最新发布的《大数据人才报告》显示,目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万，大数据研发工程师缺口巨大，大数据相关的面试题目更少，希望本篇能帮助想进入大数据行业的从业者 。
大数据方面： mapreduce过程 hbase和传统数据库的区别 hbase读数据过程 hbase master和regionserver的交互 hbase的ha，zookeeper在其中的作用，master宕机的时候，哪些能正常工作，读写数据？region分裂？ 数据倾斜 mysql索引，哪些索引？实现原理？哪些存储引擎支持B树索引，哪些支持hash索引？ 为啥mysql索引要用B+树而MongoDB用B树？ Mysql查询优化？ 主键和唯一索引的区别 事务的隔离机制，mysql默认是哪一级 MyISAM和InnoDB存储引擎的区别 mysql查询优化，慢查询怎么去定位？ mysql中的各种锁，乐观锁，悲观锁（排他锁，共享锁）；行锁，表锁是怎么实现的？ mapreduce支持哪些join，map端？reduce端？semi join？semi join你可以通过什么算法去优化？ mapreduce实现二次排序 用mapreduce实现两表join 用mapreduce实现一个存储kv数据的文件，对里面的v进行全量排序 zookeeper实现原理，zab协议以及原子广播协议 paxos协议，multi-paxos，zab，raft各种分布式协议内容，使用场景 hadoop namenode的ha，主备切换实现原理，日志同步原理，QJM中用到的分布式一致性算法（就是paxos算法） spark运行架构 spark运行原理，从提交一个jar到最后返回结果，整个过程 spark的stage划分是怎么实现的？拓扑排序？怎么实现？还有什么算法实现？ spark rpc，spark2.0为啥舍弃了akka，而用netty? spark的各种shuffle，与mapreduce的对比 spark的各种ha，master的ha，worker的ha，executor的ha，driver的ha,task的ha,在容错的时候对集群或是task有什么影响？ spark的内存管理机制，spark1.6前后对比分析 spark2.0做出了哪些优化？tungsten引擎？cpu与内存两个方面分别说明 spark rdd、dataframe、dataset区别callable runnable 区别 synchronized与lock区别 类加载机制 gc算法 spark数据倾斜 spark shuffle spark 内存管理 各种排序算法，时间复杂度，空间复杂度，spark和hadoop中shuffle中各个阶段用到的排序算法把这几种排序算法的使用场景表现得淋漓尽致啊 。spark里面有哪些参数可以设置？针对各个场景说明类加载过程（class文件到jvm这个过程）内存泄露，哪些场景会出现top k问题，有哪些实现方案两串数字找同时出现的B树索引慢查询定位说说你熟悉的加密算法怎么快速统计出一个城市有多少家餐馆讲讲最能代表你技术能力的项目进程线程区别hashMap和treeMap的区别，以及实现concurrenthashmap怎么实习同步？各个版本的实现方案？hdfs读取流程，小文件处理 算法数据结构方面： 图怎么存的、有哪些图算法 红黑树怎么实现、如果树里面有两个值相等的节点，怎么识别？ 一排正整数，每次只能去两头的数，甲乙两个人轮流取，如果甲先取，问最后谁取得数相加和最大，最大和为多少？典型博弈论问题（可以看看海盗分金问题），写了两个动态规划方程HBASE，HDFS，HIVE,MAPREDUCE
1 HBASE为何能海量存储，ORACLE为何不行，底层什么形式存在HDFS上？
2 HBASE和HDFS区别？
3 HADOOP1.0和2.0区别？
【spark和hadoop的区别和联系 spark和hadoop的区别】4 NAMENODE的HA？
5 槽位数的共享问题？需要注意什么？（REDUCE SLOT提前启动和MAPSLOT饿死）
6 ZK的LEADER选举算法？
7 如何设置优先级？
8 2.0如何资源调度？
9 MAPREDUCE和HIVE区别？HIVE的外部表和内部表？
10 怎么优化？
11 HADOOP1.0和2.0HDFS的BLOCK各为多少？
推荐阅读
- 锦鲤吃什么长得快
- 奶糕和狗粮的区别
- 眩晕症的预防和治疗 治疗眩晕6大因素是关键
- 空气能取暖和壁挂炉取暖哪个更节能
- 原来通过嘴唇颜色可反映出经脉和脏器的疾病
- 飞燕草养殖方法和注意事项
- 手机没电怎么恢复电量
- 情侣和朋友的区别
- 羽绒服洗完结块怎么办 羽绒服机洗和干洗哪个伤害大
- 祥子和骆驼有什么外在和内在的关系