金九银十铁12，目前腾讯、美团等五家大厂都收到意向offer | 掘金技术征文

互联网提早批基本告一段落，大大小小的offer也拿了一些，秉着回报社会，坚持中国特点社会主义，挽救新一代码农的思想，整理了下各个公司的面筋、考点，但愿能激励各位搬砖工，起到鼓足干劲，力争上游的做用O(∩_∩)O

噱头

小姐姐♀说先拿出offer炸炸人，不然没人看...咱不是那么庸俗的人，但也没有那么脱俗...

鄙人从7月中旬开始找工做，找的是大数据研发 or 大数据算法方向，反正围着大数据打☯️，截止到9.12号为止，腾讯、美团、360安全研究院、搜狗、贝壳 都收到意向offer

固然挂面也吃了很多😭

• 阿里招聘系统有点bug，没找到机会去面，而后接受了一波劝退性笔试，最近看能不能找个好心的小姐姐推我进去面一波
• 百度三面电话没接起来，而后没而后了...
• 网易接了一波玄面~
• 头条也去面了一波，不过真的没复习那么全，回来海学一波，也算值
• 滴滴给了一“真内推”（直接问能来实习不，来就有...），不过最近在风头上，考虑中...

offer的具体工做内容不介绍了，怕被HR小姐姐查出来，请我去喝茶...

闲聊

本人北京985渣硕一枚，是真的渣，舍友商汤、旷世，出国留学，学校中各种大佬一坨，在夹缝中求生，混口饭吃

主攻方向：无。领导搞行政的，每天端茶倒水取快递，外挂写不尽的基金本子，论文全靠我的参悟+上天怜悯

说点正事吧，关于工做路线，我最终选择的是大数据研发方向，主要缘由是研一上了点分布式的课，拿出来吹一吹，还能唬的住人。我的感受算法也能作，研发、算法半斤八两吧

学校这边的话，有优秀高校背书天然要好，没有的话，就没有吧，大牛们不差这点，渣渣们你们也强不到哪去，没必要强求

项目，在读书过程当中，必定要了解个项目，不然面试官真没啥问题你的，尬场基本就凉凉了。这项目没必要真的是你的，当找工做时，全部前辈、朋友的项目全都是你的，包装下，你说是你的就是你的，没人去查你底细的，关键了解要深，这样和别人说底气才足。我有幸给一个数据流项目作了些边角任务，但在简历上，我成为了该项目的负责人...本身体会包装的艺术...

简历，我之前认为你们“没见过猪跑还没吃过猪肉吗”，网上那么多强调简历重要性的，直到我看见我小师弟的简历，发现真的有人没吃过猪肉（我学硕他专硕，一块儿找工做，他有百度大厂背书，可这工做找的唉...）。最简单的修改方法，让你附近的同窗看看，第一眼感受能够吗，能够就ok，不能够就gg，照着人家的改改

如今前头，准备要早，投的也要早基本7月中旬就陆陆续续开始有提早批了，错过就没了>...<

干货

这货也不干，过去一整阵子了，我能写多少给你们写多少吧，考点网上一抓一大把

技术面

先说说技术面流程：

1. 让你作自我介绍（准备好）
2. 看看你简历，说你对这个比较熟？balabla...你问的简单就熟，问的难很差意思不太了解
3. 看看你实习经历，让你介绍实习干啥了，有没有什么大项目能拿得出手，干聊10-20分钟的
4. 问问职业规划。这里表现出你态度的虔诚，不会乱跳槽，踏踏实实的干，让他感觉到你想进这家公司，两眼能放光就更好了... 大佬们能够海吹一波
5. 你有啥子问题。我通常预备两个问题，您这部门具体作什么能介绍一下？我何时能知道本身是过了仍是没过呢？尽可能不要不问，各路大佬在贴中都说过了

必定要把主动权掌握在本身手中，面试官会问不少你平时不了解或压根不知道的问题，这时你能够说平时我用不到这些（能够理解啊，应届生上哪懂这么多邪门歪道啊，大佬请无视我），而后说本身对xxx领域有点研究，引导他来问你

对面提问你时，其实很考验你答辩技巧的，当你熟悉的东西时，那很OK，balabala便可，问你不熟悉的（你只知道点皮毛，但也在简历上写了），你能够说“我作项目时碰到过一点，大致查了下，有点印象，您能够试着问一下”，这样会让面试官把指望放低，问题难度也会下降，答出来加分，答不出来也无所谓

HR面

1. 自我介绍（准备版非技术的！ 从本科到大学，研究方向，选择这家公司理由，实习经历拉一拉，时间通常能凑够了，让对方感受你是个健谈的人）
2. 聊聊兴趣爱好（准备些健康的爱好，游戏公司能够考虑非健康的...）
3. 聊聊实习经历，和上下级处的如何，有压力怎么办
4. 你有啥问题。我对这部门还有些不了解，您能在系统介绍下吗？入职培训介绍一下？

下面具体拉拉各厂面试经历吧，我把比较有特点的问题列出来，统一的我放在下面知识点了，重写太麻烦了...

腾讯

难度：easy，可能我比较幸运？

一面

电话面，问了问Java的基础问题，其中有印象的是

• final这个字段用在字段和方法上的区别，在方法上好像能加速，你们本身查吧。。

二面

现场面，基本围绕着你简历上问

• xgboost相对gbrt改进
• topK问题

三面

总监面，这面基本聊聊实习的项目，用到的技术等，不知死活的我问了问sp的问题...建议各位0-offer党（offer满天飞的大佬请无视我）不要在该环节问sp的问题，最后给不给sp，好像不是这伙计定的，具体仍是看聊得状况，聊开了什么都能聊，聊不开，那就88

美团

难度：normal

1、二面

• Java问了一堆
• Spark问了一堆
• 而后给我介绍部门，我基本在听他说了...

后面知识点都有我就不展开写了o_o ....

三面

问我刷题不？（这想要我什么回答呢），杯子倒水智力题，实习项目聊一聊

360

难度：normal+

一面

上来怼了我一堆python的东西，我python当脚本用的，说能不能换个方向聊一聊，而后怼了一堆

• 指望
• 准确率召回率
• AUC和ROC
• 决策树聊一聊
• 阐述本身如何设计模型的

开始问题偏向于算法，后来我说我其实擅长架构类的东西...小姐姐说，这样啊，不过看你答的还能够啊，架构我就不问你了...

二面

问了些数据仓库的问题，雪花型和星型数据库等，我表示一脸懵逼，而后和他扯Spark Streaming，他对这个还挺感兴趣的，算是晃点住了，后面说加班怎么看，而后他开始介绍他NB的团队，我开始瞻仰，膜拜...最后问问能不能来实习，基本回答都是能（不能的好像都没了...），时间节点本身须要把握一下，最好等到全部offer都下来的时候，我本身预估是10月中旬吧

头条

难度：father

一面

• spark streaming 怼一波
• 如何保证exactly once
• tcp中全链接池和半链接池等
• 剑指offer上一道题：二叉树蛇皮走位？？

二面

• yarn 调度算法
• 扯了扯spark streaming
• 一道算法，树中两节点找最亲的爸爸...
• 实习聊一聊

面试官不是很感冒，问我还有什么补充了，我居然说没...猝，血淋淋的教训啊

搜狗

难度：hard

一面

两个面试官，发了张卷子，里面什么题都有：

1. 排序、有重复的数组中查询某数的index，注意不要退化成o（N）的算法
2. 在一棵树中查找两个节点的最近公共父节点（就是头条二面那道题）
3. linux $$ $# $0 等含义
4. 智力题 50红 50黑 分配两袋子摸球问题
5. n!后面有多少个0
6. hdfs的基本操做
7. 大数据处理问题，用spark处理下

二面

• 问我为啥不考虑读博？（学的太渣，感受没有必要读...）
• 问我对前面面试官的见解（你要炒他们吗。。。）
• 实习聊一聊

贝壳

难度：normal+

讲道理贝壳我是抱着去打小怪的心态去的，并没打算留下的，可是面试体验很好，最后给的薪水超高、福利也爆炸，缺点的话你们懂得，偏养老，看你们选择吧。算是帮一面的大哥打波广告吧

一面

数据倾斜怎么处理，我我的感受我回答的比较差，之前没仔细思考过这个问题，后来查了查发现里面有不少道道。

但面试官很nice，问了问我其余方面，感受还不错，后面和我讨论了30分钟的职业发展问题，感受来的很值，大哥我能加你微信吗...

二面

比较年轻的高冷小哥面个人

• Spark架构
• shuffle过程
• Spark Streaming 原理
• 一道关于棋盘左上角跑到右下角的问题，从搜索、dp、到数学的方法都讨论了一遍
• 机器学习捎带说了一嘴
• 实习聊了聊

题外话

写给须要的，不想死磕互联网的人:ヽ(｡◕‿◕｡)ﾉ

1. 读博真的不错，你们能够考虑下，真的是条出路，尤为你比较年轻的话
2. 户口互联网不可兼得，最近在考虑户口唉
3. 国企、银行、公务员均可以考虑啊，感受这类工做有空陪家人

知识点

最后，送上我面试过程当中整理出的知识点（可能有误-_-||），供你们查漏补全，但愿你们都能找到个好offer (@^０^@)

Java

线程并发

这就是一天坑，基本问不完，难度也是拉满的那种...

Q：进程和线程的区别？

1. 进程是资源分配的基本单位，线程是程序执行的最小单位
2. 进程有独立的地址空间，线程依托于进程存在，线程切换的开销小
3. 多进程组成的服务更稳定，一个进程挂了不会对另外一个进程形成影响，相反，一个线程挂了，依托该进程的全部线程都会崩溃

Q：进程间通讯方式？

• 管道
• 信号量
• 消息队列
• 共享内存（IPC）
• socket

核心目的是交换数据

除了会枚举，这些名词的具体概念也应该作到心中有数，传送门

Q：线程间通讯方式？

• 锁机制
• 信号量

核心目的是同步

Q：Callable、Runnable区别？

1. 核心区别 Callable 有返回值，Runnable 没有返回值
2. Callable的方法是call()，而 Runnable的方法是run()
3. Callable能够抛出异常，而 Runnable不能够抛出异常

Q：Future和Callable的关系？

• Callable执行完后会有一个返回结果，能够经过Future类返回（异步计算的结果）。
• 此外，应当了解下FutureTask，其实现了Runnable和Future，并存在接收Callable的构造函数

Q：建立线程的方法？

1. 继承Thread，再经过Thread的start()
2. 实现Runnable，再经过new Thread(runnable)包装后，start()
3. 用ExecutorService提交

Q：volatile关键字的做用？

1. 防止指令重排（单例模式中）
2. 内存可见性

Q：synchronized的用法？

1. 修饰实例方法，做用于当前对象，两个不一样对象不冲突
2. 修饰静态方法，做用于当前类，两个不一样对象也冲突
3. 修饰代码块，对指定对象加锁

Q：讲一下Java内存模型？

网上一大堆，引用前人的清明上河图

Q：CountDownLatch和CyclicBarrier了解吗？

• CountDownLatch中一个线程等待其余几个线程完成。
• CyclicBarrier中几个线程相互等待某一事件的达成。
• CyclicBarrier能够复用。

任意门

Q：Semaphore用法？

控制一组资源的使用，经过acquire()和release()获取和释放这组锁，盼盼防盗门

Q：ThreadLocal做用？

修饰变量，控制变量做用域，使变量在同一个线程内的若干个函数中共享。

大佬指路

Q：单例与多例的区别？

1. 单例非static和static变量都是线程不安全的
2. 多例非static变量是线程安全的，但static变量依旧是线程不安全的
3. 能够经过synchronized或ThreadLocal来完成static变量的线程安全

大佬

Q：锁释放的时机？

1. 执行完同步代码块后
2. 执行同步代码块途中，发生了异常，致使线程终止
3. 执行同步代码块途中，遇到wait关键字，该线程释放对象锁，当前线程会进入线程等待池中，等待被唤醒

Q：notify唤醒时机？

notify后不会马上唤醒处于线程等待池中的线程，而是等当前同步代码块执行完，才释放当前的对象锁，并唤醒等待线程。

Q：notify和notifyAll区别？

notify通知一个线程获取锁，而notifyAll通知全部相关的线程去竞争锁

Q：讲一下Lock？

Lock是为了弥补synchronized的缺陷而诞生的，主要解决两种场景

1. 读写操做，读读不该该互斥
2. 避免永久的等待某个锁

Lock是一个类，并不是Java自己带的关键字，相对于synchronized而言，须要手动释放锁。

Q：锁的种类？

1. 可重入锁，如ReentrantLock
2. 可中断锁，lockInterruptibly()反应了Lock的可中断性
3. 公平锁，synchronized是非公平锁，Lock默认也是非公平锁（可调整）
4. 读写锁，如ReadWriteLock

大佬集散地

集合

集合相对容易，常规送分题，基本都会问到HashMap

Q：TreeSet特性？

内部元素经过compare排序。

Q：LinkedHashMap特性？

内部有个双向链表维护了插入key的顺序，使得map可以依据插入key的顺序迭代。

Q：ArrayList与Vector的差异？

ArrayList是非线程安全的，Vector是线程安全的。

Q：LinkedList与ArrayList的差异？

1. LinkedList基于链表，ArrayList基于数组
2. LinkedList没有随机访问的特性
3. ArrayList删除添加元素没有LinkedList高效

Q：HashMap与HashTable的差异？

1. HashTable线程安全，HashMap线程不安全
2. HashMap容许null key和value，而HashTable不容许

Q：Set与List的差异？各自有哪些子类？

Set不容许重复元素，List容许重复元素，List有索引

• Set：HashSet、LinkedHashMap、TreeSet
• List：Vector、ArrayList、LinkedList

Q：hashCode()、equals()、==区别？

1. equals 比较两个对象是否相等，若相等则其hashCode必然相等
2. 若两个对象的hashCode不等，则必然不equals
3. ==比较内存地址，比较是不是同一对象

Q：Java容器中添加的对象是引用仍是值？

引用

Q：Iterator和ListIterator的区别？

1. ListIterator 能向前遍历，也能向后遍历
2. 能够添加元素
3. 能够定位当前index

Q：HashMap实现？

内容巨多，引用大佬面经，值得一看，目录供你们参考

• hashing的概念
• HashMap中解决碰撞的方法（拉链法）
• equals()和hashCode()的应用，在HashMap中到底如何判断一个对象有无
• 不可变对象的好处
• HashMap多线程的条件竞争
• 从新调整HashMap的大小

PS：HashSet是经过HashMap实现的

Q：ConcurrentHashMap和HashTable区别？

1. HashTable经过synchronized来实现线程安全
2. ConcurrentHashMap经过分段锁，仅锁定map的某一部分

GC

这块主要介绍JVM内存的划分以及GC算法

Q：什么是内存泄漏和内存溢出？

• 内存泄漏：没法释放已申请的内存空间，一次内存泄露危害能够忽略，但堆积后果很严重，不管多少内存，早晚会被漏光。
• 内存溢出：没有足够的内存空间供其使用。

内存泄漏最后会致使没有足够的空间分配对象，从而致使内存溢出，固然也可能开始分配过大的对象致使内存溢出

Q：致使内存溢出的因素？

1. 内存中加载的数据量过于庞大，如一次从数据库取出过多数据。
2. 集合类中有对象的引用，使用完后未清空，使得JVM不能回收。
3. 代码中存在死循环或循环产生过多重复的对象实体。
4. 启动参数内存值设定的太小。

后门

Q：JVM内存划分？

• 堆：对象
• 方法区：类、静态变量和常量
• 栈：局部变量表

基本说出上面三条就能够了，更详细的见下图，前门

Q：简单说一下垃圾回收？

这可不简单...

垃圾定义：

• 引用计数法：循环引用会bug
• 可达性算法：GC Roots，如 栈中的引用对象、方法区静态、常量对象、本地方法区内的对象，不在堆中就能够

堆中内存分布：

• 新生代（33%）：小对象，Eden：From Survivor：To Survivor=8：1：1
• 老年代（66%）：大对象、长期存活的对象
• 永生代（三界以外）：一般利用永生代来实现方法区

垃圾回收算法：

• 标记清除算法
• 复制清除（新生代）
• 标记整理清除（老年代）

反正是门

Q：Minor GC、Major GC和 Full GC的区别？

• Minor GC是对新生代作垃圾回收
• Major GC是对老年代作垃圾回收
• Full GC是对整个堆作垃圾回收

Q：Full GC触发时机？

1. System.gc()，并不是必定触发，只是建议
2. 老年代空间不足（核心触发点，其余方案都是从这里衍生出来）
3. 永生代空间不足（当将方法区放在永生代中时）
4. Minor GC后晋升到老年代中的大小>老年代剩余空间（其实就是2.老年代空间不足的一种表现）
5. 堆中分配大对象（大对象能够直接进入老年代，致使老年代空间不足）

Q：什么是常量池？

常量池分为静态常量池和运行时常量池。

• 静态常量池：指的是在*.class文件中的常量池
• 运行常量池：指的是将*.class文件中的常量装载到内存中方法区的位置（当方法区放在永生代时，也能够理解为内存中的永生代）

包含的信息：

• 字符串字面量
• 类、方法信息

该问题通常会引出字符串常量比较

String s1 = "Hello";
    String s2 = "Hello";
    String s3 = "Hel" + "lo";
    String s4 = "Hel";
    String s5 = "lo";
    String s6 = s4 + s5;
    String s7 = "Hel" + new String("lo");
    String s8 = new String("Hello");
    String s9 = s8.intern();

    System.out.println(s1 == s2);  // true，直接取自常量池
    System.out.println(s1 == s3);  // true，在编译时会优化成常量池内字符串的拼接，区别 s6
    System.out.println(s1 == s6);  // false，本质上是变量拼接，区别 s3
    System.out.println(s1 == s7);  // false，含有对象 new String("lo")
    System.out.println(s1 == s8);  // false，对象与字符串常量比较
    System.out.println(s1 == s9);  // true，字面量比较
复制代码

类加载

面试时有人问到过，回去大概查了下

Q：讲一下类加载过程？

1. 加载：将*.class文件经过各类类加载器装载到内存中

2. 连接：分为三步

   1. 验证：保证加载进来的字节流符合JVM的规范，我理解成语法上的验证（可能不严谨）
   2. 准备：为类变量（非实例变量）分配内存，赋予初值(该初值是JVM自已约定的初值，非用户自定义初值，除非是常量，用final static修饰的)
   3. 解析：将符号引用替换成直接引用（A.a()=> 某一内存地址）

3. 初始化：对类变量初始化，执行类变量的构造器

门

Q：Java初始化顺序？

这是在爱奇艺碰到的一面试道题，当时差点两眼一抹黑过去了...头一次发现这么多东西要初始化

1. 一个类中初始化顺序（先类后实例）

类内容（静态变量、静态初始化块） => 实例内容（变量、初始化块、构造器）

2. 继承关系的两个类中初始化顺序（先类后实例，再先父后子）

父类的（静态变量、静态初始化块）=> 子类的（静态变量、静态初始化块）=> 父类的（变量、初始化块、构造器）=> 子类的（变量、初始化块、构造器）

石头门

Q：Java类加载器的种类？

1. 启动Boostrap类加载器：加载路径<JAVA_HOME>/lib
2. 扩展Extension类加载器：加载路径<JAVA_HOME>/lib/ext
3. 系统System类加载器：加载路径 -classpath

Q：双亲委派模式了解吗？

我理解的深度比较浅，我的理解，委派就是加载类时先看上层加载过没，若是加载过了，当前就不加载了，直接使用当成加载器加载的类。

其次是加载顺序，System->Extension->Boostrap

优势：

• 避免重复加载类
• 核心API不会被改动

面向对象

这些问题很弱鸡，但考的也比较多

Q：面向对象的三大特性？

顺口溜通常的背出来：封装、继承、多态

而后会让你讲讲这三个特性如何体现，你们本身想一想吧，言之有理便可

Q：Java中接口和抽象类区别？

1. 能够实现多个接口（implement），但只能继承一个抽象类（extend）
2. 接口中的方法不能实现，抽象类中能够实现部分方法
3. 接口中数据全是public static final类型的，方法全是public abstract的
4. 本质上，接口是说对象能干什么，抽象类是说对象是什么

Q：重载和重写？

猪脑子，老记混

• 重载：同一个类中，函数名同样，但接受的参数必定不一样，返回的结果能够不一样
• 重写：不一样类中，函数名同样，参数同样，结果也同样

设计模式

Q：例举一下你了解的设计模式？

通常说五、6个，有个样例就好了

• 组合模式：集合的addAll
• 装饰者模式：stream的各类嵌套
• 抽象工厂：JDBC中driver建立新链接
• 建造者模式：StringBuilder或SQL中PreparedStatement
• 责任链：structs2中对请求的处理各类Filter
• 解释器：正则表达式
• 观察者：swing中的事件监听各类Listener

Q：手撸单例？

撸完，让你讲讲内部细节，volatile或多例问题

public class Singleton {
        private volatile static Singleton singleton;
        private Singleton(){}
        public static Singleton getSingleton(){
            if (singleton == null) {
                synchronized (Singleton.class) {
                    if (singleton == null) {
                        singleton = new Singleton();
                    }
                }
            }
            return singleton;
        }
    }
复制代码

网络协议

Q：TCP3次握手4次挥手？

基本画张图就K.O.了，fate门，内部的问题也建议看一下

Q：TCP为何是必定要是3次握手，而不是2次或3次以上？

2次挥手的问题

在第1次创建过程当中，client请求连接在网络中滞留太久，致使client发送第2次请求，创建完毕后，这时第1次的请求到达server，server接收又维护一连接，但该连接实际上已经做废，浪费了server端的资源。

3次以上的方案

理论上，作到3次以上是可行的，但真正想作到一个完美可靠的通讯是不可能的，由于每次答复都是对上次请求的响应，但该次答复在不可靠的信道中还是会丢失的，考虑到现实效率问题，3次足以。

Q：TCP为何是4次挥手，而不是3次呢？

• 握手的第二次携带了，响应ACK和请求SYN信息
• 挥手过程当中不能一次性携带这两种信息，由于server方可能还有数据没传输完。

Q：TCP半链接池与全链接池？

• 半链接池：接受client握手第一步请求时，将该次连接放到半链接池中，Synflood的主要攻击对象
• 全链接池：接受client握手第二步请求时，将该次连接从半链接池中取出放到全链接池中。

Q：TCP和UDP的区别？

1. TCP基于链接，而UDP基于无链接
2. TCP因为有握手和挥手的过程消费资源相对较多
3. TCP是传输数据流，而UDP是数据报
4. TCP保证数据正确性和顺序性，而UDP可能丢包，不保证有序

Q：TCP和UDP的应用？

• TCP：FTP、HTTP、POP、IMAP、SMTP、TELNET、SSH
• UDP：视频流、网络语音电话

Q：TCP/IP与OSI模型？

TCP/IP模型，自下而上

1. 链路层
2. 网络层（IP、ICMP、IGMP）
3. 运输层（TCP、UDP）
4. 应用层（Telnet、FTP）

OSI模型，自下而上

1. 物理层
2. 数据链路层
3. 网络层
4. 运输层
5. 会话层
6. 表示层
7. 应用层

Q：ping命令基于哪一种协议？

ICMP

Q：阻塞式和非阻塞式IO区别？

阻塞式

• 每来一个链接都会开启一个线程来处理，10个线程对应10个请求
• 线程大多时候都在等在数据的到来，浪费资源
• 适合并发量小，数据量大的应用

非阻塞式

• 基本思想，将全部链接放在一张table中，而后轮询处理
• 实现上能够用事件通知机制，能够用10个线程处理100个请求
• 适合并发量大，数据量小的应用

数据库

用数据库作过开发，可是了解的不深刻，面试问我会不会写SQL时，我多答“简单的能够，复杂的尝试一下”...SQL复杂起来真不是人写的...

Q：汇集索引和非汇集索引区别？

• 汇集索引：叶子节点是实际数据，表中只能有一个汇集索引
• 非汇集索引：叶子节点是地址，须要再跳转一次，表中能够有多个非汇集索引

Q：where、group by、having执行顺序？

1. where 过滤行数据
2. group by 分组
3. having 过滤分组

Q：星型、雪花结构？

• 星型：存在部分冗余
• 雪花：表切分的十分细，没有冗余

出自

Q：SQL纵向转横向，横向转纵列？

基本上，除了 group by + 汇集函数 外，这是最难的 SQL 题了

• 纵向转横向

sum(case when A='a' then B else 0 end) as D

这里须要用sum或其余汇集函数，由于做用在一个group中

• 横向转纵向

核心用union

记住这两条作到触类旁通就能够了，Demo

Q：脏读、不可重复读、幻读？

• 脏读：事务A读取了事务B提交的值
• 不可重复读：事务A两次读取了事务B的值，事务B在该过程当中修改并提交过，致使A两次读取值不一致
• 幻读：事务A修改 a 到 b ，事务B在该过程当中添加了新的a，致使新添加的a，没有修改为b

这引出事务隔离级别

事务隔离级别	脏读	不可重复读	幻读
读未提交（read-uncommitted）	是	是	是
不可重复读（read-committed）	否	是	是
可重复读（repeatable-read）	否	否	是
串行化（serializable）	否	否	否

Q：join实现的三种方式？

• nested loops：嵌套迭代，至关于两个for循环，内部表有索引时，效果较好
• merge join：将两表先sort（若是没sort的话），再合并
• hash join：将表hash，而后扫描另外一表

Linux

Q：查看xxx端口占用？

• netstat -tunlp |grep xxx
• lsof -i:xxx

Q：查看xxx进程占用？

• ps -ef |grep xxx

Q：查看CPU使用状况？

• top

Q：查看内存使用状况？

• free
• top

Q：查看硬盘使用状况？

• df -l

Q：$0、$n、$#、$*、$@、$?、$$含义？

变量	含义
$0	当前脚本的文件名
$n	传递给脚本的第n个参数
$#	传递给脚本的参数个数
$*	传递给脚本全部参数
$@	传递给脚本全部参数。与$*有小差异，出门下扒
$?	上个命令的退出状态
$$	当前Shell进程ID

Q：>、>>区别？

• >：重定向到一个文件
• >>：追加到一个文件

Q：>、1>、2>、2>&一、2>1区别？

• >：默认是正确输出到某一文件，错误直接输出到控制台
• 1>：正确输出
• 2>：错误输出
• 2>&1：将错误输出重定向到正确输出中，通常前面会有 1> a.txt，这样后面的错误也会输出到 a.txt，经过正确输出
• 2>1：错误输出到 1 文件中，错误写法，区分&1

Q：定时任务命令？

• crontab

算法

算法的海洋的一望无际，可是应付面试题的算法，我的认为《剑指offer》一本足矣...

我的《剑指offer》刷了大概四遍，基本上看到一道题，全部解法都知道，面试上也基本从这里出

我遇到现场出的算法题（除了《剑指offer》上的），通常是暴力搜索题，不要上来想DP...

经典问题

• 子串匹配问题
• 子序列匹配问题
• 合并链表
• 树中两个节点最近的公共父节点
• 快排、堆排
• 各类类型的二分查找
• 两数交换，不用第三变量
• 水塘抽样，大佬题解

智力题

• 一根棍子随机折三节，组成三角形的几率
• 倒水问题
• 面粉称重问题
• 烧绳子问题

大数据

这方面通常问的是偏向于各种框架

• Hadoop
• Yarn
• Spark
• Hive
• HBase
• Zookeeper

以上框架，你们各取所需吧，总有几个要能拿出来吹的，我我的主要吹Spark这块

Hive、HBase通常也是当工具用的，主要问平时用没用过，用过的话就会多问些，我通常是回答搭建过，照着文档看过一阵子，对方通常就不问了

Zookeeper在底层维护分布式的一致性，多少了解一些分布式协议raft这类的也是加分点

Hadoop

Q：两表Join方案？

1. reduce side join：最基本的
2. map side join：分发小表，作only map
3. semi join + reduce side join：提取一表的key，分发出去，再作reduce side join，减轻join的数据量
4. semi join + bloomfilter + reduce side join：基于上面方案的改良，主要应对key太大也放不下去的状况

三、4方案了解便可，我的感受有些不靠谱，面试中通常没提，面试官通常要求到2，有数据倾斜的另说

Q：MapReduce过程？

大数据岗位必考题

三言两语也说不清，建议去看网上大佬的，传送门

看完后能回答以下几个问题便可：

• map处理过程当中，数据满了如何处理的
• combiner做用、位置
• 几回sort，发生位置，什么样的sort

Q：Hadoop 中 Secondary NameNode做用？

合并fsimage与editlog

Yarn

Q：Yarn架构？

洛神赋图

Q：Yarn相对于Hadoop的优点，或说为何要有Yarn？

1. 简化JobTracker，将其功能下放到ResourceManager和ApplicationMaster
2. 资源之内存为单位，相比以前剩余slot更合理
3. 经过Container的抽象，使集群能支持多种框架如Spark

Q：Yarn的三种调度器？

这三张图很好，但我认为这样理解的深度不够...有兴趣的多看看

步辇图

Q：Yarn延迟调度的含义？

主要针对看成业所需的资源，在本地并无知足时，会延迟一段时间，再尝试调度，实在不行时会放到别的机器上调度，主要由于本地调度效率最高。

Spark

Q：Spark有几种部署模式？

1. local
2. standalone
3. yarn
4. mesos

Q：standalone基本架构？

• Client：提交job
• Master：收集client提交的job，管理worker
• Worker：管理本节点的资源，定时想master汇报使用状况
• Driver：含DAGScheduler、TaskScheduler，根据client与cluster决定driver的具体在client仍是worker上
• Executer：位于Worker上，job真正执行的地方

Q：groupByKey和reduceByKey哪一个效率高？

• reduceByKey效率更高，在每一个executor上执行时，附带合并逻辑，结果更紧凑（能够理解为 key,value)，shuffle量小
• groupByKey保留同key的全部数据（能够理解为 key,List)

Q：数据倾斜是什么？如何处理？

必考题，能够问的很深...

定义：shuffle过程当中，某个几个key对应的value太多，集中在某一个reduce task中，致使该task处理过慢或直接崩掉（out of memory）

解决方案：

• 换用更高性能的计算机，加memory：从而避免内存溢出，不过治标不治本，面试官通常不会满意
• 修改并行度：说不定恰好把这几个拥有众多value的key划分开来，当都集中在少数的key，或说在1个key上时，无效
• 加随机数，作两次聚合：第一次聚合时，key以 random数_key 做为新key，第二次聚合时，去掉random数，至关于将原始key所对应的分区先局部聚合，再统一聚合，面试官通常期待能讲到这里

求大佬点拨，我的认为随机数这种算法能够解决必定的数据倾斜，但

1. 用combiner的思想和这个是一致的？那random数_key彷佛没有什么价值了
2. 只能解决能够用combiner的场景，不能用combiner的场景如何解决呢？

Q：倾斜join如何处理？

和上面的数据倾斜有必定联系，但不彻底相同

• map side join：在hadoop那边讲join方式提到过
• 加随机值并扩容表：将倾斜key中，较小表映射成 range_key，其中range取遍[0,...,n-1]中每一个数，即小表中每条记录会被映射成n条不同key的记录；将较大表映射成single_key，其中single 是由 random(n) 产生，即大小表中每条记录会被映射成惟一一条随机key的记录，而后作join便可

Q：基本概念？

问的不少，主要看你对Spark的了解程度

• RDD
• DAG
• Stage
• 宽依赖、窄依赖
• 并行度

Q：枚举一下transform和action？

• transform：filter、map、flatmap、reduceByKey、groupByKey
• action：take、collect、count、foreach

Spark Streaming

我通常和面试官吹 Spark Streaming，这部分提供给有须要的人吧

Q：Spark Streaming原理？

将数据流划分红mini batch，本质上是小批量数据的连续处理，核心是定时触发Job的提交，除此以外，针对流计算中window一类的概念作了一些特殊处理，面试官要是还问你就给他展开讲讲...这里我就不展开了

Q：数据接收方式？

这点我通常结合Kafka来讲，从Kafka接受数据有两种方案：

• 基于receiver：须要拉取数据到本地，并作好备份，本身保证数据的完整性
• 基于底层API（direct）：由kafka保证数据的完整性，spark streaming这边只是计算好须要拉取的offset就能够了

Q：基于receiver数据接收的实现细节？

面试官这点主要想了解你对Spark Streaming源码的熟悉程度，是否真正的深刻研究过其接收过程，其实糊弄一下仍是比较容易的...

1. 从receiver接收的数据会从在一个buffer中
2. 这时会有两个定时器来处理
   • 定时将buffer中的数据封装成block
   • 定时将block传播出去存到BlockManager中，保证数据完整性的

Q：exactly once如何保证？

我的认为这个问题是个很狠的问题，这个不是某几个组件的使用问题，而是整个系统的协调组织，我主要从三个方面来讲这个问题

1. 数据源：保证数据源可回溯，防止数据丢失后，找不到原始数据，这样须要可靠的消息队列来保证，如Kafka
2. 处理框架：处理框架须要自身来维护offset，在失败时，可以明确本身处理到什么位置，因为数据完整性由上游保证，这里用 direct 的方式拉取便可
3. 输出：输出算子要保证幂等性

个人理解就这么多，感受很浅，欢迎大佬补充...

Kafka

Q：基本架构？

1. Producer
2. Consumer
3. Broker
4. Topic
5. Partition
6. Leader
7. Follower
8. User Group
9. Offset

能把以上这些概念串起来基本就OK

Q：介绍下ISR副本策略？

一个leader与一堆副本follower，follower从leader上拉取副本并返回ack，leader收集到足够多的ack后，认为该message是committed，并返回给client。

该leader与这些follower被称为 in sync 状态，这个集合是动态变化的，当某个follower拉下太多时，会被踢出该集合，从而保证了能快速的响应用户请求，当它追上来时会再加入该集合。

为了保证数据不丢失，能够设置该集合最少须要多少个follwer，当小于该数时该partition便不可用

瞅一眼？

HBase

Q：介绍下HBase的原理与设计？

讲的很棒的一篇文章，唐宫仕女图

看完后能复述下面基本概念

• Master
• RegionServer
• Region
• memstore
• HFile
• HLog

其实还有章ML没写，但感受问的不深就没写了，你们有需求的话我在补上吧 (ฅ´ω`ฅ)

小姐姐说要附上☞【征文连接】

小姐姐说要点赞╰(￣▽￣)╮