大数据面试题分析

   最近学习了hashtable的一点知识，发现能够用来解决大数据的一些问题。咱们这里讲的大数据分析事实上并非分布式和数据挖掘这些高深的概念，而是针对从从一个大文件或者一堆数据（内存放不下）中找出具备某种特色的数，这也是近年来各大公司常常考的问题。

面试题1：给一个超过100G大小的log file, log中存着IP地址, 设计算法找到出现次数最多的IP地址？

解析：100G的文件给咱们的感受是太大，咱们的电脑内存通常都为4G左右因此不可能一次性把这么多的信息都加载到内存，因此就要进行切分红100份。IP地址是字符串太长，咱们能够把它转化为整型%100，这样取模后的值都落在0-99的区间里，所取模后值相同的IP地址都被分配到同一个文件，这时咱们就能够采用哈希表统计出每一个文件中最多的那个IP地址，最后比较获得100个IP中最大的那个IP就能够了 。

 

 

 

面试题2：与上题条件相同，如何找到top K的IP？

解析：看到求TOP K个IP就要立马反应到使用堆排序，这里的堆排序应该注意的是要建一个小堆，想一下咱们建大堆的话只能保证堆顶元素为最大的，这样只能获得最大的那个IP。

面试题3：给定100亿个整数，设计算法找到只出现一次的整数

解析：整数分为有符号和无符号两种，有符号数的取值为-2147483648~2147483648 是从-21亿到+21亿， 无符号数的范围为0~4294967296是从0到42亿，然而给了咱们100亿个整数，要找出只出现一次的整数，因此咱们仍是要用到哈希表的思想，但咱们最好不要定义一个整型数组，由于 42亿*4B 约为16G，这么大的数组咱们再进行切分的话就太麻烦了，这里咱们可使用BitMap,用一个位来表示一个数存不存在，不存在表示为0，出现一次表示为1，出现一次以上用另外一个位表示。这样就能够将数组的大小减为原来的16分之一。还遇到一个问题，就是到底怎么定义这个数组，正数好定义，负数的话咱们能够用32位全1（-1）和它取异或取到和正数相同的位置，咱们此时定义一个二维数组，一半表示正数一半表示负数，都位于同一行。此时咱们使用1G的空间就能够解决这个问题了。

拓展：要是面试官问我这里只有500M或者更少的空间的话怎么作？

解析：一样采用切分的思想，不过我以为这里咱们直接能够按数的范围直接切分。要是有500M 内存的话，咱们就切一次就能够了，此时若是咱们有50%的概率一次就找到这个只出现一次的数，效率可能更高。

面试题4：给两个文件，分别有100亿个整数，咱们只有1G内存，如何找到两个文件交集？

解析：这道题思路和上面的同样。

面试题5：1个文件有100亿个int，1G内存，设计算法找到出现次数不超过2次的全部整数

解析：这个问题和以上惟一 不一样这道题是找不超过两次的整数，方法同样。

面试题6：给两个文件，分别有100亿个query，咱们只有1G内存，如何找到两个文件交集分别给出精确算法和近似算法!

解析：求两个文件的交集，这种算法咱们确定要用到比较，若是咱们把两个文件都均分为100份，拿一个文件里的一份分别与另外一个文件里的100份分别比较一次的话效率 就过低了，咱们能够借用第1道面试题的思惟对它们进行取模，这样咱们只要比较取模的为同一值的两个文件比较就能够了，若是相同则标记。

面试题7：如何扩展BloomFilter使得它支持删除元素的操做？

解析：BloomFilter并不支持删除元素的操做，由于极可能产生哈希冲突（就是由不一样的哈希函数算出的位置指向同一个位），这样改变一个位极可能会影响到其余元素的判断。这里咱们能够按照和智能指针sharedptr的思想即“引用计数”来解决，咱们添加一个count计数器，每当咱们在这个位上表示一个元素时就让它count++，每删除一个涉及到这个位表示的元素时就让它count--,这样只当count为0时咱们再对这一位置0，这样就完成了删除的操做。

 

 

 

面试题8：如何扩展BloomFilter使得它支持计数操做？

解析：这道题思想和上一道题同样。

面试题9：给上千个文件，每一个文件大小为1K—100M。给n个词，设计算法对每一个词找到全部包含它的文件，你只有100K内存

解析：咱们可使用布隆过滤器来判断一个文件是否包含这n个单词生成n个布隆过滤器放到外存，咱们事先定义好一个包含这n个单词信息的文件info，每当咱们在一个文件找到一个对应的单词就将这个文件的信息写入info对应单词的位置。咱们只有100K内存，这100K内存咱们一部分用来存放布隆过滤器一部分能够存放文件，由于文件最小都为100K，因此咱们能够尝试把它切分为50K的小文件，每一个文件标志好所属的大文件，这样咱们每次读入一个布隆过滤器和一个小文件，若是这个文件有对应的单词则在info中标记所属大文件的信息，若是没有则读入下一个布隆过滤器，把全部布隆过滤器都使用后，再读下一个文件重复上述步骤直至把全部文件都遍历完。

面试题10：有一个词典，包含N个英文单词，如今任意给一个字符串，设计算法找出包含这个字符串的全部英文单词

解析：首先判断一个单词是否包含一个字符串咱们能够用strstr这个函数，对于这个问题，我以为若是该字符串的前缀和要找的单词同样的话能够采用字典树来查找，可是N个英文单词咱们能够假设它很大，咱们把它放到一个文件里，每次只读出固定个数个单词进行判断。

总结：对于此类大数据问题咱们通常都是采用哈希切分即模上一个数组的长度将数据分配到一个合理的位置，同时将一个大文件切分为，这样特别方便将其与其余数进行比较例如对IP地址取整后进行哈希切分，或者对内部元素进行操做。

                                                                                                       关注微信公众号获取大数据学习教程
使用BloomFilter能够进行判断元素在集合的存在与否。