BitMap原理

常常可以看到有些大厂的面试题里有一些这样的题目：一个10G的文件，里面所有是天然数，一行一个，乱序排列，对其排序。在32位机器上面完成，内存限制为 2G。

首先来分析一下题目，10G的文件，只有2G内存，显然，不可能一次性把数据放入内存中直接排序。那么，还有什么其余办法呢？遍寻资料，能够发现大体有两种解决方案：

一、把大文件分红多个小文件，分别排序，到最后合并成一个文件（我暂时还没搞懂这个方法，因此不会描述，有兴趣的看官能够本身去查一下）；

二、另一种方法就是著名的bitmap算法了。引用一下《编程珠玑》的内容：

所谓的Bit-map就是用一个bit位来标记某个元素对应的Value， 而Key便是该元素。因为采用了Bit为单位来存储数据，所以在存储空间方面，能够大大节省。
若是说了这么多还没明白什么是Bit-map，那么咱们来看一个具体的例子，假设咱们要对0-7内的5个元素(4,7,2,5,3)排序（这里假设这些元素没有重复）。那么咱们就能够采用Bit-map的方法来达到排序的目的。要表示8个数，咱们就只须要8个Bit（1Bytes），首先咱们开辟1Byte的空间，将这些空间的全部Bit位都置为0
而后遍历这5个元素，首先第一个元素是4，那么就把4对应的位置为1（能够这样操做 p+(i/8)|(0×01<<(i%8)) 固然了这里的操做涉及到Big-ending和Little-ending的状况，这里默认为Big-ending）,由于是从零开始的，因此要把第五位置为1。
而后再处理第二个元素7，将第八位置为1,，接着再处理第三个元素，一直到最后处理完全部的元素，将相应的位置为1。
而后咱们如今遍历一遍Bit区域，将该位是一的位的编号输出（2，3，4，5，7），这样就达到了排序的目的。
其实就是把计数排序用的统计数组的每一个单位缩小成bit级别的布尔数组

这就是Bit-map的基本思想。Bit-map算法利用这种思想处理大量数据的排序、查询以及去重。

片头提出的问题，这里天然是要用bitmap算法来解决了，下面先来解释一下算法（本期算法用java实现）。

一、

32位机器上的天然数一共有4294967296个，若是用一个bit来存放一个整数，1表明存在，0表明不存在，那么把所有天然数存储在内存只要4294967296 / (8 * 1024 * 1024) = 512MB（8bit = 一个字节），而这些天然数存放在文件中，一行一个数字，须要16G的容量。可见，bitmap算法节约了很是多的空间。

不过在java中，应该没有bit这种数据结构，最小的是byte，byte占8bit，那么咱们能够用byte表明8个连续的数字，不过由于byte的范围是127 ~ -128，最高位是符号位，因此能够变通一下，前7位表明8n ~ 8n + 7的数字，8n + 7这个数能够用符号来区分，即>0即含有8n + 7，<0即不含8n + 7（这里其实不必定要用byte来作，用short，int，long来作都同样的，由于我找到第一篇是用byte，因此就先入为主了）。

talk is cheap，show me the code. -- Linus Torvalds

二、

package main.io; public class BitMap { public byte[] bitArr; private static final byte mask = 3; private static final int maxNum = (1 << mask) - 1; private long count = 0; BitMap() { bitArr = new byte[1 << (Integer.SIZE - mask)]; } } 

这里的mask表明的是移位数，n >>3 等价于 Math.floor(n / 8)， (1 << 3) - 1 = 7 = bin 111（这两个地方先记着，下面会解释）。

三、

设置bit的方法，网上可以找到的代码多数是这样实现的:

bitArr[num >> mask] |= (1 << (num & maxNum)); 

可是这个方法会有一个逻辑漏洞，就是(1 << (8n + 7) & 7) = 128，128就超出了byte的范围变成-128了，我就是被这个坑了，还好写了一个php的版原本对比debug。。。o(╥﹏╥)o

这里要区分原来的数值是否为负数，还有设置的数是否为8n + 7。
我对于位运算不太熟，因此就把负数按位取反进行 | 运算再转回来。

设置bit的方法：

public void setBit(int num) { var val = bitArr[num >> mask]; var bit = num & maxNum; if (val >= 0 && bit == maxNum) { bitArr[num >> mask] = (byte) ~val; } else if (val < 0 && bit != maxNum) { bitArr[num >> mask] = (byte) ~(~val | (1 << bit)); } else if (val >= 0 && bit != maxNum) { bitArr[num >> mask] |= (1 << bit); } } 

四、

只要明白了上面的方法，下面的查询和移除的方法也就十分简单了。

public byte getBit(int num) { var val = bitArr[num >> mask]; var bit = num & maxNum; if (bit == maxNum) { return bitArr[num >> mask] < 0 ? (byte) 1 : (byte) 0; } else if (val < 0 && bit != maxNum) { return (byte) (~bitArr[num >> mask] & (1 << (bit))); } else { return (byte) (bitArr[num >> mask] & (1 << (bit))); } } public void delBit(int num) { var val = bitArr[num >> mask]; var bit = num & maxNum; if (bit == maxNum) { bitArr[num >> mask] = (byte) ~val; } else if (val < 0 && bit != maxNum) { bitArr[num >> mask] = (byte) ~(~bitArr[num >> mask] ^ (1 << (bit))); } else { bitArr[num >> mask] = (byte) (bitArr[num >> mask] ^ (1 << (bit))); } } 

最后还有一个统计bitmap存在数字数量的方法：

public long countDistinctNum() { var length = bitArr.length; for (int i = 0; i < length; ++i) { if (bitArr[i] >= 0) { count += Integer.bitCount(bitArr[i]); }else { count += Integer.bitCount(~bitArr[i]) + 1; } } return count; } 

明白了bitmap的算法原理，接下来就要实战一下，下期来说一下利用bitmap给海量数据排序的方法。

做者：菜six岁 连接：https://www.jianshu.com/p/bf9dbbc147ed 来源：简书 简书著做权归做者全部，任何形式的转载都请联系做者得到受权并注明出处。