字符串哈希

转

 

http://acm.uestc.edu.cn/#/problem/show/1092

韩爷的梦

Time Limit: 200/100MS (Java/Others)     Memory Limit: 1300/1300KB (Java/Others)

Submit  Status

一天，韩爷去百度面试，面试官给了他这么一个问题。

给你2万个字符串，每一个字符串长度都是100，而后把2万个字符串丢入一个 set< string >g 中，问最终set里含有多少个元素？

g 是一个用来存储字符串、具备去重功能的容器，即相同字符串在 g 中只能保留一个。

两个字符串相等，当且仅当，长度同样且对应位置的字符都同样。

韩爷前晚没睡好，随手写了一个程序交给面试官，而后就gg了。

#include<iostream> #include<string> #include<set> using namespace std; string s; set<string>g; int main(){ for(int k=1;k<=20000;k++){ cin>>s; g.insert(s); } cout<<g.size()<<endl; return 0; }

韩爷醒来以后，发现这只是一个梦（还好只是个梦）。他回忆起梦中的面试官给他的内存限制和时间限制很是低，这么作确定过不了，那么，如今你不在梦中，你能解决这个问题么？

Input

单case

每一个case有且只有2万行，每一行包含一个字符串，每行字符串的长度都为100 （样例除外）

字符集：大写英文字母（A－Z），小写英文字母（a－z），数字（0－9）

Output

输出一个整数，表示最终set里含有多少个元素。

Sample input and output

Sample Input	Sample Output
aaAa aaAa bbbb 1234 bbbb bbbb ee09	4

Hint

样例只是样例，不在test中

注意时间限制和内存限制很是低

 

 

思路：这道题目难点在于时间与内存限制很苛刻，通常的方法不能奏效，这里只能采用hash。即把每一个字符串hash为一个数字，对数字进行比对，题目就ac了。还有个问题就是，hash函数的选取。我第一次选的hash函数就产生了冲突，这个能够屡次选择进行测试，也能够直接采用更复杂的hash函数。我偷懒了下，选的是前者的方法，第二发就ac了。

这里说下关于hash的知识：

求一个字符串的hash值：

•如今咱们但愿找到一个hash函数，使得每个字符串都可以映射到一个整数上

•好比hash[i]=(hash[i-1]*p+idx(s[i]))%mod

•字符串：abc，bbc，aba，aadaabac

•字符串下标从0开始

•先把a映射为1，b映射为2，c->3，d->4,即idx(a)=1, idx(b)=2, idx(c)=3,idx(d)=4；

•好！开始对字符串进行hash

假设咱们取p=13 ，mod=101

先把abc映射为一个整数

hash[0]=1，表示 a 映射为1

hash[1]=(hash[0]*p+idx(b))%mod=15，表示 ab 映射为 15

hash[2]=(hash[1]*p+idx(c))%mod=97

这样，咱们就把 abc 映射为 97 这个数字了。

•用一样的方法，咱们能够把bbc，aba，aadaabac都映射到一个整数

•用一样的hash函数，获得以下结果

• abc  ->  97

• bbc  ->  64

• aba  ->  95

• aadaabac  ->  35

•那么，咱们发现，这是一个字符串到整数的映射

•这样子，咱们就能够记录下每一个字符串对应的整数，当下一次出现了一个已经出现的字符串时，查询整数是否出现过，就能够知道 字符串是否重复出现。

•如今要判断两个字符串是否一致，怎么办呢？直接用它们的hash值判断便可，若hash值一致，则认为字符串一致；若hash值不一致，则认为是不一样的字符串。

•咱们要判断两个字符串是否一致，没有那么麻烦，直接先判断长度是否一致，而后再判断每一个对应的字符是否一致便可。

•但，若是要判断多个字符串里有多少个不一样的字符串，怎么办呢？

•两两字符串都进行比较？时间复杂度过高

•把每一个字符串hash成一个整数，而后把全部整数进行一个去重操做，便可知道答案了。

当遇到冲突时，咱们能够想办法调整p和mod，使得冲突几率减少之又小。咱们通常认为p和mod通常取素数，p取一个较大的素数便可（6位到8位），mod取一个大素数，好比1e9+7，或者1e9+9。

 

如何求一个子串的hash值？

•在以前，咱们求出了hash[i]，表示第i个前缀的hash值。如今怎么求出每一个子串的

   hash值呢？

•咱们看下hash的公式：

• hash[i]=(hash[i-1]*p+idx(s[i]))%mod

•这表示第 i 个前缀的hash值，是一个hash的前缀和。

•hash[i]=(hash[i-1]*p+idx(s[i]))%p;

•那么，我要求S[l…r]这个子串的hash值

• hash[l..r]=(hash[r]-hash[l-1]*(p^(r-1+1)))%mod（假设字符串下标从1开始）

•但注意下取模时候的问题！

•hash[l..r]=(hash[r]-hash[l-1]*(p^(r-1+1)))%mod

• hash[l..r]是否是可能有负数？

•怎么办呢？当获得的hash[l..r]<0的时候，hash[l..r]+=mod，就好啦。

•这样就能够保证每一个子串的hash值在[0, mod-1]的范围内，准确地用hash值来处理字符串

 

经常使用的几个字符串hash法

•1. unsigned long long hash[N];

     hash[i]=hash[i-1]*p（自动取模）

解释：

unsigned long long hash[N];

定义一个unsigned long long类型的变量，它的范围是在[0, 2^64) 内，这就至关于，当数超不过2^64-1后，它会溢出！这就至关于一个数模2^64的过程。

那么hash函数能够理解为：

       hash[i]=(hash[i-1]*p)%(2^64)

P取一个大素数，通常习惯取1e9+7或1e9+9

安全指数：三星（因此并非很安全）

 

•2. hash[i]=(hash[i-1]*p+idx(s[i]))%mod

解释：

这个以前已经提到过了。   

 hash[i]=(hash[i-1]*p+idx(s[i]))%mod

p取一个6到8位的素数，mod取一个大素数，通常取1e9+7或1e9+9

安全指数：四星 （还能够）

 

•3. 双hash

     hash1[i]=(hash1[i-1]*p+idx(s[i]))%mod1

     hash2[i]=(hash2[i-1]*p+idx(s[i]))%mod2

     pair<hash1,hash2>表示一个字符串！

解释：

double hash

即取两个mod值，mod1和mod2

 hash1[i]=(hash1[i-1]*p+idx(s[i]))%mod1

 hash2[i]=(hash2[i-1]*p+idx(s[i]))%mod2

 mod1通常取1e9+7，mod2通常取1e9+9为何这么取？

1000000007和1000000009是一对孪生素数，取它们，冲突的几率极低！

安全指数：五星！（很是稳！）

 

小结：

•能够这么说，hash某种程度上就是乱搞，把hash函数弄的越没有规律越好，使得冲突的几率小到 大部分数据都卡不掉。

•若是你开心，你想triple hash，ultra hash，rampage hash… 都没有问题！

 但请注意，hash的维度越高，耗时越高，耗内存越大！通常状况下，single hash能够被hack掉，但double hash极难被hack掉， 用double hash足以解决问题