【转】C# URL短地址压缩算法及短网址原理解析

这篇文章主要介绍了C# URL短地址压缩算法及短网址原理解析,本文重点给出了算法代码,须要的朋友能够参考下

短网址应用已经在全国各大微博上开始流行了起来。例如QQ微博的url.cn，新郎的sinaurl.cn等。

咱们在QQ微博上发布网址的时候，微博会自动判别网址，并将其转换，例如：http://url.cn/2hytQx

为何要这样作的，缘由我想有这样几点：

微博限制字数为140字一条，那么若是咱们须要发一些链接上去，可是这个链接很是的长，以致于将近要占用咱们内容的一半篇幅，这确定是不能被容许的，因此短网址应运而生了。

短网址能够在咱们项目里能够很好的对开放级URL进行管理。有一部分网址能够会涵盖暴力，广告等信息，这样咱们能够经过用户的举报，彻底管理这个链接将不出如今咱们的应用中，应为一样的URL经过加密算法以后，获得的地址是同样的。

咱们能够对一系列的网址进行流量，点击等统计，挖掘出大多数用户的关注点，这样有利于咱们对项目的后续工做更好的做出决策。

其实以上三点纯属我的观点，由于在我接下来的部分项目中会应用到，因此就了解了一下，下面先来看看短网址映射算法的理论（网上找到的资料）：

将长网址md5生成32位签名串，分为4段，每段8个字节；
对这四段循环处理，取8个字节，将他当作16进制串与0x3fffffff(30位1)与操做，即超过30位的忽略处理；
这30位分红6段，每5位的数字做为字母表的索引取得特定字符，依次进行得到6位字符串；
总的md5串能够得到4个6位串；取里面的任意一个就可做为这个长url的短url地址；
很简单的理论，咱们并不必定说获得的URL是惟一的，可是咱们可以取出4组URL，这样几乎不会出现太大的重复。

下面来看看程序部分：

复制代码 代码以下:

public   static   string [] ShortUrl( string  url)
{
    //能够自定义生成MD5加密字符传前的混合KEY
    string  key =  ”Leejor” ;
    //要使用生成URL的字符
    string [] chars =  new   string []{
        ”a” , ”b” , ”c” , ”d” , ”e” , ”f” , ”g” , ”h” ,
        ”i” , ”j” , ”k” , ”l” , ”m” , ”n” , ”o” , ”p” ,
        ”q” , ”r” , ”s” , ”t” , ”u” , ”v” , ”w” , ”x” ,
        ”y” , ”z” , ”0″ , ”1″ , ”2″ , ”3″ , ”4″ , ”5″ ,
        ”6″ , ”7″ , ”8″ , ”9″ , ”A” , ”B” , ”C” , ”D” ,
        ”E” , ”F” , ”G” , ”H” , ”I” , ”J” , ”K” , ”L” ,
        ”M” , ”N” , ”O” , ”P” , ”Q” , ”R” , ”S” , ”T” ,
        ”U” , ”V” , ”W” , ”X” , ”Y” , ”Z”
    };
    //对传入网址进行MD5加密
    string  hex = System.Web.Security.FormsAuthentication.HashPasswordForStoringInConfigFile(key + url,  ”md5″ );
    string [] resUrl =  new   string [4];
    for  ( int  i = 0; i < 4; i++)
    {
        //把加密字符按照8位一组16进制与0x3FFFFFFF进行位与运算
        int  hexint = 0x3FFFFFFF & Convert.ToInt32( ”0x”  + hex.Substring(i * 8, 8), 16);
        string  outChars =  string .Empty;
        for  ( int  j = 0; j < 6; j++)
        {
            //把获得的值与0x0000003D进行位与运算，取得字符数组chars索引
            int  index = 0x0000003D & hexint;
            //把取得的字符相加
            outChars += chars[index];
            //每次循环按位右移5位
            hexint = hexint >> 5;
        }
        //把字符串存入对应索引的输出数组
        resUrl[i] = outChars;
    }
    return  resUrl;
}

如今能够直接使用该方法，能够等到下面四组值：

 

 

复制代码 代码以下:

ShortUrl(http://www.jb51.net)[0];  //获得值fAVfui
ShortUrl(http://www.jb51.net)[1];  //获得值3ayQry
ShortUrl(http://www.jb51.net)[2];  //获得值UZzyUr
ShortUrl(http://www.jb51.net)[3];  //获得值36rQZn

 
在存放这个URL的数据方面，我我的推荐TTServer，有的朋友能够没有据说过，下面是这个数据库的介绍：

 

Tokyo Cabinet 是日本人 Mikio Hirabayashi（平林幹雄）のページ 开发的一款DBM数据库(注：大名鼎鼎的DBM数据库qdbm就是他开发的)，该数据库读写很是快。insert:0.4sec/1000000 recordes(2500000qps)，写入100万数据只须要0.4秒。search:0.33sec/1000000 recordes (3000000 qps)，读取100万数据只须要0.33秒。

能够看到对于字典类型的数据Key/Value的查询，这个数据库能够说是我目前见过效率很是高的，何况他如此的小巧，用来对short url/long url的配对再好不过。

该系统使用6个短码字符来表示任何长度的网址。 有效的字符代码是ASCII ‘A'到'Z'和'0′的'5′，其中每一个字符包含2 ^ 5（32）状态。  6短码字符可用于绘制32 ^ 6（1073741824）的网址

首先，你须要一个数据库表来存储和检索你映射的网址。

复制代码 代码以下:

CREATE TABLE mappedURL (的CREATE TABLE mappedURL（
shortCode char (6) not  null ,
lognURL  text not null ,
PRIMARY KEY  shortCodeInd (shortCode),
);

其次，你须要定义一个算法将长的URL映射到短的URL。 算法上面已经介绍过了。

 

第三，你须要建立一个网页，从数据库的短网址的映射找到原始的URL,并重定向之。

———————————————————

MD5 已经被破解了，所以不排除攻击者伪造相同 MD5 的 url 实现恶意目的的可能性。若是不考虑这种状况，md5 collision 的可能性应该是及其低的，估计你我有生之年都看不到。

另外偶不明白“相同的URL每次算出来的键值必须都是同样的”的实际用途会是什么。就算相同的 URL 对应不一样的键值，通常也不会形成太大的浪费吧？只有 6 位的字母数字组合均可以容纳几十亿种变化。

我正是有md5 collision的担忧才问这个问题的。相同的URL要对应相同的键值是由于每个URL地址都须要惟一的对应到数据库中的一条表数据，但直接用URL来查询会比较慢，由于：

将要存储的URL和相关的记录数据量很是大。
并且有些URL会很长，因此要用text字段。
而若是哈希出惟一的键值用varchar来存储，再根据这个键值去查询就会很是方便快捷。

就像Git里面的object hash， 目前基本上不用考虑冲突吧。

bit.ly等url shorter服务是怎么实现的？
需不须要从hash键值反向查找url？ 若是有这样的要求， url确定须要存一个地方， 这样就能够在冲突的时候进行再散列
MD5是128位hash码（4个整数，每一个整数4个字节）。所以，一个url的MD5码，有2的128次方（即2e128）个可能。随意找出来的两个url的MD5码相等的可能性，是2e128分之一，即r=2e-128

假如url经MD5后插入数据库，第一个url插入的不会发生重复，第二个MD5插入时，它跟第一条重复的几率是r。第三条url插入时，重复几率 是2×r，以此类推，第n条插入时发生重复的几率是(n-1)×r。n个MD5码，其中有两个重复的几率是这些几率加和。（1＋2＋3＋…+(n- 1))×r = (1/2)×n×(n-1)×r

对于n个MD5码的集合，存在重复的几率是（1/2)*(n/2e64)e2

所以，只有n大到能够与2e64比拟，才须要考虑它的冲突问题。而2的64次方仍是很大的。

因此，只要不是恶意攻击，通常应用是不太会有collision的

 

转载自：http://blog.csdn.net/lansetiankong12/article/details/49024357