C#如何实现url短地址？C#短网址压缩算法与短网址原理入门

Posted 2020-06-25

　　c# url短地址压缩算法与短网址原理的例子，详细介绍了短网址的映射算法，将长网址md5生成32位签名串，分为4段，每段8个字节，然后生成短网址，具体见文本实例。

短网址映射算法：

将长网址md5生成32位签名串，分为4段，每段8个字节；
对这四段循环处理，取8个字节，将他看成16进制串与0x3fffffff(30位1)与操作，即超过30位的忽略处理；
这30位分成6段，每5位的数字作为字母表的索引取得特定字符，依次进行获得6位字符串；
总的md5串可以获得4个6位串；取里面的任意一个就可作为这个长url的短url地址；

并不一定说得到的URL是唯一的，但能够取出4组URL，不会出现太大的重复。

完整代码：

 1 using System;
 2 namespace ShortUrlDemo
 3 {
 4     class Program
 5     {
 6         static void Main(string[] args)
 7         {
 8             Random rd = new Random();
 9 
10             for (int i = 0; i < 100; i++)
11             {
12                 int index = rd.Next(0, 4);
13                 var stortUrls = ShortUrl("http://www.freemud.cn");
14                 Console.WriteLine(string.Concat("http://www.freemud.cn/", stortUrls[index]));
15             }
16             Console.Read();
17         }
18 
19         public static string[] ShortUrl(string url)
20         {
21             //可以自定义生成MD5加密字符传前的混合KEY
22             string key = "Freemud";
23             //要使用生成URL的字符
24             string[] chars = new string[]
25             {
26                 "a", "b", "c", "d", "e", "f", "g", "h",
27                 "i", "j", "k", "l", "m", "n", "o", "p",
28                 "q", "r", "s", "t", "u", "v", "w", "x",
29                 "y", "z", "0", "1", "2", "3", "4", "5",
30                 "6", "7", "8", "9", "A", "B", "C", "D",
31                 "E", "F", "G", "H", "I", "J", "K", "L",
32                 "M", "N", "O", "P", "Q", "R", "S", "T",
33                 "U", "V", "W", "X", "Y", "Z"
34             };
35             //对传入网址进行MD5加密
36             string hex = System.Web.Security.FormsAuthentication.HashPasswordForStoringInConfigFile(key + url, "md5");
37             string[] resUrl = new string[4];
38             for (int i = 0; i < 4; i++)
39             {
40                 //把加密字符按照8位一组16进制与0x3FFFFFFF进行位与运算
41                 int hexint = 0x3FFFFFFF & Convert.ToInt32("0x" + hex.Substring(i * 8, 8), 16);
42                 string outChars = string.Empty;
43                 for (int j = 0; j < 6; j++)
44                 {
45                     //把得到的值与0x0000003D进行位与运算，取得字符数组chars索引
46                     int index = 0x0000003D & hexint;
47                     //把取得的字符相加
48                     outChars += chars[index];
49                     //每次循环按位右移5位
50                     hexint = hexint >> 5;
51                 }
52                 //把字符串存入对应索引的输出数组
53                 resUrl[i] = outChars;
54             }
55             return resUrl;
56         }
57     }
58 }

结果：

 

 

在存放这个URL的数据方面，推荐TTServer。

TTServer数据库：
Tokyo Cabinet 是日本人 Mikio Hirabayashi（平林幹雄）のページ 开发的一款DBM数据库(注：大名鼎鼎的DBM数据库qdbm就是他开发的)，该数据库读写非常快。
insert:0.4sec/1000000 recordes(2500000qps)，写入100万数据只需要0.4秒。
search:0.33sec/1000000 recordes (3000000 qps)，读取100万数据只需要0.33秒。

可以看到对于字典类型的数据Key/Value的查询，这个数据库可以说是我目前见过效率非常高的，况且他如此的小巧，用来对short url/long url的配对再好不过。
该系统使用6个短码字符来表示任何长度的网址。

有效的字符代码是ASCII ‘A‘到‘Z‘和‘0′的‘5′，其中每个字符包含2 ^ 5（32）状态。  6短码字符可用于绘制32 ^ 6（1073741824）的网址

首先，需要一个数据库表来存储和检索你映射的网址。

1 CREATE TABLE mappedURL (CREATE TABLE mappedURL（
2     shortCode char (6) not  null ,
3     lognURL  text not null ,
4     PRIMARY KEY  shortCodeInd (shortCode),
5 );

其次，需要定义一个算法将长的URL映射到短的URL。 算法上面已经介绍过了。

第三，需要创建一个网页，从数据库的短网址的映射找到原始的URL,并重定向之。

MD5 已经被破解了，因此不排除攻击者伪造相同 MD5 的 url 实现恶意目的的可能性。如果不考虑这种情况，md5 collision 的可能性应该是及其低的，估计你我有生之年都看不到。
另外偶不明白“相同的URL每次算出来的键值必须都是一样的”的实际用途会是什么。就算相同的 URL 对应不同的键值，一般也不会造成太大的浪费吧？只有 6 位的字母数字组合都可以容纳几十亿种变化。

我正是有md5 collision的担心才问这个问题的。相同的URL要对应相同的键值是因为每一个URL地址都需要唯一的对应到数据库中的一条表数据，但直接用URL来查询会比较慢，因为：
将要存储的URL和相关的记录数据量非常大。
而且有些URL会很长，所以要用text字段。
而如果哈希出唯一的键值用varchar来存储，再根据这个键值去查询就会非常方便快捷。
就像git里面的object hash， 目前基本上不用考虑冲突吧。

bit.ly等url shorter服务是怎么实现的？
需不需要从hash键值反向查找url？ 如果有这样的要求， url肯定需要存一个地方， 这样就可以在冲突的时候进行再散列
MD5是128位hash码（4个整数，每个整数4个字节）。因此，一个url的MD5码，有2的128次方（即2e128）个可能。随意找出来的两个url的MD5码相等的可能性，是2e128分之一，即r=2e-128
假如url经MD5后插入数据库，第一个url插入的不会发生重复，第二个MD5插入时，它跟第一条重复的概率是r。第三条url插入时，重复概率 是2×r，以此类推，第n条插入时发生重复的概率是(n-1)×r。n个MD5码，其中有两个重复的概率是这些概率加和。（1＋2＋3＋…+(n- 1))×r = (1/2)×n×(n-1)×r
对于n个MD5码的集合，存在重复的概率是（1/2)*(n/2e64)e2
因此，只有n大到可以与2e64比拟，才需要考虑它的冲突问题。而2的64次方还是很大的。
所以，只要不是恶意攻击，一般应用是不太会有collision的。