今天我们来聊聊搜索引擎简史

Posted 2021-06-11 外贸盟

    随着互联网的发展，搜索引擎的出现是必然的。就像传统的图书馆一样，收藏的书籍、文件多了，必然出现管理、查找困难，索引和搜索就成为必需的了。实际上，搜索引擎原理在很大程度上源于传统文件检索技术。网上资源数量远超出我们个人所能想象与掌控的，没有搜索引擎，我们几乎无法有效利用这些资源，也就没有互联网的今天。当今社会化媒体如日中天，诸如微博、微信、Facebook、Twitter等应用的使用人次、网站流量、社会影响力已经达到甚至超过百度、Google等互联网巨人。有这样一种倾向和观点，网民现在寻找信息更多的是靠微博、Facebook、Twitter，而不是搜索引擎。也许搜索引擎已经过时了？

     SEO们其实倒不必担心。也许Google、百度会没落，会消失，但搜索引擎不会。就算微博、微信、Facebook、Twitter火热，或者以后出现什么新的网络服务，用户要寻找信息时，一样要在搜索框输入关键词，或者在移动互联网时代依靠语音输入，这还是搜索，只不过搜索信息来源可能从搜索引擎收录的页面数据库变成微博、Facebook、Twitter内部数据库，排名算法从页面相关性、链接变成会员、好友的推荐程度及评论，但数据来源及算法的改变都不能改变用户对搜索功能的需要，也不会改变搜索的基本形式。只要搜索存在，就有哪条信息排在前面的问题，就有SEO的存在。也许搜索引擎这个名字变了，SEO也只是需要改个名字而已。搜索是近20年互联网变化最快的领域之一，这种变化不仅体现在搜索技术突飞猛进和对网络经济的巨大推动上，搜索引擎本身的合纵连横、兴衰起伏也是精彩纷呈，常令人有眼花缭乱、瞠目结舌之感。 

      了解搜索引擎的发展历史有助于SEO人员理解搜索引擎营销的发展、变革，对未来有更准确的预期。本节就简要列出搜索引擎发展史上的重要事件，其中很多事件对今天搜索以及SEO行业的形态有至关重要的影响。 

      1990年 第一个互联网上的搜索引擎Archie出现，用于搜索FTP服务器上的文件。当时基于HTTP协议的Web还没有出现。1993年 6月，第一个Web搜索引擎World Wide Web Wanderer出现，它只收集网址，并没有索引文件内容。10月，第二个Web搜索引擎ALIWEB出现，开始索引文件元信息（也就是标题标签等信息），也还没有索引文件主体内容。

      1994年 1月，Infoseek创立，其搜索服务稍后才正式推出。Infoseek是早期最重要的搜索引擎之一，允许站长提交网址是从Infoseek开始的。百度创始人李彦宏就是Infoseek的核心工程师之一。 

      4月，Yahoo！由David Filo和Jerry Yang（杨致远）创立。当时还没有注册yahoo.com域名，网站建在斯坦福大学的域名上。Yahoo！最初不是真正的搜索引擎，而是人工编辑的网站目录，创始人亲自把收集到的有价值的网站列在Yahoo！目录中。当网站数量还不大时，可以实现人工编辑，既为用户提供了方便，又保证了信息质量，Yahoo！迅速成长为网络巨人。 4月，第一个全文搜索引擎（索引文件全部内容）WebCrawler推出。起初是华盛顿大学的一个研究项目。

     

        1995年被美国在线AOL收购，1996年又被Excite收购。2001年停止研发自己的搜索技术，网站成为元搜索引擎（整合、显示多个第三方搜索引擎结果，被称为元搜索引擎）。 6月，Lycos创立，迅速成为最受欢迎的搜索引擎之一。 1995年 1月，yahoo.com域名注册。4月，Yahoo！公司正式成立。 12月，Excite搜索引擎正式上线，成为早期流行的搜索引擎之一。2001年其母公司破产，被InfoSpace购买。2004年被Ask Jeeves收购。 12月，AltaVista创立，迅速成为最受欢迎的搜索引擎，堪称当时的Google。AltaVista在搜索领域做了很多开创性的工作，页面排名以站内因素为主。站长提交网址后收录非常迅速。 12月，Infoseek成为网景浏览器的默认搜索引擎。网景，Netscape，当时浏览器市场的绝对统治者，曾占市场份额的90%以上。后来随着免费的微软IE浏览器推出而衰落，2008年正式停止研发和技术支援。 

        

        1996年 3月，Google作为创始人Larry Page和Sergey Brin在斯坦福大学的研究项目开始，当时的名称是BackRub，1997年才改名为Google。 4月，Yahoo！上市。 5月，Inktomi创立，是早期重要的搜索技术提供商，本身并没有供用户使用的搜索网站或界面，而是专门提供搜索技术给其他公司。Inktomi最先开始付费收录，后来被Google等的成功证明行不通。 5月，Hotbot创立，开始时使用Inktomi数据。1998年被Lycos收购，后来转型为元搜索引擎，显示来自Google、FAST、Teoma和Inktomi的结果。也是初期颇流行的搜索引擎之一。 11月，Lycos收录6千万文件，成为当时最大的搜索引擎。与今天的搜索引擎数据库相比，真是小巫见大巫。 1997年 4月，Ask Jeeves上线，2006年改名为Ask，是唯一一个至今仍真实存在并有一定市场份额的早期搜索引擎。创立时标榜的特点是“自然语言”搜索，用户可以用问句形式搜索。起初雇用大量编辑进行人工编辑搜索结果，显然（至少今天看来很显然），这种模式行不通，后来不得不使用其他搜索引擎数据。

       1998年 2月21日，GoTo（后来改名为Overture）正式开始Pay For Placement（出售搜索结果位置）服务，谁付的钱多，谁就排在前面。在当时饱受非议，却是后来所有主流搜索引擎最主要收入来源搜索竞价广告（百度推广和Google Adwords等）的始祖。Direct Hit创建，搜索结果的用户点击率是其排名因素的重要部分，Direct Hit因此流行一时，但很快也因此造成搜索质量大幅下降。今天搜索引擎算法中引入用户浏览数据，早在初期搜索引擎就有探索并留下了教训，处理不好，就会被作弊者利用。1998年中，迪斯尼成为Infoseek的控股公司，将Infoseek转型为门户。早期搜索引擎没有明确赢利模式，遇到搜索质量下降、没有收入等困难时，常常采用转型为门户的方法，寄希望于像Yahoo！那样赚网络显示广告的钱，但几乎没有转型成功的例子。这为Google等后来者坚持提高搜索技术、坚持简洁的搜索核心业务提供了前车之鉴。同样在1998年，AltaVista被卖给Compaq，1999年10月，Compaq也将AltaVista转型为门户，AltaVista走向没落。1998年中，Yahoo！放弃1996年开始使用的AltaVista，转而使用Inktomi的搜索数据。早期Yahoo！只在其目录中没有用户寻找的网站时才显示来自真正搜索引擎的数据。9月，Google公司正式成立。MSN搜索推出，不过微软很长时间没有重视搜索引擎，直到2004年，MSN Search都在使用其他提供商的搜索数据和技术。1999年 5月，AllTheWeb.com创建，是搜索技术公司FAST展示其技术的平台。6月，Netscape放弃Excite，开始使用Google搜索数据，对Google来说是个里程碑。1999年中，迪斯尼将Infoseek流量转入Go.com，曾经流行一时的搜索引擎Infoseek消失。Go.com几经波折，目前无声无息。Lycos停止自己的搜索技术，开始使用AllTheWeb数据。2000年 1月，Ask Jeeves以5亿美元收购搜索引擎Direct Hit，但并没有进一步发展。2002年年初Direct Hit正式结束。1月18日，百度成立。起初作为搜索技术提供商向其他网站提供中文搜索服务和数据。5月，Lycos被西班牙公司Terra Networks收购，改名为Terra Lycos。互联网泡沫破灭后，Terra Lycos渐渐势微。7月，Yahoo！开始使用Google搜索数据，以自己当时最强大的网上品牌和流量培养出日后最强大的竞争对手。 

       2000年中，GoTo.com基本放弃用自己网站吸引用户的做法，开始向多家搜索引擎及网站提供付费搜索服务，包括MetaCrawler.com, DogPile.com,Ask Jeeves, AOL, Netscape等。这可能是GoTo.com（后来的Overture）的重大失误之一，一个具开创意义的模式，其开创者的品牌名称却没能被普通用户知道，也因此无法与Google这种家喻户晓的品牌抗衡。10月，Google推出AdWords，以CPM模式，也就是按显示付费，提供搜索广告服务。这个模式并不成功。 

      2001年 9月，Ask Jeeves收购Teoma，一个与Google一样重视链接的搜索引擎，曾经被认为是可能与Google抗衡的搜索引擎之一。10月，百度作为搜索引擎正式上线，直接独立提供搜索服务。中文搜索迅速进入百度时代。2002年 3月，Google Adwords推出PPC形式，也就是按点击付费，成为今天Adwords的主流。PPC搜索广告由Overture发明，由Google发扬光大。从PPC开始，Google Adwords才真正被客户接受和广泛使用，Google成为充分利用搜索的网上赚钱机器。 5月，美国在线AOL放弃Inktomi，开始使用Google搜索数据。 10月，Yahoo！放弃在用户搜索时先返回Yahoo！目录中数据的做法，完全改为显示Google搜索数据。Yahoo！目录还是最重要的网站目录，但显然使用者越来越少了。 12月，Yahoo！收购苦于没有良好赢利模式的Inktomi，为2003年一系列收购和整合拉开序幕。Yahoo！显然希望拥有自己的搜索技术，而不想继续依赖其他搜索引擎如Google。

  

      2003年 2月18日，Overture宣布收购AltaVista。除了广告平台，Overture也拥有了自己的搜索技术。 2月25日，Overture宣布收购FAST的搜索技术部门，FAST拥有AllTheWeb.com，也向另一个著名的搜索网站Lycos提供搜索数据。Overture因此拥有了当时两大主要搜索技术公司。 3月，Google推出后来被称为Adsense的内容广告系统，向其他内容网站提供广告服务，成为很多内容网站的主要收入来源之一。 7月，Yahoo！宣布以16亿美元收购Overture，将除了Google之外的几乎所有主流搜索技术（Inktomi、AltaVista、FAST）收归旗下。可惜，随着2010年Yahoo！放弃自己的搜索技术，转而使用微软必应服务，Yahoo！以前收购的及自己在此基础上研发多年的搜索技术全部无疾而终。Overture的PPC广告平台被整合、改名为Yahoo！Search Marketing。 2003年，微软MSN开始开发自己的搜索引擎技术。此前，MSN网站一直使用Inktomi等搜索技术提供商的搜索数据。 

  

     2004年 2月，正如所有人预料的，Yahoo！在收购了几大搜索公司后推出自己的搜索引擎，不再使用Google数据和技术。8月，Google上市。 11月，微软推出自己的搜索引擎MSN Search，不再使用第三方搜索服务。三雄鼎立时期开始。 

    

     2005年 8月，百度上市。 2006年 5月，微软推出类似于Google Adwords的广告系统AdCenter。 9月，MSN Search改名Live Search，实际上，MSN网络品牌全部改为Live，并做了大量推广。不过并没有显著提高微软在搜索市场的份额，Google仍然一枝独秀。 2007年 3月，Google也开始提供类似网站联盟的按转化付费的广告形式。4月，Google收购传统网络广告公司DoubleClick，进入更广泛的网络广告领域。 2009年 6月，微软Live Search改名为必应（Bing）。 7月29日，微软和Yahoo！达成历史性协议，Yahoo！将逐步放弃自己的搜索技术，使用Bing数据。此前几年，Yahoo！始终挣扎在困境中，CEO几度更换，大股东内讧，搜索市场份额不断下降。终于，Yahoo！被自己亲手培养的Google彻底打败在搜索战场。Yahoo！曾经是英雄，但Yahoo！时代正式结束了。 2010年 8月25日，Yahoo！开始使用Bing搜索数据。 

       2011年 2月24日，Google推出旨在减少搜索结果中低质量页面的Panda（熊猫）更新，直至2014年9月，Google上线了27次Panda更新。Panda更新对SEO业界影响深远。 2012年 4月24日，Google上线企鹅算法，打击作弊链接和低质量链接。其后Google继续推出企鹅算法的新版本，至2014年10月企鹅3.0上线，Google已推出6次企鹅更新。 8月，360推出360搜索，并凭借其浏览器的市场占有率迅速提升其在国内的搜索市场份额。 11月，百度站长平台推出外链查询功能，真正使百度站长平台成为中国站长必用的SEO工具。 2013年 2月20日，百度推出绿萝算法，打击参与链接买卖的网站。 5月，百度推出石榴算法，打击低质量内容页面。 6月，Yahoo！关闭了红极一时的AltaVista。 7月，百度推出绿萝2.0，继续打击垃圾链接，这次重点是软文发布。 8月，Google推出蜂鸟算法，这是一次对整个排名算法的重写。 2014年 9月，在放弃了自己的搜索技术4年后，Yahoo！宣布连自己赖以起家网站目录也将于2014年年底关闭。 2003年以来，搜索领域的技术革新不断，以Google为代表的搜索引擎推出了整合搜索、个人化搜索、实时搜索、地图服务、线上文件编辑、网站统计、浏览器、网管工具、超大容量电子邮件、即时通信等。总体上看，通常是Google推出新服务，其他搜索引擎很快跟进。 2011年至今，Google连续推出的多个版本的熊猫算法和企鹅算法深深地影响了全球SEO的思维，使SEO必须更加自然、更强调用户体验。 国内，除了上面提到的服务外，百度更创建了百科、知道、贴吧等独特服务。在搜索算法上，百度也推出了针对低质量内容和外链的绿萝算法和石榴算法。2012年以来，百度对SEO也更加开放，不仅推出百度站长平台，其中的SEO工具不断增加和改进，而且以各种形式积极参与到与站长和SEO的对话中，比如参加SEO行业大会，使中国SEO与百度工程师有了直接的沟通渠道。

       国际上，2003年至2009年搜索引擎服务商没有大的变化，始终是Google独大，Yahoo！第二，占有不大不小的份额，微软Live/Bing第三，苦苦追赶而不得。2009年微软推出Bing, Yahoo！开始使用Bing技术后，严格地说，Yahoo！已主动退出搜索引擎市场，不仅放弃了自己的搜索技术，其搜索服务的市场份额也持续下降，拱手让出老二的位置。据NetMarketShare统计，2014年1至9月全球搜索引擎市场份额分布

如图1-6所示。  图1-6　

        2014年2月全球搜索引擎市场份额Google占据69.56%，继续居于绝对领先地位。由于中国用户数的庞大，百度排在第二位，但除中国外，其他国家很少使用百度。Yahoo！在全球市场份额排在第三，很大程度上归功于日本、中国台湾等地的用户还是以使用Yahoo！为主。在欧美市场，Bing的市场份额已经超越Yahoo！。 美国市场一直是全球搜索引擎风向标。据comScore的报告显示，2014年8月Google在美国的市场份额是67.3%，保持绝对领先。微软旗下网站份额为19.4%，近年来小幅增长中，但不是从Google抢得份额，而是从Yahoo！等。Yahoo！市场份额已下降到10%。2011年11月份的数据是，Google占美国市场份额65.4%，微软占15%，Yahoo！占15.1%，

如图1-7所示。

　    2014年8月美国搜索引擎市场份额 在中文搜索市场，百度独大，Google曾经长期第二。2010年，Google退出中国风波后，Google在中文搜索市场份额持续下降。据CNZZ统计，2014年7月百度占中国搜索引擎市场份额55.44%，360搜索已攀升至27.79%，搜狗占15.1%，Google已退至可怜的0.37%，还不如微软必应.

         由于CNZZ的统计数字来源于使用CNZZ流量统计服务的中小网站，用户使用大网站的情况没有被反映出来，其数字不一定精确。但大体上各搜索引擎的排名应该是准确的。根据CNNIC于2014年1月公布的数字，百度占搜索市场的86.7%份额，360搜索占8.8%，搜狗占2.0%，Google占1.6%，顺序相同。