通过设置白名单排除特定搜索引擎违法

Posted 2021-04-24 知人学院

导读：

360与百度之间关于搜索引擎的一场诉讼，历时8年，日前迎来了终审判决。北京市高院认为，二审的争议焦点在于：百度公司通过设置robots协议白名单的方式限制360搜索引擎抓取其相关网页内容，是否构成不正当竞争行为。

360与百度之间关于搜索引擎的一场诉讼，历时8年，日前迎来了终审判决。

7月23日，“中国裁判文书网”公布了北京奇虎科技有限公司诉北京百度网讯科技有限公司、百度在线网络技术（北京）有限公司不正当竞争纠纷案的二审判决书。北京市高级人民法院认定，百度公司通过设置robots协议白名单的方式限制360搜索引擎抓取其网页信息的行为，构成不正当竞争。

法院判决驳回百度公司的上诉，维持一审原判，即：判令百度公司立即停止涉案不正当竞争行为，赔偿奇虎公司经济损失20万元，并在360、新浪、搜狐三家网站首页显著位置连续十日刊登声明，就其涉案不正当竞争行为为奇虎公司消除影响。

奇虎公司于2013年起诉，

称百度公司限制360搜索引擎抓取其网站信息

据判决书披露，2013年，奇虎公司向北京市第一中级人民法院起诉，请求：百度网讯公司、百度在线公司立即停止通过robots.txt对奇虎公司的不正当竞争行为，在三家公开发行的报纸（《法制日报》、《北京晚报》、《中国知识产权报》）及三个门户网站消除实施不正当竞争行为对奇虎公司造成的不利影响，连带赔偿奇虎公司经济损失1000万元及为制止侵权的合理支出50万元，并承担本案诉讼费用。

北京市一中院查明，奇虎公司成立于2007年8月13日，主要从事互联网安全及搜索等服务，经营的互联网产品有360安全卫士、360搜索引擎及360浏览器等。该公司的360搜索引擎于2012年8月16日上线。百度网讯公司成立于2001年6月5日，百度在线公司成立于2000年1月18日，两公司共同经营的百度搜索引擎是国内知名的搜索引擎网站，同时还提供互联网内容服务，包括百度文库、百度知道、百度百科等。

奇虎公司提交的多份公证书显示，自2012年8月以来，百度网讯公司、百度在线公司一直在其相关网站的robots协议中排除360搜索引擎抓取其信息。

百度网讯公司、百度在线公司认可上述事实，但认为：robots协议是国际通行的行业惯例和商业道德，允许和/或限制全部和/或特定搜索引擎抓取是robots协议的应有之义，百度robots协议的“白名单”制度仅允许特定的几家搜索引擎抓取，对除此之外的所有其他搜索引擎均不允许抓取，不存在不正当竞争行为。

一审法院认为，

通过设置白名单限制特定搜索引擎，与robots协议的初衷背道而驰

在一审判决书中，北京市一中院阐明了robots协议与搜索引擎各自的起源及两者之间的关系。

法院认为，robots协议的英文全称为Robots Exclusion Protocol，直译为机器人排除协议，又可成为爬虫协议、机器人协议，是指网站所有者通过一个置于网站根目录下的文本文件，即robots.txt，告知搜索引擎的网络机器人（或称网络爬虫、网络蜘蛛）哪些网页不应被抓取，哪些网页可以被抓取，其本质是受访网站与搜索引擎之间的一种交互方式。

随着互联网的迅猛发展，搜索引擎应运而生。通过搜索引擎，网络用户能在较短时间内从互联网的海量信息中检索到所需信息，而搜索引擎的工作原理就是使用网络机器人程序自动抓取相关网站内容并建立索引。搜索引擎可分为两大类，即通用搜索引擎和垂直搜索引擎。百度、谷歌及360搜索等均属于通用搜索引擎。

搜索引擎的出现极大地提高了网络用户获取信息的效率，但同时也产生了新问题：一是网络机器人过快抓取或重复抓取相同的网页内容导致受访网站的服务器过载，影响网站正常运行，降低了抓取的效率；二是一些网络机器人抓取网站管理后台的内部信息、临时性文件、cgi脚本等对网络用户没有使用价值的信息。这些问题表明，需要建立一种受访网站与搜索引擎的网络机器人之间的交互方式，通过这种方式，网站所有者能够提示网络机器人哪些网页内容没有必要抓取，从而引导其抓取对网络用户有用的信息。

为解决上述问题，荷兰网络工程师MartijnKoster于1994年初首先提出通过在网站的根目录下设置robots.txt文件的方式来提示搜索引擎的网络机器人抓取的范围。1994年6月30日，一些网络机器人设计者及爱好者在网络机器人邮件组论坛上就MartijnKoster的提议达成一致意见，并形成了一个书面文档《机器人排除标准》（《A Standard for Robot Exclusion》）。

2012年11月1日，在中国互联网协会的牵头组织下，12家互联网企业签署了《互联网搜索引擎服务自律公约》（简称“自律公约”）。该公约第七条第一款规定：遵循国际通行的行业惯例与商业规则，遵守机器人协议（robots协议）。第八条规定：互联网站所有者设置机器人协议应遵循公平、开放和促进信息自由流动的原则，限制搜索引擎抓取应有行业公认合理的正当理由，不利用机器人协议进行不正当竞争行为，积极营造鼓励创新、公平公正的良性竞争环境。

法院认为，robots协议的初衷，是为了提示搜索引擎的网络机器人更有效地抓取对网络用户有用的信息，从而更好地促进信息共享。作为一种互联网行业惯例，robots协议一方面要求搜索引擎的网络机器人遵守受访网站的robots协议，另一方面也要求受访网站设置的robots协议本身应当是合理的，不应违背“促进信息共享”的初衷。

百度公司通过设置robots协议的方式限制360搜索引擎，会造成网络用户通过360搜索引擎无法得到完整的搜索结果，人为设置了信息流动的障碍；在百度搜索引擎在市场份额上占据绝对优势，而360搜索所占的市场份额较小的情况下，会导致网络用户因在使用360搜索引擎时无法及时获取所需信息，转而使用百度搜索引擎，不仅会降低360搜索的用户满意度，损害奇虎公司的合法权益，也会在客观上增强百度搜索引擎的市场优势地位；限制通用搜索引擎抓取信息，会在一定程度上阻碍互联网信息正常流动，因此，应当具有合理、正当的理由。百度公司限制360搜索引擎抓取的内容，不属于其内部信息或敏感信息，也没有证据显示360搜索引擎的抓取会导致相关网站无法正常运行或损害社会公共利益。因此，百度公司限制360搜索引擎缺乏合理、正当的理由。

法院认定，百度公司的涉案行为不仅损害了奇虎公司的合法权益，也扰乱了公平竞争的市场秩序，并最终将会损害广大网络用户的利益，其行为已构成不正当竞争，并作出了相关判决。

百度公司上诉称，

robots协议体现了网站与搜索引擎之间的交易自由

一审判决后，百度公司不服，向北京市高级人民法院提起上诉，称：一、robots协议体现了网站与搜索引擎之间的交易自由，网站允许哪些搜索引擎抓取，不允许哪些搜索引擎抓取，在网站与搜索引擎双边市场上，是交易自由的体现；二、一审判决对限制360搜索引擎抓取会导致用户使用百度搜索引擎从而客观上增强百度搜索引擎市场优势地位的认定，缺乏任何事实依据；三、一审判决设定的设置Robots协议限制通用搜索引擎抓取应当具有的合理正当理由，实质上将废止Robots协议。

百度公司还主张，360搜索引擎上线后，违规抓取百度百科等网页内容，经通知不予纠正，故未将其列入robots协议白名单。

北京市高院认定，

设置robots协议白名单妨碍了信息自由流动

北京市高院认为，二审的争议焦点在于：百度公司通过设置robots协议白名单的方式限制360搜索引擎抓取其相关网页内容，是否构成不正当竞争行为。

法院认为，百度公司未将360搜索引擎纳入白名单，导致该引擎无法抓取其相关网页内容，同时，允许国内外主流搜索引擎抓取其网页内容，构成对360搜索引擎采取的有针对性的限制抓取行为。

该行为的损害后果，体现在以下几方面：首先，影响了360搜索引擎的正常运行，使得360搜索引擎的功能无法正常发挥，从而直接影响360搜索引擎用户的上网体验，进而可能导致360搜索引擎的网络用户流失；其次，损害了相关消费者的利益。由于被诉行为影响了网络用户对其所选择的360搜索引擎的正常使用，迫使存在相关信息检索需求的用户不得不更换其他搜索引擎，从而影响网络用户自主选择的决定权，增加了选择成本；第三，被诉行为将导致360搜索引擎与百度搜索引擎之间交易机会和竞争优势的“此消彼长”；第四，被诉行为有违公平竞争原则，扰乱了正常的互联网竞争秩序。

百度公司设置的robots协议白名单，实质上是通过采取对搜索引擎经营主体区别对待的方式，以限制特定搜索引擎抓取其网页内容，妨碍了信息自由流动。此种方式不是以网络信息本身是否适合被搜索引擎抓取作为区分标准，而是将搜索引擎的经营主体作为区分标准。并且，此种区分并未采取相同的标准，对奇虎公司而言，具有针对性和歧视性，不仅损害了奇虎公司的利益，也损害了相关消费者的利益。

根据《自律公约》第八条的约定，robots协议对于通用搜索引擎抓取限制的设置应当具有行业公认合理的正当理由。百度公司主张，其通过robots协议的设置限制360搜索引擎，是因360搜索引擎违规抓取百度百科等网页内容所采取的自力救济，但抓取限制措施本身的正当性与突破限制措施的抓取属于同一问题的正、反方面，难以构成直接的因果关系，尤其是在《自律公约》签订后，各方当事人应恪守相关约定，避免此类丛林法则下的自力救济行为，否则将造成竞争秩序的混乱，不仅有损行业经营者的利益，也不利于网络用户的利益。如果网站经营者认为搜索引擎的抓取行为不当，构成对其合法权益的侵犯，可以通过相应的法律途径寻求救济。事实上，根据相关判决的认定，百度公司已经针对奇虎公司的不当抓取、链接行为提出了诉讼主张并获得支持。因此，百度公司提出的上述理由，不构成限制360搜索引擎抓取其网页内容的合理、正当理由。

法院认定，百度公司在缺乏合理、正当理由的情况下，以对网络搜索引擎经营主体区别对待的方式，限制360搜索引擎抓取其相关网站网页内容，影响该通用搜索引擎的正常运行，损害了奇虎公司的合法权益和相关消费者的利益，妨碍了正常的互联网竞争秩序，违反公平竞争原则，且违反了诚实信用原则和公认的商业道德，构成不正当竞争行为。

最终，法院判决驳回上诉，维持原判。

---

相关判决书网页链接：

http://wenshu.court.gov.cn/website/wenshu/181107ANFZ0BXSK4/index.html?docId=68905c28a9ab4c95a5beac01000df3e8 

（百度在线网络技术（北京）有限公司等与北京奇虎科技有限公司不正当竞争纠纷二审民事判决书，（2017）京民终487号） 

来源：IPRdaily中文网（iprdaily.cn）

编辑：知人学院-彩彩