黄韬|规制网络爬虫技术的政策目标

Posted 2021-04-30 黄副教授

  近一段时间来，多家基于爬虫技术来为客户提供信息服务的大数据公司接连被查，以至于媒体认为该行业已经整体进入到了“肃清”阶段，尤其是51信用卡公司所涉嫌的暴力催收犯罪行为被认为其中的手段之一就是通过爬虫技术来非法获取债务人的位置信息等隐私资料。 此后，据报道，央行日前也发文紧急调研银行与第三方数据公司合作情况，同时要求各机构排查自身业务中是否存在违规爬虫行为。

    一般来说，网络爬虫技术本身是中性的，并无与生俱来的善恶之分，它是一种按照一定规则来自动抓取互联网信息的程序。网络爬虫技术的应用领域非常广泛，例如金融行业的大数据风控、消费产品的定向推荐、政府监管等，可以说在当今的时代，爬虫技术的合理应用大大节省了信息收集的成本，提升了信息处理的效率，总体上扮演了一种降低社会交易成本的良性技术角色，由此也催生了一个庞大的服务产业领域。至于说，如果将爬虫技术应用于各种违规、违法甚至犯罪的活动之中，那自然会带来恶性的社会后果，甚至较之以往可能会放大危害性后果的程度和范围。因此，从社会规制的视角来看，网络爬虫技术的合理应用的边界就十分关键了，这一边界将决定技术的运用是否可以获得法律的承认。

    但是，这一边界的划分是有很大难度的，是需要经历一定的探索过程的。简言之，对网络爬虫技术的规制是需要在不同的公共政策之间进行平衡的。一方面，正如当前媒体舆论和政府管制部门所强调的，爬虫技术的应用必须建立在对个人信息的有效保护基础之上，未经授权或者未经必要法定程序和法定形式之后的授权而进行的数据采集会被认为是“越位”行为。但是，另一方面，毕竟考虑到该项技术给社会和市场到来的广泛积极意义，因此法律规则也不能只是片面强调个体信息权利（如果存在这项权利的话）的保护，而是有必要同时考虑到促进和便利技术应用的公共政策目标。

    再延伸开去，很多时候我们在讲个人信息（权利）保护的时候，往往会陷入为保护而保护的窠臼之中，没有仔细想一想，现今时代绝大多数的所谓个人信息其实都是在各种交易环节中生成的，这大大区别于传统社会中我们所特别强调的那种个体的“隐私”（即不希望为外人知晓的信息）。之所以区别于隐私，在于绝大多数的所谓个人信息其实是隐含着巨大的商业价值的，因此这类信息只有把它“用”起来才能造成社会总体财富的增进。因此，我们之所要“保护”这些信息，其实就是为了要促进这些信息的“交易”和“流转”，而不是让其“凝固”在某一个环节。所以，以经济学看来，对信息的保护本质上是一个权利定价问题，即怎么让信息体现出最大的社会价值。由此，在规制爬虫技术的时候，法律规则的一个总体导向应当是创造出一个最有利于信息交易的制度环境，也就是尽可能让“科斯谈判”（自愿的交易）发生，而不是理所当然地认为所谓个人信息就是永远是他人不得绝对染指的个人权利“禁区”。

    总结起来说，网络爬虫技术的规制需要综合考量不同的公共政策目标，需要立法者和执法者的立体思维和社会总体价值意识；反过来说，这对于普通民众和消费者也是有积极意义的。否则，我们极端地假设，如果现在禁止一切网络爬虫技术的应用，那我们日常的消费成本和融资借贷成本极有可能会因为信息不对称的加剧而显著上升，这样似乎看起来我们的权利被各种法律很好地保护了，但实质上却可能做了亏本生意。

近期文章回顾：