8月7日,360与百度的Robots协议案在北京市第一中级人民法院宣判,最终法院选择了支持互联网的开放、平等、协作、分享精神,认定滥用Robots协议无效,这意味着360以后仍可以抓取百度贴吧、知道、文库、百科等用户生产的内容。而根据用户协议,这些内容的版权属于用户。

Robots协议的提出者荷兰工程师Martijn Koster在定义时就已明确:Robots协议是一个未经标准组织备案的非官方标准,它也不属于任何商业组织。本协议不受任何机构保护,所有现有和未来的机器人不一定使用本协议。但长期以来,百度始终把它当成一个竞争攻略,为自己设置一个竞争壁垒,作为阻碍竞争的工具,这从根本上违背了Robots协议提出者的初衷。

业界普遍认为,Robots是一把双刃剑,适用会优化搜索结果,而滥用则会造成整个行业的混乱。专家认为,滥用Robots协议,会让网民和整个行业面临三大威胁。

危害一:网民获得不完整的搜索结果

滥用Robots协议,首先受到影响的并不是企业,而是网民。如果搜索巨头禁止其他新兴搜索引擎抓取自身内容,那么当网民尝试新的搜索引擎时,就无法获得完整的搜索结果,只能被迫选择搜索巨头的产品,这违背了用户本意,增加了网民的时间成本,而且与互联网产品开放的初衷相违背。

另一方面,由于搜索巨头通过滥用Robots实现对内容的控制,进而控制网民,搜索巨头可以利用这种控制力操纵搜索结果,甚至引导舆论。有评论人表示,“搜索巨头可为所欲为任意操纵搜索结果,对竞争对手进行道德谴责、而一般的舆论批评对巨头无效,只有竞争打破垄断才会让消费者和行业获益”

专家认为,搜索市场的主导地位,控制互联网优质内容,不让其他搜索引擎抓取,进行不公平竞争的垄断行为。既违背了Robots协议的初衷,也违背了互联网开放、分享的精神。

危害二:限制市场自由公平竞争 造成行业壁垒

事实上,国际上从来没有任何组织或专家把Robots协议当成规范,甚至主动拒绝。欧美电信专家认为,由于Robots协议包含排斥性条款,搜索巨头可能会利用Robots协议的条款,迫使某些热门网站与其签署排他性协议,从而将后起竞争者挡在门外,维护垄断。

此前,微软曾控诉Google收购YouTube后限制竞争对手对YouTube的正当抓取。而在国内,几乎相同的一幕也在上演。如果通过Robots协议去控制内容,那么将对其他新兴搜搜引擎构成致命威胁。

著名互联网评论人士方兴东就曾表示,Robots协议不宜过多强调和使用,更不能作为行业发展的大旗,否则将毁掉开放共享的互联网机制。

在他看来,Robots被滥用将成为不公平竞争的武器。如果国内前百家网站都限制一家搜索引擎,那么这家搜索将马上瘫痪。相反,如果一家搜索签下前1000网站的独家抓取协议,那么其他搜索引擎将永无出头之日,行业从此再也没有竞争。

危害三:阻碍甚至扼杀搜索行业创新

另外,在专家认为,如果把Robots生搬硬套为行业规范,必将成为搜索巨头阻击新搜索公司的竞争武器,限制搜索市场的自由竞争。

行业通常认为,美国的互联网商业竞争环境比中国要好,最近十年从零做到上市的美国互联网公司是中国的十倍。而其核心原因就是,美国整体环境鼓励创新,而且巨头通常对创业者十分友善;而在中国,巨头大多会利用各种资源打压创业公司,扼杀互联网创新,可谓大树之下,寸草不生。

利用Robots协议限制其他搜索引擎抓取正属于此列,创业公司或选择通过不断的产品创新弥补这一劣势,或者选择随波逐流。现在看来,360搜索是唯一能够对巨头形成威胁的搜索产品。

有专家认为,随着360搜索的份额提升,以及腾讯入股搜狗可能对搜索格局带来的影响,互联网市场尤其是搜索行业的竞争活力被激活,能够促进创新,让网民受益。而对于Robots协议,不能生搬硬套,更不应成为搜索巨头滥用市场支配地位,阻击新公司入局的不正当竞争工具。