Google新FCF规则与搜索引擎不公平竞争的激化
标签海: FCF • Google • Total Disaster
根据Philipp Lenssen和Google Webmaster Central Blog的报道，原本用于Google News的First Click Free选项现在也将对任何网站启用。所谓First Click Free（首次点击免费，下简称FCF）是指允许网站可以用户与搜索引擎提供不同的页面内容，假如他们满足以下条件——
通过点击Google搜索结果访问该页面的用户可以和Googlebot看到相同的内容。
这个条件包含两层意思——
对于一个需要注册才能浏览的网页，假设管理员将它的完整内容显示给Googlebot以赚取排名，则来自Google.com或Google.cn等等搜索页面的访客应与注册用户有一样的浏览权限；
反之，对任何不来自上述地址的访问，网站有权利选择不显示完整内容（例如强迫“注册新用户”）。
尽管Google称此举是将平时无法访问的相关页面纳入Google搜索，但包括Philipp在内的一群Google支持者却表示疑惑和反感。看似人畜无害的FCF会引起争议，是因为这个提案存在不公平竞争的灰色属性，这个属性在Google News的模式上可以忽略，扩展到整个网络则非常不妙。
不妨来假设一个案例，假如角川出版社制作了一个封闭式小说分享站，同时为了让站点的排名靠前，启用了Google的FCF支持，允许googlebot抓取小说内容，会出现什么问题呢？
问题1：大量游客使用伪装的user agent或referer浏览网站。因为判断googlebot的官方最快捷手段就是UA（准确的办法是DNS Lookup，逐个检查访问者不可行），至于UA伪装有多容易，我们在Pixiv懒人套装和动漫花园Private Tracker上的测试足以说明。
问题2：其他网络搜索引擎必须伪装成googlebot抓取小说的内容（这当然是违反Google条款的）。取决于网站的性质，这可以是好事也可以是坏事；Google有明确的协议让站主阻止缓存这些网站的内容，但去到其他搜索引擎的手头上呢？反之，管理员希望页面的内容出现在百度上，他们就必须再增加referer和UA检查。从网页设计的角度出发，这等于在促进“为搜索引擎设计网站”的概念，脱离了人本的概念。
问题3：假如一个页面可以通过Google搜索页面访问，很容易会造成用户认为该页面能永久访问的错觉；然而由于Google的FCF协议只保证来自Google网址的访问通畅，无论保存为书签还是转载到其他页面，该页面都不会显示原版。这等于是对搜索引擎最厌恶的cloaking（包括google自己）采取睁一只眼闭一只眼的策略。同时，由于服务器只认google网址的referer，任何使用google搜索API的网站都将得不到这个好处。
以上的问题，总结而言是Google尝试通过自己庞大的市场份额为Googlebot赢得类似VIP一般的访问权限，间接将其他搜索引擎的竞争力削弱，同时为Google用户创造更多“留在Google上”的借口（例如：由于页面无法直接访问，不得不退之保存特定搜索页的病态网络）
FCF仅解决了抓取受限页面的技术问题，却激化了大范围的网络问题，更为行业竞争营造了负面气氛，实为不可取的策略，客栈上下对Google的决定感到非常失望。
相关文章
继续阅读
前一篇文章: 特別時期，特別對策
后一篇文章: 客栈提问：对ACG最没抵抗力的人类群体？
Loading ...
> 问题1：
UA伪装容易，但是“大量游客”伪装UA并不容易。对所有人来说，伪装UA并不比从google搜索结果链接进去简单。
> 问题2：
fcf其实是一个网站与搜索引擎互取其利的过程，独立性的丧失的坏处看起来没有想像的那么大。
> 问题3：
没有人会在使用收费期刊数据库的时候转载全文的链接吧？类似的，一个常识的普及而已。
总得来说我觉得google这次在继续走向不平衡的一极，不过fcf具体的问题并没有文中提到的那么严重，店长如此痛心疾首大概是因为fcf确实不是干净的技术。
#1
mcv
乘坐着
Firefox 3.0b5 与 
GNU/Linux
发射于 13:03 on October 21st, 2008
>>对所有人来说，伪装UA并不比从google搜索结果链接进去简单。
这是在没有Google FCF的时代。一旦FCF开始流行会怎样？
>>一个网站与搜索引擎互取其利的过程
默许Google用户看到与百度用户不同的内容，这是不公平竞争。
>>一个常识的普及而已
你是站在熟练电脑用户的角度看。
First Click Free无视Web Accessibility（第二条），在服务器Security Model中添加漏洞（第一条）以及鼓吹作弊/收费（第三条）的倾向极其明显。这对站主和用户都会造成长远影响。
#2
店长
乘坐着
Firefox 3.0.3 与 
Windows XP
发射于 16:07 on October 21st, 2008
看完后觉得很混乱，于是跑去看原文，还是混乱…… 怎么看都是一个实现可能性很低的方案，尤其是应用到新闻以外的情况下。
个人的感觉：
1. 站点存在规制内容的webmaster，不会存在因为需要提高google排名而被迫开放FCF的情况。而在google全文都没有提到必须开放多少规制内容的限制的前提下，webmaster依然有很大的选择空间。因此，应该不会对现有的体系造成太大的冲击。
2. FCF没有什么门槛，也就是其他搜索引擎介入也是很方便的事情。长远的说，应该会趋于一个平衡。
3. FCF针对的应该是已经或者必然会成为收费站点，也就是本来就会有规制内容的站点。
4. FCF和Cloaking还是存在本质上区别的行为。凡是FCF抓到的内容，用户还是能访问其全部，而Cloaking显然不同于这样的结果。
其实FCF这东西，评论里有人写了，”Implement this, and pay me a commission on revenue, or give me a job and I’ll implement if for you” = v = 言下之意就是只要google不区别对待FCF的站点，webmaster也没什么可能性刻意去嵌入FCF….
#3
CYan
乘坐着
Firefox 3.0.3 与 
Windows XP
发射于 10:24 on October 23rd, 2008
CYan你也没理解我的话么……
FCF的网站对于Google用户自然不是cloaking，但对于其他网站呢？
如果收费网站只针对Google提供收费内容，则这是Googlebot比其他搜索bot有更高的权限；如果网站本来就是cloaking站，只是针对Google进行调整，则其他搜索引擎要继续受害。
Google当然可以说他们不是太平洋警察，但作为最大的网络搜索站，鼓励减少信息封闭（FCF还是将信息标价，只是第一个Free），或者在推出FCF前与其他搜索引擎做出公平协议不是应该是事情么？
FCF只有在大多数搜索引擎上都能施行才有意义，然而就如我之前所说，FCF自身会引导问题，目前只是Google独大的借口罢了。
#4
店长
乘坐着
Firefox 3.0.3 与 
Windows XP
发射于 16:59 on October 23rd, 2008
嘛，话题的出发点不太一样吧。我只是觉得FCF似乎没可能普及开的感觉=w= 如果真的要FCF，作为推广网站的目的来说，站长不会选择仅限于在Googlebot上FCF吧。而且我始终觉得如果搜索引擎不拿钱养着的话，没什么站点会实质上使用FCF吧….
不过从好的方面去想的话，如果这样的方式能够促使原先封闭的信息开放第一步Free的话，对信息自由也是有好处的。至于有可能会促使原先就免费的信息因为FCF而变得封闭起来，这点还有待观察了=w=
至于Google独大，也不是一天两天了。如果说期望商业公司应该负起应有的全部社会责任的话，可以批判的对象就太多了-w-
#5
CYan
乘坐着
Firefox 3.0.3 与 
Windows XP
发射于 00:12 on October 24th, 2008
First Click Free计划原用于Google News上的收费媒体，扩展到整个网络的吸引力不强，概念上又有漏洞，说明Google这个举动是缺乏谨慎考虑的。
PS：为了不让微软般的垄断重演，我们必须将公平竞争的标准提高。
#6
店长
乘坐着
Firefox 3.0.3 与 
Windows XP
发射于 02:19 on October 24th, 2008