比特客栈的文艺复兴

根据Philipp Lenssen和Google Webmaster Central Blog的报道，原本用于Google News的First Click Free选项现在也将对任何网站启用。所谓First Click Free（首次点击免费，下简称FCF）是指允许网站可以用户与搜索引擎提供不同的页面内容，假如他们满足以下条件—— 通过点击Google搜索结果访问该页面的用户可以和Googlebot看到相同的内容。 这个条件包含两层意思—— 对于一个需要注册才能浏览的网页，假设管理员将它的完整内容显示给Googlebot以赚取排名，则来自Google.com或Google.cn等等搜索页面的访客应与注册用户有一样的浏览权限； 反之，对任何不来自上述地址的访问，网站有权利选择不显示完整内容（例如强迫“注册新用户”）。 尽管Google称此举是将平时无法访问的相关页面纳入Google搜索，但包括Philipp在内的一群Google支持者却表示疑惑和反感。看似人畜无害的FCF会引起争议，是因为这个提案存在不公平竞争的灰色属性，这个属性在Google News的模式上可以忽略，扩展到整个网络则非常不妙。 不妨来假设一个案例，假如角川出版社制作了一个封闭式小说分享站，同时为了让站点的排名靠前，启用了Google的FCF支持，允许googlebot抓取小说内容，会出现什么问题呢？ 问题1：大量游客使用伪装的user agent或referer浏览网站。因为判断googlebot的官方最快捷手段就是UA（准确的办法是DNS Lookup，逐个检查访问者不可行），至于UA伪装有多容易，我们在Pixiv懒人套装和动漫花园Private Tracker上的测试足以说明。 问题2：其他网络搜索引擎必须伪装成googlebot抓取小说的内容（这当然是违反Google条款的）。取决于网站的性质，这可以是好事也可以是坏事；Google有明确的协议让站主阻止缓存这些网站的内容，但去到其他搜索引擎的手头上呢？反之，管理员希望页面的内容出现在百度上，他们就必须再增加referer和UA检查。从网页设计的角度出发，这等于在促进“为搜索引擎设计网站”的概念，脱离了人本的概念。 问题3：假如一个页面可以通过Google搜索页面访问，很容易会造成用户认为该页面能永久访问的错觉；然而由于Google的FCF协议只保证来自Google网址的访问通畅，无论保存为书签还是转载到其他页面，该页面都不会显示原版。这等于是对搜索引擎最厌恶的cloaking（包括google自己）采取睁一只眼闭一只眼的策略。同时，由于服务器只认google网址的referer，任何使用google搜索API的网站都将得不到这个好处。 以上的问题，总结而言是Google尝试通过自己庞大的市场份额为Googlebot赢得类似VIP一般的访问权限，间接将其他搜索引擎的竞争力削弱，同时为Google用户创造更多“留在Google上”的借口（例如：由于页面无法直接访问，不得不退之保存特定搜索页的病态网络） FCF仅解决了抓取受限页面的技术问题，却激化了大范围的网络问题，更为行业竞争营造了负面气氛，实为不可取的策略，客栈上下对Google的决定感到非常失望。