使用机器人查看公开网站上的大量数据被称作爬取，背后的目的多种多样。例如，谷歌会不断爬取网站内容，以便发展搜索引擎或销售广告。

而在电子商务行业，使用机器人则成为了一场“猫捉老鼠”游戏。企业一方面希望阻止竞争对手爬取自己的网站，另一方面又想渗透对手的网站。于是，专门提供这种服务的第三方服务相继涌现。

为了避免对手获取自己的数据，有的零售商使用了CAPTCHA技术，对文字和数字进行歪曲，虽然人类依然可以阅读，但机器人却无法正确识别。亚马逊并未采取这种措施，因为此举会令部分客户感到厌烦。

对于希望绕过这些封锁措施的企业来说，如何将自己的电脑程序伪装成人类是关键所在。有的定价技术专家会开发在网页上移动的计算机光标，模拟人类访问网页的过程，而不再直接瞄准有价值的数据。还有一种使用多个计算机地址的技术，可以避免零售商将大量点击追溯到相同的来源。

“这是一场军备竞赛。”爱尔兰Profitero高级电子商务分析副总裁基斯·安德森(Keith Anderson)说，“攻防双方每个星期或每个月都会开发新技术。”

亚马逊今年1月封杀沃尔玛时瞄准了名为PhantomJS的专用网络浏览器。与IE不同，这种浏览器是专为程序员设计的——这表明用户并非普通购物者。知情人士表示，亚马逊设计了一个数字幕布，对PhantomJS隐藏了列表。

由于此举并非针对亚马逊，所以目前还不清楚其他公司因此受到的影响。

路透社最近几周进行的测试表明，在美国大型零售商中，亚马逊的机器人探测技术最为先进。这些测试不仅限于主页，还包括调价最频繁的两款产品。

此次测试由路透社委托旧金山Distil Network公司进行，这是一家专门销售反机器人工具的公司。在其中一项测试中，Distil开发的机器人对每家零售商的网站扫描3000次，但特意放满了速度，以模拟人类的点击过程。此举骗过了多数零售商，但却并未骗过亚马逊。

被屏蔽的机器人无法看到亚马逊上出售的De'Longhi咖啡机的价格。而根据定价追踪网站camelcamelcamel.com的数据，仅在在4月25日当天，这款产品就在亚马逊网站上调价4次，从80.06美元上涨到88.16美元，涨价幅度超过10%。