尽管亚马逊拥有领先的技术,但爬取该网站的机器人数量还是令人震惊。知情人士表示,其产品列表上最多有80%的点击都来自机器人,而大型网站的这一比例大约只有三分之一。
除了收集定价数据的对手外,有的流量还来自科研院所,他们的目的是研究竞争、搜索引擎、广告服务,甚至还有的是希望入侵亚马逊帐号的犯罪分子。
沃尔玛前员工表示,该公司的自动化定价战略由一个位于硅谷的小团队负责,还有来自印度及世界各地的数十名工程师负责处理代码。
另有知情人士表示,截至几年前,亚马逊约有40名工程师负责提取和整理对手的数据。但亚马逊并未披露自家爬虫机器人团队的组织结构。
美国专利申请资料显示,亚马逊正在开发一项加密技术,可以迫使机器人解决复杂的算法才能访问其网页。但人类访问者不会受此影响。
“亚马逊既有能力探测机器人流量,也可以采取必要的手段。”斯科特·雅各布森(Scott Jacobson)说,他曾经担任亚马逊经理,目前在Madrona Venture Group担任总经理。“多数零售商都不具备这种能力。”