我想知道你是否有人知道如何实现一个后端系统,它将从谷歌检索搜索引擎优化信息(网站排名,谷歌的第一个X结果中的#ocurrences等).
我知道Google AJAX搜索API(code.google.com/apis/ajaxsearch/)将允许您检索内容而无需“wget”或“curl”,但使用搜索信息似乎不合法(代码.google.com的/ apis / ajaxsearch / terms.html).
有关如何实现这一点的任何想法?
最佳答案 我已经调查了如何与谷歌这样做,而AFAICT实际上没有办法合法地做到这一点.由于他们的现金牛是那些SERP,他们不允许任何人因任何原因刮掉它们.
有一系列的服务会为你刮掉谷歌,但据我所知,他们都是针对谷歌的服务条款.如果你想办法合法地做到这一点,请告诉我.我猜是有一些人获得了许可,但我不确定他们是谁.
到目前为止我唯一的想法是:
>设置“代理服务器”,用于自动化客户Google查询.然后,代理可以查看结果并进行抓取,而不是“自动化”.如果用户输入20个术语,则打开20个帧,通过代理服务器进行搜索.
>回到站点的网站流量的背驮式.简而言之:我访问了您的网站,后台JavaScript调用会搜索Google并将结果发布到您的网站.这是不道德的,因为我可能想知道为什么“你的”搜索会出现在我的Google历史记录中.
问题是“自动化”.我有一种感觉,那些做这件事的服务实际上在世界各地都有计算机农场,以使它看起来(谷歌)它们没有被刮掉.我猜测,除非你开始从单个IP产生一些严重的流量,否则你会好一会儿.
也许你应该问你的许可?