我们有一个页面,可以选择将ID作为GET参数.如果提供了无效的ID,该页面将抛出错误并发出通知,表明某人正在错误地访问该页面.为火灾添加燃料是ID可以有效一段时间,然后到期.

我们遇到了一个问题,即搜索引擎机器人正在使用旧的过期ID访问该页面.这意味着每次我们获得蜘蛛时,我们都会得到一堆“误报”警报.我希望能有一些方法告诉机器人继续抓取页面,但不要使用GET参数 – 只需索引无参数页面.甚至可以使用robots.txt文件或类似文件进行远程操作吗？

注意：我知道解决这个问题的最佳方法是更改​​页面的行为,事实上,这会在几周后发生.我只是在寻找解决方案.

最佳答案 在检查_GET的if语句中,放置此
HTML：

<meta name="robots" content="noindex, nofollow">
<meta name="googlebot" content="noindex, nofollow">