Cloudflare 用户有时会遇到这样的问题：Cloudflare 无意中阻止 Google 的 Ad-Bot 抓取 ads.txt 文件。 此问题可能会产生重大影响，因为 ads.txt 文件在验证和授权数字广告资源方面发挥着至关重要的作用。 大多数情况下，此问题是在从 Cloudflare 安全部分打开 Botfight 模式后出现的。
在本文中，我们将向您提供分步指南，帮助您使用自定义 Web 应用程序防火墙 (WAF) 规则来解决此问题，以允许用户代理中包含“AdsBot-Google”值的传入请求。
修复 Cloudflare 阻止 Google Bot 问题的步骤
第 1 步：暂时禁用Bot Fight 模式
要开始解决此问题，您需要暂时禁用 Cloudflare 中的 Bot Fight 模式功能。 虽然此功能旨在保护您的网站免受恶意机器人的侵害，但它有时也会干扰合法的机器人，例如 Google 的 Ad-Bot。 请按照以下步骤禁用它：
-
- 登录您的 Cloudflare 帐户。
- 选择您遇到问题的网站。
- 导航到“防火墙”选项卡。
- 单击子菜单中的“机器人”。
- 找到“机器人战斗模式”部分并将开关切换至“关闭”。
步骤 2：创建自定义 WAF 规则
禁用机器人战斗模式后，下一步是创建自定义 WAF 规则，允许在用户代理中使用“AdsBot-Google”值的传入请求。 这将确保 Google 的 Ad-Bot 可以抓取您的 ads.txt 文件，而不会被 Cloudflare 阻止。 具体做法如下：
- 转到 Cloudflare 仪表板中的“安全 -> WAF”选项卡。
- 单击页面上可用的“创建规则”按钮。
- 为您的规则命名，例如“允许 Google Ad-Bot”。
- 在“字段”下拉菜单中，选择“用户代理”。
- 在“运算符”下拉菜单中，选择“包含”。
- 在“值”字段中输入“AdsBot-Google”。
- 在“选择操作”下拉菜单中，选择“跳过”
- 现在检查要跳过的选项，例如“所有超级机器人战斗模式规则”（请参见以下屏幕截图）
- 点击“保存”
通过执行这些步骤，您应该能够解决 Cloudflare 阻止 Google Ad-Bot 抓取 ads.txt 文件的问题。 创建自定义 WAF 规则后，请记住重新启用机器人战斗模式，以确保持续防御恶意机器人。 与往常一样，监控网站的性能和流量至关重要，以确保所有机器人（无论好坏）都能按预期与您的网站进行交互。