接下来,我们将配置 Googlebot 浏览器设置,以匹配 Googlebot 在抓取网站时不支持的内容。
Google Bot 不支持的功能:
- 服务工作者:由于点击搜索结果的用户可能之前没有访问过该页面,因此 Googlebot 不会缓存后续访问的数据。
- 权限请求: Google Bot 不处理推送通知、网络摄像头访问、地理位置请求和类似功能。因此,任何依赖这些权限的内容对他来说都是不可见的。
- 无状态: Googlebot 是无状态的,这意味着它不会保留 cookie、会话存储、本地存储或 IndexedDB 等数据。虽然这些机制可能会暂时存储数据,但它们会在 Googlebot 抓取下一个 URL 之前被清除。
这些要点是从Eric Ainge 接受 Google 的 Martin Splitt 采访时总结出来的 。
步骤 3a:DevTools 设置
您需要调整开发者工具(DevTools)中的某些设置来配置您的 Googlebot 浏览器以实现正确的模拟。
如何打开 DevTools:
- 按 F12,或打开 Chrome 或 Canary 右上角的汉堡菜单,然后 转到更多工具 > 开发者工具。
- 默认情况下,DevTools 窗口停靠在浏览器内,但您可以 tg 到数据 更改此设置。使用 DevTools 中的第二个汉堡菜单切换到停靠侧或在单独的窗口中打开它。
DevTools中的关键配置:
- 禁用缓存:
- 如果您使用 Chrome 作为 Googlebot 浏览器,您可能已经完成此操作。
- 否则,在 DevTools 中,打开汉堡菜单, 转到更多工具 > 网络条件,然后勾选”禁用缓存”选项。
- 阻止服务工作者:
- 转到DevTools 中的“应用程序”选项卡。
- 在Service Workers下,选中”Bypass for Network ”选项。
步骤 3b:常规浏览器设置
调整常规浏览器设置以反映 Googlebot 行为。
- 阻止所有 Cookie:
- 转到 设置>隐私和安全> کوکی،或在地址栏中输入chrome://settings/cookies۔
- 选择“阻止所有 Cookie(不推荐)”——有时逆势而行也很有趣!
- 调整站点权限:
- 在“隐私和安全”中,转到 “站点设置”或输入 chrome://settings/content۔
- 在权限下 ,分别阻止 位置、摄像头、 麦克风和 通知。
- 在 附加权限部分، 禁用后台同步。
步骤4:模拟移动设备。
由于 Googlebot 主要 使用移动优先抓取,因此在 Googlebot 浏览器中模拟移动设备非常重要。
如何模拟移动设备:
- 打开 DevTools 并单击左 央行也应该转变 上角的设备工具栏切换按钮。
- 从下拉菜单中选择要模拟的设备或添加自定义设备以进行更具体的测试。
重要注意事项:
- Google 机器人不会滚动浏览网页。相反,它使用长垂直高度窗口进行渲染。
- 虽然移动模拟很重要,但我还建议在桌面视图中进行测试,如果可能的话,在实际的移动设备上进行测试以交叉检查结果。
以 Bingbot 身份浏览网站怎么样?
要创建 Bingbot 浏览器,请使用最新版本的 Microsoft Edge 并 使用Bingbot 用户代理对其进行配置。
为什么要考虑 Bingbot?
- Bingbot 的行为与 Googlebot 类似,它支持和不支持的功能。
- Yahoo、DuckDuckGo 和 Ecosia 等搜索引擎均由 Bing 提供支持或基于 Bing,这使得它的影响力超出许多人的想象。
总结和结论
现在,您有了自己的 Google Bot 模拟器。设置一个浏览器来模仿 Google Bot 是像爬虫一样查看网页的最简单、最快捷的方法。最重要的是,如果您已经拥有能够安装 Chrome 或 Canary 的桌面设备,它是免费的。
虽然 Google 的 Vision API(用于图像)和自然语言 API 等其他工具提供了有价值 哥斯达黎加商业指南 的见解,但 Googlebot 浏览器简化了网站的技术审核,尤其是那些依赖客户端渲染的网站。
为了审核 JavaScript 网站并了解使用标准 HTML 和 JavaScript 呈现的网站之间的细微差别,我 建议探索Jamie Indigo، Joe Hall 和 Jess Peck 等专家的文章和演示文稿۔他JavaScript 为SEO及其挑战提供了出色的见解。
如果您有任何疑问或认为我遗漏了什么,请随时联系我。发推文给我 @AlexHarfordSEO،在Bluesky上联系 ,或在 LinkedIn 上找到我。谢谢阅读。