2015 年谷歌看到移动互联网的巨大前景，于是 “违背祖训” 做了一项重大决定，谷歌搜索将以移动索引优先，也就是谷歌会通过移动版爬虫去抓取网页，如果网页对移动版的适配较好，那么会被优先索引以及获得相对来说更好的排名。

彼时大多数网站都还是只支持 PC 版，那时候 HTML 5 技术采用的还不是那么多，因此网站必须得建立专门的移动版本，例如很多网站手机版是 m. 开头就是代表采用的独立移动站点。

但推动索引转向移动互联网并不是一个简单的工作，就像推动 HTTPS 发展那样，在进行一个又一个截止日期后，到 2016 年 11 月，谷歌宣布正式采用移动优先索引。

接着是网站一来为了手机版用户的友好访问，二来是为了更好的获取谷歌搜索流量，网站开始逐渐提供手机版，到 2018 年 12 月，谷歌搜索结果里的所有网站约有一半已经采用移动优先索引。

这意味着如果网站仅支持 PC 版访问的话，那被谷歌移动版爬虫抓取时就出现各种体验问题，因此搜索结果排名并不会很高。

到 2020 年 3 月，谷歌宣布将所有网站切换到移动索引优先的截止时间定在 2020 年 9 月，不过后来改成了 2021 年 3 月，直到现在，谷歌宣布绝大多数网站都已经支持手机版，移动优先索引工作算是完成了。

不过谷歌也透露仍然有少部分网站不支持手机访问，这种问题谷歌会继续通过旧版爬虫继续抓取，然后每年评估几次看看情况是否有所改善。

既然工作算是完成了，那谷歌站长工具里的索引爬虫信息也没必要继续提供了，因为现在移动版爬虫是主力，大多数网站都是通过移动版爬虫抓取的，接下来谷歌可能会彻底关闭桌面版爬虫。

最后，谷歌称感谢网站所有者、SEO 工作者、网站开发者、设计师以及所有网站的工作人员，感谢大家一起努力帮助移动互联网取得了成功。

附谷歌爬虫的桌面版和手机版信息：

手机版：

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

桌面版：

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

注：W.X.Y.Z 指的是 Chrome 版本，这会随着版本更迭而变化。