#科技资讯 知乎继续增强反爬措施:通过搜索引擎打开有可能全页显示乱码内容。蓝点网经过多次测试几乎可以确认这不是 BUG 而是知乎有意为之,也是为了防止爬虫抓取其内容训练 AI 的,那这影响用户正常访问怎么办?显然知乎不会考虑还在使用浏览器访问的你,虽然刷新页面能恢复正常但也强制登录才能查看完整内容。查看全文:https://ourl.co/105521
早前知乎已经屏蔽除百度和搜狗以外的所有搜索引擎,即其他搜索引擎爬虫不得抓取知乎的内容;知乎通过反爬措施识别可能是爬虫类的 UA 标识,例如谷歌搜索的爬虫都会显示乱码内容。
相关内容:
- 知乎开始强制要求用户登录账号 否则不允许查看完整回答和专栏内容
- 知乎已经完全禁止谷歌和必应搜索抓取内容 看起来真怕内容被训练 AI?
- 谷歌/必应搜索的知乎专栏内容出现乱码 不知道是不是知乎故意这么做的
- 知乎故意使用乱码干扰必应/谷歌等爬虫 看起来确实是阻止内容被抓取训练 AI
不过知乎现在还在继续增强反爬措施,即用户通过搜索引擎打开知乎都可能全页显示乱码内容,这种情况显然也是知乎正在保护自己的数据避免被抓取拿去训练 AI。
目前大多数搜索引擎都已经无法索引知乎的内容,但已经索引的历史内容会在搜索引擎里显示网址概览,如果用户不小心点击了就能发现出现乱码。
蓝点网经过多次测试几乎可以确认这是知乎故意施加的限制,因为在乱码页面只需要刷新就可以正常显示内容,这说明知乎是有目的性的拦截搜索引擎或其他爬虫,这些爬虫使用的通常是无头浏览器,用户使用的浏览器则是正常版本,因此在刷新时可以通过知乎的反爬策略。
另一方面知乎现在已经强制用户必须登录才能查看完整内容,这同样也是反爬措施之一,正常用户不可能短时间内浏览大量内容,而爬虫即便有一个或多个账户,在短时间内抓爬大量内容也可能会被风控系统检测到,毕竟这不属于正常用户的操作逻辑。
当然对用户来说其实解决这个问题也很简单,直接屏蔽知乎的全部域名即可,你可以安装 uBlacklist 扩展程序将知乎从任何搜索引擎结果中拉黑,这样搜索结果就再也不会出现知乎的链接了。