昨天发现网站出现了很多莫名其妙的 RSS 在 sitemap 里面,然后被搜索引擎索引到了。这就很不好,因为很多都是被别人恶意搞的一些站内搜索结果,然后被检索到,就造成了恶意的影响。站长研究了一下,发现通过 Yoast SEO 就可以禁用站内搜索结果被检索到 sitemap 以及 RSS 里面,本文做一个分享。
Yoast SEO 爬虫优化设置
如果你已经安装了 Yoast SEO,那么在 Yoast SEO 的设置里面,找到高级 -> Crawl optimization,如图所示,就是爬虫优化设置页面。
一般需要勾选下面这几个选项,首先是“Remove search results feeds”,就是站内搜索结果不输出 feed,这个还是很关键的,强烈建议关掉。
然后就是 Internal site search cleanup,如下所示,这些选项其实可以全部开启,因为这部分很容易被人滥用。
以上就是 Yoast SEO 的一些优化设置,希望对大家有所帮助。