推广 热搜: 红书  page  数据  数据分析  关键词  搜索  小红  哪些  考试  论文 

CloudFlare 如何让合法搜索引擎蜘蛛爬虫正常抓取

   日期:2024-12-27     移动:https://sicmodule.kub2b.com/mobile/quote/14095.html

很多站长们都有个普遍的误解那就是使用 CloudFlare 会影响搜索引擎爬虫的正常抓取,这个明月经过实际体验后发现根本不存在这个问题的,先不说 CloudFlare 自己的“合法 Bot”大数据的精准度,单就 CloudFlare 强大的 WAF 规则就不允许这种情况的发生,所以今天明月给大家分享一下 CloudFlare 如何让合法搜索引擎蜘蛛爬虫正常抓取。注意,是合法的,仿冒的或者垃圾爬虫不在这个范围内哦!

首先说明的是 CloudFlare 默认情况下是会对所有来访请求以及频率进行过滤的,如果这期间搜索引擎蜘蛛爬虫来访频繁是会遭到 CloudFlare 的自动拦截过滤的,这也是很多站长们误解的主要因素之一,所以建议大家使用 CloudFlare 后第一时间要创建一个免费的 WAF 来给所有的搜索引擎蜘蛛爬虫放行(CloudFlare 后台——【安全性】——【WAF】里免费版可以创建 5 条 WAF,对于我们普通博客站点来说足够用了),具体如下截图:

等待一会儿后就可以在 CloudFlare 后台【安全性】——【事件】里来观察放行搜索引擎蜘蛛爬虫的记录了,可以借助【事件】里的【添加筛选器】来单独查看来自国内(China)的爬虫,具体如下图所示:

CloudFlare 如何让合法搜索引擎蜘蛛爬虫正常抓取

然后点击任意一个记录即可看到是哪个搜索引擎蜘蛛爬虫来访了,如下图所示,百度搜索引擎蜘蛛爬虫正在来访和抓取,CloudFlare 给放行并记录了:

当然,也可以利用【事件】里的【添加筛选器】根据更多条件查看搜索引擎蜘蛛爬虫来访的记录,比如用【用户代理】来查看所有谷歌爬虫等的记录等等,具体大家慢慢研究吧!

本文地址:https://sicmodule.kub2b.com/quote/14095.html     企库往 https://sicmodule.kub2b.com/ , 查看更多

特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。


0相关评论
相关最新动态
推荐最新动态
点击排行
网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号