indian bathing xvideos hdtporno.org rajam engineering college
desi xnxx.tv negozioporno.com hd hindi sex download
hindixxxx teenpornolarim.com army x videos
nude hansika pornoqui.com x.vedeo
thamil sax video pornofantasy.info mia malkova xnxx
filz movies hindipornmovies.org indian nude dance
www.redwap.me ruperttube.com indian pornhub
tamlnilam mehrporn.com bf hd video bf hd video
kumari kandam pornfucky.net sunney leone sex video
www xxx kerala clasporno.org x vedios2.com
mia khalifa daftsex pornon.org gujarati indian sex
www bf sexy com fareporno.org penguinvids
indian x.video pornview.org indian big tits porn
bengali sexy film video mecoporn.com bangalore girls mms
blue film sex hindi hindipornblog.com hot girl bathing video

中小网站建议屏蔽DataForSeoBot爬虫

近期某站长通过日志分析发现DataForSeoBot爬虫最近大量抓取网站页面数据,且频次非常高,极大消耗服务器资源。它究竟是个什么来头?通过爬虫附带的URL链接,找到其官网,发现对网站无任何价值所以果断屏蔽。

DataForSeoBot爬虫是什么

许多人会将 DataForSEO Link Bot 视作另一个搜索引擎的网络爬虫。其实不然。

DataForSEO 是通过向世界各地的 SEO 爱好者和专业人士提供高质量的数据来创造公平的竞争环境。

换句话说,就是DataForSeoBot爬虫采集的数据是提供给众多SEO从业人士的,这些数据可以被用作SEO竞争分析、SEO软件开发、市场调查、甚至网络推广等方面。也就是说,对于被抓取的网站本身来说,无任何价值,甚至有数据被采集的负面影响。

如何禁止DataForSeoBot爬虫?

官网宣称DataForSeoBot爬虫支持协议,但在百度搜索中发现,有站长吐槽它不太守规矩。所以建议通过同时使用以下两种方式来禁止它。

1、robots.txt方法

User-agent: DataForSeoBot
Disallow: /

2、通过修改Nginx或其它WEB服务器规则禁止抓取

Nginx禁止DataForSeoBot爬虫规则如下:

if ($http_user_agent ~ "DataForSeoBot/1.0" )
{
      return 403;
}

另外还可以通过禁止IP访问权限的方式,但IP地址可能会变更,所以不推荐封禁IP。

技术

还在购买蜘蛛池做SEO?有用吗?

2022-4-27 2:59:55

技术

为什么说搜索引擎是“印钞机”,八藏科技为您全解析

2021-3-9 2:37:37

搜索