克琳网
您所在的位置:首页 > 站长资讯 > 一般的网站都有robots.txt吗?

一般的网站都有robots.txt吗?

http://zhenjied.cn |2020-06-27 04:05:16

有的网站,不想让蜘蛛抓取某些内容,就将这个内容的规则写在Robots里面。比如一些动态链接,JS,或者死链接等。 一般正经做seo的网站都会有robots文件,这个文件是减少蜘蛛抓取没有必要的内容,你说的这个网站的robots写和不写没有什么区别。 你要是不写,默认的是搜索引擎可以抓取任何页面。如果你不想让抓取某些页面可以写成Disallow:规则 你可以查看下http://www.seowhy.com/robots.txt

一般网站都有Robots.txt吗?
查看解释:什么是robots.txt文件? 关于这位朋友的robots写法,没有绝对错误,但不是一个好的robots写法。 参照:robots.txt文件用法举例

写了相当没写,允许全部搜索引擎访问任何页面。

你朋友写错了吧,这样写的话。跟不写区别不大啊


图片
  • H2标签和内页title
  • Apple Pay 走向 WAP,移动支付三国大战愈演愈烈
  • 互联网转型 警惕移动应用市场规范缺失