青岛利群网络为您提供专业的seo服务,多年seo经验,可为您量身打造营销体系,多渠道提升业绩。咨询QQ285886280点击这里给我发消息

wordpress robots.txt文件怎么写

seo干货 青岛seo 199次浏览 0个评论
无论什么cms robots文件都是重要的,用来告诉搜索引擎网站那些文件是可抓取,哪些是禁止抓取的,如果不设置这个文件就会出现很多后台文件或者数据库文件被抓取,不仅浪费抓取资源,对搜索引擎也不友好,那么robots文件该怎么设置呢?
对于wordpress来说,文章在数据库里面存着,显示单篇文章的时候会先从数据库查询出来这篇文章的数据,再套到模版(single.php)中,最终生成你看到的文章页面,并不是以文件的形式存储的,所以根目录文件夹可以屏蔽掉。
下面是一个网友的robots案例,大家可以参考
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /*?*
Disallow: /attachment/
————————————————

wordpress robots.txt文件怎么写?大家可以根据上面的删除不要的,然后上传到网站根目录,然后去百度站长平台,进行检测,如下图,js文件百度蜘蛛将不再抓取。以上是唐山seo为您提供的解答。更多seo相关问题,可以关注好问网络。

青岛seo , 版权所有丨如未注明 , 均为原创丨本文网址:wordpress robots.txt文件怎么写 http://www.seoqingdao.com/60.html
喜欢 (1)
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址