扫二维码手机阅读乔选红网络营销博客

当前位置:首页 » SEO优化 » 正文

网站robots文件写作语法

794 人参与  2018年07月24日 21:17  分类 : SEO优化  点这评论

  根据具体情况,robots写作语法分别如下:

网站robots文件写作语法

  (1)允许所有搜索引擎抓取网站的所有内容:

  User-agent:*

  Allow:/

  (2)禁止所有搜索引擎抓取网站的所有内容:

  User-agent:*

  Disallow:/

  (3)禁止搜索引擎访问网站的某些目录,比如禁止访问admin:

  User-agent:*

  Disallow:/admin/

  (4)仅限于访问某一目录,可以用“$”加后缀目录,比如仅限于访问asp目录:

  User-agent:*

  Allow:.asps

  Disallow:/

  以上介绍的是robots 的基本用法,SEO人员可以根据具体情况综合使用。

来源:乔选红博客(微信/QQ号:1072540791),转载请保留出处和链接!

本文链接:https://qiaoxuanhong.com/726.html

本文标签:robots  robots文件  robots语法  

微信公众号:qiaoxuanhong1989

新浪微博:乔选红

加入【互联网精英创享联盟】QQ群: 176737370(加群验证:乔选红博客)

欢迎收藏本站,每天更新高质量网络营销干货。

<< 上一篇 下一篇 >>

相关文章

  • 关于本站 - 免费声明 - 广告服务 - 链接出售 - 网站招聘 - 投稿中心 - 联系我们 - 认识博主 - 标签列表 - 网站地图 - 百度统计
  • Copyright © 2016-2020 乔选红博客 版权所有 苏ICP备14049827号-2
  • 我们提供网络营销推广网络营销策划网络营销培训服务