网站robots文件写作语法

　　根据具体情况,robots写作语法分别如下:

　　(1)允许所有搜索引擎抓取网站的所有内容:

　　User-agent:*

　　Allow:/

　　(2)禁止所有搜索引擎抓取网站的所有内容:

　　User-agent:*

　　Disallow:/

　　(3)禁止搜索引擎访问网站的某些目录,比如禁止访问admin:

　　User-agent:*

　　Disallow:/admin/

　　(4)仅限于访问某一目录,可以用“$”加后缀目录,比如仅限于访问asp目录:

　　User-agent:*

　　Allow:.asps

　　Disallow:/

　　以上介绍的是robots 的基本用法,SEO人员可以根据具体情况综合使用。

来源：乔选红博客（微信/QQ号：1072540791），转载请保留出处和链接！

本文链接：https://qiaoxuanhong.com/726.html