robots.txt的简单介绍

目录：

• 1、网站的robots.txt文件在哪
• 2、wordpress中robots.txt不显示怎么办
• 3、robots.txt不写行不行
• 4、robots.txt应该放在什么地方

网站的robots.txt文件在哪

所谓的根目录就是你的网站程序所在的那个目录，一般的根目录貌似都是个叫WEB或者www文件夹

robots.txt文件必须驻留在域的根目录，并且必须命名为“robots.txt”。

位于子目录中的robots.txt文件无效，因为漫游器只在域的根目录这个文件。

例如，是有效位置。

但是，不是。

wordpress中robots.txt不显示怎么办

解决办法：

1、首先打开程序，在wp-includes目录下找到functions.php文件；

2、然后用记事本打开或者是用dreamweaver 打开，用dreamweaver进行编辑，打开functions.php文件，找到function do_robots() ，大概在1070行左右，可以看到系统默认的robots.txt文件的定义规则。

3、按照上面的规则样式来重新编写，将网站需要添加的内容添加到这段代码里面。

4、添加好之后然后点击保存，这时候就可以打开网站查看网站robots.txt是否完整了

robots.txt不写行不行

行的。

robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。

当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件

不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

robots.txt应该放在什么地方

您好楼主：

robots.txt是要放到根目录下面的。

所谓的根目录就是你的网站程序所在的那个目录，一般的根目录貌似都是个叫WEB或者www文件夹

robots.txt文件必须驻留在域的根目录，并且必须命名为“robots.txt”。

位于子目录中的robots.txt文件无效，因为漫游器只在域的根目录这个文件。

例如，是有效位置。

但是，不是。

如果您没有访问域的根目录，可以使用限制访问robots元标记。