启新网站SEO优化另一方面，我们网站的内容属于个人私人文件，不想暴露在搜索引擎中。robot.txt解决这两个问题。
一、什么是robots.txt?
robots.txt它是网站和搜索引擎协议的纯文本文件。当搜索引擎蜘蛛访问网站时，它首先爬行检查网站的根目录是否存在robots.txt，
如果存在，请根据文件内容确定访问范围。如果没有，蜘蛛会沿着链接抓取。robots.txt放在项目根目录下。
二、robots.txt基本语法：
1)允许所有搜索引擎访问网站的所有部分
robots.txt写法如下：
User-agent:*
Disallow:
或者
User-agent:*
Allow:/
注：1.第一个英语应该大写，冒号是英语状态，冒号后面有一个空间，这些点不能写错。
2)禁止所有搜索引擎访问网站的所有部分
robots.txt写法如下：
User-agent:*
Disallow:/
3)只需禁止蜘蛛访问某个目录，如禁止蜘蛛访问某个目录admin、css、images索引等目录
robots.txt写法如下：
User-agent:*
Disallow:/css/
Disallow:/admin/
Disallow:/images/
注:路径后面有斜杠和没有斜杠的区别:比如Disallow:/images/禁止使用斜杠images整个文件夹，Disallow:/images没有斜杠意味着任何路径都有/images所有关键词都会被屏蔽
4)屏蔽文件夹/templets，但其中一个文件的写其中一个文件的写作方法：/templets/main
robots.txt写法如下：
User-agent:*
Disallow:/templets
Allow:/main
5)禁止访问/html/目录下的所有.php”为后缀的URL(含子目录)
robots.txt写法如下：
User-agent:*
Disallow:/html/*.php
6)只允许访问某个目录下的后缀文件，使用$”
robots.txt写法如下：
User-agent:*
Allow:.html$
Disallow:/
7)禁止索引网站中所有动态页面
例如，这里限制的域名是?index.php?id=1
robots.txt写法如下：
User-agent:*
Disallow:/*?*
8)，禁止搜索引擎在我们的网站上捕所有图片(如果您的网站使用其他后缀的图片名称，也可以直接添加到这里)
有时候，为了节省服务器资源，我们需要禁止各种搜索引擎在我们的网站上索引图片除了使用Disallow:/images除了直接屏蔽文件夹外，还可以直接屏蔽图片后缀名。
robots.txt写法如下：
User-agent:*
Disallow:.jpg$
Disallow:.jpeg$
Disallow:.gif$
Disallow:.png$
Disallow:.bmp$
三、写robots.txt注意：
1)第一个英语要大写，冒号在英语状态下，冒号后面有一个空间，一定不能写错。
2.）、斜杠：/代表整个网站
3)如果/后面有空间，则屏蔽整个网站
4)不禁止正常内容
5)生效时间为几天至两个月
四、robots.txt文件对网站优化有什么作用？
1.快速增加网站权重和访问量；
2.停止某些文件被搜索引擎索引，可以节省服务器带宽和网站访问速度；
3.为搜索引擎提供一个简单明了的索引环境
五、应用哪些网站的目录需求？robots.txt停止抓取文件？
1)图像目录
图像是网站的主要组成部分。现在建站越来越方便了，很多cms如果你真的能打字，你就会建立一个网站。正是因为如此方便，许多同质化模板网站在互联网上被重复使用。这样的网站搜索引擎一定不喜欢。即使你的网站被输入，你的角色也很差。如果你必须使用这个网站，主张你可能在robots.txt屏蔽文件，一般网站图像目录如下:imags或许img;
2)网站模板目录
cms强度和敏感性也导致了许多同质化的网站模板的呈现和无序使用。高度重复的模板在搜索引擎中形成了冗余，模板文件通常与生成文件高度相似，同样容易形成相同的内容。对搜索引擎非常不友好，严重的直接被搜索引擎进入冷宫，不能翻身，很多cms有独立的模板存储目录，因此，可能会屏蔽模板目录。一般模板目录的文件目录为：templets
3)、css、js目录的屏蔽
css目录文件在抓取搜索引擎时没有用途，也不能提供有价值的信息。因此，强烈提倡robots.txt屏蔽文件，提高搜索引擎的索引质量。为搜索引擎提供一个简单明了的索引环境，更容易提升网站的友好性。css款式目录一般为：css或许style，
js文件无法在搜索引擎中识别，这里只提倡屏蔽，这也有一个优点：为搜索引擎提供一个简单明了的索引环境；
4)屏蔽双页内容
这里拿dedecms来举例吧。dedecms静态和动态可以使用url访问同一内容。如果您生成全站静态，则需要屏蔽动态地址url连接。
这里有两个优点：
?①、静态搜索引擎url比动态的url输入更友好、更简单；
②、避免静态和动态url可以访问同一篇文章，被搜索引擎判定为重复内容。这对搜索引擎的友谊是有益和无害的。
5)模板缓存目录
许多cms程序都有缓存目录。我不认为我们理解这个缓存目录的优点。它可以非常有用地提高网站的访问速度，减少网站带宽，这对用户体验也很好。然而，这样的缓存目录也有一定的缺陷，也就是说，它会让搜索引擎重复抓取，网站内容重复也是一个大牺牲，对网站没有伤害。许多运用cms建站的兄弟没有注意到，需要注意。
6)被删除的目录
死链太多，对于搜索引擎优化，是致命的。不能不引起网站管理员的高度关注，。在网站的发展过程中，目录的删除和调整是不可避免的。如果您的网站目录不存在，则有必要进行此目录robots屏蔽，回到正确的404错误页面。
?????这里有一个有争议的问题，关于网站背景处理目录是否需要屏蔽，事实上，这是可有可无的。如果你的网站运营情况下，如果你的网站运营计划很小，即使网站目录出现了robots.txt文件中没有太多问题，我见过很多网站这样设置；但是，如果你的网站运营规划大，竞争对手太多，强烈提倡不要呈现网站后台管理目录的信息，以免被别有用心的人使用，危害你的利益；引擎越来越智能，网站的管理目录仍然可以很好地识别和放弃索引。另外，我们在做网站背景时，我们也可以在页面元标签中添加：屏蔽和捕获搜索引擎。
