手机版 微信公众号 新浪微博 友情链接
当前位置: 网站首页 > 网站运营 > 搜索优化 > 文章 当前位置: 搜索优化 > 文章

教新手如何创建Robots.txt文件,在高手面前班门弄斧,罪过

时间:2010-01-04    点击: 次    来源:互联网    作者:佚名 - 小 + 大

如何创建 robots.txt 文件?
您可以在任何文本编辑器中创建此文件。该文件应为 ASCII 编码的文本文件,而非 HTML 文件。文件名应使用小写字母。

最简单的 robots.txt 文件使用两条规则:
(1)User-Agent: 适用下列规则的漫游器
(2)Disallow: 要拦截的网页
这两行被视为文件中的一个条目。您可根据需要包含任意多个条目。您可在一个条目中包含多个 Disallow 行和多个
User-Agent。

应在 User-Agent 行中列出什么内容?
user-agent 是特定的搜索引擎漫游器。网络漫游器数据库列出了许多常用漫游器。您可设置应用于特定漫游器的条目
(通过列示名称)或设置为应用于所有漫游器(通过列示星号)。应用于所有漫游器的条目应与下列条目类似:

User-Agent:*
Google 使用多种不同漫游器(用户代理)。用于网络搜索的漫游器是 Googlebot。Googlebot-Mobile 和 Googlebot-
Image 等其他漫游器遵循您为 Googlebot 设置的规则,您还可为这些特定漫游器设置附加规则。

应在 Disallow 行中列出什么内容?
Disallow 行列出了您要拦截的网页。您可列出具体网址或网址模式。条目应以正斜杠开头 (/) 开头。

要拦截整个网站,请使用正斜扛。

Disallow:/
要拦截目录及其中的所有内容,请在目录名后添加正斜扛。

Disallow:/private_directory/
要拦截网页,请列出该网页。

Disallow:/private_file.html
网址区分大小写。

上一篇:百度排名NO.1是怎样SEO成功的?

下一篇:权威 SEO领域新词汇

  • Copyright © 2009—2024 ,www.zouzhiqiang.com,All Rights Reserved. |  黔ICP备2023009491号-1  |  贵公网安备52010302003427号
  • 关于本站  |  网站声明  |  网站导航  |  留言交流  |  友情链接  |  祝福频道  |  微信公众号  |  新浪微博  |  我的大学  |  我的高中  |  简历2009
  • 版权声明:凡注明本站原创文章、作品,未经本人许可,任何人或机构不得以任何形式对本站内容进行复制作商业用途.
  • 本站部分文章、资源来自互联网,版权归原作者及网站所有,如果侵犯了您的权利,请及时致信告知我站.
  • 地址:中国·贵州·贵阳  邮编:550018   微信公众号:WEBZZQ  邮箱:admin@zouzhiqiang.com
  • QQ:470870191 欢迎各位站长加入个人网站交流讨论QQ群: 15410235
  • 访问统计: