网站优化
当前位置:主页 > 公司资讯 > 网站优化 >
SEO优化-robots.txt解读
发布日期:2019-09-10 阅读次数: 字体大小:

一、什么是robots.txt

robots.txt 文件由一条或多条规则组成。每条规则可禁止(或允许)特定抓取工具抓取相应网站中的指定文件路径。

通俗一点的说法就是:告诉爬虫,我这个网站,你哪些能看,哪些不能看的一个协议。

二、为什么要使用robots.txt

搜索引擎(爬虫),访问一个网站,首先要查看当前网站根目录下的robots.txt,然后依据里面的规则,进行网站页面的爬取。 也就是说,robots.txt起到一个基调的作用,也可以说是爬虫爬取当前网站的一个行为准则。

那使用robots.txt的目的,就很明确了。

  • 更好地做定向SEO优化,重点曝光有价值的链接给爬虫
  • 将敏感文件保护起来,避免爬虫爬取收录

三、robots.txt的示例

栗子如下:

User-agent: Googlebot
Disallow: /nogooglebot/

User-agent: *
Allow: /

 

四、文件规范

1、文件格式和命名

  • 文件格式为标准 ASCII 或 UTF-8
  • 文件必须命名为 robots.txt
  • 只能有 1 个 robots.txt 文件

2、文件位置

必须位于它所应用到的网站主机的根目录下

3、常用的关键字

  • User-agent 网页抓取工具的名称
  • Disallow 不应抓取的目录或网页
  • Allow 应抓取的目录或网页
  • Sitemap 网站的站点地图的位置

五、百度网盘的应用

百度网盘的资源,到博文编写时间为止,已经不能用常用的搜索技巧site:pan.baidu.com 搜索关键字的方式,在baidu.com|google.com|biying.com(国际版还可以勉强搜索到)去搜索对应的资源。 禁止的方式,很大程度上是依靠robots.txt,而不是请去喝茶