• wordpress CMS主题:ssmay主题 wordpress CMS主题:ssmay主题
  • 首页 > wordpress新手建站 > WP菜鸟建站23:wordpress网站的robots文件代码怎样写比较好?

    WP菜鸟建站23:wordpress网站的robots文件代码怎样写比较好?

    作者: 分类:wordpress新手建站 点击: 69 次
    wordpress CMS主题:ssmay主题

      扫描下面的二维码,“关注”我的头条号,我会每天更新免费视频课程。

      为什么要给wordpress网站创建一个robots.txt文件?问到这个问题,我们就不得不说一下搜索引擎蜘蛛爬取我们的wordpress网站时的原理了。搜索引擎蜘蛛从某个网站入口(如:其它网站给我们wordpress网站做的友情链接 或 通过我们的wordpress网站的某个页面)进入到我们的wordpress网站,然后,在我们网站没有针对搜索引擎的爬取设置相应的规则时,蜘蛛就会毫无顾虑地爬向我们网站的任何地方,包括我们网站的核心代码——wordpress程序的所有php代码。还有我们wordpress网站的其它隐私。

      wordpress建站 2020视频教程

      而对于我们这些认真做站的wordpress站长们,只希望搜索引擎们快速地抓取我们的web前端页面,以利于我们wordpress网站的自然排名,而不是让蜘蛛们把时间浪费在我们的那些后端代码文件上。所以,我们就要为我们的wordpress网站添加一个限制蜘蛛爬取的文件(robots.txt),规定蜘蛛可以爬取哪些地方,哪些地方不让它们进去,等于给我们的wordpress网站请了一个门卫。那么,怎样写这个robots.txt文件内容呢?

      一、wordpress自动创建的robots.txt。

      一般情况下,在我们为网站安装好wordpress程序后,wordpress会网站根目录自动为我们的网站创建一个robots.txt文件(如下图)。

      我们可以看到,wordpress程序只是为网站的robots.txt文件添加了3句简单的代码:

      User-agent: *

      Disallow: /wp-admin/

      Allow: /wp-admin/admin-ajax.php

      从上面的代码中,wordpress不允许搜索引擎蜘蛛爬取/wp-admin/目录,但允许蜘蛛爬取/wp-admin/admin-ajax.php文件。

      二、手动修改worddpress网站的robots.txt文件内容。

      在wordpress程序自动创建的robots.txt文件代码,显然不能满足我们网站的要求。作为资深的wordpress站长,我们当然了解,我们的wordpress网站哪些地方是不能让搜索引擎蜘蛛爬取的,如: wordpress程序的核心文件目录/wp-admin/和/wp-includes/、我们给网站安装的插件目录/wp-content/plugins/和wordpress主题模板目录/wp-content/themes/。当然,每一个wordpress站长,可能都有这样那样的不想让搜索引擎爬取的地方。

      下面是锐锋堂网站的robots.txt内容:

      User-Agent: * (*星号,表示允许所以的搜索引擎蜘蛛)

      Disallow: /wp-admin/ (disallow 表示不允许,不允许爬取/wp-admin/核心文件目录)

      Disallow: /wp-includes/ (不允许爬取/wp-includes/核心文件目录)

      Disallow: /wp-content/plugins (不允许爬取wordpress插件目录)

      Disallow: /wp-content/themes (不允许爬取wordpress主题目录)

      Disallow: /plus/ad_js.php (不允许爬取这个PHP文件)

      Disallow: /plus/posttocar.php

      Disallow: /anli/weixin (其它目录)

      Disallow: /themes

      Disallow: /get_activation

      Disallow: /*?* (不允许蜘蛛爬取URL中带问号的链接)

      Disallow: /*&* (不允许蜘蛛爬取URL中带&的链接)

      Disallow: /*.rar (不允许蜘蛛爬取rar后缀的文件)

      Disallow: /*.zip (不允许蜘蛛爬取zip后缀的压缩文件)

      Sitemap: http : //wanlimm . com/sitemap.html (允许蜘蛛爬取网站静态地图)

      Sitemap: http : //wanlimm . com/sitemap.xml (允许蜘蛛爬取sitemap网站地图)

      三、robots.txt关键词的简单解说。

      上面,只是对锐锋堂的robots.txt文件代码进行一次解说。作为wordpress站长的你,应该根据自己网站的不同情况,在自己网站的robots.txt文件中添加对应的代码。其实,robots.txt代码的规则还是非常简单的,就那么几个关键词:User-Agent(搜索引擎蜘蛛名)、Disallow(不允许)、Allow(允许)、Sitemap(指定网站的地图文件)。

      如果我们只想让百度蜘蛛爬取我们的wordpress网站,而不让其它的搜索引擎蜘蛛进我的网站爬取,我们可以把上面代码中的User-Agent:* 修改成 User-Agent:baiduspider 。

      另外,“Disallow: /wp-admin/” 与 “Disallow: /wp-admin”也表示不同的意思,虽然后面的只少了一个斜杠。“Disallow: /wp-admin/”表示禁止搜索引擎蜘蛛爬取网站wp-admin目录下的目录,但include目录中的文件仍然可以爬取;而“Disallow: /wp-admin”表示禁止搜索引擎蜘蛛爬取网站wp-admin整个目录,包括其下的所有文件。

      如果想禁止搜索引擎蜘蛛爬取全站,可以用 Disallow: / ;

      如果想允许搜索引擎蜘蛛可以爬取全站,可以用Allow:/;

      如果想禁止搜索引擎蜘蛛爬取wordpress网站的全部PHP文件,可以用Disallow: /*.php 。

      以上就是我们今天介绍的所有内容——如何为我们的wordpress网站添加robots.txt文件?每一个wordpress网站,可能的限制不一样,所以,我们都要根据自己网站情况,做出相应的修改,以达到最佳效果。注意:Disallow: /可千万要小心用哦,除非在我们wordpress网站的建站初期——网站还在建设当中,不希望搜索引擎来打扰。但一定要记住,等网站做好了,一定要去掉这个Disallow: / 。



      欢迎“关注”我的头条号,我会每天更新免费视频课程。

      头条二维码
      关注我的头条号
      头条二维码
      加入我的QQ群

    文章作者:码不停蹄
    本文地址:http://wanlimm.com/77202006018139.html
    版权所有 © 转载时必须以链接形式注明作者和原始出处!

    上一篇:
    下一篇:
    wordpress CMS主题:ssmay主题

    或许你会感兴趣的文章:

    发表评论

    电子邮件地址不会被公开。 必填项已用*标注

    This site uses Akismet to reduce spam. Learn how your comment data is processed.