如何在 WordPress 中轻松编辑 Robots.txt 文件(手把手)

您想知道如何在 WordPress 中编辑 robots.txt 文件吗?

robots.txt 文件是一个强大的搜索引擎优化工具,因为它是搜索引擎抓取机器人(robots)的网站指南。告诉机器人不要抓取不必要的页面,可以提高网站的加载速度和在搜索引擎中的排名。

在本篇文章中,我们将逐步向您展示如何在 WordPress 中编辑 robots.txt 文件。我们还将介绍什么是 robots.txt 文件以及它的重要性。

什么是 robots.txt 文件?

robots.txt 文件告诉搜索引擎如何抓取您的网站–允许或不允许它们去哪里。

Google 等搜索引擎使用这些网络爬虫(有时称为网络机器人)对网站进行归档和分类。

大多数机器人在读取网站的任何其他文件之前,都会在服务器上搜索 robots.txt 文件。它这样做是为了查看您是否添加了关于如何抓取和索引您网站的特殊说明。

robots.txt 文件通常存储在根目录下,也称为网站的主文件夹。

URL 可以是这样的

http://www.example.com/robots.txt

要检查自己网站的 robots.txt 文件,只需将 http://www.example.com/ 替换为自己的域名,并在末尾添加 robots.txt。

现在,让我们看看 robots.txt 文件的基本格式:

User-agent 指的是您要阻止或允许其抓取网站的搜索引擎机器人(如 Googlebot 爬虫)。

在编辑 robots.txt 文件时,您可以包含多个指令来允许或禁止特定 URL,还可以添加多个网站地图。您还可以使用 Clean-param 指令排除 URL 参数,并使用 Crawl-delay 指令设置搜索机器人的访问频率。

WordPress 中的默认 robots.txt 文件

默认情况下,WordPress 会自动为您的网站创建 robots.txt 文件。因此,即使您不动动手指,您的网站也应该已经有了默认的 WordPress robots.txt 文件。

但是,当您以后用自己的规则自定义它时,默认内容就会被替换掉。

下面是默认的 WordPress robots.txt 文件:

User-agent: *

Disallow: /wp-admin

Allow: /wp-admin/admin-ajax.php

User-agent 后面的星号:* 表示 robots.txt 文件适用于访问网站的所有网络机器人。如前所述,Disallow:/wp-admin/ 告知机器人不要访问您的 wp-admin 页面。

您可以在域名末尾添加 /robots.txt 来测试您的 robots.txt 文件。例如,在浏览器中输入 “https://aioseo.com/robots.txt”,就会显示 AIOSEO 的 robots.txt 文件:

The robots.txt file for All in One SEO

既然您已经知道了 robots.txt 文件是什么以及它是如何工作的,那么我们首先来看看为什么 robots.txt 文件很重要。

为什么 Robots.txt 文件很重要?

How to easily edit a robots.txt file in WordPress (step by step)

主要有以下作用:

  • 优化网站加载速度–告诉机器人不要在不想让它们抓取和索引的页面上浪费时间,这样就可以释放资源,提高网站加载速度。
  • 优化服务器使用–阻止浪费资源的机器人可以清理服务器并减少 404 错误。

何时使用元 noindex 标签而不是 Robots.txt

如果您的主要目标是阻止某些页面被搜索引擎收录,那么使用 meta noindex 标签是正确的做法。

这是因为 robots.txt 并不是直接告诉搜索引擎不要索引内容,而只是告诉它们不要抓取。

换句话说,您可以使用 robots.txt 为搜索引擎和其他机器人如何与您的网站互动添加特定规则,但它不会明确控制您的内容是否被索引。

说到这里,让我们来教你如何使用 AIOSEO 一步步轻松编辑 WordPress 中的 robots.txt 文件。

使用 AIOSEO 编辑 WordPress 中的 robots.txt 文件

编辑 robots.txt 文件的最简单方法是使用最好的 WordPress SEO 插件 All in One SEO (AIOSEO)。

AIOSEO is a powerful tool that can help you edit your robots.txt files in WordPress.

AIOSEO 是一款功能强大、简单易用的搜索引擎优化插件,拥有 300 多万用户。

这意味着数以百万计的聪明博主使用 AIOSEO 来帮助他们提高搜索引擎排名,并为他们的博客带来高质量的流量。

这是因为该插件拥有许多强大的功能和模块,旨在帮助您正确配置搜索引擎优化设置。例如:

  • 搜索统计:功能强大的 Google Search Console 集成可让您跟踪关键字排名,一键查看重要的搜索引擎优化指标等。
  • 下一代模式生成器:这款无代码模式生成器可让用户生成并输出网站上的任何模式标记。
  • 重定向管理器:帮助你管理重定向和消除 404 错误,让搜索引擎更容易抓取和索引你的网站。
  • 链接助手:功能强大的内部链接工具,可自动在网站页面之间建立链接。它还能对外向链接进行审计。
  • 搜索引擎优化预览:它可让您全面了解搜索和社交片段以及一般搜索引擎优化情况,以便您改进优化工作。
  • IndexNow:在支持 IndexNow 协议的搜索引擎(如 Bing 和 Yandex)上快速索引。
  • 网站地图生成器:自动生成不同类型的网站地图,将网站的任何更新通知所有搜索引擎。
  • 还有更多

用户喜欢该插件的一个原因是,它能让您更好地控制搜索引擎如何抓取您的网站。这要归功于先进的 robots.txt 编辑器,它可以让您轻松配置 robots.txt 文件,从而覆盖 WordPress 的默认文件。

那么,让我们开始编辑 robots.txt 文件吧。

要编辑 Robots.txt 文件,首先要启用自定义 Robots.txt
要编辑 robots.txt 文件,请单击 All in One SEO 菜单中的工具,然后单击 Robots.txt 编辑器选项卡。

How to edit a robots.txt file in WordPress using AIOSEO.

然后,AIOSEO 会生成一个动态的 robots.txt 文件。文件内容存储在 WordPress 数据库中,可以在网络浏览器中查看,稍后我们将向您展示。

进入 Robots.txt 编辑器后,你需要启用自定义 Robots.txt。

How to edit a robots.txt file in WordPress using AIOSEO - enable custom robots.txt

点击按钮,使其变为蓝色。

然后,您会看到屏幕底部的 Robots.txt 预览部分,其中显示了 WordPress 的默认规则,您可以用自己的规则覆盖这些规则。默认规则告诉机器人不要抓取 WordPress 核心文件(管理页面)。

Robots.txt preview in All in One SEO

现在,我们开始添加自己的规则。有两种方法:使用规则生成器或从其他网站导入 robots.txt 文件。

方法 1:使用规则生成器添加规则

规则生成器用于添加自己的自定义规则,规定机器人应抓取哪些页面或不抓取哪些页面。

例如,如果您想添加一条阻止所有机器人抓取临时目录的规则,就可以使用规则生成器。

要添加自定义规则,请在 User Agent 字段中输入 User Agent(例如,Googlebot 爬虫)。或者使用 * 符号将规则应用于所有用户代理(机器人)。

接下来,选择预设的 robots.txt 指令之一:允许、禁止、清洁参数或抓取延迟。

Adding robots.txt rules in All in One SEO

您还可以点击添加规则按钮来添加更多指令。

确定要应用的指令后,您需要在值字段中输入目录路径或文件名。

完成后,就可以点击页面右下角的保存更改按钮了。

保存新规则后,它们就会出现在 Robots.txt 预览部分。

Robots.txt preview in All in One SEO

要查看 robots.txt 文件,请单击 Open Robots.txt 按钮。

Open robots.txt in All in One SEO

这将带您进入存放 robot.txt 的 URL。

方法 2:从其他网站导入规则

另一种在 robots.txt 中添加指令的简单方法是从其他网站导入指令。如果您创建了一个网站或知道一个网站有 robots.txt 文件,想复制它,这个功能就很方便。

要从其他网站导入 robots.txt 文件,请进入 AIOSEO 菜单,然后选择 “工具” Robots.txt ” 启用自定义 Robots.txt。

接下来,点击导入选项。

Using the Import option to add a custom robots.txt file to your site.

这将打开一个窗口,您可以在其中粘贴要从其中提取 robots.txt 文件的网站 URL。

Enter your URL or copy and paste a robots.txt file in the required fields.

单击 “导入”,系统会提示您重新加载网站。重新加载后,插件将提取 robots.txt 文件并在网站上实施。

或者,您也可以从目标网站复制 robots.txt 文件,然后粘贴到提供的空白处。再次点击 “导入”,robots.txt 文件就会添加到您的网站。

这可能是向 WordPress 网站添加自定义 robots.txt 文件的最简单方法。

使用规则生成器编辑 robots.txt 规则

要编辑 robots.txt 规则,可以在规则生成器中更改细节。

Editing a robots.txt file rule in All in One SEO

您还可以单击 robots.txt 规则右侧的垃圾桶图标,删除该规则。

这还不是全部!AIOSEO的robots.txt编辑器允许您上移或下移规则,以便按优先顺序排列。要做到这一点,点击并按住垃圾桶旁边的 6 个点,拖动并重新定位规则。

You can click ion and hold the 6 dots next to the trash can to drag robots.txt rules into a new position.

完成 robots.txt 编辑后,单击 “保存更改 “按钮保存新规则。

就这么简单!

您已经编辑了 robots.txt 文件。

编辑 Robots.txt 文件:常见问题解答

什么是 robots.txt 文件?
robots.txt 文件是一个文本文件,网站所有者用它与网络爬虫或机器人交流,说明搜索引擎应该抓取和索引网站的哪些内容。

robots.txt 文件位于何处?
robots.txt 文件通常位于网站的根目录下。其 URL 通常为 https://www.example.com/robots.txt。

编辑 robots.txt 文件的最佳方法是什么?
编辑 robots.txt 文件的最佳方法是使用 All In One SEO (AIOSEO) 这样的插件。它是最好的WordPress搜索引擎优化插件,拥有先进的robots.txt编辑器,让优化robots.txt文件变得超级简单。

希望本教程能让您了解如何在 WordPress 中轻松编辑 robots.txt 文件。您可能还想看看我们博客上的其他文章,比如我们的获得 Google 索引的技巧或使用搜索统计提高排名的指南。

声明:
1、MuTouTalk是一个资源分享和技术交流平台,本站全部资料仅供个人学习和研究使用
2、帖子内容作者同本站拥有相关版权
3、任何个人或组织,在未征得本站以及该贴作者同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台
4、如若本帖作者内容侵犯了原著者的合法权益,请发邮件到xiaojie777898@163.com, 本站审核通过后会24小时内立即予以处理。
MUTOU TALK » 如何在 WordPress 中轻松编辑 Robots.txt 文件(手把手)

提供最优质的IT资源集合,一切资源来源于网络,找到你想要的!

开通VIP 了解详情