什么是 Robots.txt 文件？
Posted: Sat Jan 04, 2025 3:51 am
但是您需要将它们编入将您的 XML 站点地图链接在一起的特定站点地图索引文件中 。
Robots.txt
Robots.txt 是对您网站的 SEO 最重要的 TXT 文件之一。它本质上是一个 TXT 文件，用于告诉搜索引擎爬虫哪些网站需要索引，哪些网站需要禁止。Google 会定期读取 robots.txt 以获取指令，告诉它如何读取您的网站。这意味着，如果您 摩洛哥 WhatsApp 负责人 的网站上有您不希望出现在搜索引擎结果中的私人页面，您可以使用 robots.txt 告诉 Google 禁止它们。
但是，因为您依赖搜索机器人来遵守这些指令，所以最好对机密页面使用密码保护。
您需要 robots.txt 文件吗？假设您的网页已正确超链接，Google 会为您的网站编制索引，无论您是否有 TXT 文件。无论您是否有 robots.txt 文件，Google 都会禁止搜索结果中出现重复或不相关的网页。
但是，如果您有私人页面或大量页面，则需要在您的网站上放置 robots.txt 文件。它将控制您的抓取预算，并保证您的私人页面不被泄露。
如果您对 robots.txt 文件不做任何更改，搜索引擎将默认抓取您的所有网站。
如何创建并向 Google 提交 Robots.txt 文件
第一步就是找到文件。将其放在根目录中，例如：
User-agent : bot
Disallow : /nobot/
这就确保了该网站网址example.com/nobot/ 不会被用户“机器人”编入索引。
制作 Robots.txt 文件：
使用简化的文字编辑器，例如记事本（即不采用自动格式化功能）。
确保您使用的 TXT 文件是 UTF-8 编码的，否则 Google 可能无法识别它。
如上所述，每行都以“User-agent”行开头。每行仅包含一个指令。
一组行组合在一起称为“组”，包含针对目标用户代理的指令，并指示哪些目录可访问以及哪些目录是不允许的。
请记住，搜索引擎机器人会从上到下阅读 robots.txt 文件。使用“#”写下您的评论。
将 TXT 文件上传至 Google
不同的网站提供商以不同的方式将 TXT 文件上传到他们的网站。如果您使用的是 WordPress 之类的 CMS，请查看其文档、常见问题解答或论坛，以了解如何将 robots.txt 文件上传到网站的根目录中。
有些设置会直接修改 robot.txt 文件，因此请小心。如果您无法索引 WordPress 网站，请确保未选中此复选框。
如果您的网站未被编入索引，请检查此 WordPress 设置。
文件上传后，您无需执行任何其他操作。搜索引擎爬虫会自动读取 TXT 文件，因此请注意它对搜索引擎优化 统计数据的影响。
Robots.txt
Robots.txt 是对您网站的 SEO 最重要的 TXT 文件之一。它本质上是一个 TXT 文件，用于告诉搜索引擎爬虫哪些网站需要索引，哪些网站需要禁止。Google 会定期读取 robots.txt 以获取指令，告诉它如何读取您的网站。这意味着，如果您 摩洛哥 WhatsApp 负责人 的网站上有您不希望出现在搜索引擎结果中的私人页面，您可以使用 robots.txt 告诉 Google 禁止它们。
但是，因为您依赖搜索机器人来遵守这些指令，所以最好对机密页面使用密码保护。
您需要 robots.txt 文件吗？假设您的网页已正确超链接，Google 会为您的网站编制索引，无论您是否有 TXT 文件。无论您是否有 robots.txt 文件，Google 都会禁止搜索结果中出现重复或不相关的网页。
但是，如果您有私人页面或大量页面，则需要在您的网站上放置 robots.txt 文件。它将控制您的抓取预算，并保证您的私人页面不被泄露。
如果您对 robots.txt 文件不做任何更改，搜索引擎将默认抓取您的所有网站。
如何创建并向 Google 提交 Robots.txt 文件
第一步就是找到文件。将其放在根目录中，例如：
User-agent : bot
Disallow : /nobot/
这就确保了该网站网址example.com/nobot/ 不会被用户“机器人”编入索引。
制作 Robots.txt 文件：
使用简化的文字编辑器，例如记事本（即不采用自动格式化功能）。
确保您使用的 TXT 文件是 UTF-8 编码的，否则 Google 可能无法识别它。
如上所述，每行都以“User-agent”行开头。每行仅包含一个指令。
一组行组合在一起称为“组”，包含针对目标用户代理的指令，并指示哪些目录可访问以及哪些目录是不允许的。
请记住，搜索引擎机器人会从上到下阅读 robots.txt 文件。使用“#”写下您的评论。
将 TXT 文件上传至 Google
不同的网站提供商以不同的方式将 TXT 文件上传到他们的网站。如果您使用的是 WordPress 之类的 CMS，请查看其文档、常见问题解答或论坛，以了解如何将 robots.txt 文件上传到网站的根目录中。
有些设置会直接修改 robot.txt 文件，因此请小心。如果您无法索引 WordPress 网站，请确保未选中此复选框。
如果您的网站未被编入索引，请检查此 WordPress 设置。
文件上传后，您无需执行任何其他操作。搜索引擎爬虫会自动读取 TXT 文件，因此请注意它对搜索引擎优化 统计数据的影响。