什么是搜索引擎优化的可爬虫性和可索引性?

什么是可爬行性和可转位性？观看此视频将从互联网营销团队了解！

发言稿：

谷歌的搜索引擎结果页面（SERP）看起来可能很神奇，但是当你更仔细地看，你会发现这些网站出现在搜索结果中是因为爬行和索引。

这意味着您的网站要显示在搜索结果中，它需要是可爬行和可索引的。

搜索引擎有我们称之为爬虫的机器人。他们基本上是在互联网上找到网站，抓取他们的内容，跟踪网站上的任何链接，然后创建他们所抓取的网站的索引。

该索引是一个庞大的URL数据库，像谷歌这样的搜索引擎通过其算法对其进行排名。当您搜索某些内容并加载结果页面时，您会看到爬网和索引的结果。这是所有的网站，搜索引擎已经爬网，并认为相关的搜索基于一系列不同的因素。

我不会涉及谷歌和其他搜索引擎用来找出哪些内容与搜索相关的算法，但你可以查看我们的网站了解更多。

什么是可爬行性和可转位性？

爬行能力意味着搜索引擎爬虫可以阅读并跟踪站点内容中的链接。你可以把它们想象成蜘蛛在网上追踪大量的链接。

可索引性意味着您允许搜索引擎显示站点的页面在搜索结果中。

如果你的网站是可爬行和索引的，那就太棒了！如果不是这样，你可能会失去谷歌搜索结果的大量潜在流量。这种流量的损失会导致潜在客户的流失和业务收入的损失。

但是你怎么知道你的站点是否被索引了呢?

这很容易。转到谷歌或其他搜索引擎，输入站点：……然后输入您的站点地址。

您应该看到站点上有多少页面被索引的结果。

如果你什么也没看到，别担心，我会告诉你怎么修的!

如何对站点页面进行爬网和索引？

内部链接

你想让爬虫进入你网站的每个页面，对吗？

然后确保站点上的每个页面都有指向它的链接。

因此，以Target为例，您可以轻松地按照其导航中的链接从一页转到另一页。如果你点击女装，你可以看到更多不同类型服装的链接，然后在该菜单中看到更多特定类型服装的链接。有指向每个页面的链接，爬虫将遵循这些链接。

如果你没有很多内部链接，HTML站点地图可以为爬虫提供链接，以便在您的站点上进行跟踪。

HTML站点地图是供人们和搜索引擎使用的，它们列出指向站点上每个页面的链接。您通常可以在网站的页脚中找到它们。

但最好的做法是在网站的相关内容和导航选项卡中包含指向每个页面的链接。

导入链接

同样，链接对你的网站很重要。但是反向链接要比内部链接难得多，因为它们来自你公司以外的人。

当另一个站点包含指向您某个页面的链接时，您的站点将获得反向链接。因此，当爬虫通过外部站点时，只要允许它们跟随，它们就会通过该链接到达您的站点。如果在内容中链接到其他网站，也会发生同样的情况。

反向链接很难获得，但请查看我们的链接建设视频了解如何为您的业务赚取这些收入。

XML站点地图

这是一个很好的练习提交XML站点地图将您的站点的链接发送到Google搜索控制台。查看我们在XML站点地图上的视频，了解所有关于它们的信息。

但不是现在。是我发光的时候了。

这里有一个简短的总结。XML站点地图应该包含所有页面URL，以便爬虫程序知道您希望它们爬网的内容。它们不同于HTML站点地图，因为它们只针对爬虫。

您可以自己创建XML站点地图，使用XML站点地图工具，甚至使用插件(如果它与您的站点CMS兼容的话)。

但是不要在你的站点地图中包含你不想抓取和索引的链接。这就像是一个真正有针对性的电子邮件活动的登陆页面。

robots . txt

这个有点技术性。A.robots . txt文件是站点后端的一个文件，它告诉爬虫无法在站点上爬网和索引的内容。

如果您熟悉robots.txt，请确保您没有意外地阻止爬虫执行其工作。

如果你阻挡了一个爬行器，它看起来就像这样。术语用户代理指的是机器人抓取你的网站. 例如，谷歌的爬虫程序被称为谷歌机器人，而Bing的则是Bingbot。

如果你不确定如何识别问题或修改robots.txt文件，请与专家合作，以避免破坏你的网站。

好了，这就是我为你们提供的关于爬行性和可转位性的所有信息！

如果你想改进你网站的SEO策略，不要犹豫联系我们！

此外，查看我们的博客，以获得更多的网络营销知识!

再见！