网站所有者常常很难及时将他们的内容编入索引。除非是大型网站,否则搜索引擎可能每隔几天就会抓取一次新的URL。为了解决这个问题并提高抓取效率,Microsoft Bing和Yandex合作,创建了一个新的基于API的协议IndexNow。bluehost美国虚拟主机分享IndexNow:Bing提高抓取效率的最新方法
什么是IndexNow?
IndexNow是一个协议,它可以让你通过HTTP请求去通知搜索引擎有关网站上的任何更改。通过每次API调用,网站所有者都可以使用IndexNow为搜索引擎提供一个列表,其中包含多达一万个在网站上已更改的URL。推荐阅读:《移动搜索引擎优化如何建立索引?》
IndexNow旨在提高互联网的效率。它试图通过消除探索性抓取的需要来帮助搜索引擎提高抓取效率。
领先的CDN如何支持最新的Bing倡议
Microsoft Bing公司首席项目经理Fabrice Canel认为,内容交付网络(Content Deliver Networks,CDN)是采用IndexNow的关键。
当用户更新其网站上的内容时,CDN通常是第一个知道的。此外,他们对爬虫行为有深入的见解,可以有效地利用IndexNow。
根据W3Techs的说法,Cloudflare是世界上最大的代理服务商,它已经为IndexNow提供了支持。他们已经将它集成到他们的爬虫提示服务中,并将其免费提供给其用户。
同样,另一家领先的CDN服务提供商Akamai也宣布支持IndexNow,以便其客户的缓存内容发生变化时可以更轻松地向搜索引擎发送通知。
在业界领先的CDN的支持下,搜索引擎爬取很可能很快就会从主动转向被动。
IndexNow和Google索引API之间的区别
Google早在2018年就推出了索引API。虽然IndexNow采取了类似的方式,但它将其推广给了大众,而不是互联网的一小部分用户。
Google的API只适用于有工作公告和直播内容的页面。相比之下,IndexNow支持所有内容类型。
每次API调用,它最多接受一万个URL,而Google只支持一百个。而且,IndexNow的实现过程很简单,而Google的要复杂得多。
IndexNow与XML站点地图:为什么基于API的方法抓取内容是大势所趋
传统的指数化方法已经过时。网站所有者更新网站地图,点击搜索引擎,等待他们对网站地图进行爬网,发现变化之后,然后再对这些内容进行抓取和索引。
IndexNow通过提前向搜索引擎提供所需信息来解决这个问题。搜索引擎爬虫不需要反复检查站点地图以获取新信息。
与XML网站地图不同的是,IndexNow只帮助网站所有者将爬虫重定向到网站的页面上,它允许网站所有者通知搜索引擎非200状态代码页面,如403、301和302。
但这并不意味着网站地图无关紧要。Bing和Yandex只代表了互联网的一小部分。最主要的搜索引擎Google仍在测试IndexNow,尚未宣布任何采用它的计划。
Google拥有构建IndexNow替代品所需的基础设施。他们只需要修改和升级它。但是,不管他们的决定如何,很明显,索引转向基于API的方法的未来并不遥远。推荐阅读:《每个小型企业都需要的SEO搜索引擎优化》
如何开始使用IndexNow
实现IndexNow协议很容易。你可以使用以下四个步骤自己完成:
1.生成API密钥
使用Bing的在线密钥生成工具生成验证域所有权所需的API密钥。
2.存放API密钥
将生成的密钥放在网站的根目录,或者服务器的其他位置的UTF-8编码的.txt文件中。如果你选择后者,则需要在每次提交URL时指定存放密钥文件的位置。
3.提交URL
使用POST JSON请求,以推荐的格式提交每个搜索引擎的URL。
4.监控网站
使用Bing网站管理员工具监控你提交的URL和Bing发现的URL。
总结——IndexNow:搜索引擎抓取与索引的未来
IndexNow为未来的抓取和索引奠定了基础——更快、更有效。通过与Cloudflare等市场领导者的合作,微软和Yandex为它的大规模应用做了完美的定位。
请确保你已准备好使用IndexNow,在Bluehost的虚拟主机上建立一个经得起未来考验的网站。推荐相关阅读:《企业如何进行本地搜索引擎优化》