什么是动态渲染以及如何使用它来改进 JavaScript 爬行

mubassirameheja

搜索引擎爬虫正确、完整地读取网站中 JavaScript 的能力有限。该问题的解决方案是动态渲染：它改进了爬行并有助于 JavaScript 网站的搜索引擎优化。 当访问正常的 HTML 页面时，会发生以下步骤（简单来说）： 客户端（通常是浏览器）向服务器发出请求，下载 HTML 代码和所有其他链接的资源，例如 CSS 和 JavaScript 文件。 浏览器加载完所有资源后，就会显示网站。 通过单击链接，会发生新的服务器请求。 HTML 代码和其中的资源将被重新加载。 搜索引擎使用爬虫在互联网上搜索内容并尝试正确阅读。爬网程序跟踪超链接，收集所有 URL 并将数据传递到索引器。下一步，谷歌及其公司的算法会解释内容并对其进行评估，以便在搜索结果中显示。


在基于 JavaScript 的网站上，HTML 文档的内容对于爬虫来说相对来说是空的；这里的页 瑞士 电话号码 面调用（以简化形式）的工作方式有所不同： 当请求页面时，还会加载引用 CSS 和 JavaScript 文件的 HTML 文件。然而，HTML 文件包含很少或没有内容；而是使用 JavaScript 添加内容。包含内容的 HTML 代码仅在客户端浏览器中创建。当您单击链接时，客户端不必从服务器获取新的 HTML 文件，而只需加载新信息。 JavaScript 和 SEO 的问题 基于JavaScript的网站的问题：搜索引擎读取网站的HTML代码，但无法正确执行JavaScript，因此无法读取通过JavaScript加载或重新加载的内容。如果重新加载整个页面内容（如第二点所述），搜索引擎爬虫将看不到任何内容。




由于单个 HTML 文档包含很少或没有内容，因此索引器必须接管浏览器的任务并呈现页面内容。然后可以处理内容并抓取更多链接。 与普通 HTML 页面相比，搜索引擎算法必须呈现基于 JavaScript 的页面。 Googlebot 就能够很好地渲染 JavaScript - 其他机器人在这方面做得较差 许多爬虫发现处理 JavaScript 很困难。据 Google 称，起就能够渲染 JavaScript。重要提示：robots.txt 不得阻止 JavaScript 和 CSS 资源。然而，JavaScript 代码中的错误会很快阻止爬虫读取内容。其他机器人在读取基于 Javascript 的网站时仍然存在重大问题。基本上，爬虫的渲染需要大量资源，这就是索引过程至少变慢的原因。 客户端渲染问题 因此，搜索引擎机器人在网站的客户端呈现方面存在问题。