折叠按钮

BeautifulSoup和Scrapy爬虫有何区别?

一般来说BeautifulSoup可以离线解析HTML文件,而Scrapy爬虫是一个完整的获取程序,其用途是不一样的,接下来介绍这BeautifulSoup和Scrapy爬虫的具体用途。

我们可能会抓取与对比同一性质不同网站的信息,比如建立一个显示亚马逊和 e-bay 的比价站,那么我们选择BeautifulSoup 还是 Scrapy?


一、BeautifulSoup 和 Scrapy简介


Scrapy是一个网络爬虫框架,您给 Scrapy 一个 URL 便可以开始爬取,然后您可以指定要爬取和获取的 URL 数量(数量)的限制等。它是一个完整的网络抓取或抓取框架。

BeautifulSoup是一个解析库,它还可以很好地从 URL 中获取内容,并允许您轻松解析其中的某些部分。它只获取您提供的 URL 的内容,然后停止。除非您手动将其放入具有某些标准的无限循环中,否则它不会爬行。

简单来说,使用 Beautiful Soup,您可以构建类似于 Scrapy 的东西。Beautiful Soup 是一个库,而 Scrapy 是一个完整的框架。


二、BeautifulSoup 和 Scrapy特点


Scrapy 是一个网络抓取框架,可以帮助我们快速抓取信息。以下是Scrapy最突出的优点。 

  • Feed 导出:允许以各种格式保存数据,例如 CSV、JSON、jsonlines 和 XML。

  • 异步抓取:Scrapy 使用扭曲的框架,它使我们能够一次访问多个 url,其中每个请求都以非阻塞方式处理(基本上我们不必等待请求完成后再发送另一个请求)。

  • 选择器:选择器允许我们从网页中选择特定数据,例如标题、带有类名的某些 div 等)。Scrapy 使用 lxml 进行解析,速度很快。

  • 设置用户代理、标头等:允许用户进行动态设置和代理其他标头。

  • Cookies:scrapy 会自动为我们处理 cookie。

  • TLDR:scrapy 是一个框架,它提供了构建大规模爬网所需的一切与隐藏爬网复杂性的各种功能。用户 可以简单地开始编写网络爬虫,而不必担心设置负担。


Beautiful Soup 是一个 Python 库,用于从 HTML 和 XML 文件中提取数据。我们可以使用它从 java 脚本中获取数据或动态加载页面。

  • 如果想要解析已下载的网页,首推使用 Beautiful soup。

  • BS4 非常流行和古老,您将需要其他库(如 requests、urllib 等)来使用 bs4 制作爬虫。

  • 需要管理正在被抓取的 url 列表、被抓取、处理 cookie、管理代理、处理错误、创建自己的函数以将数据推送到 CSV、JSON、XML 等。

  • 如果想加快速度比,可以使用其他库,例如multiprocessing。


三、BeautifulSoup 和 Scrapy对比


  • Scrapy 是一个丰富的框架,您可以使用它开始编写爬虫而无需任何麻烦。Beautiful soup 是一个可以用来解析网页的库。它不能单独用于刮网。

  • 对于大部门人而言,BeautifulSoup会比 Scrapy更容易掌握。

  • Scrapy 的扩展、支持和社区比 BeautifulSoup 更大。如果需要从大量数据中抓取网站beautifulsoup 无法支持。在这种情况下,推荐使用 Scrapy,它是一个完整的抓取框架。此外,scrapy 还支持数据库(所有类型的数据库),因此它比其他网络抓取库具有巨大的优势。

  • Scrapy 应该被认为是一个Spider而 BeautifulSoup 是一个Parser。


四、抓取数据最佳组合


Scrapy with BeautifulSoup 是我们可以用来抓取静态和动态内容的最佳组合之一。因此我们可以将二者配合使用。例如,首先可以使用 scrapy 所有页面,并使用他们的pipeline将其保存在 mongodb 集合中,之后,使用 BeautifulSoup 进行数据解析。