『scrapy爬虫』03. 爬取多个页面（详细注释步骤）

Scrapy爬取多个页面（详细注释步骤）

理解多页面爬取

在实际的爬虫任务中，我们经常需要爬取同一个网站的多个页面。例如，电商网站的商品列表页、新闻网站的文章列表页等。Scrapy提供了强大的机制来处理这种多页面爬取。

实现步骤

1. 分析页面结构

• 找到下一页链接: 仔细观察目标网站的页面结构，找到下一页的链接通常包含在特定的标签中，如<a>标签。
• 提取页码信息: 有些网站的下一页链接中包含页码信息，可以根据页码信息构造后续页面的URL。

2. 编写Spider

import scrapy

class BooksSpider(scrapy.Spider):
    name = 'books'
    start_urls = ['http://books.toscrape.com/']

    def parse(self, response):
        for book in response.css   ('article.product_pod'):
            yield {
                'title': book.css('h3 a::attr(title)').get(),
                'price': book.css   ('.price_color::text').get(),
            }

        next_page = response.css('li.next a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.pa   rse)

代码解释

• start_urls: 定义爬取的起始URL。
• parse: 解析响应的函数。
• response.css: 使用CSS选择器提取数据。
• yield: 生成一个Item，代表提取到的数据。
• response.follow: 递归调用parse函数，跟随下一页链接继续爬取。

关键点

• 递归调用: 通过递归调用parse函数，实现了对多个页面的爬取。
• CSS选择器: 使用CSS选择器精确地定位目标元素。
• 下一页链接: 找到下一页链接的规律，构造新的URL。

完整示例

import scrapy

class BooksSpider(scrapy.Spider):
    name = 'books'
    start_urls = ['http://books.toscrape.com/']

    def parse(self, response):
        for book in response.css   ('article.product_pod'):
            yield {
                'title': book.css('h3 a::attr(title)').get(),
                'price': book.css   ('.price_color::text').get(),
            }

        next_page = response.css('li.next a::attr(href)').get()
        if next_page is not None:
            next_page_url = response.urljoin(next_page)  # 构造完整的URL
            yield scrapy.Request(next_page_url, callback=self.parse)

注意事项

• 网站结构变化: 网站的结构可能会随时变化，需要及时调整选择器。
• 反爬虫机制: 一些网站会设置反爬虫机制，需要采取相应的措施，如使用代理、User-Agent池等。
• 性能优化: 对于大规模爬取，可以考虑使用异步请求、分布式爬虫等技术。

扩展

• 深度优先搜索: 如果网站的链接结构复杂，可以考虑使用深度优先搜索。
• 广度优先搜索: 如果需要同时爬取多个分支，可以考虑使用广度优先搜索。
• 分页参数: 有些网站的下一页链接中包含页码参数，可以直接构造URL。
• 动态加载: 对于动态加载的页面，可以使用Selenium或Playwright等工具。

总结

通过以上步骤，我们可以使用Scrapy轻松地爬取多个页面。掌握了这些基本技巧，你可以应对更多的爬虫任务。

想了解更多？ 可以提出更具体的问题，例如：

• 如何处理JavaScript渲染的页面？
• 如何应对验证码？
• 如何将爬取的数据存储到数据库中？
• 如何优化Scrapy的性能？

我将尽力为你解答。