Python使用Scrapy框架进行抓取
示例
首先，您必须建立一个新的Scrapy项目。输入要存储代码并运行的目录：
scrapy startproject projectName
要刮擦，我们需要一只蜘蛛。蜘蛛定义了如何刮除某个站点。以下是蜘蛛的代码，该代码遵循指向StackOverflow上投票最高的问题的链接，并从每个页面中抓取一些数据（源）：
import scrapy
class StackOverflowSpider(scrapy.Spider):
name = 'stackoverflow' #每个蜘蛛都有一个唯一的名字
start_urls = ['http://stackoverflow.com/questions?sort=votes'] #解析从一组特定的URL开始
def parse(self, response): #对于此生成器产生的每个请求，其响应都发送到parse_question
for href in response.css('.question-summary h3 a::attr(href)'): #使用CSS选择器来查找问题网址以进行一些抓取工作
full_url = response.urljoin(href.extract())
yield scrapy.Request(full_url, callback=self.parse_question)
def parse_question(self, response):
yield {
'title': response.css('h1 a::text').extract_first(),
'votes': response.css('.question .vote-count-post::text').extract_first(),
'body': response.css('.question .post-text').extract_first(),
'tags': response.css('.question .post-tag::text').extract(),
'link': response.url,
}将您的Spider类保存在projectName\spiders目录中。在这种情况下-projectName\spiders\stackoverflow_spider.py。
现在，您可以使用蜘蛛了。例如，尝试运行（在项目目录中）：
scrapy crawl stackoverflow