第一个scrapy爬虫

scrapy目录结构如下

我们要爬取的是读书网里面的书名，作者，和对书的描写

首先我们要定义爬取数据的模型，在items.py文件中

import scrapy class MoveItem(scrapy.Item): # 定义爬取的数据的模型 title = scrapy.Field() auth = scrapy.Field() desc = scrapy.Field()

主要的还是spiders目录下的move.py文件

import scrapy from douban.items import MoveItem class MovieSpider(scrapy.Spider): # 表示蜘蛛的名字，每个蜘蛛的名字必须是唯一的 name = 'movie' # 表示过滤爬取的域名 allwed_domians = ['dushu.com'] # 表示最初要爬取的url start_urls = ['https://www.dushu.com/book/1188.html'] def parse(self,response): li_list = response.xpath('/html/body/div[6]/div/div[2]/div[2]/ul/li') for li in li_list: item = MoveItem() item['title'] = li.xpath('div/h3/a/text()').extract_first() item['auth'] = li.xpath('div/p[1]/a/text()').extract_first() item['desc'] = li.xpath('div/p[2]/text()').extract_first() # 生成器 yield item href_list = response.xpath('/html/body/div[6]/div/div[2]/div[3]/div/a/@href').extract() for href in href_list: # 把在页面上爬取的url补全 url = response.urljoin(href) # 一个生成器，response的里面链接，再进行子request，不断执行parse，是个递归。 yield scrapy.Request(url=url,callback=self.parse)

想要持久化数据只有把数据保存起来：在settings.py文件里设置

在pipelines.py文件里：

import pymongo class DoubanPipeline(object): def __init__(self): self.mongo_client = pymongo.MongoClient('mongodb://39.108.188.19:27017') def process_item(self, item, spider): db = self.mongo_client.data message = db.messages message.insert(dict(item)) return item