scrapy操作流程

 

 

 

1. 创建项目

使用scrapy命令行工具创建项目目录结构

scrapy startproject xpc

创建完了以后，我们会看当前目录下有一个xpc文件夹，然后

cd xpc

2. 创建虚假环境

首先要切换到相应的python版本下，然后再

virtualenv env source activate env/bin/activatevirtualenv env source activate env/bin/activate

环境激活以后，可以安装项目所需要相关包

pip install scrapypip install scrapy

生成一下项目的requirements.txt文件

pip freeze > requirements.txt

生成requirements.txt文件的目的是为了让项目的环境能够快速生成，并且，使项目依赖文档化。

pip install -r requrements.txt

# 生成spider文件 scrapy genspider discovery xinpianchang.com # 编辑spiders/discovery.py文件内的parse函数 # 编辑完成以后，运行爬虫 scrapy crawl discovery ​ scrapy genspider discovery xinpianchang.com # 编辑spiders/discovery.py文件内的parse函数 # 编辑完成以后，运行爬虫 scrapy crawl discovery ​

parse函数是scrapy默认第一个调用的回调函数，也就是它是start_urls的回调函数。如果想要修改默认回调函数，需要修改scrapy.Spider.start_requests方法。

 

操作过程注意事项

XPath Helper 谷歌浏览器插件的使用，快速进行xpath匹配。快捷键： ctrl shift x

scrapy shell 的使用

1、首先在环境下安装：pip install ipython 2、scrapy shell + 网址 # scrapy shell "http://www.xinpianchang.com/channel/index/sort-like?from=tabArticle" ## 可以得到网页的具体信息，同时可以进行查询，查找，debug ## response.xpath("//ul[@class="video-list"]/li")   # 查找匹配内容 ## response.text.find('123456') # 查找123456 ​ scrapy view url : 下载网页，并浏览器打开 ​ 2、scrapy shell + 网址 # scrapy shell "http://www.xinpianchang.com/channel/index/sort-like?from=tabArticle" ## 可以得到网页的具体信息，同时可以进行查询，查找，debug ## response.xpath("//ul[@class="video-list"]/li")   # 查找匹配内容 ## response.text.find('123456') # 查找123456 ​ scrapy view url : 下载网页，并浏览器打开 ​

延迟加载属性(懒加载)

_src='http://................'_src='http://................'

xpath 中 following-sibling:: 的使用

# 用户所在地区，定位到icon-location这个span,然后再取它相邻的下一个span location = response.xpath('//span[contains(@class, "icon-location")]/following-sibling::span[1]/text()').get() location = response.xpath('//span[contains(@class, "icon-location")]/following-sibling::span[1]/text()').get()

 

xpath匹配：包含函数 contains

cr['roles'] = composer.xpath('.//span[contains(@class, "roles")]/text()').get() ​ ## './/span[contains(@class, "roles")]/text()' # 匹配 标签中包含 "roles" 的 class标签 ​ ## './/span[contains(@class, "roles")]/text()' # 匹配 标签中包含 "roles" 的 class标签

 

a,*b,c 的使用

score = [3,4,5,7,8,6,9] score.sort() max,*real_score,min = score real_score #[4,5,6,7,8] max,*real_score,_ = score score.sort() max,*real_score,min = score real_score #[4,5,6,7,8] max,*real_score,_ = score

生成26字母

ord('a') d = {} for i in range(97,97+26): d[chr(i)] = i d # {'a':97,'b':98,'c':99.................'z':122}ord('a') d = {} for i in range(97,97+26): d[chr(i)] = i d # {'a':97,'b':98,'c':99.................'z':122}

 

实现断点续爬

scrapy crawl discovery-L INFO -s JOBDIR=/tmp/discovery ​ 停止后，再次启动，指定这个文件路径，继续爬取。scrapy crawl discovery-L INFO -s JOBDIR=/tmp/discovery ​ 停止后，再次启动，指定这个文件路径，继续爬取。

 

 

 

 

 

 

scrapy操作流程

 

1. 创建项目

使用scrapy命令行工具创建项目目录结构

scrapy startproject xpc

创建完了以后，我们会看当前目录下有一个xpc文件夹，然后

cd xpc

2. 创建虚假环境

首先要切换到相应的python版本下，然后再

virtualenv env source activate env/bin/activatevirtualenv env source activate env/bin/activate

环境激活以后，可以安装项目所需要相关包

pip install scrapypip install scrapy

生成一下项目的requirements.txt文件

pip freeze > requirements.txt

生成requirements.txt文件的目的是为了让项目的环境能够快速生成，并且，使项目依赖文档化。

pip install -r requrements.txt

# 生成spider文件 scrapy genspider discovery xinpianchang.com # 编辑spiders/discovery.py文件内的parse函数 # 编辑完成以后，运行爬虫 scrapy crawl discovery ​ scrapy genspider discovery xinpianchang.com # 编辑spiders/discovery.py文件内的parse函数 # 编辑完成以后，运行爬虫 scrapy crawl discovery ​

parse函数是scrapy默认第一个调用的回调函数，也就是它是start_urls的回调函数。如果想要修改默认回调函数，需要修改scrapy.Spider.start_requests方法。

 

操作过程注意事项

XPath Helper 谷歌浏览器插件的使用，快速进行xpath匹配。快捷键： ctrl shift x

scrapy shell 的使用

1、首先在环境下安装：pip install ipython 2、scrapy shell + 网址 # scrapy shell "http://www.xinpianchang.com/channel/index/sort-like?from=tabArticle" ## 可以得到网页的具体信息，同时可以进行查询，查找，debug ## response.xpath("//ul[@class="video-list"]/li")   # 查找匹配内容 ## response.text.find('123456') # 查找123456 ​ scrapy view url : 下载网页，并浏览器打开 ​ 2、scrapy shell + 网址 # scrapy shell "http://www.xinpianchang.com/channel/index/sort-like?from=tabArticle" ## 可以得到网页的具体信息，同时可以进行查询，查找，debug ## response.xpath("//ul[@class="video-list"]/li")   # 查找匹配内容 ## response.text.find('123456') # 查找123456 ​ scrapy view url : 下载网页，并浏览器打开 ​

延迟加载属性(懒加载)

_src='http://................'_src='http://................'

xpath 中 following-sibling:: 的使用

# 用户所在地区，定位到icon-location这个span,然后再取它相邻的下一个span location = response.xpath('//span[contains(@class, "icon-location")]/following-sibling::span[1]/text()').get() location = response.xpath('//span[contains(@class, "icon-location")]/following-sibling::span[1]/text()').get()

 

xpath匹配：包含函数 contains

cr['roles'] = composer.xpath('.//span[contains(@class, "roles")]/text()').get() ​ ## './/span[contains(@class, "roles")]/text()' # 匹配 标签中包含 "roles" 的 class标签 ​ ## './/span[contains(@class, "roles")]/text()' # 匹配 标签中包含 "roles" 的 class标签

 

a,*b,c 的使用

score = [3,4,5,7,8,6,9] score.sort() max,*real_score,min = score real_score #[4,5,6,7,8] max,*real_score,_ = score score.sort() max,*real_score,min = score real_score #[4,5,6,7,8] max,*real_score,_ = score

生成26字母

ord('a') d = {} for i in range(97,97+26): d[chr(i)] = i d # {'a':97,'b':98,'c':99.................'z':122}ord('a') d = {} for i in range(97,97+26): d[chr(i)] = i d # {'a':97,'b':98,'c':99.................'z':122}

 

实现断点续爬

scrapy crawl discovery-L INFO -s JOBDIR=/tmp/discovery ​ 停止后，再次启动，指定这个文件路径，继续爬取。scrapy crawl discovery-L INFO -s JOBDIR=/tmp/discovery ​ 停止后，再次启动，指定这个文件路径，继续爬取。