做网页爬虫，最经常碰到的问题就是需要一层一层的拔取网页上的链接和数据，网络上的方法大都是自己做一个URL的列表，然后逐个爬取。Scrapy官方文档给出了较好的解决方法，使用方便，同时效率也很高，代码简洁。
Scrapy版本：1.4.0
Python版本: 2.7
这里以爬取搜房网二手房数据为例进行说明：
（1）首先也是第一步，就是设置爬虫的域名和staru_url
allowed_domains = ['esf.fang.com'] start_urls = ['http://esf.fang.com/'] （2）分析网页结构，
比如我的目标是安装区域进行数据爬取，那我就要获取一组链接，而不是一个一个的获得，推介使用Scrapy Shell工具进行初步的网页解析。
Scrapy Shell 'http://esf.fang.com/'
用Xpath获取目标列表：
Region_list = response.xpath('//*[@id="list_D02_10"]/div[1]/a/@href').extract() 是一个List类型的数据，这样就获取了一组链接，注意，这里的Region_list不是完整的URL，下一步就是使用Scrapy的函数，逐个的对链表中的url进行获取： for url in Region_list: yield response.follow(url,callback=self.region_parse,errback=self.Error_info)这里的region_parse()和Error_info是需要自己定义的函数，具体的就是要爬取的内容和出错后要运行的函数。
这里需要注意的是使用的函数是Response.follow而不是Response.Request，否则会出错的。
