调试xpath的工具scrapy shell的安装与使用

scrapy shell是什么？

    它是一种调试工具，常用来调试xpath是否正确。  它有着很智能的交互环境，可以通过tab键智能提醒。     使用它之间需要安装依赖包在终端输入命令如下： pip install ipython

scrapy shell的使用

   在终端下的任意位置，输入如下指令：

        scrapy shell url

  示例：scrapy shell http://www.gushiking.com/

  response有着如下属性：             text    字符串类型             body    字节类型             url     请求的url             status  响应状态码

            headers 响应头

示例：response.text

        方法             xpath() ：提取出来的都是selector对象，需要进行extract()一下，然后再提取出来字符串             css() ：根据选择器进行获取指定的内容                 ret = response.css('#content-left > div > .author  img::attr(src)')                 【注】这种获取属性的方式只能在scrapy中使用，bs中不能这么使用                 ret = response.css('#content-left > div > .author  h2::text')                 这种方式获取到的列表，也得extract一下，才能得到想要的字符串     selector对象的介绍：     它是scrapy自己封装的一个对象，不论你上面是通过xpath还是css，获取到的都是这个对象      使用xpath()  、 css()时         extract() : 将对象直接转化为字符串         extract_first() : 功能就等同于         extract_first() == [0].extract() == extract()[0]

            如果xpath或者css写错了，返回的是空列表，那么通过后两种方式获取的时候就会报错，但是通过extract_first()来获取会获取到None

示例：ret = response.xpath('//div[@class="pic"]/div[@class="conimg"]/p').extract()[0]