爬虫--淘宝商品信息定向爬虫

目标：获取淘宝搜索页面的信息，提取其中的名称和价格

理解：①淘宝的搜索接口 ②翻页的处理

技术路线：requests-re

首先在淘宝界面,搜索关键字“书包”，复制搜索框上的链接。在淘宝上，同一类商品往往会有很多页。在这里我们爬取书包的前两页。点击第二页，在复制搜索框上的链接。点击第三页。。。

发现什么了吗？就是最后的s，他的数值不同，就代表了不同的页。

接下来我们考虑怎么提取网页我们想要的东西呢？首先通过requests库获取网页，然后通过re库来进行网页中我们想要的内容的提取。

接下来就是写代码了。。。（我这里用的Python3）

写之前先看下robots协议

https://s.taobao.com/robots.txt

User‐agent: *

Disallow: /

所以淘宝的搜索页面是不允许爬虫对它进行爬取的

请注意：这个例子仅探讨技术实现，请不要不加限制的爬取该网站

代码：

import re import requests def getHTMLText(url): try: r = requests.get(url,timeout=30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return "" def parsePage(ilt,html): try: plt = re.findall(r'"view_price":"[\d.]*"',html)#原生字符串不转义 tlt = re.findall(r'"raw_title":".*?"',html) for i in range(len(plt)): price = eval(plt[i].split(':')[1]) title = eval(tlt[i].split(':')[1]) ilt.append([price,title]) except: print("1111") def printGoodsList(ilt): tplt = "{:4}\t{:8}\t{:16}" print(tplt.format("序号","价格","商品名称")) count = 0 for g in ilt: count = count + 1 print(tplt.format(count,g[0],g[1])) def main(): goods = '书包' depth = 2 start_url = 'https://s.taobao.com/search?q='+goods infoList = [] for i in range(depth): try: if i==0: url = start_url else: url = start_url + '&s=' + str(44*i) html = getHTMLText(start_url) parsePage(infoList,html) except: continue printGoodsList(infoList) main()

测试结果：

爬不下来的，可以将那个timeout去掉，再试试。