爬虫--淘宝商品信息定向爬虫

xiaoxiao2021-03-01  10

目标:获取淘宝搜索页面的信息,提取其中的名称和价格

理解:①淘宝的搜索接口 ②翻页的处理

技术路线:requests-re

首先在淘宝界面,搜索关键字“书包”,复制搜索框上的链接。在淘宝上,同一类商品往往会有很多页。在这里我们爬取书包的前两页。点击第二页,在复制搜索框上的链接。点击第三页。。。

发现什么了吗?就是最后的s,他的数值不同,就代表了不同的页。

接下来我们考虑怎么提取网页我们想要的东西呢?首先通过requests库获取网页,然后通过re库来进行网页中我们想要的内容的提取。

接下来就是写代码了。。。(我这里用的Python3)

写之前先看下robots协议

https://s.taobao.com/robots.txt

User‐agent: *

Disallow: /

所以淘宝的搜索页面是不允许爬虫对它进行爬取的

请注意:这个例子仅探讨技术实现,请不要不加限制的爬取该网站

代码:

import re import requests def getHTMLText(url): try: r = requests.get(url,timeout=30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return "" def parsePage(ilt,html): try: plt = re.findall(r'"view_price":"[\d.]*"',html)#原生字符串不转义 tlt = re.findall(r'"raw_title":".*?"',html) for i in range(len(plt)): price = eval(plt[i].split(':')[1]) title = eval(tlt[i].split(':')[1]) ilt.append([price,title]) except: print("1111") def printGoodsList(ilt): tplt = "{:4}\t{:8}\t{:16}" print(tplt.format("序号","价格","商品名称")) count = 0 for g in ilt: count = count + 1 print(tplt.format(count,g[0],g[1])) def main(): goods = '书包' depth = 2 start_url = 'https://s.taobao.com/search?q='+goods infoList = [] for i in range(depth): try: if i==0: url = start_url else: url = start_url + '&s=' + str(44*i) html = getHTMLText(start_url) parsePage(infoList,html) except: continue printGoodsList(infoList) main()

测试结果:

爬不下来的,可以将那个timeout去掉,再试试。

转载请注明原文地址: https://www.6miu.com/read-3850031.html

最新回复(0)