初学python第三天
博主特别喜爱逛?站。今天在直播区闲逛,发现一个变化,过去?站人数最多不过3万,如今却有很多主播人数翻倍增长,普遍倍增。粗略算了一下,貌似和在线人数相同了。
为了验证这个想法。对?站的直播在线人数进行了统计。
选用?站直播中的热度排行作为抓取网页,我试了一下,向下翻页最少能看到1人的主播,大概就是全部人数了。
?站直播主站中的请求到的文档中并没有每个直播间在线人数信息。
注意到一个细节,在点下方加载更多时,出现了一个html请求,把这个地址放在浏览器中打开,发现是一个表单,其中有一个数据,Online:"****",这个数据就是我苦苦寻找的在线人数。
好了,开始写代码,
1.写请求头
2.遍历网页(1-15)页
3.请求网页文本
4.正则提取online数目
5.for把online相加
6.结束,获得online总数
最后获得的数据是:110万左右
而在线人数显示的是80万。
。。。。
可以理解为30万人点开了两个直播