Pyamf实际应用案例

xiaoxiao2021-02-28  32

再次爬取基于Flex技术的某农产品每日价格历史数据

这个是实习期间耽搁时间最长的项目了,通过这个对pyamf这个包算是很熟悉了。不得不说他的请求伪造真的好复杂。。。

顺便吐槽一下,像flash这种当今在网页上见得很少了,但是众多政府网站依然使用,接受html5就那么难吗???还是说懒得换架构和模式??

网上对pyamf包的使用案例几乎没有,只能从国外找,1.23那天项目已经实践过一次,但是奈何这次的头比较复杂很多东西我并不知道如何伪造,不过花了两个下午,总算顺利解决了。

网络分析

前端分析

先看看这个flash张啥样吧:

数据项我已经用红框给圈了出来,基本的请求模式就是,先选择市场名,然后会发送一个请求,返回所有的品种大类和品种小类,选择品种小类和时间段,点击查询,发送给后端返回平均价格。 剩下的图表由前端负责渲染。

可以看出一共请求了后端两次,但是我们的需求仅仅是输入市场、品种名称和截止日期,输出该时间段内每天的价格 所以并不需要模拟第一次请求。

请求分析

chales抓包如图(目前只有chales能使amf数据明文显示,fiddler还做不到)

可以看到请求的东西包含了选择的品种小类和市场名称,最后一个BreedINfo是第一次请求返回的所有品类信息,后来经过测试这部分在第二次请求并不需要,所以我就全填了None。

从请求的架构上看这与我的预想是一致的

响应分析

相应的body也很简洁明了,顺便返回了时间区间,解析的方法按照pyamf的层级选择语法写就行

构造请求(pyamf用法记录)

这是此次项目的最难的地方,也是考验耐心的地方。也算是pyamf的核心吧。

message体

首先,我们看到包含了body的整个请求体在pyamf是用 messaging 类来创建的,基本的流程为:

# 创建messsaging对象,填入基本字段,可以从抓包中看出 msg = messaging.RemotingMessage(messageId=str(uuid.uuid1()).upper(),clientId=str(uuid.uuid1()).upper(),operation='getDyscDpzData',destination='reportStatService',timeToLive=0,timestamp=0) # 注册body,填入body所需字段 msg.body = [DyscdpzPara(startDate,endDate,select,market,breedInfoPo)] # 构造header msg.headers['DSEndpoint'] = None msg.headers['DSId'] = str(uuid.uuid1()).upper() req = remoting.Request('null',body = (msg,))

body

body的字段类型有几种: 字符串,日期对象等,在包中都很明显地标出了:

红框为基本对象类型,蓝色框对应的具体的类名称,我们可以看到,body整个是一个array,里面只有一个元素。这个元素是一个大类。所以他的构造方式很简单:

msg.body = [Para()] # Para是实例化的对象

而 startDate和endDate是两个Date类型,对应的是python中的datetime.datetime对象。(这并非是主观臆测,而是通过1.23项目中返回的日期字段是这个对象而得出的结论)

除了object类型之外的其他类型都可以直接创建变量表示。body里只有一个Dypzdqpara()类,首先就需要创建这个类:

class DyscdpzPara(): def __init__(self,StartDate,EndDate,SelectedBreeds,PMarketInfo,breedInfo): self.startDate = StartDate#2008-1-1 0:00:00 date类型 self.endDate = EndDate #2008-1-2 0:00:00 date类型 self.selectedBreeds =SelectedBreeds #对象 self.theDateType = '1' self.theSorting = '0' self.marketInfo = PMarketInfo #对象 self.theCycle = '7' self.breedInfo = breedInfo # 对象

初始化方法传入了必要的参数,可以看到除了传入普通变量类型之外还有三个对象:分别是: - Selected,ArrayCollection对象,里面含一个BreedInfo对象… - MarkeInfo, PMarketInfo对象,里面两个普通字段 - BreedInfoPo 对象,本需要填入第一次请求返回的所有breedInfo,但后经过测试此对象里面的属性可以全部设置为None(但不能不填!!!,不实例化对象的话请求不出来,amf要求属性值可以没有,但是必要传入属性!)

后俩的构建都没问题,复杂的是第一个:

尼玛啊,我当时就懵逼了,尝试了好多写法,比如 selectedBreed = [breed()] ,那么selectedBreed就不是对象,是一个Array了。。。 如果不把SelectedBreed 创建为对象,然后用

pyamf.register_class(SelectedBreeds, alias='flex.messaging.io.ArrayCollection')

注册成为类,那么类里面怎么写??? 我甚至尝试了self = [breed] …

这个问题让我想到了数组与类的关系问题,在java语言中数组本身就是个类,数组也是类的实例化对象,对象数组本身当然是对象了。 可是到python中,[对象1,对象2,…]这是对象吗?? 网上有人说是,我也坚信OOP语言应该是一切为对象的,但是在今天这个问题上依然不好使…

那么list()究竟是不是类,需要追溯源文档探索了…

无奈之下,只好求教我师父了,唉,厉害的人果然十分钟给我解决了问题: github上在这个项目底下搜索ArrayCollection,看看与他相关的东西是怎么用的。

我都要哭了,原来自己定义的有专门的类… 传入对象即可…(再次证明了这个东西有多么冷门…)

breedInfoPo = BreedInfoPo(None,None,None,None) select_breed = BreedInfoPo(item_code,item_name,None,None) select = ArrayCollection([select_breed]) market = PMarketInfo(market_code,market_name) msg = messaging.RemotingMessage(messageId=str(uuid.uuid1()).upper(),clientId=str(uuid.uuid1()).upper(),operation='getDyscDpzData',destination='reportStatService',timeToLive=0,timestamp=0) msg.body = [DyscdpzPara(startDate,endDate,select,market,breedInfoPo)] msg.headers['DSEndpoint'] = None msg.headers['DSId'] = str(uuid.uuid1()).upper() req = remoting.Request('null',body = (msg,)) env = remoting.Envelope(amfVersion=pyamf.AMF3) env.bodies = [('/1',req)] data = bytes(remoting.encode(env).read())

改写、注册,事情就算完了,至于日期上的错误,一个UTC时间上的转换也很容易。

总结

虽说这个东西冷门,但是也收获了不少解决问题的办法,查看包的原文档是一种不错的途径,尤其是解决一些冷门问题。

转载请注明原文地址: https://www.6miu.com/read-1950286.html

最新回复(0)