计算广告学习笔记2.1 合约广告系统-常见广告系统开源工具

xiaoxiao2021-02-28  110

来自于“师徒网” 刘鹏的讲课

接下来三章的大逻辑,合约广告->受众定向->数据加工交易->竞价

(阴影部分,个人感觉比较好用)

Hadoop:大的数据存储和计算平台

-HDFS:hadoop distributed file system -MapReduce:先map再Reduce 离线数据处理部分: -Hbase(离线数据处理):列存储的数据库(非关系 NOSQL) -Hadoop 上脚本语言:Pig(不需要对数据预加工), Hive(需要对数据加工),便于把Hadoop上非结构的数据用类似SQL的语言方式来访问和加工。 -mahout: Hadoop上进行机器学习和数据挖掘的工具。

-elephant-bird:配合pig,Thrift产生的二进制pig访问不了,通过这个工具可以解决。   在线数据分析部分: -zoo keeper:分布式环境下解决一致性问题的开源解决方案 -Thrift:分布式环境下跨语言的通信问题的工具包 -Storm:流式计算的平台 -Scribe:分布式日志收集工具

跨语言服务搭建工具(Thrift): 1、用Struct定义语言无关的通信数据结构。 2、用Service 定义RPC服务接口。 3、用Thrift按照你的编程语言生成服务框架代码 许多开源工具在twitter和Facebook的大数据量上进行过测试,所以可靠性还是很有保障的。

转载请注明原文地址: https://www.6miu.com/read-44395.html

最新回复(0)