数据结构— 海量数据处理

xiaoxiao2021-02-28  19

在之前的数据结构学习中,关于数据的搜索,主要有搜索二叉树、AVL树、红黑树、哈希表这几种算法;当数据较少时,可以使用这些算法;当数据量特别大(超出内存的容量),这些算法便不能处理了。那如何处理海量数据呢?下面有几道题

1)给一个超过100G大小的log file, log中存着IP地址, 设计算法找到出现次数最多的IP地址 思路:100G大小,它明显超出了内存的容量范围;要处理这些大数据,可以将它切分成一些小文件(小文件的容量大小小于内存容量);然后对这些小文件利用学过的算法进行处理;此题中的IP地址可以看成是一个一个的字符串;利用字符串哈希算法,将不同的IP地址映射到不同的小文件中;此时相同的IP地址,位于同一个文件;在每一个小文件里创建一个coutmap

转载请注明原文地址: https://www.6miu.com/read-1399978.html

最新回复(0)