设计并实现一个LRU Cache

1、什么是Cache

1 概念

Cache，即高速缓存，是介于CPU和内存之间的高速小容量存储器。在金字塔式存储体系中它位于自顶向下的第二层，仅次于CPU寄存器。其容量远小于内存，但速度却能够接近CPU的频率。

当CPU发出内存访问请求时，会先查看 Cache 内是否有请求数据。

• 若是存在（命中），则直接返回该数据；

• 若是不存在（失效），再去访问内存 —— 先把内存中的相应数据载入缓存，再将其返回处理器。

提供“高速缓存”的目的是让数据访问的速度适应CPU的处理速度，经过减小访问内存的次数来提升数据存取的速度。

2 原理

Cache 技术所依赖的原理是”程序执行与数据访问的局部性原理“，这种局部性表如今两个方面：

1. 时间局部性：若是程序中的某条指令一旦执行，不久之后该指令可能再次执行，若是某数据被访问过，不久之后该数据可能再次被访问。

2. 空间局部性：一旦程序访问了某个存储单元，在不久以后，其附近的存储单元也将被访问，即程序在一段时间内所访问的地址，可能集中在必定的范围以内，这是由于指令或数据一般是顺序存放的。

时间局部性是经过将近来使用的指令和数据保存到Cache中实现。空间局部性一般是使用较大的高速缓存，并将 预取机制 集成到高速缓存控制逻辑中来实现。

3 替换策略

Cache的容量是有限的，当Cache的空间都被占满后，若是再次发生缓存失效，就必须选择一个缓存块来替换掉。经常使用的替换策略有如下几种：

1. 随机算法（Rand）：随机法是随机地肯定替换的存储块。设置一个随机数产生器，依据所产生的随机数，肯定替换块。这种方法简单、易于实现，但命中率比较低。

2. 先进先出算法（FIFO, First In First Out）：先进先出法是选择那个最早调入的那个块进行替换。当最早调入并被屡次命中的块，极可能被优先替换，于是不符合局部性规律。这种方法的命中率比随机法好些，但还不知足要求。

3. 最久未使用算法（LRU, Least Recently Used）：LRU法是依据各块使用的状况， 老是选择那个最长时间未被使用的块替换。这种方法比较好地反映了程序局部性规律。

4. 最不常用算法（LFU, Least Frequently Used）：将最近一段时期内，访问次数最少的块替换出Cache。

4 概念的扩充

现在高速缓存的概念已被扩充，不只在CPU和主内存之间有Cache，并且在内存和硬盘之间也有Cache（磁盘缓存），乃至在硬盘与网络之间也有某种意义上的Cache──称为Internet临时文件夹或网络内容缓存等。凡是位于速度相差较大的两种硬件之间，用于协调二者数据传输速度差别的结构，都可称之为Cache。

2、LRU Cache的实现

Google的一道面试题：

Design an LRU cache with all the operations to be done in O(1) .

1 思路分析

对一个Cache的操做无非三种：插入(insert)、替换(replace)、查找（lookup）。

为了可以快速删除最久没有访问的数据项和插入最新的数据项，咱们使用 双向链表 链接Cache中的数据项，而且保证链表维持数据项从最近访问到最旧访问的顺序。

• 插入：当Cache未满时，新的数据项只需插到双链表头部便可。时间复杂度为O(1).

• 替换：当Cache已满时，将新的数据项插到双链表头部，并删除双链表的尾结点便可。时间复杂度为O(1).

• 查找：每次数据项被查询到时，都将此数据项移动到链表头部。

通过分析，咱们知道使用双向链表能够保证插入和替换的时间复杂度是O(1)，但查询的时间复杂度是O(n)，由于须要对双链表进行遍历。为了让查找效率也达到O(1)，很天然的会想到使用 hash table 。

2 代码实现

从上述分析可知，咱们须要使用两种数据结构：

1. 双向链表（Doubly Linked List）

2. 哈希表（Hash Table）

下面是LRU Cache的 C++ 实现：

#include <iostream>
#include <unordered_map>
using namespace std;

// 双向链表的节点结构
struct LRUCacheNode {
	int key;
	int value;
	LRUCacheNode* prev;
	LRUCacheNode* next;
	LRUCacheNode():key(0),value(0),prev(NULL),next(NULL){}
};


class LRUCache
{
private:
	unordered_map<int, LRUCacheNode*> m;  // 代替hash_map
	LRUCacheNode* head;     // 指向双链表的头结点
	LRUCacheNode* tail;     // 指向双链表的尾结点
	int capacity;           // Cache的容量
	int count;              // 计数
public:
	LRUCache(int capacity);       // 构造函数
	~LRUCache();                  // 析构函数
	int get(int key);             // 查询数据项
	void set(int key, int value); // 未满时插入,已满时替换
private:
	void removeLRUNode();                 // 删除尾结点（最久未使用）
	void detachNode(LRUCacheNode* node);    // 分离当前结点
	void insertToFront(LRUCacheNode* node); // 节点插入到头部
};


LRUCache::LRUCache(int capacity)
{
	this->capacity = capacity;
	this->count = 0;
	head = new LRUCacheNode;
	tail = new LRUCacheNode;
	head->prev = NULL;
	head->next = tail;
	tail->prev = head;
	tail->next = NULL;
}

LRUCache::~LRUCache()
{
	delete head;
	delete tail;
}

int LRUCache::get(int key)
{
	if(m.find(key) == m.end())  // 没找到
		return -1;
	else
	{
		LRUCacheNode* node = m[key];
		detachNode(node);      // 命中，移至头部 
		insertToFront(node);
		return node->value;
	}
}

void LRUCache::set(int key, int value)
{
	if(m.find(key) == m.end())  // 没找到
	{
		LRUCacheNode* node = new LRUCacheNode;
		if(count == capacity)   // Cache已满
			removeLRUNode();

		node->key = key;
		node->value = value;
		m[key] = node;          // 插入哈希表
		insertToFront(node);    // 插入链表头部
		++count;
	}
	else
	{
		LRUCacheNode* node = m[key];
		detachNode(node);
		node->value = value;
		insertToFront(node);
	}
}

void LRUCache::removeLRUNode()
{
	LRUCacheNode* node = tail->prev;
	detachNode(node);
	m.erase(node->key);
	--count;
}

void LRUCache::detachNode(LRUCacheNode* node)
{
	node->prev->next = node->next;
	node->next->prev = node->prev;
}


void LRUCache::insertToFront(LRUCacheNode* node)
{
	node->next = head->next;
	node->prev = head;
	head->next = node;
	node->next->prev = node;
}