移动网络中基于机器学习的缓存策略研究

杨利霞

移动网络中基于机器学习的缓存策略研究

在移动网络中部署缓存可以有效降低时延、提升传输速率、降低回程链路拥塞、卸载宏

基站处的流量，是应对无线设备数据流量剧增的关键技术之一。然而，相比于巨大的互联网

内容库，基站的缓存容量较小，如何制定有效的缓存放置策略来确定需要缓存的文件以提高

缓存的命中率是缓存技术需要考虑的重要问题之一；同时，面对不断变化的文件流行度，如

何确定缓存的替换策略以适应该变化也是需要考虑的另一个问题。

本文主要研究了移动网络中的缓存技术，采用机器学习的方法，通过预测文件流行度，提出了优化缓存命中率和系统成本的缓存放置和替换策略。具体内容及创新点如下：（1）针对宏基站、小基站和 D2D 通信并存的异构网络场景，提出了基于用户移动性和社会关系的小基站与用户的缓存策略。首先在用户偏好（用户请求不同文件的概率分布）未知的情况下，采用机器学习的方法根据其请求历史记录预测用户偏好。综合考虑用户的移动性、物理位置关系、社会关系推导了平均系统成本的表达式，在缓存容量的约束下，以小基站和重要用户的缓存策略为变量，构建了平均系统成本最小化的优化问题。为了解决重要用户数多时计算复杂度大的问题，证明了目标函数是超模函数后，提出一种基于贪心算法的次优算法对优化问题进行求解，降低了算法的复杂度。仿真结果表明，相比于随机缓存策略，提出的缓存策略减少了接近 30%系统成本，并且次优解的性能非常接近最优解。（2）针对本地文件流行度未知的场景，提出了基于推荐系统的用户文件偏好预测算法以

及基于缓存成本和收益之间权衡的缓存容量确定算法。首先根据协同过滤和隐语义模型预测

出用户对文件的评分矩阵，然后结合用户活跃度，利用深度学习，预测出用户偏好；由于增

大缓存容量在减少回程链路花费的同时会增大运营商的部署成本，综合权衡缓存容量和回程

链路的成本，构建了运营商收益最大化的优化问题，采用了启发式算法对最优缓存容量及其

对应的缓存策略进行求解。仿真结果表明，与考虑全局流行度的缓存策略相比，基于本地流

行度的策略可以更有效的提高缓存命中率，同时降低运营商的成本。（3）针对本地流行度动态变化的场景，提出了基于深度强化学习的缓存替换策略。首先采用马尔科夫决策过程对缓存替换问题进行建模，将当前缓存放置内容、当前请求文件作为系统状态，将缓存替换策略作为动作，奖赏函数定义为缓存命中率，构建了深度强化学习的缓存替换决策模型，基于 A3C 算法设计了缓存替换策略。仿真结果表明，增加 A3C 中的智能体数量能够加快收敛，与 FIFO、LRU 和 LFU 等传统缓存替换策略相比，所提缓存替换策略能够提高文件的命中率。

关键词:  缓存，异构网络，机器学习，整数规划，贪心算法，流行度预测，深度强化学习