云计算助力数学建模行业发展案例：基于云计算的网络监控系统模型研究

厚积薄发

云计算助力数学建模行业发展案例：基于云计算的网络监控系统模型研究

摘　要：云计算环境下文件系统监测技术是存储领域的一项重要技术，对系统进行预测分析也应用得越来越广泛。本文针对基于RPC的云计算文件系统平台，着重研究了云计算文件系统个性信息（服务端命令处理速率）的监测以及预测分析技术。

关键词：云计算系统；个性网络监测；预测分析 数学模型

1.背景介绍
　　随着云计算系统的深入研究，基于对象的云计算存储系统的日益完善，带来以下两个问题：一是现有的云计算监测软件只能满足对硬件信息（节点网络输入/输出，CPU信息，内存信息）的监测，无法满足使用者对云计算文件系统的软件个性信息（如服务端命令处理速率）的监测需求；二是没有建立数学模型，描述云计算系统服务端软硬件信息的相关性，从而进行一定的预测与分析工作。
　　针对上述问题，通过对云计算系统监测技术的研究，以及对预测方法的学习和调研，本文提出了一种基于远程过程调用协议（Remote Procedure Call Protocol，RPC）的个性监测技术与预测分析技术相结合的监测系统。
2. 个性监测技术
2.1服务端个性监测的实现框架
　　基于RPC的云计算系统分为服务器端和监控端两部分。个性监测模块插入在元数据服务端代码中，然后通过监控端的设计将提取的信息发送到WEB端进行分组显示。系统的模块划分如图2.1所示。

图2.1  系统模块划分图
　　本系统主要是基于RPC的云计算系统仿真平台，实现对云计算系统服务端对来自不同客户端命令处理速率的统计和计算。
2.2服务端个性信息的获取与管理
　　个性监测技术的应用使得系统监测得到更微观的监测。为此，在系统中加入了个性监测功能模块，首先需要从服务端代码中设置监测点，将每个客户端请求的命令都记录在一个哈希表中，并对此表进行定期更新和删除，并能将表中数据定时刷到指定文件中。
　　个性监测功能模块上层与个性监测机制模块交互，负责给个性监测机制模块提供监测信息；下层与服务端软件模块交互，负责将服务端接受到的命令及时刻点存入到哈希表中，并及时刷到磁盘文件中。

　图2.2  个性监测功能模块
2.3个性监测信息处理模块
　　个性监测信息处理模块的主要功能为将本地个性监测文件信息传送到监测管理服务器中，并按照指定格式显示在WEB页面上。如图2.3所示，个性监测信息处理模块主要包括个性监测的环境配置和个性监测脚本实现模块两个方面。

图2.3 个性监测信息处理模块设计图
3.预测分析技术
预测分析技术一直是国内外长期探讨研究的重点课题，它广泛应用于各个学科之中，如地质勘测、计算机性能、生物医学等重要领域。因此，对云计算系统的监测数据进行预测分析是一个重要的课题方向。
　　通过对云计算系统监测的研究可知，服务端节点有两类监测信息，一是可以通过云计算监测软件获取的硬件信息，二是可以通过上述个性监测方法获取的软件信息。利用现有的硬件信息和软件信息建立一个数学模型，这个模型可以预测在某种硬件环境下，系统可以达到的吞吐率，同时，通过对系统吞吐率的性能要求，可以人为设定一组硬件环境，来满足既定的性能要求。
3.1预测模型
　　通过对云计算系统的监测可知，每个节点的硬件信息都是时间序列型的数据，因此可以选择回归预测模型作为分析模型；又由于预测对象为元数据服务器的命令处理速率，此速率与多项因素相关，因此需要建立一个单因变量-多自变量的预测模型[1]。故选择了多元线性回归预测模型进行分析。
3.2模型参数
　　假设命令处理速率为因变量y，由于y主要受三方面因素的影响（网络、CPU、内存），因此可以建立抽象模型：y = f ( N , C , M )，其中N为网络情况，C为节点CPU负载情况，M为剩余内存。状态拟合图如图3.1所示。

图3.1 监控数据状态拟合图
　　预测因变量为：原数据服务器命令处理速率
　　预测自变量为：网络情况（Bytes_in，Bytes_out）、内存情况（Mem_free）、CPU情况（CPU_load、CPU_wio、CPU_idle）。
4.预测模型用途分析
　　（1）负载均衡。通过对命令处理速率的预测，可以提前获知系统各客户端节点的请求情况，以及各命令的请求情况，为系统进行负载均衡调度策略提供信息资源。
　　（2）绿色存储。通过预测模型，提高设备利用率，保证设备资源充分利用，从而达到节能，低碳，环保的效果，体现出绿色存储的理念。
　　（3）告警管理。通过系统硬件环境数据的发展趋势，预测系统处理能力瓶颈，从而设定告警阈值[3]，对云计算系统进行告警管理。例如可以分别对内存，CPU，网络设定一个阈值，然后预测出命令处理速率阈值，当命令处理速率长期接近阈值时，进行告警，并检查系统软硬件设施是否正常运行。
5.总结
　　本文设计了在基于RPC的云计算系统平台上设计和实现了个性监测系统，结合个性监测技术和预测分析技术，提供更细致的监测服务，提高系统性能。总结起来，本文的主要工作有以下几点：
　　（1）基于RPC平台实现了个性监测的基本功能，基于哈希散列的个性监测方式，实现从云计算系统服务端端提取软件信息，并实现定期查询、统计、内存管理等模块；
　　（2）基于Ganglia平台设计与实现了个性监测机制，将云计算系统服务端端提取的信息通过Ganglia Python机制传送到监测管理节点，并通过WEB端实现分组管理的功能；
参考文献：
[1] 张慧秦, 薛永飞. 最优多元线性回归的应用简析. 河南纺织高等专科学校学报,2005,17(3):17~19
[2] 刘次华,万建平.概率论与数理统计.(第二版).北京:高等教育出版社,2003,(6).260~262
[3] 何丽萍,刘立程.改进的基于Ganglia的网格监测系统.广东工业大学学报,2006,23(1):85~89

来源：第一论文网

关注下[tthread=linsj_smzx, 林山杰]http://app.qlogo.cn/mbloghead/9b3ce054c282184a46ac[/tthread]

转播微博[tthread=linzhiping4773, 林知平]http://app.qlogo.cn/mbloghead/510378c60396c4fb2b14[/tthread]

╭ァ侽亽_景

jason@math

顶一个！！！！

sdccumcm

支持～  我们做了一个大学生国创项目，也是借鉴云模式视频监控的思想，做了一个人数统计+作弊检测系统，已经结项了~

OuBai

好东西，谢谢楼主分享~~~

liuguanglong

挺好的~~~~~~