本站原创摘 要：对计算机系统与计算机网络进行资源分配以及任务调度使用的理论工具是动态优化.当前,随着计算系统以及计算网络的发展,国内外已经对计算机系统以及计算机网络中的动态优化进行深度的研究,以期能够对实际的应用有所帮助.本文通过马尔可夫决策从模型、求解、应用方面对计算机系统与计算机网络展开讨论.
关 键 词 ：计算机与计算机网络；动态优化；马尔可夫决策
中图分类号：TP393.0
目前,随着计算机系统与计算机网络在人们生活中的普遍使用,计算机网络以及计算机系统不断延伸拓展到社会各行各业中,计算机使用的广泛性,使得其业务数量与业务种类不停的增加[1].数量与种类的不断增加,使得人们不得不开始思考如何在复杂的计算机网络中对有限的资源进行合理分配,已达到提高计算机网络运行效率的目的.在计算机网络运行的过程中,降低计算机网络运行的成本是亟需解决的问题.对资源和任务进行调度常常使用的理论是优化理论.从不同的维度对优化理论进行分类可以划分为动态优化和静态优化理论.由于静态优化理论在实际的运用过程中会存在较多的问题.因此,实际运用中常常使用动态优化理论.马可夫的决策过程（Markov Decision Process,MDP）是动态优化理论的基本模型[2].随着计算机的广泛应用,计算机网络系统的资源管理方面会出现各种问题,而MDP模型的建立通常可以避免计算机网络“状态空间爆炸”的现象出现.MDP模型有效解决精确结算法中出现的各种问题.笔者通过本文,对此进行分析.
1.马尔可夫决策过程中动态模型的建立
1.1 马尔可夫的决策过程
马尔可夫基本的决策过程步骤主要包括以下几个步骤：首先具有一个描述性的状态集合S,通过这个描述状态的集合决策者可以在此集合内进行相关的行为,决策者在状态空间中的行为具有归为一个名为行为集合A.当然,决策者在对描述集合内进行的相关行为所产生的收益就可以命名为收益函数R.在整个马尔可夫决策的过程中,会逐渐产生一定关系记录决策者在描述状态下的转移过程,即状态转移关系.马尔可夫的决策过程是根据下一时刻的状态进行决策,而与系统的历史性无关.通常情况下,根据的性质可以将MDP分为随机的MDP和确定的MDP两类.确定的MDP在一定的状态随着行动的转移导致确定的状态转移.而随机的MDP不仅要根据当前状态下决策者的行为,还会受到一定的外部用随机变量W的影响.通常情况下,研究马尔可夫的决策过程,指的是随机MDP.其实在马尔可夫决策过程中,状态集合S到行为集合A中的一个映射被定义为π[3].决策者根据π的具体情况来确定所需要的行为.在实际决策的过程中,典型的马尔可夫决策过程如下：首先,决策者观察所处的决策环境里面的状态S.其次,根据状态将进一步确定决策者的决策行为π,将该行为在系统中进行转换,然后再重复前面的步骤,就可以将马尔可夫的决策过程完成.随着马尔可夫系统的演进过程,其行为会产生一定的收益序列.将所获得MDP进行比较,将其转换成目标函数J,确定为一个确定的实数值.
1.2 马尔可夫决策过程的建模与分析
将马尔可夫决策理论运用于实际中,根据该理论建立相关的模型.其具体的运用操作包括以下几个方面.首先应当明确马尔可夫过程建模的目标. 在确定马尔可夫决策的过程中,根据受益目标的不同,运行系统的不同其导致的目标可能不同.即使是同一系统,由于研究角度的差异也会导致收益函数和目标函数的不同.以计算机网络为例,常见的目标函数有能量的消耗、延迟、分组丢失率以及节点吞吐量.随机的MDP,会带有期望的形式（E）的目标函数.期望函数中有限的马尔可夫决策过程和无限的马尔可夫决策过程形式分别表现为：
有限的马尔可夫决策形式：
无限的马尔可夫决策形式：
在系统运行的过程中,根据目标函数和各级函数的不同,其可以不断根据目标函数进行最大化和最小化进行变化[4].通过相应的操作可以对马尔可夫进行相关的调整.其次,根据运行状态空间进一步确定决策的行为.在马尔可夫决策过程形成的过程中,系统的状态空间和决策行为空的有可能处于游离的状态.游离的状态下会在一定程度上占用无线电系统的空间.状态空间系统以及决策行为的确定可以为用户确定一定的取值范围.在对马尔可夫决策过程分析的过程中,对马尔可夫决策过程进行分类.根据不同的依据,马尔可夫可以分为几种不同的类型
2.马尔可夫决策过程的求解
在实际操作的过程中,马尔可夫的决策过程通常可以归类为两种：精确求解算法和近似求解算法.根据精确求算法可以满足用户在折优情形下用户的最优解.而近似求解法则是在一个系统中对资源和数据进行相关的调整以及建立相应的数据,满足用户的需求.这两种算法在实际的运用过程中,由于使用方式的不同,两种方法根据实际情况各存在不同的分类方法.用户根据自己的实际情况对其进行分类运用.
3.马尔可夫决策过程的应用
本文在对马尔可夫应用进行分析的过程中将一个可以修复的系统为例进行讲解.对该模型进行分析.
图1中的左半部分是一个可能正常工作、可能失效的随机子网,右半部分则为描述决策者的行为.包括对相关资源的分配.在MDPN的模型中,对相关的标记进行改良后可以获得改善的网络.该模型可以很好地处理系统中的对称性问题.缩小空间中问题.当前,基于对计算机系统以及计算机网络的研究和应用,分别对马尔可夫的相关理论展开分析,有利于计算机网络以及计算机的发展.将有关的理论运用其中,可以有效解决资源管理中的各项问题.
4.结束语
计算机系统与计算机网络中的资源和种类极其复杂,面对对计算机系统以及计算网络运用如此广泛的环境下,运用动态理论对系统进行建模,并对此进行求解,有助于计算机系统和计算机网络的发展.为计算机系统和计算机网络系统的研究提供了一个研究方向,将有利于我国科学技术的发展.