如何检验模型的有效性？？？求大神指教

970868174

! ~+ @: j3 z" f( w/ Q0 K" n

madio

为了得到正确的结论、在进行系统分析、预测和辅助决策时，必须保证模型能够准确地反映实际系统并能在计算机上正确运行。因此，必须对模型的有效性进行评估。模型有效性评估主要包括模型确认和模型验证两部分内容：模型确认考察的是系统模型（所建立的模型）与被仿真系统（研究对象）之间的关系，模型验证考察的则是系统模型与模型计算机实现之间的关系。
! W+ @! \. Y1 w　　对于一个具体的建模项目来说，模型有效性评估贯穿于研究的始终。必须指出，模型实际上是所研究的系统的一种抽象表述形式，要验证一个模型是否百分之百有效是极其困难的，也是没有实际意义的。另外，模型是否有效是相对于研究目的以及用户需求而言的。在某些情况下，模型达到60％的可信度使可满足要求；而在另外一些情况下，模型达到99％都可能是不满足的。
0 N/ a+ T3 f  x9 Q4 F& h9 H8 W" j
　　模型有效性的概念出现在20世纪60年代，随着计算机仿真技术在各个学科和工程领域的普遍应用，模型有效性问题日益受到人们的关注。 1967年，美国兰德公司的fishman和Kivtat明确指出，模型有效性研究可划分为两个部分：模型的确认（validation）和验证（verification）。这一观点被国际仿真学界普遍采纳。模型确认指通过比较在相同输入条判和运行环境下模型与实际系统输出之间的一致性，评价模型的可信度或可用性。模型验证则是判断模型的计算机实现是否正确。
/ v' w5 [6 b' B( n, u; l　　尽管确认和验证在各文献中的定义不尽相同，但对于二者之间的区别，专家的看法却是基本一致的。简单地说，模型确认强调理论模型与实际系统之间的一致性，模型验证则强调当前模型与计算机程序之间的一致性。在有些文献中也采用工程技术人员容易接受的“校模”和“验模”两个术语来分别代替“确认”和“验证”。模型的确认和验证与建模的关系见图 8.5。
- {; n" @% n! A" `5 j　　在图 8.5中，“问题实体”指被建模的对象，如系统、观念、政策、现象等。“理论模型”是为达到某种特定的研究目的而对问题实体进行的数学／逻辑描述。“计算机模型”（computerized Model）是理论模型在计算机上的实现。
通过“分析与建模”活动可以建立理论模型。计算机模型的建立需通过“编程及实现”这一步骤来完成。经过仿真“实验”即可得到关于问题实体的结果。
　　模型确认包括理论模型有效性确认、数据有效性确认和运行有效性确认三部分内容，其中运行有效性确认是模型确认的核心。

# G8 m% E7 y6 t* _/ V- W) {+ h9 a( b图 8.5 确认和验证与建模的关系

　　1）理论模型有效性确认
　　理论模型有效性确认是对理论模型中采用的理论依据和假设条件的正确性以及理论模型对问题实体描述的合理性加以证实的过程。理论模型有效性确认包括两项内容：
　　（1）检验模型的理论依据及假设条件的正确性。它具有两个含义，一是检验理论依据的应用条件是否满足，如线性、正态性、独立性、静态性等；该检验过程可以利用统计方法进行。二是检验各种理论的应用是否正确。
- U. d  f5 g; Y4 o0 ?- }0 d; S+ H　　（2）子模型的划分及其与总模型的关系是否合理，即分析模型的结构是否正确，子模型问的数学/逻辑关系是否与问题实体相符。理论模型经确认有效后，才能对其进行试运行。最后根据输出结果评估模型的精度。若理论模型无效，应重复分析、建模及确认的过程。
　　2）数据有效性确认
% B0 A- R! f+ q! B' B. J　　数据有效性确认用于保证模型建立、评估、检验和实验所用的数据是充分的和正确的。
　　在模型开发过程中，数据用于模型的建立、校验和运行。充分、正确、精确的数据是建立模型的基础。数据有效性确认包括对模型中关键变量、关键参数及随机变量的确认，以及对运行有效性确认时所使用的参数和初始值等数据的确认。
- K* Y. e) f0 z% R$ P* x- j　　3）运行有效性确认
% k0 T6 V6 _# v; Y: v2 |0 E" h　　运行有效性确认指就模型开发目的或用途而言，模型在其预期应用范围内的输出行为是否有足够的精度。
　　运行有效性确认的目的是对模型输出结果的精度进行计算和评估。其前提是实际系统及其可比系统的数据均可获取。通过比较模型和实际系统在相同初始条件下的输出数据，可对模型有效性进行定量分析。与实际系统相类似的系统，确认为有效的解析模型、工程计算模型、以及经过确认的模型都可作为模型的可比系统。
　　理论模型确认、数据有效性确认及模型验证是运行有效性确认的前提。经运行有效性确认被认为有效的模型即可作为正式模型投入运行，利用它进行实际问题的研究。若模型在运行有效性确认时被确认为无效，其原因可能是理论模型不正确、或计算机模型不正确，也可能是数据无效。具体原因的查明需从分析与建模阶段开始，重复模型的构造过程。若实际系统及其可比系统不存在或完全不可观测，则模型与系统的输出数据无法进行比较。在这种情况下，一般只能通过模型验证和理论模型确认，定性地分析模型的有效性。
8 A! {* S! L& B6 P5 i) `' J
　　理论模型有效性包括：1）表观确认，分析对与模型有关的所有信息进行评估，确定需要附加分析的内容，以提高模型的可信度水平；2）历史分析，对与模型有关的历史信息的评估，以评价模型对预期应用的适宜性。3）预期应用和需求分析，对预期应用的效果进行评估，以确定那些对资源的有效利用起关键作用的需求。4）模型概念和逼真度分析，对模型的算法和子模型进行评估，以辨识那些不适用的假设，并确定子模型的逼真度是否能保证模型的预期应用。5）逻辑追踪分析，通过模型逻辑评估模型中指定实体的行为，并确定这些行为是否都是所期望的

madio

我觉得你这里的有效性就是要看看不同情况的输入是否都会产生正确的结果，比如不同专业，不同家庭条件，不同学习情况的学生进行输入，得到的结果是否和真实情况相符合

平凡之不凡

如果你的问题得到的模型是基于数据的话，从简说应该预留一部分数据对模型做检验

970868174

madio 发表于 2014-8-17 07:16
4 e$ B* ]0 \- K5 @# ~我觉得你这里的有效性就是要看看不同情况的输入是否都会产生正确的结果，比如不同专业，不同家庭条件，不同 ...

换数据输入检验模型的有效性是吗？
我要对所建立的层次分析法模型进行正确性和有效性的检验，我用调查的数据运用模糊综合评价进行验证正确性，那验证有效性呢？我是去改变原来的层次分析模型的条件，还是换一批数据直接输入到我的模糊综合评价模型里呢？