校核、验证与确认（ VV&A ）是可信度评估的基础与核心工作，针对航空发动机多系统仿真模型仿真规模庞大、结构层次复杂的特点，构建科学合理的VV&A流程并推进其在实际仿真系统的评估应用，可保障VV&A各阶段工作顺利进行，促进全生命周期仿真活动质量提升。

建模仿真技术的发展促进了仿真模型应用范围的扩展以及功能性能的提升。随着仿真模型的结构越来越复杂、规模越来越庞大，仿真模型的可信度评估以及仿真系统的VV&A迎来进一步的发展和挑战^[1]。

航空发动机多系统仿真模型涉及总体、空气系统、滑油系统、燃油控制系统等多个子系统模型，具有仿真规模大、结构层次多、时空范围广、技术领域宽等特点。在应用航空发动机多系统仿真模型之前，需要判断其仿真结果在特定的仿真目的下能否有效地反映仿真对象。缺乏足够可信度的航空发动机多系统仿真模型是没有应用价值的，其仿真结果甚至会对决策者产生误导。航空发动机多系统仿真模型自身的特点决定了对其进行可信度评估的艰巨性和复杂性。

仿真可信度评估技术是数字化转型下航空发动机仿真专业技术之一，其中面向发动机整机级仿真的可信度评估体系和流程构建技术是支撑航空发动机深入开展仿真可信度和不确定性评估，实现贯穿全生命周期仿真活动质量提升的重要组成部分^[2]。VV&A是可信度评估的基础与核心工作，构建航空发动机多系统仿真VV&A流程是开展航空发动机多系统仿真VV&A工作的基础和前提，需结合可信度评估方法及评估任务的先后顺序，制定工作流过程模型，用于指导VV&A各阶段的工作使之顺利执行。

可信度评估与VV&A的概念

结合一般建模仿真理论，对仿真可信度和可信度评估进行如下定义：可信度是指仿真系统的使用者对该仿真系统在一定环境、一定条件下仿真结果精度或者解决所定义问题正确性的信心程度^[3-4]。可信度评估是指对模型/仿真系统/仿真试验结果是否可信以及可信程度进行分析、计算和评价，具有目的相关性、客观性、层次性、综合性、条件性等特点。目前，可信度评估方式可分为面向开发过程的评估和面向结果的评估两种，前者需在仿真系统开发过程中多个阶段进行可信度评估，后者只需在仿真模型/系统开发完成后对其进行评估。

VV&A的定义在不同的标准或应用系统中会有所不同，处于不断的改进和完善中。目前建模与仿真领域常采用美国国防部（DOD）所提出的标准。DOD VV&A RPG 2.5中VV&A的定义对后续诸多其他标准起到了重要的参考作用。许多标准都借鉴了该定义^[5]，其具体内容如下：校核是指确定模型实现及其相关数据准确地表示开发人员的概念描述和规范的过程，主要关注模型的构建方法是否正确；验证是指从模型的预期用途的角度确定模型及其相关数据提供真实世界准确表示程度的过程，主要关注模型构建结果是否正确；确认是指模型、仿真或模型和仿真的联合及其相关数据可用于特定目的的官方认证，主要关注给出结论是否可信。

VV&A是可信度评估的基础与核心工作。VV&A生成的文档、数据、方法和工具可以支持可信度评估，而可信度评估结果也可以为VV&A的确认阶段提供参考^[6]。

仿真可信度评估结果的正确程度依赖于正确合理的VV&A计划和实施，并需要采用正确的方法来建立可信度指标。VV&A流程是仿真VV&A标准中最重要的一环，通过参考VV&A流程，评估人员可以根据实际情况进行删减，制订合适的VV&A计划。每个项目都具有各自的特点，需要根据实际情况设计合适的校核和验证（V&V）流程和方案并进行实施。

可信度评估和VV&A研究现状

目前，对于可信度评估和VV&A的研究主要集中在可信度评估理论、可信度评估方法、可信度评估辅助工具和VV&A评估标准等方面。

在可信度评估理论方面，相关研究开展了60余年，经历了多个发展阶段，经过官方机构和众多学者的研究，有力地推动了可信度评估工作向标准化、规范化的方向发展。20条黄金准则^[7]针对建模仿真涉及的校核、验证、测试与确认等关键环节给出了指导框架，显著地促进了仿真系统VV&A理论体系的完善与推广。但也存在学者们对仿真可信度内涵的理解不一致，术语使用不统一，过程模型分别面向不同类型的仿真系统且彼此之间存在着显著差异等问题。

在可信度评估方法方面，相关理论与方法以国外研究成果为主，国内研究多结合实际需求对相关方法与技术进行应用与改进^[8]。针对静态输出、非周期和周期型动态输出的仿真结果验证方法已趋于成熟，对于输出为非平稳时间序列的结果验证问题，现有方法存在验证信息不完备、频谱信息不够准确等缺陷。

在可信度评估辅助工具方面，国内学者针对特定评估对象开发了一系列工具软件和平台，但通用工具较少。需要跟踪可信度评估领域的最新进展，及时补充新的可信度评估方法，继续开发功能全面且人机交互良好的可信度评估工具。

在VV&A评估标准方面，我国在仿真VV&A 标准方面的研究起步较晚，现有的仿真VV&A 相关标准较少，且多与具体领域紧密结合，如航天控制系统仿真、军用电子装备仿真、民用飞机仿真、电子装备仿真等，与美国等发达国家具有一定差距。

目前，国内针对航空发动机仿真相关VV&A和可信度评估的研究也较少，只有部分研究人员针对航空发动机的子系统仿真进行了研究。刘秀海提出了针对航空发动机滚动轴承仿真系统的可信度评估方案^[9]。周帅等针对航空发动机气动仿真中VV&A的应用问题进行了研究^[10]。同时，针对仿真VV&A和评估问题的研究多数集中于评估方法与技术，对于仿真可信度评估问题缺乏系统、全面的分析与描述。

有必要对航空发动机多系统仿真模型VV&A流程开展研究，制订正确合理的VV&A计划，指导VV&A各阶段的工作顺利执行。

航空发动机多系统仿真模型

航空发动机多系统仿真模型通过多系统仿真平台实现模型连接、数据传输和集成仿真，包括总体模型、滑油系统模型、燃油控制系统模型和空气系统模型，各子系统均由多个部件、元件或功能流路模型组成，仿真规模大、结构层次多、系统内部和系统间交联关系复杂，仿真模型如图1所示。

航空发动机多系统仿真模型VV&A流程

对航空发动机多系统仿真模型开展VV&A是一个复杂的问题，根据航空发动机多系统仿真目的和对象特点，确定航空发动机多系统仿真VV&A方案与流程，依据仿真数据类型选取恰当的方法进行评估。

根据航空发动机多系统仿真模型VV&A各阶段目标和要求，给出一种航空发动机多系统仿真模型VV&A流程（见图2）和航空发动机多系统仿真模型VV&A方案（见图3）。将整个VV&A流程分为校核、验证和确认3个阶段，每个阶段通过后，进入下一个阶段。同时给出了各阶段需要准备的评估依据、评估流程和生成文档。

校核阶段

校核阶段需要校核航空发动机多系统仿真模型是否按照规范和设计要求被正确构建，即检查仿真程序和仿真设备的运行是否合理、稳定、正确与有效。航空发动机多系统仿真校核需要检查和确定仿真模型是否准确表达了概念模型、数学模型，即模型从一种形式转换到另一种形式的过程是否正确。根据航空发动机多系统仿真校核工作目的，提出了一种航空发动机多系统仿真校核工作流程，具体步骤包括以下6个方面。

确定校核目标。以航空发动机多系统仿真需求为出发点，对航空发动机多系统仿真模型进行结构与功能分析，确定多系统仿真模型需要复现出的结构层次、需要实现的功能，以及明确系统内部的数据传递关系，检查各个模型的功能实现、交互一致和精度达标。

建立校核指标体系。根据校核目的，确定影响该系统可信度的因素，运用层次化方法将互相联系的因素分层，然后对指标进行筛选，合理选择多个层级的指标，最后建立层次化的航空发动机多系统仿真校核树形指标体系。对航空发动机多系统仿真进行校核时，其校核指标主要针对模型功能实现性、子系统交互一致性和模型精度达标率3个部分。

获得指标校核结果判断依据。确定航空发动机多系统仿真校核指标体系之后，针对每一个底层指标，需要获取判断其校核结果的依据。通常，可依据子系统的设计报告、测试报告、使用说明等文件进行评判。若无相关文件，需进行测试方案设计，执行测试并获得测试结果。

确定指标校核结果。获得指标校核结果判断依据后，需要判断该指标是否达到仿真应用的要求，通常结果由布尔值来表示，0表示不达标或不通过，1表示达标或通过。

校核指标综合。依据校核指标体系和底层指标校核结果，处理校核指标值，分配指标权重，依据相应指标综合方法，先进行底层单个评估指标结果综合，后逐层进行多个评估指标综合，直至完成对整个指标体系的综合工作。

给出校核意见。根据航空发动机多系统仿真校核指标体系综合评估结果，确定该系统的校核结果，并总结意见和建议，形成航空发动机多系统仿真模型校核报告。

验证阶段

航空发动机多系统仿真验证阶段是在建模目的下，去评判仿真系统能否准确地代表实际系统，更具体来说，是考察仿真系统输出是否充分接近实际系统行为。验证阶段需要验证航空发动机多系统仿真模型是否准确地表征了被仿真对象，即评估在同一输入条件下，参考输出与仿真输出是否具有一致性。根据航空发动机多系统仿真验证工作目标，提出了一种航空发动机多系统仿真验证流程，具体步骤包括以下5个方面。

确定验证目的。由仿真系统用户、系统开发人员和领域专家反复磋商论证，共同确定航空发动机多系统仿真模型需要复现出的仿真系统结构与需要实现的仿真对象的功能。评估在同一输入条件下，参考输出与仿真输出是否具有一致性以及一致性的多少。通过验证给出航空发动机多系统仿真模型可信度的量化结果。

构建验证指标体系。依据验证目的，对航空发动机多系统仿真模型进行结构分解与功能分析，确定影响该系统可信度的因素，对指标进行筛选，建立层次化的航空发动机多系统仿真模型验证树形指标体系。对航空发动机多系统仿真模型进行验证时，主要依据系统输出进行一致性分析。

获取底层验证指标分析结果。为获得航空发动机多系统仿真模型验证树形指标体系顶层指标的评估结果，需要获得底层指标的分析结果。根据是否具有参考数据，验证指标体系底层指标可分为定性指标与定量指标。定性指标分析结果一般通过专家评判获得，定量指标分析结果一般需要根据数据类型选取合适的分析方法，经过数据一致性分析获得。获取到分析结果后，还应该将其转换成可信度。指标值的取值一般在[0,1]区间内，指标值越接近于1，指标表现越好。

验证指标综合。分配指标权重，依据相应指标综合方法，先进行航空发动机多系统仿真模型底层单评估指标结果综合，后逐层进行多评估指标结果综合，直至完成对整个指标体系的综合工作。常见的综合方法有加权算术平均、加权几何平均、有序加权平均、有序加权几何平均和组合加权算术平均等。

给出验证评估意见。根据航空发动机多系统仿真模型验证指标体系综合评估结果，确定该系统的可信度，并总结意见和建议，形成航空发动机多系统仿真模型验证报告。

确认阶段

确认阶段需要根据校核和验证的证据，评估航空发动机多系统仿真模型的能力、准确性、正确性和可用性是否足以支持其预期用途，判断能否基于其对实际系统进行分析、评估、设计与优化。确认阶段的主要工作是由相关权威专家、机构或用户，对多系统仿真在给定约束条件下可用于特定应用目的可信性给出正式的承认或者证明。针对航空发动机多系统仿真特点，提出了一种航空发动机多系统仿真模型确认流程，具体步骤包括以下4个方面。

确定确认评价准则。根据航空发动机多系统仿真模型应用目的，确定确认阶段的评价准则，给出审查条目与通过标准。

组建确认专家团队。根据航空发动机多系统仿真涉及人员范围，组建合理的确认专家团队，包括相关权威专家、机构或用户等。

审查V&V计划、过程、结果。审查航空发动机多系统仿真模型V&V计划的合理性、规范性、有效性、完备性和可操作性；审查航空发动机多系统仿真模型V&V过程、实施和检验结果的合理性、规范性、有效性和正确性；审查航空发动机多系统仿真V&V结果的合理性、正确性和有效性，评估模型是否可接受。

给出确认结论和评估意见。根据航空发动机多系统仿真模型V&V审查情况和模型V&V报告的建议，对航空发动机多系统仿真模型在给定约束条件下可用于特定应用目的可信性做出确认结论，给出模型确认报告。一般来说，确认结论包括完全确认、有限确认、补充V&V后再提交确认和不予确认4种。

航空发动机多系统仿真可信度评估方法

仿真可信度评估方法主要指在仿真可信度评估的不同阶段，完成不同评估任务所需的技术、策略等。现有的可信度评估方法众多，主要分为定性方法、定量方法与综合性方法3类。根据仿真对象特点，评估人员可按照需要选择1种或多种合适的评估方法开展评估。根据航空发动机多系统仿真模型特点，各阶段所用的评估方法不同。其中，验证阶段的数据一致性分析过程为可信度评估工作的重点。

基于航空发动机多系统仿真VV&A流程，给出航空发动机多系统仿真校核与验证阶段可信度评估方法应用情况，如图4所示。航空发动机多系统仿真校核与验证阶段可信度评估方法包括评估数据预处理方法、数据一致性分析方法、指标赋权方法与评估指标综合方法4种。

数据预处理方法：用于一致性分析前的数据准备工作，主要包括奇异值剔除、正态性检验、平滑处理、平稳化处理、时序一致性处理等。

数据一致性分析方法：用于对预处理完的数据进行一致性分析，主要包括参数估计、均值检验、方差检验、泰尔不等式（TIC）系数、灰色关联、频谱分析、特征匹配、误差分析等。

指标赋权方法：用于对指标体系中各个层级指标进行权重确定，主要包括直接赋权和层次分析等。

评估指标综合方法：用于获取仿真系统最终可信度，包括加法合成、乘法合成和模糊综合等。

同时考虑航空发动机多系统仿真可能涉及的不确定性输出、专家指标权重信息不全、模型参数不确定性等问题，需要对应考虑多元异类仿真结果验证方法、基于多专家数据的可信度评估方法、评估数据不完备情况下的可信度评估方法、多候选模型的排序评估方法等方法的应用。

结束语

航空发动机多系统仿真模型涉及多个子系统模型，仿真规模大、结构层次多，作为一个典型的复杂系统，其VV&A工作任务十分艰巨。本文针对航空发动机多系统仿真模型特点，对航空发动机多系统仿真模型VV&A流程开展研究，制订了VV&A计划，给出了VV&A各个阶段的评估流程、需要的评估依据以及需要生成的评估文档，评估流程科学合理。同时，基于对航空发动机多系统仿真模型各阶段评估依据和数据类型，总结分析了校核和验证阶段可应用的4类评估算法。推进航空发动机多系统仿真模型可信度评估流程和评估方法在实际仿真系统的评估应用，可以发现限制仿真模型可信的瓶颈，指导模型优化提升，具有十分重要的工程价值。本研究受到国家级研究项目资助。

（程会川，中国航空发动机研究院，高级工程师，主要从事航空发动机仿真技术研究）

参考文献

[1] 朱霞,张亚.基于VV&A的仿真系统可信度评估方法研究[J].信息化研究,2021,47(2):63-69.

[2] 曹建国.数字化转型下航空发动机仿真技术发展机遇及应用展望[J].系统仿真学报,2023,35(1):1-10.

[3] 钱晓超.考虑不确定性影响的仿真模型验证及校准方法研究[D].哈尔滨:哈尔滨工业大学,2016.

[4] 李伟,林圣琳,周玉臣,等.复杂仿真系统可信度评估研究进展[J].中国科学:信息科学,2018,48(7):767-782.

[5] 王秉珩,李伟,张欢,等.国外仿真VV&A标准综述[J].空天防御,2023,6(3):13-24.

[6] 杨小军, 徐忠富, 于鹏. 复杂仿真模型可信度评估[Ｍ].北京:国防工业出版社,2023．

[7] BALCI O. Golden rules of verification, validation, testing, and certification of modeling and simulation applications[J].SCS M&S Magazine,2010, 4(4):1-7.

[8] 魏华梁,李钟武.灰色关联分析及其在导弹系统仿真模型验证中的应用[J].系统工程与电子技术,1997,(2):55-61.

[9] 刘秀海.航空发动机滚动轴承仿真系统可信度评估:第六届中国航空学会青年科技论坛论文集[C].北京:航空工业出版社,2014:962-966.

[10] 周帅,汪丁顺,付琳,等.校核、验证与确认在航空发动机气动仿真中的应用与挑战[J].航空动力,2021(2):82-86.