以评价指标体系护航信息化生态建设

云栖网：在教育信息化生态系统中，有三大推动力量：教育信息化评价指标体系制定、评估工作开展和评估建模分析，这三者相互依赖、相互影响。

高校信息化建设的现状与问题

自从教育部发布《教育信息化2.0行动计划》以来，安徽省高校积极展开面向教育信息化2.0的信息化改革。目前，安徽高校教育信息化建设在基础设施、业务支撑、业务应用和保障体系方面发展相对较好，但是重复建设和无效建设问题仍很难避免；在数据与资源建设方面发展较弱且不均衡，数据孤岛问题尚未完全解决；智慧校园建设已经着手开展，但具体实施方案还处于摸索中，有待于明确的指导。

通过分析安徽省教育信息化发展现状，我们认为制约安徽教育信息化发展的因素主要体现在以下几个方面：

1.建设方向不明

高校各级领导普遍认识到教育信息化的重要性，但对如何利用信息化手段提升学校的竞争实力并不十分明确，不可避免地出现了跟风盲目发展的现象。如果没有教育信息化评价指标的评估和指引，高校信息化负责人一方面不能明确了解学校教育信息化发展的问题，也很难把握教育信息化的发展方向，容易导致教育信息化建设决策错误，以至于造成教育信息化发展不协调、教育资源浪费等问题。

2.组织协调不力

安徽省多数高校没有明确教育信息化行政职能管理部门，网络信息中心作为技术支持的服务部门，不具备全校信息化工作的协调和管理能力，也是导致数据孤岛问题、数据共享与统筹规划工作难以推行的重要原因。

因此，明确信息化办公室或信息化处作为行政职能管理部门的地位，赋予统筹和协调全校信息化工作权职，是推进教育信息化2.0改革的重要的组织保证。从本质上说，组织协调问题难以解决是因为部分校领导对教育信息化缺乏明确的概念，也缺少渠道获取教育信息化在教育教学方面发挥作用的客观评价数据。

3.经费投入不足

安徽省高校普遍存在经费投入不足的问题，部分高校近两年投入明显增加，但仍未达到教育信息化发展先进地区的总体投入水平。以3万左右学生的本科高校为例，先进地区高校每年信息化建设经费一般不低于1500万到2000万（含电子图书期刊购置费），而安徽省高校每年的经费普遍不超过1000万。经费投入不足的问题并非因为高校缺少经费，而是在于不清楚如何利用经费发展教育信息化。归根结底，这也反映了教育信息化发展缺乏指引和指导的问题。

4.技术力量不够

随着高校信息化建设的不断深入，各种平台和系统纷纷投入使用，运维服务及安全保障的工作量都在持续增加，但各高校的技术支持力量却不可能随之增加。另外，“人工智能”、“大数据”、“IPv6”、“5G”、“区块链”等各类新技术已经成为教育教学改革中必不可少的支撑技术，也就意味着对高校信息化支撑队伍的技术水平提出了更高要求。因此，提高技术人员薪酬水平，加强人才引入计划，是加快高校信息化建设的必要条件。技术支撑人才的引入策略也需要高校教育信息化的正确评估为其提供支持和保障。

解决方案

基于上述问题和制约因素，安徽省教育厅于2014年发布的《安徽省高等教育信息化建设实施方案》中，明确提出了需要制定《安徽省高等教育信息化建设评价指标体系》的要求。《安徽省高等教育信息化建设评价指标体系》的制定和推行将成为该省高校向教育信息化可持续发展，向2.0时代迈进的重要举措。

2016年教育部发布的《教育信息化“十三五”规划》也将“开展督导，形成制度化评估机制”列入了保障措施中。从教育信息化发展的必要性和政策支持的充分性来说，教育信息化评价指标体系建设将成为教育信息化发展的必要举措和必然趋势。

关于如何运用教育信息化评价指标体系，并促使它发挥最大的效用，本文提出“以评价指标为指导，建设教育信息化生态”的解决思路，即：以教育信息化评价指标体系为推动手段，实现教育信息化生态建设的目标。这里涉及到两个重要概念：教育信息化评价指标体系被用于将教育信息化工作系统地逐层分解为相互独立且具有表征意义的任务项作为指标项，依据其重要程度赋予权值，用于衡量评估教育信息化发展状况。教育信息化生态是指通过挖掘系统各要素间相互依赖、相互影响的关系，构建良性循环的有机体，实现教育信息化高效的、有序的、协调均衡的、可持续的发展目标。

教育信息化生态系统

在教育信息化生态系统（如上图所示）中，有三大推动力量：教育信息化评价指标体系制定、评估工作开展和评估建模分析，这三者相互依赖、相互影响。评价指标体系的制定为评估工作提供评估标准和模板；评估的数据为评估建模与分析提供样本数据；评估建模与分析的结论服务于教育信息化发展战略规划，并指引高校教育信息化发展方向。

教育信息化评价指标的制定既要适应高校的教育信息化发展现状，还需要体现教育信息化发展方向；评估工作的开展为高校信息化建设起到积极的推动作用；评估建模与分析的结果反馈并指引高校开展教育信息化建设工作。

教育信息化生态系统中，有决策者、技术支撑人员、专家和师生四类角色。教育信息化的决策者依据教育信息化政策和评价指标的评估数据，制定教育信息化发展策略和计划，并提出下一轮评价指标体系制定的目标。高校的技术支撑人员将依照评价指标体系开展并落实具体的信息化建设工作。在每轮信息化评估工作结束后，行业专家负责为评估数据建模，挖掘并分析数据信息，为教育信息化决策者提供分析研究报告。

教育信息化生态系统的良性循环将为教育信息化发展提供源源不断的动力，实现教育信息化高效、有序、可持续发展的目标。它将应用于优质教育资源共享服务升级与推广，服务于教育管理信息化向智能化转变，致力于教育教学与教育信息化的深度融合，从而实现从服务教育教学拓展为服务育人的全过程。

教育信息化评价指标体系制定

制定教育信息化评价指标体系是教育信息化生态建设的首要任务。2016年安徽省教育厅开始组织编制《安徽省高等学校教育信息化建设评价指标体系（试行）》，并于2017年6月发布执行。它采用三级评价指标制，包括一级指标6项，二级指标18项，三级指标83项，基本内容如下图所示。

安徽省高校教育信息化评价指标体系(试行)基本构成

自2016年以来，安徽省专家关于教育信息化评价指标体系制定总结了若干经验。下面将分别从评价指标体系制定的基本原则和实现过程介绍这些经验。

基本原则

适用性：在指标权重的设置上，在可能的情况下尽量采用定量指标，并以安徽省高校信息化建设实际水平的平均值作为参考点。

公平性：对不同类型、不同规模的本科、高职院校，以不同的指标项达标要求进行考核，对同类型的学校用同一尺度衡量，以百分比或人均指标消除规模造成的差异。

开放性：指标项和参数的确定需要学习评价指标体系建设的先进经验，并参考对省内大多数高校在信息化建设方面的调研结果。

动态性：体现在评价指标项和权重设置上可以依据教育信息化发展方向和其建设发展情况而调整，体现了教育信息化发展性、可持续性的要求。

导向性：通过重要指标和权重设置，引导学校信息化建设的发展方向。

驱动性：在权重设置上要满足层级划分的要求，使之体现在评估分数上的区别，实现对暂时评估分数落后的高校发挥信息化建设的驱动作用。

实现过程

教育信息化政策学习与研究：从教育信息化评价指标体系的指导意义来讲，需要符合最新的教育发布的政策方针文件。

国内外高校教育信息化评价指标体系调研：关于教育信息化评价指标体系的建设在我国还处于探索研究阶段。在评价指标体系落地应用方面，需要借鉴学习国内外高校在教育信息化评价指标体系建设的经验和教训。

安徽省高校教育信息化现状调研：省域高校教育信息化评价指标体系建设主要目标是评估并指导本省高校教育信息化建设。因此，调研该省高校教育信息化现状，是建设具有针对性、有效的教育信息化评价指标体系的必要条件。

评价指标体系技术方案的研究：目前，教育信息化评估方法主要包括：灰色综合评价方法，模糊分析法，成熟度评估模型，层次权重决策分析法(AnalyticHierarchyProCESs，简称：AHP)，主成分分析法等。安徽省的教育信息化评价指标体系主要采用AHP层次决策分析法作为制定和评估依据。

教育信息化评估工作开展

教育信息化评价指标体系的制定为教育信息化评估提供了公平、有效、标准化的评价依据。评估工作的开展是本文提出的教育信息化生态系统中第二个推动力量和重要任务。为了高效地、有序地完成教育信息化评估工作，满足评价指标体系可升级、可维护的需求，便于实现评估数据建模与分析的工作任务，数字化教育信息化评估服务平台和评估数据中心建设是评估工作开展的重要手段。

在安徽省教育与科研网网络中心的大力推动下，“安徽省高校教育信息化建设评价指标申报和评分系统”于2018年研发。从用户角色出发，系统管理员具有用户注册审核与管理、评价指标体系版本设计与管理、申报流程控制、评估数据管理和信息发布的权限；高校用户具有线上数据申报、历史评估结果查询与下载、个人信息维护的权限；专家用户具有线上评分和评分管理权限；领导用户具有检索和下载高校历年申报记录和统计分析数据的权限。

在2019年，安徽省90%以上的高校注册并使用了评价指标申报和评分系统，顺利完成了首次线上评价指标的数据申报工作。随后，安徽省23位领域专家通过系统为“特色与创新”附加项进行匿名打分。评分工作结束后，系统自动统计分数，并生成各类统计报告。

评估建模与分析

评估结果的发布并不意味着信息化评估的结束，而是预示着教育信息化评价指标体系建设发挥其作用的关键阶段的开始。评估建模与分析被视为教育信息化生态中第三个推动力量和重要任务。从宏观决策的角度来说，面向AHP教育信息化评价指标体系的评估数据可以通过设计三类模型（粒度模型、差异模型和分类模型）挖掘数据信息。

粒度模型

基于AHP层次决策分析法的教育信息化评价指标体系是通过分级指标项来展现评估内容的。因此，粒度模型可以从宏观粒度级别到微观粒度级别表达样本高校在指标项上平均发展情况。粒度越细，揭示问题越明确；粒度越粗，越容易把握宏观发展方向。

安徽省高校教育信息化评价指标三个粒度展示

由上图所示，从宏观粒度分析，安徽省高校信息化建设普遍在数据与资源建设方面发展较弱，在信息化创新方面明显不足。从微观粒度分析，安徽省高校在数据处理与决策、科研协作与交流平台和科研成果转化服务平台建设方面出现明显短板，也提示了信息化建设下一步的工作重点。

差异模型

粒度模型可以被用于挖掘样本高校在各粒度指标项上的平均发展情况，但掩盖了样本高校在教育信息化指标项上的发展差异和均衡状况。差异模型被用于挖掘样本高校在某项指标项上发展分布情况和差异大小。我们利用箱型图展示样本高校的在指标项上的分布情况，如下图所示。

样本高校二级指标项分数分布

另外，离差平均和是计算样本高校差异系数的统计方法之一。差异系数越大表明发展越不均衡。以样本高校在教育信息化二级评价指标项的得分为实验数据，可获取发展差异系数。下列表格展示了差异系数大于0.2的指标项。

样本高校二级评价指标项离差平均表

分类模型

样本高校由于规模大小不一、教育信息化发展水平不同，需要建立分类模型。依据不同类型高校的信息化发展模型，给予针对性的教育信息化发展方案具有重要意义。分类模型的建立分为样本高校分类和模型特征提取两个步骤。目前比较成熟的无监管分类算法主要是K-means聚类算法和层次聚类算法。从分类过程可视化的角度，层次聚类具有更大优势，如下图所示。

安徽省部分院校层次聚类

首先，依据教育信息化评价指标数据特征和聚类算法，获取样本高校的类别标签。然后，我们将抽取每类样本高校在6个维度（基础设施、业务支撑、数据与资源、业务应用、保障体系和特色与创新）上的特征，并通过雷达图的方式展示，如下图所示。

安徽省部分院校分类模型

上述三个评估模型的设计具有通用性和开放性，允许数据分析专家依据教育信息化决策的需要进行参数和算法的调整。

总体来说，我国教育信息化评价指标体系的应用和推广还处于初级阶段，相关的研究多集中在特殊领域或小规模范围，尚未对我国高校教育信息化评价指标体系建设提出系统的解决方案。近两年，随着教育信息化的深入发展，对教育信息化评价指标体系的需求呼声越来越显著。

关于如何建设教育信息化评价指标体系，有必要学习和借鉴国外的成功经验。欧美发达国家以及一些亚洲国家早在90年代就开始了大规模的教育信息化评价指标体系的建设：美国早在1990年就拉开了教育信息化评估的帷幕，美国联邦政府制定了一系列的美国教育技术计划（NationalEducationTechnologyPlan，简称：NETP），如：NETP2016用于实现对教育信息化技术评估；马来西亚开发了智慧学校质量标准（SmartSchoolQualificationStandards，简称：SSQS）质量检测工具和成熟度评估模型，用来评估和指导学校ICT建设；韩国在2001年开发了第一套教育信息化评价指标框架，并制定了评价指标开发流程用于指导评价指标的换代升级。

目前，世界范围内最具权威的高等教育信息化专业组织（EDUCAUSE）每年都会提出“十大战略议题”，用于指引世界各国高校教育信息化发展。联合国教科文组织（UNESCO）一直把教育信息化评价指标的研究作为关注的重点之一，通过不断升级完善教育信息化评估机制，并将其融入教育信息化规划过程，为教育信息化均衡发展提供保障。总之，国际组织和发达国家都十分重视教育信息化评价指标体系建设，强调评价指标体系的保障和指导意义。

自从2018年《教育信息化2.0行动计划》发布以来，我国高校已经步入了面向教育信息化2.0变革的关键时期。特别是疫情期间，我们深刻意识到了网络技术、智能化平台软件与教育教学领域的深度融合所具有的巨大潜力；同时，我国高校普遍存在着由于缺乏教育信息化评估和指引而引起的各种问题，这些问题会严重制约着教育信息化改革进程。

因此，通过系统、有效、全面的评估体系和机制作为保障和指引，可以促进教育信息化生态的良性循环，使我国教育信息化2.0改革稳健前行。在教育信息化“十四五”规划来临之际，教育信息化评价指标体系建设必将肩负着为教育信息化2.0保驾护航的重任。推广教育信息化评价指标体系建设，推动教育信息化生态系统形成，将成为保障我国教育信息化稳定、均衡、持续发展的必要举措。