第四轮学科评估结果的进退步情况“扫描

  2017年12月28日,在2018年元旦前夕,教育部学位中心发布了第四轮学科评估结果,为新年的到来提供了高教界最为关注的热点话题

  2017年12月28日,在2018年元旦前夕,教育部学位中心发布了第四轮学科评估结果,为新年的到来提供了高教界最为关注的热点话题。本次评估结果以 “精准计算、分档呈现”的原则公布,按照各学科参评高校数的百分位次分别呈现前70%的高校,分别以“A+、A、A-、B+、B、B-、C+、C、C-”九个档位定位发布。

  关注各高校第四轮评估结果是对高校发展现状的一个评价,关注各高校第四轮与第三轮学科评估结果的变化是对高校五年发展情况的一个判断。但由于第四轮与第三轮评价结果发布方式的差异,造成了两轮学科评估结果无法进行直接对比。因此在网络上流传了两种转换后的对比方式,一是套用第四轮学科评估的分档规则,将第三学科评估的排名结果转换为分档数据,并进行纵向对比(模拟分档法)。二是根据第四轮评估的分档,以及各档的高校数量,将每一个分档转换为名次区间,并将名次区间与第三轮的评估结果排名进行模糊对比,判断位次升降(排名区间法)。由于第四轮评估中参评学科总数从第三轮的4235个增加到了7315个,增幅达到72.7%。95个一级学科的参评高校数均有不同程度的增加,最大增量达到125个,最大增幅达到134%。因此同样的排名位次,在两轮评估中的分档可能会有明显差异,用两种方法进行对比,会得到不同的升降判断,模拟分档法较排名区间法而言,会得到更好的结果。然而两种对比方法各有不足,笔者尝试探讨一种更科学的判断方法。

  分档是第四轮评估的特色之一,以分档替代名次可以一定程度上避免因微弱分差导致的排名差异,也可缓解对排名的过度解读与过度关注,引导高校以评促建,通过评估发现优势,找到不足,更加注重内涵建设。分档的方式是一种思维创新,是一次评估手段革新。因此用第四轮的方法对第三轮评估结果进行分档模拟是似乎是一种科学的手段,但实际而言,由于三四轮评估学科基数的差异,以模拟分档法进行对比可能会带来错误的价值判断。

  在第四轮评估中,95个参评一级学科的参评高校数均超过了第三轮,意味着某一高校在两轮评估中如果处在相同的位次,但因为第四轮评估的参评高校总量的增加,其分档可能得到提升。经分析评估数据发现,不少学科在第四轮评估中并未超过任何一所在第三轮评估中位次高于自己的学校,甚至还被原本位次低于自己的学校超过,但用模拟分档法进行对比,该学科的分档得到了提升,给出了进步的信号,但实际其名次提升原因是参评高校中增加一批成绩不如自己的高校,相信这不应作为我们判断“提升”与否的理由吧!

  通过第四轮评估各分档位的高校数量,不难对各学科的各个分档推算出相应的名次区间,比如A+有2个高校,A有3个高校,A-有5个高校……那么可以推算出A+相当于1-2名,A相当于3-5名,A-相当于6-10名。在用排名区间与该学科第三轮评估位次进行对比,判断进步与否。例如上述学科的某高校在第四轮评估中为A档,在第三轮评估中第6名,则判断为进步,在第三轮评估中第2名,则判断为退步,在第三轮评估中第3、第4或第5名,则都判断为持平。本方法虽然可以通过排名更为直观的做出升降判断,但是从两个角度可能被质疑。一是学科中参评高校数量的差异会导致相同的位次存在不同的含金量。如具有100个高校大学科中的第5名,和具有5个高校小学科的第5名含金量是存在差异的,完全不考虑学科大小,只考虑排名位次是存在缺陷的。二是本轮学科评估以分档的方式呈现结果,就是想更加淡化排名概念,但本方法又将分档转换为区间,似乎是在开历史的倒车,可能会被诟病。

  判断进步以否的关键是与比自己更好的学校相比,通过一定时期的发展,是否有所超越。判断退步的关键是原本比自己差的学校,通过一定时期的发展超越了自己。基于如此思考前提,试图构建一种通过与其他高校的排名位次(第三轮)或分档档位(第四轮)的相对位置比较进行升降评判的判断方法(暂且命名为“相对比较法”)。

  (一)两轮评估中参与评估的高校有三类,一是两轮都参加了评估,二是第三轮未参评第四轮参评,三是第三轮参评第四轮未参评。第二种情况,由于没有其第三轮评估数据,因此“相对比较法”中不予考虑,既不进行评判升降,也不用作高校评判升降的依据。第三中情况,由于第四轮评估结果仅仅发布了C档以前的高校,各学科均有30%左右的高校并未发布,从发布的公开信息中难以通过对比筛选出第三轮参评但第四轮未参评的高校,因此在使用“相对比较法”分析时将出现在第三轮榜单但为在第四轮榜单中出现的高校都暂归入D档,仅用作其他高校升降判断的依据。

  (二)在各一级学科中,对在第三轮和第四轮榜单中同时出现高校进行升降判断,计算在第三轮评估中排名高于或等于本校但在第四轮评估中排名低于本校的高校数量,即超过高校数;同时计算在第三轮评估中排名低于或等于本校但在第四轮评估中排名高于本校的高校数量,即被赶超高校数。超过高校数大于被赶超高校数则判断为进步,反之判断为进步,两个数相等则判断为持平。

  (三)相对比较法的缺陷。首先是因为第三轮参评但第四轮在D档的数据无法获得,因此造成判断结果会略有偏差。第二在统计超过高校数和被高超高校数时,对在第三轮有名次差异,同时在第四轮在同一档位的高校未做任何处理,造成一定的判断偏差。例如:甲高校在第三轮评估中与乙高校并列第一,丙高校第三,第四轮评估甲和丙进入A+档,乙进入A档。按现有计算规则,甲因为超过了乙,所以超过高校数为1,同时没有高校在第四轮评估中超过甲的分档,因此被赶超高校数为0,综合看来甲呈现进步状态。但实际因为丙的迎头赶上,甲实际状态应该是持平。为纠正以上偏差,对于有因为超过第三轮并列高校而形成的超过高校数,以第三轮落后,本轮追平高校数进行消抵,到0为止。同样道理,对有因为被第三轮并列高校超过而形成的被赶超高校数,以第三轮领先,本轮在同一档位的高校数进行消抵,到0为止。具体算法如下表:

  说明2:对于第四轮在A+分档,两轮对比为持平的学科,因其已到最高级别,已无上升空间,因此直接以“A+”代替“持平”显示。

相关推荐

留言与评论(共有 0 条评论)
   
验证码: