网大论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

https://www.chinaedugrp.com/MIT/edm.html
查看: 3340|回复: 33

基于第四轮学科评估:多维度综合排行榜(之二) [复制链接]

Rank: 7Rank: 7Rank: 7

精华
10
积分
988
发表于 2018-3-14 12:12:48 |显示全部楼层
本帖最后由 whu2008 于 2018-3-16 16:15 编辑

人大pk华师大


一、 问题提出
      在上一篇主题基于第四轮学科评估:多维度综合排行榜中,本人在第四轮学科评估数据的基础上,通过建立数学模型进行计算,从质量、竞争力、规模以及综合实力几个方面,做出了几个排行榜。该榜在论坛上引起了一些争议。从整体趋势上看,该榜的趋势明朗,基本符合多数人的预期,但在许多局部环节上,引起了较大争论。许多网友给出了建设性的修改意见,例如引入学科规模系数、加入学科权重等等。也有的网友发现了榜中的一些和大众经验有较大冲突的地方。这些意见和发现,都为改进排榜的数学模型提供了思考方向。这里我想先结合最直观的排行争议,探讨一下排行的数字化依据和经验冲突,并从这个冲突出发,探讨排行数学模型的改进方法,希望继续得到大家的指点。
      “besthread”在排行的结果中发现了一个明显的问题(【T台】学科打包与高招超短裙有得一拼),那就是中国人民大学(以下简称“人大”)和华东师范大学(以下简称“华师大”)的排序问题。两校在综合榜上排名分列15、13,在质量榜上分列14、13。其中质量榜如下图所示:

人大PK华师大

人大PK华师大

      二校在榜中同为30个学科,这可以简化我们的分析,可以先排除虑规模的影响。在一般的认知中,人大的名气显然比华师大大许多,而且人大的A+学科大幅领先(9:2),A档学科也明显领先(14:12),但是排行的结果却是华师大领先。这似乎颠覆了人们的经验。他们到底谁强呢?这确实是个好问题!我们先看一下评价数学模型对此的解读。

二、数字化的解读
      在质量的评价模型中,学科的平均得分是评价的主指标。我们希望用这个主指标能够简明地判断排行的整体态势。显然这个整体态势将几乎所有985及双一流院校排在前列,说明这个指标作用明显。但是这个指标却使人大落败于华师大,二者的平均分分别为70.67和71.33,在综合排名上相差了3位。在规模基本相同的情况下,这自然就是人大落败的表象。但它为何与大家的感觉与经验相悖呢?首先从数字层面我们来看看这是如何发生的。
       两校平均分均接近于70这个分数,因而我们可以确定,在二校的评估中存在一个共同的支撑点(类似博弈论中的“鞍点”),即“B+”分档。因为在我们的评估分值规则中,“B+”分档的分值为70。对于二校pk来说,可以得到一个判断:
      在支撑点的上部(A+至A-分档)称为优势点,优势点越多,获得优势的能力越强。相反,在支撑点的下部(B至C-分档)称为劣势点,劣势点越多,产生劣势的倾向越强。虽然优势点和劣势点都是得分点,但是在得分点固定的情况下,增加一个劣势点,就会失去一个优势点。我们再看一下两校得分点的分布详情:

学科分布

学科分布


      优势得分点人大pk华师大为14:12,显然人大胜。而劣势得分点为18:13,显然人大输。输赢各得一面,因此二者pk的胜负手主要看支撑点上的得分情况。实际上,除去支撑点的得分,人大以1910:1440大幅领先470分。但是在支撑点上,人大以210:700大幅落后490分。因此,最终人大以20分劣势败下阵来。
      我们也可以通过二校竞争态势分析来看待这一结果。将优势点的分数减去支撑点的分数即可得到优势分,同理将支撑点的分数减去劣势点的分数即为劣势分。二校的竞争态势如下:
 

态势图

态势图


      显然,人民大学的优势明显,同时劣势也明显,优劣相搏的结果,人大落后20分。

三、模型改进
      数学模型对两校PK的解读,显然让许多人存在心理落差,理智地分析这种落差可以为我们带来以下几点结论:
     (1)如果最终我们通过分析认为数学模型计算的结论是合理的,是可以接受的,那么我们值得庆贺。因为通过数学方法的计算,我们发现了人们未知的事情。这个事情按照常理是不会发生的,但是它确实发生了。这说明这个数学模型不仅是有效的,它还帮助人们发现了尚未认识到的东西。实际上,许多黑天鹅事件的预测也是基于相同的原理。
     (2)如果我们认为数学模型计算的结论是不合理的,那就说明我们需要找到不合理的数字化解释以改进这个模型。对此,我们仍然值得庆贺,不是吗?
      那么对于本例而言,这个结果符合上面的那条结论呢?笔者倒是倾向于认为符合第(2)个结论,这也可能是大多数人的想法。从这个判断出发,我们该如何改进这个数学模型呢?
      首先我们来看看人们的心理落差是如何产生的。上面已经说过,在同为30个学科的情况下,人大以9:2的A+以及14:12的A对比结果,几乎直接说明了它就应该是胜者。这可能是许多人看待此例的第一感觉。在这个判断中,人们忽略了整体,选择性地遗忘了除A档以外的学科对比情况,即对劣势点的情况对比。而数学模型自然没有这种人的感觉,它只会按照数学模型进行优势和劣势的综合计算。这种冰冷计算和感觉判断正是产生计算结果和人们心理落差的原因:人们在评判学校的时候,往往更多地提及其优势方面而忽略其劣势方面。
      从理智上我愿意坚持计算结果的结论,因为从公正的角度出发,我们是希望计算模型不要考虑人的感觉因素。但是人的感觉就真是没有道理吗?也不尽然。在我们的社会习惯中,人们总是给予“王者”以更多地光环。那些站在事物的顶端,闪闪发光的东西一定会吸引人们更多的注意力。“宁为鸡头、不为凤尾”、“成者王侯败者贼”就是传统的写照。即使在现代社会生活中,人们也对那些能够抓住机遇创业成功的各方大佬们津津乐道,而鲜有人关注那些占绝大多数的创业失败者。这种心理并非没有道理。因为关注高端,才可能提供更多地正能量。不是吗,只有给以金牌更多地奖励,才能激发运动员夺金的欲望。
       那么,按照这个思路我们该如何改进评价的模型呢?既然数学模型没有对高端得分的感觉,我们不妨给它加上。在评价模型中,各个相邻分档的差距我们设定为10分,我们起初认为这个线性的差距对各分档的价值体现是公平的。现在为了鼓励那些顶尖的分档,我们也可以为“金牌”(A+分档)的获得者增加鼓励分,即:加大A+与A档的分差以体现对金牌获得者的鼓励。因为,从一般的优秀水平提升到顶尖水平,毕竟是一个“质变”的飞跃。这大概是可以被广泛接受的理由。
      笔者将A+的得分从100调整到105,即增加50%的奖励分,姑且称之为“金牌因素”奖励,我们来看看计算结果的变化。首先我们可以对这个调整进行如下预判:
      1 评估结果不会对竞争力排行榜产生大的影响,因为这个榜是以学科评估的排次为主指标的,与得分的关系很小,可忽略不计。影响最大的应该是质量榜,这个原因容易理解。
      2 在平均水平相当的PK中,那些A+学科多的学校将获得奖励优势。这看起来是个合理的改进。
      3 由于A+学科的占比很少,因此对排行榜不会产生趋势性的影响,只会进行局部微调。
      4 由于A+学科主要处于排行榜的高端,因此,模型修改主要影响的是高端排名。
      下面来看看结果(仅列出前三十名的变化,竞争力榜没有变化所以略去):

排行调整

排行调整

      
      图中黄色和浅红色的部分是发生变化的。规模榜的变化都在20名以后,看来这个榜对金牌因素不敏感。而不出所料的是,金牌因素对质量的影响最大,产生了更多地调整。但是调整只是局部的,大多数调整只是相邻两校前后顺序的对调,只有质量榜上的三处(浅红色部分)进行了相邻三校范围内的调整。这个调整也确实让我们看到了“金牌因素”的力量。在质量榜中,有以下两处值得关注的变化:
      (1)        国科大以18A+比11A+的实力,超越浙大排在了第三位。
      (2)        人大超越了华师大排在了第13位,这是我们希望看到的变化。
      然而,这两处的变化没有投射到综合榜中。这是因为,虽然人大在质量排名上胜了华师大一筹,但看一下竞争力排行就知道,人大还是以21:14明显落后。二校的具体学科位次对比情况如下图所示:


学科排次

学科排次



      为了便于理解,上图中的排次没有进行归一化处理,两校的平均排次对比是20:15.27,相差4.73。在计算模型中进行排次的归一化处理后,其比分是23.6:18.6,相差为5,两者差距接近。正是由于竞争力榜上的较多落后,导致了虽然质量榜上人大借金牌优势后来居上,但是未能改变综合榜的结果。
      针对这样的结果,大家认为“金牌因素”的调整正确吗?其奖励幅度需要调整吗?欢迎点评。

四、 评估方法心得
      这个评估模型的改进实验是否取得了正确的效果,还需要大家的评判。但通过这次的改进和对大家点评的分析,本人也得到了一些评估模型建立方面的体会和大家共享。
     (1)        在评估的终极目标——正确的排行榜,无法用数字化的方法进行精确描述的情况下,任何排行榜都无法通过符合逻辑的手段证明它就是那个终极目标。
     (2)        虽然有人极力贬低采用数字化的方式对评估结果进行建模和计算,但我认为这是目前唯一可以让人理智地进行排行榜研讨的方式。数字化的模型优点在于可以精确表达评价的对象,并且有利于利用信息化的工具对大量数据进行高效的计算。弱点在于,它不能有效地表达人类的情感,这也许是进行大学排行所需要的因素。但是它可以提供给我们一个经验积累的平台,我们可以在这个平台上,不断地将新的合理因素(甚至是情感因素)通过数字化的方式添加进来,逐步丰富这个评价模型。
     (3)        评价模型不是越高深越好。特别是在大势的判断上,简明扼要的指标反而可以更好的反应评价对象的综合情况。就像我们在评论国家的综合实力上,经常引用的GDP和人均GDP一样,他们很容易让人理解而且在大多数时候能做出正确的判断。即使像谷歌的那个打败了世界顶尖围棋手的数学模型——“阿尔法狗”,它的AI方法——卷积神经元,也只是通过加、减、乘、除的基本运算就可以搭建的。
     (4)        学科平均分、平均排次以及评估总分在一定目标的大势判断上比较有效,但在局部的排名上也会产生意外。这些意外有些是合理的,有些不合理。对不合理的改进,有时候仅从修改统一的数学模型上想办法,也许难以达到预期。我觉得,在大势确定以后,在局部的排名上不妨引入“原始人”那样的两两PK的方式进行微调,兼顾大势与局部也许是个不错的方法。这种方法需要通过编程的方式来完成,如果有时间,不妨一试。
     (5)        有些因素不能靠评价模型解决,例如所谓的将学科打包参评的现象。有网友希望通过引入一级学科博士点数量来对此做出限制,本人不以为然。因为这其实是一个评价制度和规则的问题,应该通过管理方式来解决,而不是用数学模型。当然,中国的管理水平还处在较低的阶段,不能指望太多。

已有 1 人评分荣誉 人气 收起 理由
盗梦空间 + 10 + 10 赞一个!

总评分: 荣誉 + 10  人气 + 10   查看全部评分

Rank: 9Rank: 9Rank: 9

精华
0
积分
1471
发表于 2018-3-14 12:22:17 来自手机 |显示全部楼层
哥们,你模型的最大问题是鼓励弱势学科不参评。如果学科很差,只要不参评,就不会扣分。

使用道具 举报

Rank: 9Rank: 9Rank: 9

精华
0
积分
1471
发表于 2018-3-14 12:23:12 来自手机 |显示全部楼层
比如人大,如果把B及以下的学科都不参评,在你的模型中是不是就能远胜华东师大了呢。

使用道具 举报

Rank: 7Rank: 7Rank: 7

精华
10
积分
988
发表于 2018-3-14 12:35:48 |显示全部楼层
本帖最后由 caddev 于 2018-3-14 13:29 编辑

这样说也有道理。但如果正面点儿说,应该是鼓励学校将弱势点向优势点移动。对于作弊的处理方式,其实是个管理问题。在这个例子中,两校的学科规模一样,均为30。如果某校能使劣势学科流向优势学科而不使规模减小的话,那绝对应该鼓励。

使用道具 举报

Rank: 7Rank: 7Rank: 7

精华
2993
积分
757
发表于 2018-3-14 12:53:50 |显示全部楼层
本帖最后由 巫术连年 于 2018-3-14 12:55 编辑

这才服众的是教育部学科评估综合权重权威排名(原始人):




原始人教育部学科评估前十两榜:

1、清、北、浙、交、复、南、华、武、科、哈

2、北、清、浙、复、交、南、华、华、人、科

使用道具 举报

Rank: 7Rank: 7Rank: 7

精华
10
积分
988
发表于 2018-3-14 14:36:44 |显示全部楼层
zqs169 发表于 2018-3-14 13:46
最科学排名:

清、北、科、交、复、浙、南、人、哈、天

依据呢,空口无凭啊,如何服人?

使用道具 举报

Rank: 7Rank: 7Rank: 7

精华
0
积分
902
发表于 2018-3-14 18:42:37 |显示全部楼层
caddev 发表于 2018-3-14 14:36
依据呢,空口无凭啊,如何服人?

感觉比数据更可靠
就如人大和华东师大
根据数据,师大在人大之前
可100个人中也没有一个人承认

使用道具 举报

Rank: 7Rank: 7Rank: 7

精华
10
积分
988
发表于 2018-3-15 09:21:11 |显示全部楼层
zqs169 发表于 2018-3-14 18:42
感觉比数据更可靠
就如人大和华东师大
根据数据,师大在人大之前


如果是这样的话,那么排行榜的最有效方式就是采用投票方式了,谁得票多谁在前,大家都可以用感觉投票。

使用道具 举报

Rank: 13Rank: 13Rank: 13Rank: 13

精华
-9
积分
14667
发表于 2018-3-15 09:25:51 |显示全部楼层
支持数据说话,自己忽悠等于XX!

使用道具 举报

Rank: 7Rank: 7Rank: 7

精华
0
积分
902
发表于 2018-3-15 09:32:39 |显示全部楼层
本帖最后由 zqs169 于 2018-3-15 09:33 编辑
caddev 发表于 2018-3-15 09:21
如果是这样的话,那么排行榜的最有效方式就是采用投票方式了,谁得票多谁在前,大家都可以用感觉投票。 ...


按照武书连的各学科叠加计算方式,浙大排在清北科交复之前,因为他胖,学科齐全。实际上,除了浙大校友,承认的不多。
可见数据也经常说谎。

使用道具 举报

Rank: 12Rank: 12Rank: 12

精华
97
积分
3931
发表于 2018-3-15 09:33:39 |显示全部楼层
caddev 发表于 2018-3-14 12:35
这样说也有道理。但如果正面点儿说,应该是鼓励学校将弱势点向优势点移动。对于作弊的处理方式,其实是个管 ...

楼主对评估规则都不懂,有结果的学科即使是C也是前70%,不在学科评估公布结果中的并不代表这些学校就一定没有这个学科,可能他在后30%,因为我排在70%就要减分,我在80%对我没有任何影响,荒谬不?打脸不?如果考虑规模就请按照每个学校公布的博士点或者硕士点的数量,这是最公平的!

使用道具 举报

Rank: 7Rank: 7Rank: 7

精华
10
积分
988
发表于 2018-3-15 09:57:42 |显示全部楼层
本帖最后由 caddev 于 2018-3-15 10:09 编辑

你说的可能是对的。可惜教育部没有公布D档学科,因此无从查考,不得不说是一个遗憾。本文所说的弱势学科仅是学校和自身优势相比的学科,无论优势点还是弱势点都是得分点。在和其他学校对比时,优势和弱势都是一个相对概念,并不绝对,主要看是和谁比。在质量主指标接近的情况下,自身的优势点和劣势点和其它校重合。

使用道具 举报

Rank: 12Rank: 12Rank: 12

精华
97
积分
3931
发表于 2018-3-15 10:08:44 |显示全部楼层
caddev 发表于 2018-3-15 09:57
你说的可能是对的。可惜教育部没有公布D档学科,因此无从查考,不得不说是一个遗憾。本文所说的弱势学科仅 ...

因为没有公布D档,所以没有在公布结果中的也要考虑进去,如果不考虑这些不在公布结果中的学科,我只能说你这个排行榜是为某些学校定制的。有失公允!

使用道具 举报

Rank: 7Rank: 7Rank: 7

精华
10
积分
988
发表于 2018-3-15 10:16:26 |显示全部楼层
本帖最后由 caddev 于 2018-3-15 10:17 编辑

没有公布D档,我们只能假设参评学校在D档方面的表现情况相当。毕竟谁都有可能在D档有收获或失手,不考虑它也是出于无奈,本人总不能自编一套数据吧。本模型基于已经公布的数据,没有任何定制方面的考虑,除非说是公布的数据有定制。教育部不公布D档,是为谁定制的,你知道吗?

使用道具 举报

Rank: 7Rank: 7Rank: 7

精华
0
积分
902
发表于 2018-3-15 10:25:16 |显示全部楼层
我认为,只比较每个学校的前20名,或前25名,或前30名学科就够。
根据这些学科在全国的排名、学科类别赋予一定分值,进行叠加激素昂,按照所得结果进行排序。
可以不考虑它的劣势学科。
例如,
A校有排名全国第1、2、3的学科,即使他有排名最后的学科,他也是好学校。
B校所有排名都是全国第4、5、6,没有排名很差的学科,他也不如A校。

使用道具 举报

Rank: 12Rank: 12Rank: 12

精华
97
积分
3931
发表于 2018-3-15 10:27:17 |显示全部楼层
已经有人在手机各高校的博士点硕士点了,相信会有更公道的分析结果,公布的结果是客观的实时,没有任何定制!利用公布的结果自己主观赋分值得到不公正的结果,那就是定制!请不要混淆是非

使用道具 举报

Rank: 7Rank: 7Rank: 7

精华
0
积分
902
发表于 2018-3-15 10:56:04 |显示全部楼层
本帖最后由 zqs169 于 2018-3-15 11:07 编辑
lovesheer 发表于 2018-3-15 10:27
已经有人在手机各高校的博士点硕士点了,相信会有更公道的分析结果,公布的结果是客观的实时,没有任何定制 ...


公布的结果虽然客观,但如果不根据一定的规则进行赋值计算,那是没法进行比较的。
单纯按金牌数量排序也并不科学
假设ABC三校学科数目相等(30个学科):
A校有2金,0银
B校有1金,4银
C校有0金,12银
哪个学校更好?

使用道具 举报

Rank: 7Rank: 7Rank: 7

精华
10
积分
988
发表于 2018-3-15 11:37:10 |显示全部楼层
zqs169 发表于 2018-3-15 10:25
我认为,只比较每个学校的前20名,或前25名,或前30名学科就够。
根据这些学科在全国的排名、学科类别赋予 ...


这个说法有些道理

使用道具 举报

Rank: 7Rank: 7Rank: 7

精华
10
积分
988
发表于 2018-3-15 14:11:32 |显示全部楼层
本帖最后由 caddev 于 2018-3-15 14:13 编辑

人们对分数分布的形象化理解像是个金字塔,金牌就是那个顶尖,应取得最高分。越向下,分布越广,分值越低。所以我想从A+到C-的赋值可以采用三角形数列,用这个自然的形状,代替柱状分差梯度,是否符合人们的心理预期呢?

使用道具 举报

Rank: 7Rank: 7Rank: 7

精华
0
积分
902
发表于 2018-3-15 14:20:25 |显示全部楼层
caddev 发表于 2018-3-15 14:11
人们对分数分布的形象化理解像是个金字塔,金牌就是那个顶尖,应取得最高分。越向下,分布越广,分值越低。 ...

应该对所有学校的学科数有所规定,比如统一取25个(或30)最好学科,其余的不计分数
否则,就会出现学科书越多,得分越高的现象。
这只反映重量,不反映质量

使用道具 举报

Rank: 7Rank: 7Rank: 7

精华
10
积分
988
发表于 2018-3-15 14:27:47 |显示全部楼层
哦,我说的是单科成绩的赋值,各分档之间可以采用三角形数列,这是个金字塔形分布,比简单的等差数列似乎更有道理。如果要是大家的金牌情结很重的话,可以考虑斐波那契数列。用那个和人们的心理因素有关,通过数字化的方式模仿不易。

使用道具 举报

Rank: 7Rank: 7Rank: 7

精华
10
积分
988
发表于 2018-3-16 09:23:49 |显示全部楼层
刚使用斐波那契数列来计算分值,试算了一下,大势不变,但有重要变化。那些A+多的学校更多受益,人大与华师大的差距拉开,如下图所示。大家看看如何?是否更尽人意
斐波那契排名.png

使用道具 举报

Rank: 7Rank: 7Rank: 7

精华
0
积分
902
发表于 2018-3-16 09:58:31 |显示全部楼层
精品数据贴,赞楼主

使用道具 举报

Rank: 7Rank: 7Rank: 7

精华
0
积分
902
发表于 2018-3-16 10:05:53 |显示全部楼层
同济、西交、南开、中山的名气、分数大于真正实力
天大实力被严重低估

使用道具 举报

Rank: 7Rank: 7Rank: 7

精华
10
积分
988
发表于 2018-3-16 10:37:35 |显示全部楼层
本帖最后由 caddev 于 2018-3-16 10:44 编辑
zqs169 发表于 2018-3-16 10:05
同济、西交、南开、中山的名气、分数大于真正实力
天大实力被严重低估


嗯,天大只有一个A+,所以受影响大一些,跌出了前十。您觉得在质量、竞争力和规模几个方面,天大被低估的程度如何?在评估模型中,还真的没有考虑名气因素。

使用道具 举报

Rank: 7Rank: 7Rank: 7

精华
0
积分
902
发表于 2018-3-16 11:00:53 |显示全部楼层
caddev 发表于 2018-3-16 10:37
嗯,天大只有一个A+,所以受影响大一些,跌出了前十。您觉得在质量、竞争力和规模几个方面,天大被低估的 ...

高考分数在30名左右,这就是被严重低估

使用道具 举报

Rank: 7Rank: 7Rank: 7

精华
10
积分
988
发表于 2018-3-16 11:27:02 |显示全部楼层
zqs169 发表于 2018-3-16 11:00
高考分数在30名左右,这就是被严重低估


高考分数,是指录取分数的排名?这个模型里没有啊,您觉得应该考虑?

使用道具 举报

Rank: 7Rank: 7Rank: 7

精华
0
积分
902
发表于 2018-3-16 11:48:36 |显示全部楼层
caddev 发表于 2018-3-16 11:27
高考分数,是指录取分数的排名?这个模型里没有啊,您觉得应该考虑?

不是的
我的意思是
在你的排名里天大比同济、西交、南开、中山高
而每年的高考分数同济、西交、南开、中山都比天大高
是你的模型把天大排高了
还是所有考生把天大低估了

使用道具 举报

Rank: 7Rank: 7Rank: 7

精华
10
积分
988
发表于 2018-3-16 13:35:45 |显示全部楼层
zqs169 发表于 2018-3-16 11:48
不是的
我的意思是
在你的排名里天大比同济、西交、南开、中山高


这确实是个好问题!专家眼里和百姓眼里,大学的模样不一样啊。

使用道具 举报

Rank: 10Rank: 10Rank: 10

精华
77
积分
21811
发表于 2018-3-16 16:15:56 |显示全部楼层
这个帖子,我按照这个帖子的方法编辑过了,

http://bbs1.netbig.com/thread-2852025-1-1.html

现在网友直接回帖能顶帖,

但不能点击回复,还会出错。

楼主以后发帖按照这个方法发帖,网友就能顶帖

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

Archiver|手机版|mba报考条件|Conference Centre|netbig.com|大学排名|国际学校|欧洲移民|股票行情|网大论坛 ( 粤ICP备08125616号 )

GMT+8, 2018-6-24 03:56

Powered by Discuz! X2

© 2001-2011 Comsenz Inc.

回顶部