建立科学指标体系
www.jyb.cn 2016年01月27日 来源：中国教育新闻网-《中国高等教育》杂志
|
当前，人才评价在一定程度上存在过于注重论文发表（特别是SCI论文发表）情况，重数量、轻质量，重科研、轻教学，采用一刀切做法等问题。实际上，无论是人才计划的评审，还是职称的评审，其初衷都是希望将最优秀或者最合适的人推选出来。由于受到资源或者名额的限制，对人才进行评价是一件十分必要的事。就评价本身来说，它实际上是一个基于评价指标体系开展综合评价的系统工作。评价事，相对简单；评价人，则复杂得多。 建立一个科学的评价指标体系 笔者曾经从事多年的指标体系建立工作。理想的情况是，能够用一个指标来评价，就不要用多个指标，但实际工作中往往无此好事。通常情况下，我们必须采用多个指标，这时就必须考虑：用哪几个指标，指标之间的重要性如何确定，采取何种评价方法，评价标准是什么，等等。 一般来说，不论评价对象是谁，理论上我们都可以建立一个合适的评价指标体系来对其进行综合评价。整个综合评价工作可以细分为评价指标筛选与确定、评价标准确定、评价方法确定、数据采集、开展评价并给出评价结果等几个步骤，每个步骤都很重要，都会影响到评价结果的可信性。 评价指标筛选与确定。这一过程可以细分为评价指标初选、评价指标筛选、评价指标确定等三个环节。首先，必须根据要评价的事物或者人的特性，选择与之相关的指标，建立初步的评价指标体系。最一般的做法是清单法；最常用的做法是利用层次分析法，构建包含目标层、准则层、指标层的多层结构。同时还要充分考虑指标的全面性、科学性、可操作性、独立性、稳定性、动态性等。在此基础上，对初选的指标利用定性定量相结合的方法，将最合适的指标筛选出来，组成评价指标体系。 评价标准确定。针对确定的评价指标体系，须建立相应的多级评价标准，用于对拟评价的事物或者人进行分类。评价标准确定时一定要明确针对什么水平，是特定地区的水平，还是国内水平，或是国际水平。当然，如只要求相对排序，则可以没有评价标准。但判定每个指标是值越大越好还是值越小越好或者是有适宜值的情况，则是必须的。 评价方法确定。采取何种综合评价方法也很关键。综合评价的方法有很多，例如模糊综合评判方法等。在评价时，必须根据对象的特性选择合适的评价方法。研究表明，对于指标值两极分化很严重的样本，大部分评价方法都不适用。当然，很多评价方法还会涉及指标权重确定问题，即指标的相对重要性，这也是一个难题。 数据采集。这一过程主要是采集被评价者的各指标数据，此过程也极为关键。但有些指标可能采集不到，有些定性的指标可能不易量化，这时有可能一个原先完备的指标体系会变成一个不甚完备的体系，对评价结果的准确性产生影响。对于定性的指标，可以采用一定方法，使之定量化。 开展评价并给出评价结果。即根据采集到的数据，在数据标准化/归一化的基础上，结合指标的权重，利用选定的评价方法开展评价，得到评价结果，同时对评价结果进行分类。 上述是理想化的方案，但在实际情况下，建立一个合理的指标体系本身难度就很大。比如，即使建立了一个完备的指标体系，如果数据采集不到，也没有什么效用；有些指标很难定量化，指标的权重也是变化的，就像“师德”是实行一票否决制的，作为一个评价指标，在某些情况下，其权重是100%。 建立有针对性的指标体系，突出重点 人才评价是一件极其复杂的事情，建立一个合适的评价指标体系很是必要。但人才多种多样，要针对不同人才，建立有针对性的指标体系，突出重点。 在开展每一类人才评价时，准则层相当于人才评价的几个角度（维度），体现某一类人才多元的特性。如评价某学者，学术水平自然是关键，但也要考虑其人才培养情况、社会服务情况等。学术水平可以包括多个指标，如学术影响力、高水平论文发表及引用情况、获得学术奖励情况、承担科研项目情况、学术兼职情况等；人才培养情况也可以包括多个指标，如教学获奖情况、人才培养质量、承担教改项目情况等；社会服务情况也可以包括多个指标，如担任社会职务、提供高水平咨询报告、成果应用产生经济效益等。多元评价中，在准则层，如果认为学术水平最为重要，则可以赋予其高的权重，而如果认为社会服务相对不重要，则可以赋予其相对低的权重。而在指标层，根据指标的重要程度，同样可以赋予不同权重。在此基础上，我们再开展综合评价。 理论上，上述做法是完全可以实现的。但实际中为什么不能彻底执行呢？主要是因为难度太大。 首先，确定评价指标体系就很难。没有评价指标体系就无法开展评价，但不同的人从不同的角度对于评价指标体系又有不同的认识。目前各种人才评价中，均有大量表格需要填写，除基本信息外，每一类表格以及表格的具体内容就相当于层次分析方法中的准则层和指标层。因此，表格的类别及具体内容设计就很关键，表格填写内容的规范化也很重要。在实际评审过程中，会发现有些人很会填表格，而有些人则很不会填（不认真的除外）。因此，客观真实地反映实际情况很有必要。 其次，有了表格及填充的内容之后，如何开展综合评价？按照经典综合评价的方法去做，即全部定量化，这似乎很科学，但往往行不通。原因是可以质疑的地方太多，而处理的方法可能也存在说服力缺乏的问题。 那么该如何做呢？国际上对人才评价的通用做法是采用同行专家评议，我们国家也是这么做的。其过程为先进行同行专家通讯评议，主要是小同行；在此基础上，由大同行专家会评来最终确定入选名单。这个通用程序目前也面临一些质疑，原因是多方面的。在通讯评议阶段，应选取什么样的同行评议专家？每份材料由几个同行评议专家评审？同行评议专家评审意见的异议如何处理？同行评议专家诚信如何保证？这一系列问题都会影响到评价结果的可信性。会评阶段本来是一个解决异议、达到平衡的最好阶段，但实际情况下，这一阶段反而存在更多问题，导致部分人士认为如果通讯评议阶段专家有效意见足够多，应该去掉会评阶段，建立一个根据通讯评议专家意见确定拟资助人选的机制即可。值得注意的是，上述多个问题实际上也可以归为指标体系的建立问题，只是针对不同层面。 将指标体系方法与同行评议方法紧密结合 无论是同行专家评议还是指标体系综合评价的方法，在理论上均没有问题。但是，鉴于目前同行评议方法和指标体系方法可能存在的现实问题以及两者不可分的特性，笔者建议将指标体系方法与同行评议方法紧密结合起来，在采用国际通用同行评议方法的基础上，在相关评价指标体系建立方面多下功夫，从而取得更符合实际也更为可信的结果。 具体建议如下：针对不同评价目标，从多个维度设计更为合理的表格，明确具体的填写内容，对如何填写进行规范化指导；在发送评议材料请同行专家评议时，给出如何评价的指导意见，至少给出评价标准或者期望达到的标准，便于专家根据专业判断给出评价意见；大同行会评过程中，给出如何评价的指导意见；进一步规范综合评价的程序，使评价尽量公开透明。 参考文献： [1]郭亚军.综合评价理论与方法[M].北京：科学出版社，2002. [2]沈珍瑶，杨志峰.黄河流域水资源可再生性评价指标体系与评价方法[J].自然资源学报，2002（2）. [3]沈珍瑶，杨志峰.灰关联分析方法用于指标体系的筛选[J].数学的实践与认识，2002（5）. 【作者沈珍瑶，长江学者特聘教授、北京师范大学教授】 |
- 科学评价我国学者科研影响力06-03
- 构建多元评价体系02-03
- 科研管理评估难题怎样破解01-27
- 评价不能求全责备01-27
- 不断优化学术环境01-27
- 回归科研本质评价01-27
- 黄维：科研评价要过好三道关05-04
- 上海高校科研评价不再依据论文量“一刀切”10-23
- 上海：高校科研评价将不再只靠论文量一刀切10-21
- 高等学校科研评价改革在北京上海广东率先启动10-21
