评价学术论文质量的主要指标有哪三个

【争鸣与探讨】　　全国第四轮学科评估方案中的科研评价部分，特别是“A类期刊”的增列与取消，一时成为热议话题。事实上，科研评价是世界性难题，最近几年，国际学术界提出了科研评价方面的两个“宣言”——“莱顿宣言”和“旧金山宣言”。放在世界的范围内，如何看待这次学科评估中某些新鲜尝试呢？有哪些可取之处和不足之处？“A类期刊”的取消不意味着相应的探索和思考也被取消。　　“莱顿宣言”纠偏“量化至上”　　“莱顿宣言”（The Leiden Manifesto for research metrics）的提出源于2014年在荷兰莱顿召开的一次国际会议，美国佐治亚理工学院的公共政策教授Diana Hicks等提出了合理利用科学评价指标的七条原则，后来扩充为十条，并于2015年4月发表在《自然》杂志上。　　“莱顿宣言”的十条原则，简言之，第一，量化评估应当支撑质化的专家评估，而不是取而代之；第二，衡量绩效应基于机构、团队和个人的科研使命；第三，保护卓越的本地化的相关研究；第四，保持数据采集和分析过程的公开、透明和简单；第五，允许被评估者验证数据和分析；第六，考虑发表和引用的学科差异；第七，对个人研究的评价应基于其综合作品的质性评价；第八，应避免评估指标的不当的具体性和虚假的精确性；第九，识别认清评价指标对科研系统的影响；第十，定期审查评价指标并加以改进。　　按笔者的理解，这十大原则可以归为四个方面。　　第一方面，即总的原则是：基于指标的量化评估是第二位的，是辅助性的，而同行评价的质性评估是第一位，是主导性的。量化指标可以降低同行评价中的偏见，促进更加深入的审议，提高同行评价的质量，但量化指标不应取代评估者基于充分信息基础上的判断。评估者仍然需要对其评估负责，而不是完全让“数据说话”了事（第一条原则）。所以，“莱顿宣言”并不提倡科研评价要用量化指标，更不提倡把量化指标作为主导甚至是唯一指标。“莱顿宣言”只是说在用到起辅助作用的量化指标时需要注意的一些原则。　　第二方面，在总的原则指导下，运用科研评价指标做具体评价工作时的下位原则，即要充分考虑科研活动本身是创造性的、个性化的、独特性的等特点，所以需要在评价过程中特别注意科研活动的使命的差异（第二条原则）、地域性的差异（第三条原则）、学科性的差异（第六条原则）、个体性的差异（第七条原则）。这些差异容易被量化指标遮蔽，所以需要在评价中采用综合计量或者质性评估办法。　　第三方面，关于科研评价指标的具体数据采集和分析的要求，要公开透明（第四条原则）、可以复核验证（第五条原则）。　　第四方面，对科研评价指标的态度，要理解实质内涵（第八条原则）、警惕负面影响（第九条原则）、不断改进完善（第十条原则）。　　“莱顿宣言”每一条都内涵丰富，指向明确。与之对比，可以发现，我国科学评价工作还大有改进空间。　　“旧金山宣言”纠偏“以刊评文”　　“旧金山宣言”（The San Francisco Declaration on Research Assessment，DORA）的提出源于2012年12月美国细胞生物学学会年会期间，一些学术期刊的编辑和出版者提出关于科研评价的建议，在此基础上形成了“旧金山宣言”，2013年5月，78个科学组织的155位科学家签署了这份宣言。“旧金山宣言”引发了世界科学界的广泛关注，《科学》杂志撰写社论支持“旧金山宣言”，认为影响因子最重要的危害是可能妨碍创新，它引导科学家关注发高影响因子的文章，追逐所谓的“热点”，而不是潜心科研创新。　　“旧金山宣言”并不像“莱顿宣言”那样包含相当宽泛的内容，它只是针对期刊的计量指标（主要是期刊影响因子）而提出的，呼吁科学界停止使用期刊影响因子来评价科学家及其工作。内容包括总体建议以及对资助机构、研究机构、出版机构、计量指标提供机构以及科研人员的建议，共计18条。总体建议是：“停止使用期刊影响因子等期刊计量指标作为替代指标，来评价单个研究论文或学者个体的贡献，或者是作为聘用、晋升、资助等方面的依据。”其他区分对象的建议都是围绕着总建议展开的。　　期刊影响因子是20世纪50年代由汤姆森路透公司开发出来的，其最初提出的目的是为帮助图书馆评估和挑选决定订购哪种期刊，但是现在影响因子已经被广泛应用于评价个人和研究机构的水平和贡献。期刊影响因子的含义是某期刊前两年发表的论文在统计当年的被引用总次数除以该期刊在前两年内发表的论文总数。可见它只是期刊的评价指标，并非科研工作本身的评价指标，影响因子不具有对学术质量精确评价的功能，所以不能单凭影响因子就断言论文优劣。“旧金山宣言”倡导的就是评估科研工作要回归到科研工作本身的价值中去，而不是基于刊载的期刊。　　“A类期刊”弊大于利　　回到开篇的话题。客观地讲，这次学科评估方案在完善科研评价方面积极探索，其价值取向和工作方向与“莱顿宣言”所倡导的内容是比较契合的。比如在评估方案和相关说明中，提出“学术论文质量”采用“三结合”评价组合。一是坚持质量与数量相结合，采用代表性论文，在“比总量”与“比人均”之间找到平衡点；二是坚持主观与客观相结合，通过量化指标统计进行客观评价外，还通过“代表性论文”进行专家主观评价；三是坚持国内与国外相结合，要求包含一定比例的中文期刊，强化中国论文评价话语权。这背后的指导思想都是“莱顿宣言”提倡的摒弃“唯量化指标论”，采用更加综合的评价方式。　　“莱顿宣言”的第三条原则特别提到，要保护卓越的本地化的研究。研究的卓越不等同于在国际期刊上发表英文论文。一些偏重于本国或者区域性的课题的研究，往往并不被知名的英文期刊所青睐。“只有基于高质量的本地语言期刊的指标才能正确评价和推动卓越的本地化的研究。”这高度契合了这次评估中强化国内研究论文地位的思想。　　但“A类期刊”的取消仍有许多值得反思和总结的地方。无论如何，“A类期刊”的设定其本质依然是“以刊评文”，这是“旧金山宣言”所明确反对的。“以刊定质”，而不是用学术质量本身来评价科学研究，已经日益遭到越来越多人的反思、质疑、批评和抵制，这个时候又祭出这杆大旗，似有逆向而动之嫌。真正需要下功夫的是如何在同行评价和代表作评价方面拿出切实可行的操作办法，而不是继续在“看刊物、数数量”的道路上越走越远，那样只能带来更多的浮躁。更为重要的是，教育行政部门在主导此事，其“指挥棒的力量”不会随评估结束而结束，而会长久发挥作用。量化指标的推出在世界范围内几乎都是“民间”行为，鲜见教育行政部门直接推动设立。无论是从“管办评分离”“放管服”的角度，还是从落实创新发展理念、推进“两个一流建设”的角度，推出“A类期刊”都是弊大于利。

个人感觉，应该有诚信度(即论文有没有抄袭)、研究成果展示情况、以及相关数据图表的完善程度等吧。

在各种基于内容的学术评价方法中，最典型的评价模式是学术综述，这是学术评价的最好方法。某一学科里的专家将近期这个领域里的研究情况作一总结，分析出某一时期本学科的重要进展和未来发展趋势，显而易见，这本身也是一种学术研究。学术综述之所以是最好的评价方法，其原因有两条：一是，写综述的学者本身就是这个领域的研究者，甚至是领先的研究者，他们对所讨论的研究课题有比较深刻的理解，具有比较敏锐的学术洞察力。二是，学术综述是基于研究内容的评估，遵循的是学科本身的内在逻辑和研究范式，可以比较准确地描述出该学科研究的现状和发展趋势，由此可以比较准确地对学术研究成果作出评价。另外，学术综述的目的是回顾学术研究本身的发展历程，描述学术研究的现状和预期未来的发展方向，从目的上讲，学术综述的评价目的比较学术化，比较单纯，这样就使得学术综述更加客观，并确保综述的价值中立。所以，学术综述是一种比较好的学术评价方式。 相关关系是指学术研究成果与其他研究成果的相关关系, 这个参数描述了该项研究成果对其他研究成果的影响，即描述了这项成果的影响力。我们知道，学术研究不是闭门造车，也不是脑袋一拍的事情，而是在别人研究的基础上不断地延伸发展起来的，正如牛顿所说，是站在巨人的肩膀上的。任何学术研究都离不开别人的研究成果，但是，一个学术研究成果却不一定能够成为别人进一步探索的基础。其原因主要是：1） 该项研究成果缺乏新颖性，不是一个前沿性的研究成果，自然不能成为进一步探索的出发点。2） 该项成果缺乏启发性，不能引起其他学者的关注和进一步研究的兴趣。3） 该项成果有游离于学术界的研究兴趣之外，或者说，该项成果不被学术界认为是值得研究的。4） 该项研究成果游离于学术界的研究范式之外，比如很多民间科学家的研究。5） 该项研究成果是无意义的和无价值的。反过来说，如果一个学术研究成果和其他研究成果有密切的相关关系，那么至少可以说，这样成果是为学术界认可的。研究成果的相关性指标主要是通过研究论文的引文特征表征出来的。我们知道，一个符合学术规范的研究论文总有引文部分来指示该论文和其他论文的逻辑关系，这是现代学术研究的基本范式。通过引文关系我们可以清楚地描绘出一个研究成果的相关性脉络：两个基本面和两个维度。两个基本面第一，该研究成果与以前的研究成果的相关性，表现为该成果引证先前的相关研究成果，即引用率指标。一个研究成果如果没有引文，其学术性会引起非常大的争议，进一步而言，如果一个研究成果引证的是相关研究非主流的研究成果，而没有印证主流研究成果，那么这个研究成果的价值也是可疑惑的。所以，我看论文首先看引文，如果该论文的引文的质量不高，我自然会怀疑该作者是否认真研读过相关领域里的重要论文，进而怀疑该论文的质量。第二，该研究成果与以后的研究成果的相关性，表现为该成果被别的成果引证的情况， 即为被引率指标。一般说来，被别的成果引用得越多，说明这个成果可能具有越强的新颖性，启发性，越能说明该项成果能够成为进一步研究的出发点，具有较高的学术价值。一个学者，如果其研究成果被别人广泛引用，那么可以认为这个学者对学术的发展有比较大的贡献。当然如果一个研究成果完全是错的，其被引率也会很高，比如时下一本《道德经浅释》被广泛批评，并不说明该成果具有很高的学术价值，而是说明该成果具有很高的荒谬性。所以，被引率往往要和内容评价结合在一起，才能客观地描述出研究成果的价值。两个维度第一是历时性维度。历时性维度有两个时间方向：前向性和后向性。前向性是指该项成果和以前已完成的研究成果的相关性。任何学术研究都如牛顿所说的，是站在巨人的肩膀上的，都是在前人的研究基础上进一步探索的结果。所以，一个学术成果和前人的研究成果的相关关系，显然可以作为判断该成果价值的依据。我们可以通过该成果的前向时间维度，来评估该项研究是不是建立在前人研究基础上的进一步探索，还是重复别人已有的成果。研究成果的前向历时性可以通过该成果的论文中的引文表现出来，我们可以通过这项成果引证他人的研究成果的情况来判断这项成果的新颖性，可以判断这项成果是否站在前人已有的研究成果上继续探索，可以判断该作者是否做了全面的文献综述。后向性是指该成果对以后的研究是否具有参考价值。 我们知道，学术成果是有生命周期的，学术生命周期主要是指该项研究成果对以后学术研究成果具有参考价值的时间长度，也就是说，该成果发表后多少时间内，能够持续地对后续的研究产生影响。一些成果的生命周期长些，甚至长至百年；一些的短些，可能发表出来就结束了。学术成果的生命周期造就了学术相关性评价的理论基础之一。学术成果生命的最好度量是通过引文实现的，举例说来，一篇论文发表后的5年内被其他论文持续大量引证，以后逐渐减少，直到没有，这一个时间周期就表征了该学术成果的生命周期，也时描述该成果语其他成果相关性历时性特征的重要依据。学术成果的生命周期是非常容易定量估算的，但是怎样估算，据我了解目前还没有很好的估算公式，我们图书馆界研究这个问题具得天独厚的条件，我们不妨试着研究一下。特别是叶鹰教授搞的抽象图书馆学是不是能在这方面找到应用价值？猜想一下。第二是共时性纬度，这个维度表征了该成果和同时期的研究成果的相关性，这个维度同样由来个时间方向，前向性和后向性。共时性可以通过该研究成果最近的引证别人的论文和别人引用该成果的引文来表征出来，例如，该成果最新的一篇引文是半年前的成果，发表后第一篇被引的论文发表于半年后，那么其共时性特征前向性是半年，后向性也是半年。显然，共时性维度是表征研究成果新颖性和重要性的重要描述指标。