社科学术常用评价指标研究

社科学术期刊常用评价指标研究 期刊评价在科研评价方面起着重要作用，备受关注。社科学术期刊作为人文社科领域学术成果的重要展示平台，其评价结果具有极强的导向性，不仅关系着我国广阔社会科学研究人员的切身利益和数量庞大的社科期刊生存开展方向，而且对科研成果评估、学术资源分配、科研鼓励制度及繁荣学术研究等有不可估量的作用。国内研究者对学术期刊评价问题的关注度持续上升，期刊评价结果的被接受程度事关学术研究的良性开展。评价结果是否被学界广泛接受，主要受到评价方法和期刊评价指标两方面因素的影响，而评价指标及其权重是重中之重。期刊评价指标数量繁多，按照功能特性可划分为期刊特征指标、期刊引用指标、文献转载指标等主要类型。在学界认可度较高的社科学术期刊评价体系中，南京大学?中文社会科学引文索引?只选择影响因子和总被引频次作为评价指标；北京大学?中国核心期刊要目总览?那么选择了全部类型的评价指标；中国社会科学评价研究院?中国人文社会科学期刊MI综合评价指标体系?选择了吸引力获奖状况、论文状况、同行评议、管理力编辑队伍、作者队伍、制度建设、信息化建设、影响力学术影响力、社会影响力、国际影响力等3个一级指标、10个二级指标和24个三级指标；中国人民大学?复印报刊资料转载指数排名研究报告?那么只用了文献转载的相关指标。实践中这4种评价体系难分伯仲，在一定范围内评价结果也具有趋同性。这种趋同性是否意味着不同评价体系间具有某种联系，而研究评价间的相关性或许能解释这种联系。不同评价指标指引着期刊的不同功能特征，评价指标间呈强正相关，说明指标所指引的功能特征具有趋同性。如果不同的评价体系选择了相关性较强的指标作为核心评价指标，那么其评价结果可能会在一定的范围内具趋同性；如果同一评价体系同时选用相关性较强的多项指标，那么会过度放大期刊的这类功能特征，使评价结果的科学性受到质疑。因此，掌握评价指标间的相关性程度，对选择期刊评价指标、完善期刊评价体系具有重要的意义。一、相关研究搜索国内外相关文献可知，期刊评价的相关性研究主题可以分为两个角度。第一，量化评价和质化评价结果的相关性研究。马利戈尔德OlesyaMryglod等1通过研究社会科学类系列期刊发现，同行评议结果与引文评价结果的相关性不高；而惠特曼LudoWaltman等2的研究那么认为引文评价结果和同行评议结果存在较强的正相关性。洛佩兹-科扎EmilioDelgadoLópez-Cózar等3梳理49篇单一数据源论文及100多项不同国家不同学科的实证研究发现，95%的实证研究结果支持定性与定量两种基于不同评价视角的量度结果在统计上呈现出不同程度的相关性的结论。陈茹4、金淑兰5从学术生态角度分析认为，严谨、公正的同行评议程序是量化评价与质化评价结果统一性的前提与保证。第二，期刊量化评价指标间的相关性研究。马提阿斯GámezA.Matías6研究发现，心理学期刊的影响因子、h指数、Latindex指数之间存在一定程度的相关关系，芬那迪UgoFinardi7研究发现，影响因子与逐年引用增长两指标间无显著相关。这一话题也引起了我国学者的关注，研究者们纷纷探讨不同学科、不同评价指标间的相关性：图书情报学期刊零被引率与期刊关键评价指标2年影响因子、5年影响因子h指数显著负相关，p指数与被引频次、平均被引率、5年影响因子相关性显著,与h指数具有一定相关性8；神经病学期刊零被引率与引用半衰期呈正相关，与基金论文比、学科扩散指标呈负相关，与各类影响因子、复合即年指标、被引半衰期、学科影响指标无相关性9；在同一学科内，CiteScore、CiteScore百分位与常用计量学指标均显著正相关，在不同学科间，CiteScore百分位与影响因子百分位、篇均来源期刊标准影响指标sourcenormalizedimpactperpaper，英文缩写为SNIP、标准特征因子均显著正相关10；经济学期刊的特征因子与影响因子间不存在相关关系11。就人文社科期刊而言，统计规那么相似的影响因子、转载量和网络下载三类指标之间呈强正相关，转载指标与引文计量指标之间存在中度或较强的正相关12。近年来，随着新的评价指标涌现，评价指标相关性研究逐渐深入。但研究者注重运用相关性分析方法挖掘与探索新的计量指标，而常用指标间的相关性研究一直停留在单一学科层面，相关性的学科差异性研究被无视。学以致用才是最终的目的，本文正是基于这样的初衷，试图以社会科学期刊为例，探索评价指标间的相关性，以及相关性的学科差异。二、研究数据与方法1.数据来源。在?复印报刊资料转载指数排名研究报告?简称?转载排名报告?经济学、管理学、法学、社会学、图书情报学、高等院校学报等期刊分类中，选择20222022年连续3年都被收录，共计99种期刊作为研究对象。其中，在?转载排名报告?中，经济类期刊和管理类期刊又有假设干子类目，本文仅选择应用经济学、工商管理学两个社会科学属性相对明显的期刊分类作为研究对象。随着国内外期刊评价理论和实践的开展，期刊评价指标数量越来越多。本文选择我国四大社科评价体系中常见的评价指标作相关性分析。选择的3类指标包括：期刊特征指标、期刊引用指标和期刊转载指标。期刊特征指标反映期刊自出版之时就具备的特征，这类指标与生俱来，数量不多，本研究选择基金论文比、平均引文数、引用半衰期等3个常见指标。期刊引用指标是期刊计量评价的重要依据，相对特征指标而言,引用指标数量众多,设计精妙,应用广泛，这里选择影响力指数CI值、复合影响因子、复合他引影响因子、复合总被引、被引半衰期、被引期刊数、复合即年因子、web即年下载率等9个指标。期刊转载指标是二次文献转载排名的重要依据。转载排名根据期刊论文的转载量、转载率、篇均得分和综合指数，按期刊属性和学科分类来排名。随着同行评议越来越受到我国科研成果评价的重视，中国人民大学人文社会科学学术成果评价中心研制的系列报告的学术影响力越来越大，甚至在诸多高校的科研评价体系中，被四大文摘?新华文摘?中国社会科学文摘?高等学校学术文摘?、中国人民大学书报资料中心复印报刊资料系列全文转载或者局部转摘的论文，校内认定的等级比CSSCI来源期刊级别还要高。“复印报刊资料是二次同行评议的结果，在一定程度上讲，转载排名是期刊学术影响力的整体表达。本文选择转载量、转载率和综合指数等3个指标。期刊转载指标数据来自20222022年?转载排名报告?，期刊特征指标和期刊引用指标数据来自20222022年?中国学术期刊影响因子年报人文社会科学?简称?影响因子年报?。全部数据按照转载排名的学科分类，整理成经济学、管理学、法学、社会学、图书情报学、高等院校学报等6个Excel工作表。样本期刊社会科学属性明显，覆盖学科面广，学术质量较高，学术影响力强，以此作为社科期刊评价指标相关性研究的样本，具有典型性。此外，转载指标不仅具有统计学意义，而且其统计数据以同行评议数据为根底，这有利于弥补社科期刊评价中同行评议缺乏的缺憾。2.研究方法。按照学科分类，运用Pearson相关系数检验评价指标间的相关性，并进行学科比较；最后根据研究结果分析总结出指标相关性对改进我国社科成果评价的启示。为了便于对各期刊指标的评价数据进行横向比照，首先对样本期刊每个指标的评价结果进行归一处理，Pearson相关系数考量的是定距变量间的线性关系，用来衡量两个数据集合是否在一条线上。设显著性检验p值的双尾检验值大于0.05时表示检验结果不显著；同时设相关系数越接近1或1，相关度越强；相关系数越接近0，相关度越弱。本文按照以下取值范围判断变量的相关强度：相关系数为0.81.0表示极强相关，0.60.8表示较强相关，0.40.6表示中度相关，0.20.4表示较弱相关，0.00.2表示极弱相关或无相关。三、相关性讨论1.期刊特征指标的相关性。法学和应用经济学期刊的平均引文数和引用半衰期之间有较强的相关关系，工商管理学、图书情报学和应用经济学期刊的基金论文比和平均引文数之间有中度的相关关系，社会学和高等院校学报的基金论文比和引用半衰期之间具有中度的相关关系见表1。这一结论与大多数研究者的结论相同，也再次证明了基金论文比、平均引文数和引用半衰期等特征指标之间独立性较强，在期刊评价体系中独立指引着期刊的特征。因此，在进行不同类别评价指标相关性研究时，这3个指标需要独立分析。2.期刊转载指标的相关性。作为四大文摘之一的中国人民大学复印报刊资料选用“学术创新程度、论证完备程度、社会价值、难易程度、课程立项、发表载体等6个同行评议核心指标，遴选我国哲学社会科学领域的优秀学术成果。复印报刊资料的转载量、转载率和综合指数等以复印报刊资料转载论文为研究样本，具有同行评议的特征，在学界和期刊界享有较高的影响力。表1显示，综合指数和转载量、转载率都具有强相关性，这与综合指数综合指数=0.4×转载量归一值0.3×转债率归一值0.4×篇均分值归一的计算方式有密切的关系。除了应用经济学和高等院校学报期刊的转载量和转载率间具有强相关之外，其他学科都仅具有中度或较强的相关性。基于此，在后面进行不同类别评价指标相关性分析时，不考虑综合指数，只选择转载量和转载率两个直接指标。3.期刊引用指标的相关性分析。分析期刊引用指标两两间相关性可以发现，总体上除了复合即年指标之外，其他8个指标两两间均呈现出一定程度的正相关关系见表2。这些指标从不同角度反映期刊的影响力水平，它们之间相互印证，相互补充。影响力指数与其他指标复合即年指标除外呈现出较强的相关关系法学、图书情报类期刊个别指标除外。复合影响因子、复合他引影响因子、5年复合影响因子等3个指标两两间呈强相关关系。基于此，在后面进行不同类别评价指标间相关性研究时，复合影响因子、复合他引影响因子、5年复合影响因子3个指标可以选择其中的一个。本文选择应用范围较广的复合影响因子。4.期刊特征指标与其他指标的相关性。参考文献综合反映论文作者对相关研究领域内文献的掌握程度，引文数量和引文新旧程度被专家学者和编辑视为论文学术质量的重要参考标准。虽然基金论文比被证实和论文的学术质量没有实质联系，但实践中专家学者和编辑还是看重这个指标。分析其相关性可知：局部学科期刊的平均引文数与转载指标、被引指标存在中度相关关系；只有法学、应用经济学两个学科期刊的基金论文比与局部转载指标、被引指标存在中度相关关系；只有应用经济学科期刊的引用半衰期与转载指标和局部被引指标存在中度的相关关系见表3。这也从侧面印证，多数研究者在进行学术研究时，重视的是文献观点和创新点等本质内容，并不是文献数量等外在因素。5.期刊转载指标与期刊引用指标的相关性。期刊引用指标是文献计量学理论研究和期刊评价实践依据的主要工具。期刊转载指标具有同行评议的优势，近年来越来越受到期刊评价体系和科研评价单位的重视。分析转载指标与引用指标的相关系数可知，应用经济学期刊和高等院校学报的转载量总体上与被引指标具有中度相关关系；除了社会学、工商管理学类期刊之外，其他学科的转载率与被引指标具有不同程度的相关关系见表4。这一结论说明，虽然由于制度和文化的原因，我国期刊同行评议制度还不完善，存在学术不端的可能性，但总体上反映了期刊的真实学术水平。四、结论与启示通过对我国6个学科的社科学术期刊3类评价指标及其相互间的相关性进行分析，可以得出如下结论：第一，基金论文比、平均引文数和引用半衰期等3个期刊特征指标之间相关性不明显，各自在期刊评价体系中独立指引着期刊的某一特征。第二，综合指数、转载量、转载率等3个转载指标间具有较强的相关性，特别是综合指数和转载量、转载率之间均具有强相关性。第三，除了复合即年指标之外，其他引用指标两两间均呈现出一定程度的正相关性。值得注意的是，影响力指数与其他引用指标呈现出较强的相关性，复合影响因子、复合他引影响因子、5年复合影响因