人文社科学术专著同行评议与文献计量评价的实证比较.docx

    人文社科学术专著同行评议与文献计量评价的实证比较    袁曦临 沈宸摘   要：人文社科领域学术专著质量评价的既有方法主要为基于同行评议的定性评价与基于文献计量的定量评价，但是两种性质不同的评价方法所产生的评价结果是否存在差异值得关注和探讨文章以人文社科领域最具代表性的历史学科为对象，对五届郭沫若中国历史学奖的获奖图书进行引文分析，并将获奖图书被引情况与同期同研究领域图书进行比较，探讨定性评价结果与文献定量评价的相关性;研究表明，同行评议结果与文献计量分析结果具有显著相关性，同行评议评选出的人文学科专著的学术影响力明显高于同期同学科领域专著，且这一差距随着时间发展日益扩大研究结果为确立合理和有效的人文学科学术专著质量评价体系提供了参考Key：学术专著;质量评价;文献计量;同行评议：G252   ：A   DOI：10.11968/tsyqb.1003-6938.2020078Abstract Peer review and bibliometric analysis are two main methods used for evaluation of academic monographs in the field of Humanities and social sciences， but the differences of the evaluation results using two different evaluation methods should be concerned and discussed. Focus on the Chinese History monographs， the author analyzes the citations of prize-winning works of Guo Moruo Prize in Chinese History and compares the citations of the winning books with the other works in the same subject field in the same period to explore the correlation between the two evaluation methods of academic monographs and found that the results of peer review is significantly correlated with the result of bibliometric analysis. And the academic influence of academic monographs selected by peer review is significantly higher than other monographs in the same period.Key words academic monograph; quality evaluation; bibliometric analysis; peer review1   問题提出2018年中共中央办公厅和国务院办公厅印发《关于深化项目评审、人才评价、机构评估改革的若干意见》，要求“克服唯论文、唯职称、唯学历、唯奖项倾向，注重标志性成果的质量、贡献、影响”;随后国务院又印发了《关于优化科研管理提升科研绩效若干措施的通知》，提出要“建立以创新质量和贡献为导向的绩效评价体系”。

然而，“破四唯”之后，要采用何种方法来评价学术，并不是一件容易的事，尤其是在人文社会科学研究成果的判断上众所周知，以人类精神世界和人类社会作为研究对象的人文社会科学，存在着价值判断的间接性与语境性、研究内容的民族性和本土性，以及研究结果的不可重复性等不同于“科学”的特质;这些特质造成了人文社会科学研究成果质量评价的困难目前应用于人文社会科学学术专著评价的两种基本评价方法——同行评议和文献计量方法，分别对应于内容评价和形式评价，但都存在一定的局限性原因在于，人文社会科学领域的专家主观评价无法全然排除受到学术门派、学术偏好、人情关系以及当下社会语境和意识形态的影响;而计量方法虽貌似客观公允，但毕竟是一种从研究成果的外在形式进行分析判断的方法人文社会科学评价涉及价值判断、历史判断和道德判断问题，仅凭文献计量指标，能否对这些研究成果特别是人文社会科学研究领域最为重视的学术专著的内容质量给出实质性评价存疑如何找到相对公正、合理、有效的学术专著评价方法，是人文社会科学成果评价，特别是学术专著评价的突出问题，而要解决这一问题，首先需要厘清同行评议和计量分析这两种方法之间的内在联系，了解这两种方法在评价同一对象的过程是否存在差异，如果存在差异，这个差异又表现在哪些方面？有鉴于此，本研究拟从人文社科领域最具代表性的历史学科的专著入手，从同行评议和文献计量分析两个角度对专著质量评价的异同进行比较。

2   文献回顾学术专著是对某一学科、领域、专题进行较为集中、系统、全面、深入论述的著作[1]由于人文社科学术专著所论述的内容相比自然科学来说，具有内在的广泛性、复杂性和社会性[2]，因此在人文社科领域中，学术专著是一种比期刊论文更具优势的文献类型[3]相较于已经相对成熟的期刊评价体系，目前学界尚未形成完善的学术专著质量评价标准，对于人文社会科学图书评价的研究仍处于摸索阶段现有的人文学科学术专著评价方式主要包括书评、同行评议、图书被引等，其中同行评议是较为主流的评价方法同行评议是学术同行专家借助长期以来积累形成的专业知识和认知结构，完成观念性建构并评价的过程，显示了在评价活动中评价主体的能动性和创造性[4]自20世纪80年代以来，国内人文社会科学类研究成果评价经历了从较为单一的同行评议到同行评议与文献计量分析相互补充的综合评价演化过程，文献计量方法可以提供组织性、结构性较强的描述数据，通过对图书的被引量化分析体现著者的研究成果被他人认可、利用的程度及效度，反映该书籍的学术价值及著者的学术影响力[5]关于人文学科学术专著的评价标准应当如何建立，如何平衡定量评价和定性评价之间关系的讨论一直存在。

2009年借助CSSCI，苏新宁[6]对我国人文社会科学图书学术影响力进行了引用分析，制定了最有学术影响力图书的入选标准，并在2011年的《中国人文社会科学图书学术影响力报告》中公布出人文社会科学21个学科的具有较大学术影响的3140种图书2010年任全娥[7]设计了人文社会科学成果中论文成果、研究报告成果与著作成果的评价指标体系同年，叶继元[8]建立了形式评价、内容评价和效用评价的“三位一体”全评价体系框架，指出了当下人文社会科学学术图书评价的主要瓶颈问题是工作量大、内容评价费时费力、学术图书的非定量化、非公式化特征以及非共识性特征2016年张艳丽[5]以社会科学文献出版社应用性研究成果皮书的内容评价为案例，对皮书的评价指标、评价方法进行分析2018年张艳丽[2]又从核心性指标、基础性指标、结果性指标三个角度构建了人文社会科学类学术图书评价指标2019年王伟和杨建林[9]从学术影响力和社会影响力的10个维度出发，构建了外译图书评价体系近年来国际上对于学术专著评价的研究热度仍在增长国外图书评价的主要形式是书评，替代计量学作为新兴的计量指标，也逐步被应用到学术专著学术影响力的评价中，BookMetrix等基于替代计量学的学术图书评价工具被开发出来。

综上所述，目前关于人文学科学术专著质量评价的研究集中于评价体系的建立和评价指标的设计，而对以文献计量为代表的定量评价和以同行评议为代表的定性评价之间的关系则讨论不深然而，在无法明确专家主观评价结果和文献计量客观评价结果是否存在一致性的情况下，其实很难作出如何在人文社科领域的学术专著评价中，将专家评价和计量评价这两者进行整合或取舍，进而讨论人文社科学术专著质量评价标准的问题3   研究设计3.1    研究对象为验证在人文学科中通过文献计量分析得出的学术专著评价结果与同行专家评价结果之间是否存在一致性，本文选取历史学学术专著展开调查史学是人类知识体系最古老的分支之一伊曼纽尔·沃勒斯坦[10]在《开放社会科学》一书中详细阐述了现代社会科学完成制度化的过程，最终形成了一个三分格局：一端是数学和各门实验自然科学;另一端则是人文科学尤其是哲学、文学、艺术;介于这两者之间的是社会科学用沃勒斯坦的话说，“历史学、经济学、社会学和政治学合演了一首四重奏，它们从19世纪中叶直到1945年逐渐成为大学里的一些正式学科”，并共同构筑了一个可以“社会科学”命名的制度化的知识领域现代史学之所以被看作社会科学范畴，原因在于其主要研究方法遵循了经验科学的原則，即从历史事件或现象中概括、总结并归纳出历史过程的规律性，进而做出预测和验证，因此现代史学属于经验科学。

而中国传统学术不分科，于两汉时期逐渐形成的经、史、子、集四部分类，至清代编撰《四库全书》时已成为中国传统学术之定式传统史学以历史叙事为主要话语形态，史部主要以纪传、编年、纪事这三种形式记录我国古代漫长浩瀚的历史，尤其重视治国治世之理念以及朝代更迭之教训历史学到底属于社会科学还是人文学科，学界向有争议历史学在美国的学科设置中多放在社会科学的门下，在中国则列入人文学科领域尽管中西方在思维方式上存在较大的区别，但有一点是共识，即实证主义已成为史学的主流，历史学的宗旨不仅在于记录过去，更在乎探究人类社会发展的内在规律，历史学是建立在探究基础上的近代知识形态[11]事实上《国家社会科学基金项目申报数据代码表》对于学科的分类中就包含了中国历史、世界历史、考古学类，说明我国学界对于历史学的学科定位是介于社会科学与人文学科之间的结合中国的传统与现实，可以认为历史学是一门兼具社会科学与人文学科两者特征，是人文社科领域中最具有标识意义的学科[12]，以此为研究对象来讨论人文社会科学的成果评价问题，更具普遍性意义1998年在中国社会科学院的支持下，设立郭沫若中国历史学奖，该奖具有较高的学术认可地位其获奖作品主要是通过同行专家对中国历史学研究优秀学术专著进行内容审读后评选出的，能够比较充分的呈现同行评议这一评价方法在学术专著评价方面的结果。

郭沫若中国历史学奖的评奖范围是中国历史研究领域的学术专著迄今为止共举办了五届，出版年限分别为1988-1992年、1993-2000年、2001-2005年、2006-2010年和2011-2017年，获奖图书共计为147部，其颁奖年份分别为2000年、2002年、2007年、2012年和2018年，颁奖年份要稍晚于出版年份本文以五届郭沫若中国历史学奖的获奖图书作为研究对象，调查获奖图书被引情况，以及其与同时期出版图书在被引情况上的异同，分析获奖图书是否比同时期历史学专著更具有学术影响力，以此判断同行专家主观评价和文献计量客观评价结果之间是否具有一致性其中，对于多个版本的获奖图书，本文选取获奖名单上指定出版社出版的最早版本来进行调查;对于同时期中国历史学领域的专著，以在每届郭沫若中国历史学奖规定出版期限内为“K2 中国史”检索到的学术图书为准3.2    研究方法学术图书评价之所以成为困扰学界与出版界的难题，原因之一是缺乏广泛收录学术图书评价信息的数据库由于学术图书的引用往往时间周期较长，从出版到被引用，再到引用图书出版及数据被最终统计需要经历一段较长的时间，且作者在撰写学术图书过程中“用而不引”现象较多，数据获取不易。

2017年南京大学发布了“中文学术图书引文索引”（Chinese Book Citation Index，CBKCITM），收录了1992年以来中国大陆出版的中文人文社会科学原创学术专著21个学科5000余种，但。