1 引言
不同文献类型在科研交流中发挥的作用不同,因此,为了消除不同文献类型对科研评价结果的影响,需要对不同文献类型进行归一化处理。对于涉及到依据文献类型进行归一化的评价指标,文献类型标签的准确性将对评价结果产生影响。
对于各种文献类型来说,明确的定义是准确分类的前提,分类的结果是要赋予类标签,文献类型标签一方面可以方便检索和定位,另一方面也为数据分类统计分析奠定基础。为了保障评价结果的正确性,需要对所使用数据源中的文献类型标签的准确性进行判断,首先是了解数据的可用性,判断是否能够满足需求;然后是了解可能会对评价结果产生影响的程度,判断是否能接受。
因为科研界普遍认为不同文献类型有各自的引用模式和作用特点,所以,在做科学分析时首先需要分析哪些文献类型应该包含在内
[1] 。Article和Review作为重要的文献类型,一般科研评价都会将其作为主要的数据基础。早在1951年,尤金·加菲尔德（Eugene Garfield）就意识到Review论文在科学交流中的重要性,开始研究其特点
[2],并利用Review论文的明确引用关系,实现索引过程的自动化,推动了Science Citation Index的产生和发展
[3] 。就Review的作用而言,因为综合了大量碎片化知识,不仅节省了大量阅读的时间,还为普通读者和跨学科研究的科研人员了解领域知识和认识不同研究工作之间的关联关系提供了极好的阅读材料
[4] 。Review一直是科学计量学领域非常重要的研究对象,2019年9月的国际科学计量学与信息计量学大会（International Conference on Scientometrics & Informetrics,简称ISSI）明确提出在使用数据库时要注意文献类型标签的准确性不足等问题
[5] 。
2 问题的提出
当前关于科技文献类型的研究主要分为以下四类。
（1）不同文献类型特性的研究。从Review的论文引用表现来看,虽然不是所有Review 都能获得高引用,但是Review期刊会获得相对较高的影响力是众所周知的
[4]。2014年的一项研究就证实了这一结论,Review的被引频次确实高于Article
[6],但被引频次的增长率却因学科领域或国家而存在差异
[7] 。2019 年期刊引用报告（Journal Citation Report,简称JCR）按影响因子对期刊进行的排名显示,前50本期刊中有21本是Review期刊。在“PHARMACOLOGY & PHARMACY”这一学科领域,TOP 8期刊都是Review期刊。
（2）不同数据源中文献类型标签差异的对比分析。针对18本Nature集团出版的期刊,分析其论文在Web of Science、Scopus和期刊官网三者之间的文献类型对应关系,发现同一数据集在Web of Science、Scopus和Nature中分别对应不同的文献分类,且文献类型种类也不尽相同。Article、Letter、Editorial、Review等文献类型在3种文献分类体系下均存在,但其含义却不甚相同
[8]。有学者利用随机选择的791篇论文组成的论文集对比分析了Web of Science、Scopus和期刊官网中的论文文献类型标签差异,发现与人工标注的结果相比,Web of Science的准确率和召回率均优于Scopus,Scopus的两个指标值均低于85%
[9]。
（3）不同文献类型对定量指标结果的影响研究。《能源与环境科学》（
Energy & Environmental Science,简称
EES）在创刊之初,发表的Review论文比重为43.64%（2010年）和32.97%（2011年）,对于影响因子的总体贡献率均超过了60%
[10] 。对于不同分区的期刊,Review论文对影响因子的贡献度是有差异的,即对不同影响力的期刊的影响是不同的
[11]。对于不同学科领域的期刊,Review论文对期刊影响因子的影响也存在差异,而且因为同一年份的论文会参与两年影响因子的计算,所以,在不同时间段,Review论文对影响因子的影响也是有差异的
[12]。
（4）基于文献类型归一化优化定量指标的方法研究。影响因子的计算是不区分Review和Article的,但是考虑到不同文献类型的引用模式差异,许海云等结合专家建议和序关系转换权重的原理和算法,提出了基于期刊文献类型的序关系转换权重的影响因子,以赋予不同文献类型权重的方式改进了影响因子
[13]。而中国科学院文献情报中心期刊分区表则是通过将期刊区分成Review期刊和非Review期刊的方式,优化期刊分区方法。
总之,Review论文普遍被引频次较高,对于基于被引频次的评价指标影响较大,如果不区分Review和Article,那么Review论文和Review期刊都将在评价中占据较大优势。进行文献类型归一化是实现不同文献类型可比的重要措施,但前提是要确保文献类型标签的准确性,因为一旦Article被误标为Review,就相当于削减了权重,而Review被误标为Article则是增加了权重。因此,本文的研究内容主要包含两方面：（1）对比分析不同数据源Review论文文献类型标签的差异;（2）分析Review的文献类型标签正确与否对基于文献类型归一化指标的影响。
3 不同数据源中Review标签的差异比较
3.1 Review的定义
对Review论文的定义是制定Review判断标准的前提,目前科研界和出版界的共识是：Review指对特定研究方向的发展现状的概述和整合,阐明其研究的趋势,指出研究空白,为以后的研究指明方向的综述性成果。Review可以让科研决策者和科研人员更清楚地了解新兴领域知识的潜在重要性
[14]。
3.2 数据与方法
3.2.1 数据选择与采集
为了扩充数据集,本研究选择了两类具有代表性的Review系列期刊作为样本：一是纯Review期刊,如Annual Reviews出版社发行的系列期刊,这类期刊只发表Review论文;二是Nature出版社发行的
Nature Reviews系列等主要包含Review类型论文的混合Review期刊。具体来说,为了实现对Web of Science、Scopus和期刊官网3个数据源中Review标签差异的对比,本研究从2019年JCR中选取了5组纯Review期刊、4组混合Review期刊,总计159种期刊。上述期刊的系列名称及相关数据见
表1。
2019年JCR中包含的是2017-2018年发表的论文,为了全面获取以上Review期刊的论文,首先是从期刊官网上选取2017-2018年正式发表的论文作为基础数据集,一共收集了27 530篇论文,然后,利用论文DOI（Digital Object Identifier,不依赖于任何单一数据源的论文唯一标识符）去Web of Science和Scopus中回溯这些论文。因为存在收录不全、DOI缺失、错误或重复等问题,所以,对于利用DOI没有找到的论文,再采用论文标题、期刊刊名和其他字段信息进行检索,并对检索到的结果进行人工判断。
图1是
WIREs Nanomedicine and Nanobiotechnology上发表的一篇文章,期刊官网上标注的文献类型标签是“Advanced Review”,利用DOI可以看到这篇论文在Web of Science和Scopus中对应的记录以及文献类型标签。
3.2.2 不同数据源中Review标签差异的测度
对于所有纯Review期刊,所有研究性论文都将被统一标注为“Review”,而对于混合Review期刊,文献类型标签的确定则以期刊官网为准,对于没有给论文单独标注文献类型标签的论文则以论文所在期刊栏目标题为依据。因为不同出版商、不同数据库中会对同一类型的论文添加不同标签,因此为了方便分析,将三个数据源中的所有文献类型统一分为“Review”“Article”和“其他”三类。
Review标签在不同数据源中的差异对比以期刊官网为基础数据集,以Web of Science和Scopus为参照数据集。本研究认为论文出版时确定的文献类型理论上算是较为准确的,而且针对选出的期刊也和出版商进行了确认,因此以期刊官网的文献类型标签为金标准,再来分析其他两个数据库中文献类型标签和金标准的差异。主要包含以下三个指标：
◆ 准确率 = 数据库和期刊官网同时标注为Review的论文/数据库中标注为Review的论文
◆ 召回率 = 数据库和期刊官网同时标注为Review的论文/期刊官网标注为Review的论文
◆ F1-score = 2/（1/准确率+1/召回率）
准确率是衡量结果相关性的指标,召回率是衡量返回多少真正相关结果的指标,F1-score则综合了准确率和召回率,三个值都是越高越好。如果准确率较低,说明数据库将期刊官网中标注为非Review的论文较多地打上“Review”的标签;而数据库越多地将期刊官网中标注为Review的论文打上“Review”的标签,则召回率越高。
3.3 数据结论
就召回率而言,不同期刊系列之间差距较大,Elsevier的Current Opinion系列、Nature Reviews系列,以及Taylor & Francis的Expert Opinion和Expert Review等系列期刊在 Scopus 中的召回率较高,但Annual Reviews系列期刊在Web of Science中具有较高的召回率,剩下的系列期刊则在两个数据库中的召回率差不多。对于WIREs系列期刊,召回率在两个数据库中都比较低,在Scopus和Web of Science中的召回率分别为63.4%和65.5%。Wolters Kluwer的Current Opinion系列期刊在两个数据库中的召回率都比较高,但是剩下的纯Review期刊系列在Web of Science的召回率则低于混合Review期刊,在Scopus中也具有同样的规律,Elsevier的Current Opinion系列期刊除外。
从准确率来看,Taylor & Francis的三组期刊在Scopus中好于Web of Science,但是Nature Reviews和Wolters Kluwer的Current Opinion系列期刊的结果则相反。整体来看,5组纯Review系列期刊在Web of Science和Scopus两个数据库中的准确率都比较高,基本上都是准确的。但是4组混合Review期刊则差距较大,最低的准确率只有54.5%。
因为F1-score是对准确率和召回率的一种平衡,所以,对Web of Science和Scopus两个数据库相对于期刊官网的Review标签的差异进行了综合。
Annual Reviews系列期刊在Web of Science中的标签一致性更好,但是Elsevier和Taylor & Francis共4组期刊则在Scopus中的标签一致性较高,剩下的几组期刊在两个数据库中的标签则是基本一致的。9组期刊在三个数据源的差异对比结果详见
表2。
4 Review标签差异对科研评价结果影响
对于考虑文献类型的归一化评价指标,论文文献类型标签的准确性将对指标结果产生较大影响。对文献类型进行归一化就是为了解决不同文献类型之间的可比性问题,如果论文文献类型标签有误,那么不仅达不到可比的目的,也会影响归一化的效果。本文将结合以下案例说明Review文献类型标签差异将会对科研评价结果产生的影响。
4.1 数据与方法
4.1.1 数据选择与采集
在第3章对Review标签在不同数据源中的差异对比中,发现Annual Reviews出版社的Review期刊Annual Review of Analytical Chemistry所发表的全部论文在Web of Science中都被标注为了“Article”,可以作为典型案例用于分析Review标签差异对科研评价结果的影响。期刊的研究方向、每篇论文的被引频次、每篇文章的文献类型、类别预期被引频次、学科规范化的引文影响力均来自Incites,而期刊的期刊引文指标JCI来自JCR。
期刊Annual Review of Analytical Chemistry在Incites中被复分为两个主题领域,分别是：CHEMISTRY, ANALYTICAL和SPECTROSCOPY。在Incites中按照主题领域进行检索,分别获得CHEMISTRY, ANALYTICAL和SPECTROSCOPY两个主题领域中每篇论文的相关指标。以Annual Review of Analytical Chemistry 2018年发表的论文为例进行分析。2018年Annual Review of Analytical Chemistry共发表论文23篇,根据Incites的统计结果,CHEMISTRY, ANALYTICAL主题领域2018年共包含期刊141种,其中Article论文28 431篇,Review论文1 500篇。SPECTROSCOPY主题领域2018年共有81种期刊,其中Article论文6 899篇,Review论文218篇。
4.1.2 评价指标
（1）CNCI
学科规范化引文影响力（Category Normalized Citation Impact,简称CNCI）指一篇论文的实际被引频次与同一文献类型、同一出版年、同一学科领域文献的期望被引次数之间的比值,计算公式为：
其中,C指的是目标论文的被引频次;eftd也就是学科期望引文数（Category Expected Citations,CEC）,指的是同一学科、同一出版年份、同一文献类型论文的平均被引频次。f指的是学科领域,t指的是出版年份,d指的是文献类型。
对于复分到多个学科领域的论文,单篇论文的CNCI在Incites中则表示为每个学科领域实际被引频次与学科期望引文数的平均比率：
$CNCI_{PAPER}=\frac{\sum \frac{c}{e_{f(n)td}}}{n} \frac{\frac{c}{e_{f(1)td}}+\frac{c}{e_{f(2)td}}+...+\frac{c}{e_{f(n)td}}}{n}$
其中,n指的是目标论文复分的学科领域个数。
对于一组论文的CNCI,则是每篇论文CNCI的平均值：
$CNCI_{group}=\frac{\sum_{1}^{p}CNCI_{paper}}{p}$
CNCI作为一个实现学科、出版年份和文献类型三个维度归一化的指标,在分析和评价学术影响力上得到广泛应用,例如,分析诺贝尔生理学或医学奖获奖论文的指标表现
[16] ,分析期刊
[17] 、机构
[18] 、高校联盟
[19] 、国家
[20] 的学术影响力表现,分析开放获取对论文影响力的作用
[21] 等等。
（2）JCI
学科规范化的期刊引文影响力指标,期刊引文指标（Journal Citation Indicator,简称JCI）,是指某期刊前三年出版的所有Articles和Reviews的平均CNCI,这是一个可对在同领域、同年度、同类型文章的引文影响力进行比较的指标。例如,2020年的JCI包含的论文范围是2017-2019年的所有Article和Review,而被引频次的计算范围则是2017-2020年的引文,包含A&HCI和ESCI期刊
[22] 。
4.2 数据结论
因为调整了23篇论文的文献类型,将会出现以下几个变化,（1）最直接的是两个主题领域下分别包含的Article和Review论文数量发生了变化;（2）然后是各个主题的类别预期被引频次会发生改变;（3）需要从与Article的类别预期被引频次进行比较改变为与Review的类别预期被引频次进行比较,（4）最后,论文的CNCI将会发生变化。为了更好展示变化差异,
表3分别展示了这23篇论文文献类型修改前后分别在“CHEMISTRY, ANALYTICAL”和SPECTROSCOPY两个主题领域下的CNCI值。
通过对
表3中单篇论文CNCI变化的对比,可以发现论文文献类型标签的调整对论文CNCI的影响非常大。对于这23篇论文来说,其CNCI在两个主题领域中变化的平均幅度分别达到了63.4%和71.9%。而这个变化主要是由于不同文献类型的CEC差异造成的。比如,在“CHEMISTRY, ANALYTICAL”领域,在调整前这23篇文章属于Article,该类型的CEC为13.25,而在调整后这些文章属于Review,该类型论文的CEC则达到了36.30,相差2.74倍;类似地,在SPECTROSCOPY差异达到3.56倍。根据CNCI的计算公式可知,不同文献类型CEC的巨大差异,最终导致了文献类型调整前后的CNCI的巨大变化。文献类型的调整除了影响这些论文外,还会影响领域的CEC,进而影响其他论文的CNCI。比如“CHEMISTRY, ANALYTICAL”主题领域Article的CEC从13.25降为13.23,而Review的CEC从36.40降为36.30,Article论文的CNCI变化幅度为0.08%~0.15%,Review论文的CNCI变化幅度则集中在0.22%~0.28%;在“SPECTROSCOPY”主题领域,Article的CEC从7.01降为6.94,Review的CEC从24.43升为24.95,Article论文的CNCI变化幅度为1.09%~1.12%,Review论文的CNCI变化幅度则集中于2.07%~2.11%。由于调整文献类型的论文数量较少,对其他论文的影响相对较小,但整体而言Review论文CNCI的变化大于Article论文,小体量主题领域中论文CNCI的变化大于大体量主题领域。
论文的CNCI调整会进一步影响期刊的影响力指标。比如期刊JCI,当某本期刊的JCI数值为1.0时,表示该期刊论文被引用的次数等于该学科类别中的平均引用数,即1.0代表的是全球平均水平,当期刊JCI高于1.0的时候,表明该期刊超过平均引用水平,当期刊JCI低于1.0的时候,表明该期刊未达到平均引用水平。对于期刊Annual Review of Analytical Chemistry,其JCI从3.26降为1.01,就意味着从远超领域平均水平的期刊变为平均水平的期刊。
5 总结与讨论
本研究系统对比了159本Review期刊发表的Review论文在Web of Science和Scopus数据库中的标签差异,并以典型期刊为例,分析了标签调整对科研评价结果的影响。通过分析我们发现不同出版商的Review系列期刊和不同类型Review期刊在不同数据库中的文献类型标注准确率存在差异,而且这种差异会影响依据文献类型进行归一化的指标的结果,从而无法有效消除不同文献类型对科研评价结果的影响。
具体来说,得出如下结论和思考：Review标签的精准性可能对科研评价结果造成较大影响。
CNCI指标是科学计量评价中常见的归一化指标。从本研究中该指标在典型期刊的差异得分可以看出,Review标签修正前后的得分发生了较大的变化,反映出对评价结果有较大影响。由于本研究时间有限,未测试更多科学计量评价指标的差异,但以此类推,Review标签的精准性可能对评价结果造成较大影响。对于Review标签有误的期刊,标签有误论文的数量占本期刊总量的比重越高,对本刊的影响越大;占所在领域论文总量的比重越大,对领域的期刊论文影响越大。因此,在计算基于文献类型进行归一化的评价指标时,尽可能测度Review标签的精准性,数据量小时需尽可能做到逐条核实,数据量越大对测度精准性的要求会越低。
针对Review标签的标注问题和评价应用,我们提出以下发展建议。
（1）形成Review论文的内涵界定规范,统一不同数据库商间的标注原则。
造成数据库商与期刊在Review论文标注上产生差异的主要原因是标注规则不同。参考文献的数量是数据库商自动标注的考虑因素之一。Web of Science的期刊引证报告（Journal Citation Reports）曾经将Review定义为：任何包含100条以上参考文献的论文。不过,这一规则随着参考文献平均数量的不断增加,产生的误判率越来越高,因而在2010年被Web of Science删除。目前,Web of Science将研究或临床期刊的“Review”栏目或者论文标题中包含“Review”或“Overreview”的论文判定为Review论文
[23]。Scopus的判断规则大体包括两个方面,一是参考文献数量,二是文章的结构。因此,需要不断借助对Review标签有误论文的分析,总结规律,通过不断拆解分析维度来进一步细化标注规则,比如不同出版商的系列期刊、不同类型Review期刊等,从而提升数据库中Review标注规则的精准性。
（2）形成纯Review期刊的统一标注规则,改进出版商现行标注规则。
纯Review期刊是Review论文的来源主体。本研究通过对比发现,这类期刊论文的数据库标签差异远远高于其他Review论文。这与笔者初始的研究假设有所不同,因此,笔者就纯Review期刊载文类型的多样性向期刊社咨询,并得到了期刊社答复：本研究样本期刊中纯Review期刊不刊载其他类型的文献。因此,本研究认为,对于纯Review期刊,直接将全部论文判断为Review会更为可靠,可以直接增加到标注规则中。至于纯Review期刊的名单则需要和出版商进行全面核实,而且为了体现期刊发展策略的变化,数据库商也要定期同出版商沟通以便同步最新的Review期刊列表。
（3）借助人工智能文本分析加强对不同文献类型内涵描述和揭示,改进自动标引效果。
Web of Science和Scopus是科学计量评价最为常用的数据,两大数据库在界定Review时,采用了相应的自动标引或判断标准。从标注结果看,两大数据库存在显著差异。造成差异的原因除了判断规则之外,还有文献类型内涵体系的差异。例如Web of Science的文献类型总计42种,Scopus为13种,体系的不同必然造成内涵界定的差异。为了降低误判的概率,需要在不断优化或统一文献类型的基础上,加强对各文献类型内涵的研究,为提高自动标引的精准性提供理论依据。然后可以借助人工智能的文本分析技术,利用本文的数据集对Review的标注规则进行语义学习,形成对Review更为丰富的判断模型。
（4）优化学科归一化方法,发展和使用更具鲁棒性的指标。
本文在计算学科归一化的期刊引文影响力指标CNCI时,选取Annual Review of Analytical Chemistry期刊2018年发表的论文作为典型案例,就是为了更清晰了解论文文献类型改变对论文CNCI指标的影响。为了提升指标的鲁棒性,后续可以有两个方向：①后续关于期刊层面文献类型归一化指标的深入对比分析中将进一步增加期刊数量、学科领域数量和期刊出版年份,计算3年平均CNCI,减少单年CNCI上下波动带来的影响,使得期刊JCI趋于相对稳定;②分析CNCI计算公式可以发现,无论是类别预期被引频次,还是学科CNCI、批量论文的CNCI都是通过计算均值得到的,采用的是王冠指数（Crown Indicator）的计算方法,可以通过采用新的王冠指数（Mean Normalized Citation Score,MNCS）方法,解决王冠指数对引用期望值较高的子学科给予更高权重的问题,在处理不同学科领域、不同文献类型、不同出版年份上具有更可靠的理论基础,且具有一致性。
除了提高数据库文献类型标注的准确性外,还应进一步发展和使用更具鲁棒性的指标。通过本文针对
Annual Review of Analytical Chemistry等期刊的分析我们可以看到,文献类型的调整使得期刊的JCI值降为不足原来的三分之一,从远超领域平均水平变为略高于领域平均水平。通过分析JCI的计算公式可以看到,JCI值极易受到单篇论文的CNCI的影响,当论文的被引频次比较高、不同文献类型的期望篇均被引差异比较大时,这种影响会被进一步放大。在数据标签无法达到完全准确的情况下,我们应该发展和使用更具鲁棒性的指标,例如CSI
[24]等,避免标签误差对评价结果的颠覆性影响。
PDF
(2714KB)
