1 引言
随着Web2.0技术的发展,互联网与社交媒体对学术交流的影响越来越显著。传统的计量方法已经不能充分反映学者科研成果的学术影响力,于是Altmetrics应运而生,并在一定程度上弥补了传统计量学的局限性。Altmetrics通常翻译为替代计量学或补充计量学,是基于社交网络来分析和描述学术成果的新型计量指标
[1]。Altmetrics的计量数据包括：在线使用（浏览和下载指标）、引用活动（在CrossRef、PubMed和Scopus等数据库中的引用）、博客及媒体报道、评论活动、社会书签等。这些数据附加在每篇论文的网页上,实时更新。
Altmetrics的提出不仅丰富了计量学的发展,还为学术影响力评价提供了新的视角和方法。学者Priem J
[2]等选取了PloS出版的24 331篇论文作为研究的样本数据,结果发现,Altmetrics指标与传统文献计量指标——论文的被引用频次指标,存在一定的相关性,但二者在揭示论文的影响力上却表现出不同特点,如Altmetrics指标更偏重于描述论文在社交网络的传播效果,而论文的被引用频次反映的是科研同行对论文的引用情况,即论文的学术影响力状况。在对Altmetrics指标与传统计量学指标相关关系的研究中发现,只有少数的Altmetrics指标,如Mendeley和Twitter等与被引频次存在中度相关性,但其他许多指标与引用并不相关。Priem还发现,其研究对象论文的各种Altmetrics指标中Mendeley指标的覆盖率
1(覆盖率是由Priem提出的,指的是出现某种指标的单篇论文数量占样本总量的比例。)最高,达到约80%,即80%的论文被学者使用Mendeley工具标记了至少一次。
随着学者对Altmetrics研究的深入,研究方向开始转向对Altmetrics单项指标的系统研究。研究发现Mendeley和Twitter两项指标的覆盖率较高,并且这两项指标含有更细化的用户类型、学科等附加信息,因此Mendeley和Twitter成为Altmetrics的重点研究指标。刘晓娟
[3]等研究发现：Mendeley和Twitter 的文献覆盖率较高(93%),前者适合于学术影响力维度的评价,后者倾向于社会影响力维度的评价,而其他指标则不具备普遍的适用性。邱韵霏
[4]等选择社会学、历史学、生态学和应用物理学四个学科领域,从身份、国别以及学科3个角度对Mendeley 阅读数据中Top100 的文献用户身份和行为特征进行了深入探究。研究发现,对于不同使用动机的用户,其使用行为存在学科差异; 不同国家使用者对论文的使用习惯存在地域差异; 学术论文的跨学科使用情况与自身学科特性密切相关。Thelwall M
[5]以Mendeley指标为研究对象,探究了文献的传统引用指标数量多数情况下与Mendeley使用情况不相符的原因。他发现,科研论文内容涉及学科的广泛程度的不同导致文献受众人群数量的差异,进而造成了Mendeley使用情况与引文数量差异较大的现象。Qing Ke
[6]等系统地研究了Twitter指标,提出利用Twitter精确标识科研人员的方法。研究发现,Twitter在不同学科和领域受欢迎程度不同,从事社会科学研究的学者使用Twitter的频率更高。同时,也有一些学者进行了数据累积形态的研究,如Peters I
[7]等的研究表明Mendeley 读者计数累积速度比PubMed Central 引用量要快且持续周期更长;Loach T V
[8]等的分析表明Altmetrics数据呈现出典型的长尾分布特征。
尽管针对Mendeley和Twitter指标的研究已经产生了很多结果,但笔者认为当前的研究尚有进一步拓展的空间,比如现有研究数据均是在某一个特定时间点采集,缺少从时间变化的角度去探究指标变化趋势的研究。为此,本研究将系统记录和收集样本研究论文的动态Altmetrics数据,力图发现这些研究论文的Twitter和Mendeley指标随时间变化的累积特征及规律,探究学术论文的网络传播特点,从而为出版机构提升期刊的传播力提供参考和借鉴。
2 数据来源及研究方法
本文利用数据跟踪、数理统计等方法,基于PLoS Article-level Metrics和Altmetric.com两种开放的Altmetrics数据采集工具,选取美国公共科学图书馆（PLoS）、自然出版集团（NPG）和美国科学促进会（AAAS）出版的5种期刊的研究论文为研究对象,跟踪并收集了这些期刊2016年11月至12月份所发表的研究论文在发表后一年内的动态Altmetrics数据,数据收集截止时间为2017年12月份。具体而言,就是按照数据记录计划定期对每篇研究论文的网页进行浏览,利用网页内置的测量工具,动态记录对应论文的Altmetrics数据。
2.1 研究对象的选择原则
开展研究应具备的条件及对象期刊的选取原则如下。
首先,对象期刊的Altmetrics数据要具备可获得性,这是所有研究得以开展的基础;
其次,对象期刊有相对较高的影响力,只有具备了较高的影响力,论文发表后的Altmetrics指标数据才可以累积到一定的数量,并具备统计学意义;
再者,尽量兼顾到不同学科,从而可以发现不同学科领域Altmetrics指标的不同特征;
最后,选择不同出版模式的研究对象,这里以OA和非OA出版作为比较的视角。
基于上述原则,本文选择了PLoS出版的期刊PLoS Biology和PLoS Medicine,NPG出版的Nature Cell Biology和Nature Medicine以及AAAS出版的期刊Scinece,这5种期刊来自于3个出版机构的不同学科领域、不同出版模式,通过对这5种期刊发表论文的Altmetrics数据的动态收集、统计和分析,揭示研究对象Altmetrics指标的传播特征及累积规律。
所选择的5种期刊的相关信息如
表1所示,其中论文数量表示样本期刊在2016年11–12月所发表的研究论文的数量,即本文所跟踪的研究论文的数量,总计136篇。
2.2 研究数据的跟踪获取
数据收集工作持续了约一年的时间,自2016年10月底开始,截止到2017年12月中旬。通过浏览5种期刊对象论文的网站,对研究数据进行记录和更新。数据记录的频率不是固定的：在论文发表初期,每天浏览并记录相关数据;经过一段时间的跟踪记录后发现,当论文发表时间达到一定时间段后,所有Altmetrics指标增长速度明显减缓甚至保持不变,因此为了节省时间,在一篇研究论文发表一个月之后,数据的记录频率由一天改为一周,发表三个月后改为一月记录一次。
在研究跟踪的一年时间里,所有136篇研究论文均出现了Twitter和Mendeley数据,即Twitter和Mendeley在本研究中的文献覆盖率为100%。
由于被跟踪记录的5种期刊的研究论文发表于3个出版机构,因此Altmetrics数据统计工具也因为出版机构的不同而不同：PLoS自主研发的统计工具为PLoS Article-level Metrics（简称PLoS ALMs）;NPG和AAAS使用Altmetric公司研发的第三方工具进行统计。这两种统计工具的Altmetrics数据每天更新,为本研究的数据记录提供了基础。但由于统计工具的不同,每篇论文所展示的Altmetrics指标也不完全一致。本研究分别利用上述两个工具跟踪并记录了研究对象一年内出现的指标情况,具体如
表2所示。
表2中凡在对应工具下打勾（√）的表示在本研究数据记录过程中出现过相应指标数据,叉号（×）表示没有出现。
表2显示,两种Altmetrics测量工具包含的网络社交媒体、文献管理系统等大致相同,但在引文数据库一栏,只有Scopus统计的引文数量同时被两种统计工具所采纳。因此若比较两种统计工具下的单篇论文的学术影响力,利用Scopus数据进行比较是可行的。
3 研究结果
3.1 Twitter和Mendeley指标累积值统计与分布概况
在跟踪记录的这一年时间里,对象论文的Altmetrics指标数据不断积累,本研究对这些论文的Twitter和Mendeley指标的数据累积值进行了初步统计,统计结果如
表3所示。
表3显示,5种期刊无论属于医学还是生物学,是否为开放获取出版模式,其所发表的论文一年内Twitter和Mendeley指标的数量均有累积,并且从数量上看,除
Nature Cell Biology外,其余4种期刊的Twitter和Mendeley两项指标的数量相近。数据显示,对比累积值的平均值,每种期刊两项指标累积值的标准差都相对较大,说明同一期刊同一时间所发表的论文所受的网络关注程度差异很大。为了进一步说明每篇论文所受网络关注程度的差异,绘制出了每种期刊累积值的频率分布图,如
图1所示。
图1（a）~
图1（e）展示的是单独每种期刊两种指标的累积值分布情况,
图1（f）展示的是研究中所有136篇论文一年内两种指标累积值的分布情况。图中显示除了
图1（e）的Mendeley分布较为均衡之外,其他均出现了长尾效应。
图1（e）中Mendeley数据分布均衡的一个可能原因是,
Nature Cell Biology期刊2017年11月和12月论文数量相对较少,导致样本数据少,不足以反映分布特征;但是也不排除还有其他的可能,需要未来做进一步的研究。从总体来看,论文的Twitter和Mendeley指标累积值的分布呈现长尾效应,即同一期刊同一时期发表的论文,总有少数几篇文章能够获得远远高出其他文章的指标累积量。将非同一期刊的所有论文的两指标累积值进行统计,发现其分布也呈现出长尾效应。因此,可认为发表在高影响力期刊上的论文所受到的网络关注程度大致符合布拉德福文献集中分散定律。只有极少数的论文在发表一年内可以受到本领域多数研究人员的关注,而多数论文受到的关注相对接近且不是特别的高。
3.2 Twitter和Mendeley指标的累积趋势
为探究Twitter和Mendeley指标的累积规律,将跟踪记录的观测值用平滑的曲线连接起来,绘制出5种期刊每篇论文的Twitter和Mendeley指标的时序趋势图,如
图2~
图6所示。
在收集数据的过程中发现,无论是利用 PLoS ALMs或是Altmetric.com工具,总有几篇论文的Mendeley指标在累积过程中突然出现0值,这说明Mendeley统计工具有时会出现明显的数据错误。可能的原因是Mendeley工具提供的数据接口本身存在问题,但这一错误总体上不影响我们对Mendeley指标累积趋势的分析探索。
（1）无论是Twitter还是Mendeley,虽然每篇研究论文的总累积量数值大小有所不同,但所呈现的累积趋势大体一致,这种趋势不受学科种类以及是否开放获取等条件的影响。
（2）Mendeley指标在统计时间段（大约一年）内不断增加,累积曲线持续缓慢上涨,说明学术同行对相关论文的关注不是一个非常短期的行为,而是一种持续的长时间的关注;Twitter指标的累积趋势则明显不同,它在论文发表初期快速累积,短时间内到达一个饱和值后便几乎不再增加。因此从累计趋势来看,相较于Mendeley指标,Twitter指标能够在更短的时间内更迅速地反映一篇文章所受到的网络关注程度。
（3）虽然Twitter指标的增加多集中在论文发表初期,但后期也会有一些不明显的呈阶梯状增加的现象。这说明Twitter作为一种便捷的社交工具,学者有意愿在Twitter中讨论最新发表的论文,同时也说明当一个学者在Twitter中讨论更早之前发表的论文时,也会带动其他学者对这篇论文的关注。
3.3 两个时间节点Twitter和Mendeley累积值的相关关系分析
为探索不同时间节点Twitter和Mendeley这两项指标的相关性,以及指标本身是否存在一致性,选取记录数据中每篇论文发表一个月左右的Mendeley数据设为
Mm,一个月的Twitter数据设为
Tm,相应的一年的数据设为
My和
Ty。分别计算每种期刊4项变量之间的皮尔逊相关系数,以及5种期刊所有论文作为一个整体的4个变量的相关系数,结果如
表5所示。
为方便描述将
表5的第一列标注为行编号,其中第1行和第3行的数据分别表示论文发表后不同时间节点同一指标间的相关系数,即
Mm和
My之间以及
Tm和
Ty之间的相关系数。观察发现这两行数据都呈现出显著的正相关关系：总体Mendeley指标前后相关系数为0.873,Twitter指标前后相关系数更高为0.973,并且总体的相关系数与单个期刊的计算结果相近,可认为二指标两个时间节点的累积值的相关性不受期刊所在学科、出版模式等不同的影响。
表5第2行和第4行分别表示相同时间节点不同指标间的相关关系,即
Mm和
Tm以及
My和
Ty之间的相关系数。对比发现,相较于第1行和第3行的数据,相同时间节点不同指标之间的相关系数较小,相关程度较低,但都呈现出正相关关系：总体第一个月节点的两指标相关系数为0.719,一年节点两指标相关系数为0.793,两个时间节点二指标间的相关系数也较为接近。
上述计算结果显示Mendeley和Twitter两项指标在两个时间节点的具体数值具有较好的一致性。即学术论文发表一个月后,其网络关注度便会出现高低差异,并且这种差异将一直持续下去,至少在一年之际仍然如此。
3.4 Twitter和Mendeley累积值与论文被引次数的相关关系分析
为探索不同时间节点的Twitter和Mendeley指标对论文学术影响力的揭示力度,本文统计了所跟踪论文发表一年后在Scopus数据库中的被引次数,相关统计结果如
表6所示。
收集数据的过程中发现,在这一年时间里,本文所跟踪的136篇研究论文中零被引论文有4篇,其余的论文在其发表的第一年里至少被引用过一次。将每篇论文的被引次数数据与两个时间节点的Twitter和Mendeley累积值进行相关分析,所得结果如
表7所示。
表7显示两个时间节点Twitter和Mendeley指标的累积值与论文被引次数均呈正相关关系;从总体来看Mendeley指标的累积值与被引次数间的相关系数更高,相关性更好。即使用Mendeley工具保存论文的学者,比使用Twitter讨论论文的学者更有可能对论文进行学术利用,即引用。
两项指标与Scopus引文次数的相关关系表明,Mendeley和Twitter和被引次数尽管没有表现为高度相关关系,但是其所代表的网络关注度能在一定程度上反映论文的学术影响力（被引次数）;并且由于该两指标前后时间节点累积值的一致性,其对学术影响力的揭示能力在论文发表早期（一个月）便可被利用,即可利用论文的早期Mendeley和Twitter数据去预测其未来的学术影响力,至少可以大体预测一年之后的学术影响力。
如果将相关系数在0.5<
R2≤0.8之间的关系定义为中度相关,
R2>0.8定义为强相关关系,那么,
表7中的
My和
Mm数据,即Mendeley一年累积值和一月累计值与Scopus的引文次数的关系,除
PLoS Medicine期刊的计算结果为强相关,其他均为中度相关。说明论文的Mendeley指标与论文本身的学术影响力之间存在一定的相关性,这种相关性和期刊出版者、期刊是否OA出版以及期刊所属学科等因素没有太多关系。相比之下,Twitter指标的累积值与Scopus引文次数间的相关性较弱。
4 结果与讨论
通过动态跟踪方法收集并记录论文发表后的Altmetrics数据,探索Twitter和Mendeley两项指标的累积变化规律,利用统计学方法分别计算了论文发表一个月和发表一年两个时间节点Twitter和Mendeley两个指标的累积值与Scopus引文次数之间的相关关系,得出了下列重要结果：
（1）单篇学术论文的Twitter指标的累积趋势具有相同特征;单篇论文的Mendeley指标的累积趋势也基本相同。也就是说,学术论文的Twitter指标、Mendeley指标均不受学科种类以及是否开放获取等条件的影响,这些指标数值的增长方式或累积趋势是相同的。
（2）学术论文的Twitter和Mendeley指标在不同时间节点其数值具有一致性,且这种一致性与论文所发表期刊的关系不大。指标的数值大小反映了论文获得的网络关注度的差异,不同时间节点的数值差异与一年之后的数值差异具有一致性。即不同期刊同一时期发表的论文其Twitter和Mendeley指标数值的差异一年后几乎保持不变,这种差异较大程度上与论文自身的学术影响力等因素有关,与其所在期刊的学科、出版模式等没有太多关系。
（3）学术论文的Twitter和Mendeley指标累积值与被引次数之间的相关性受期刊种类影响较小。本文所跟踪的自然科学类的学术论文数据,无论分别计算每种期刊的相关性还是所有论文一起计算,相关系数变化不大。
上述研究结果说明,作为Altmetrics的两项重要指标,Twitter和Mendeley可作为单篇论文学术影响力的评价指标,并具有相对较强的独立性。所谓的独立性可理解为——可以同时利用该两指标来评价两篇不同类型的研究论文。不同类型指的是：论文是否开放获取,论文是否是同样的出版机构,论文是否是同一个学科。
此外,Twitter和Mendeley在时间节点上的一致性也很有利用价值。利用指标的一致性和早期预测功能,研究人员、出版商以及图书情报的工作人员根据Twitter和Mendeley数据在论文发表早期就能发现高学术影响力论文。研究人员利用这些数据可以节省获取优质文献的时间,出版商利用这些数据可以向更多研究人员推送高影响力论文,并扩大期刊的学术影响力。
尽管本研究获得了一些有价值的结论,但是也存在一些局限性和有待进一步研究的方面。首先,尽管证实了Mendeley和Twitter两项指标的可预测性,但是并没有给出具体的预测方法或模型;其次,本文所研究的5种对象期刊均处于JCR收录期刊中的Q1区,是所在领域的顶级期刊,所有的结论也都是基于这5种高影响力期刊论文,至于影响力稍弱的期刊所发表的论文的指标累积过程是否存在前文所述的规律并不能确定。因此在未来的研究中,将针对不同学术水平的期刊论文,发现其论文的传播特征和规律,完善现有的研究结论,对期刊出版提供更科学的理论依据。
PDF
(2406KB)
