基于公众视角的科学家评价质量认可度及影响因素研究——以全球顶尖科学家榜单为例

朱佳雨

科学观察 ›› 2024, Vol. 19 ›› Issue (6) :92-106

PDF (2206KB)
科学观察 ›› 2024, Vol. 19 ›› Issue (6) :92-106 DOI: 10.15978/j.cnki.1673-5668.20240503
数据观察

基于公众视角的科学家评价质量认可度及影响因素研究——以全球顶尖科学家榜单为例

作者信息 +

Research on the Recognition Degree and Influencing Factors of the Quality of Scientists' Evaluation Based on the Public Perspective:Taking the List of Top Scientists in the World as an Example

Author information +
文章历史 +

摘要

[目的/意义] 为使科学家评价能够获得更高社会认同,建立“科学家信任”,从社会公众的角度研究其对科学家评价质量认可度及其影响因素。[方法/过程] 根据信息接受理论构建研究模型,通过网络调查收集数据,采用结构方程模型分析数据。[结果/结论] 研究表明:样本人群对全球顶尖科学家榜单认可度较高;科学家评审数据、评价指标、评审程序和评审专家对科学家评审有用性均产生直接的正向影响,并通过评审有用性间接影响科学家评价质量认可度。但在此次分析中科学家水平、评审结果对评审有用性的影响未被直接证实。为此,本文得出3点启示:高效提升我国科学家评价公信力,建立“科学家信任”;探析我国特色新型智库建设的有效路径;同时,建议制定能适时鼓舞优秀科学家的评价政策,以促进科学家个人、科学技术和科学政策三者良性循环。

Abstract

[Objective/Significance] In order to make the evaluation of scientists obtain higher social recognition and establish "trust of scientists", this paper studies the public's recognition of the evaluation quality of scientists and its influencing factors from the perspective of the public. [Method/Process] The research model is constructed according to the information reception theory, the data is collected through network survey, and the data is analyzed by structural equation model. [Results/Conclusions] The results show that: the sample population has a high recognition of the list of top scientists in the world; Review data, evaluation indicators, review procedures and review experts have direct positive effects on the usefulness of scientists' review, and indirectly affect the recognition of scientists' evaluation quality through the usefulness of review. However, in this analysis, the influence of scientist level and review results on the usefulness of review has not been directly verified. Therefore, this paper draws three enlightenments: to improve the credibility of Chinese scientists' evaluation efficiently, and to build "scientists' trust"; Explore the effective path of the construction of new think tanks with Chinese characteristics; At the same time, it is suggested to formulate evaluation policies that can encourage excellent scientists in time, so as to promote the virtuous circle of individual scientists, science and technology and science policy.

Graphical abstract

关键词

科学家评价 / 评价质量认知 / 影响因素 / 科学家榜单

Key words

evaluation by scientists / evaluation quality cognition / influencing factors / list of scientists

引用本文

引用格式 ▾
朱佳雨. 基于公众视角的科学家评价质量认可度及影响因素研究——以全球顶尖科学家榜单为例[J]. 科学观察, 2024, 19(6): 92-106 DOI:10.15978/j.cnki.1673-5668.20240503
Zhu Jiayu. Research on the Recognition Degree and Influencing Factors of the Quality of Scientists' Evaluation Based on the Public Perspective:Taking the List of Top Scientists in the World as an Example[J]. Science Focus, 2024, 19(6): 92-106 DOI:10.15978/j.cnki.1673-5668.20240503

登录浏览全文

4963

注册一个新账户 忘记密码

0 引言

在过去很长一段时间里,学者们着重从数量方面去探讨科学功能和科学价值,而忽视了质量的问题。随着科学知识和科学技术的不断更新,科学功能的日益增强,科学政策制度的不断完善,质量问题日益引起大众高度重视,已成为当前亟须注意和研究的主题。目前,科学资源研究的力量都聚集一些项目课题的主持者——科学家身上,制定研究项目和课题的优先权倾向又是建立在被认可的科学家身上,这种被认可由于科学评价的专业性及科学研究的相对独立性,外行人士很难涉足其中,故很难得到公众的普遍认同。此外,现行的科学评价指标未能很好地从公众的角度去探讨科学研究对生活的影响,然而在现实社会中,科学资金的分配、科学人才的选择以及科学项目的管理又不得不考虑公众的普遍需求,这种关系把科学评价与社会公众反映紧密联系在一起。因此,科学评价质量的探讨不仅涉及科技发展、科学项目分配和科技政策制定,而且涉及社会发展和公众生活水平的提升,具有十分重要的意义。为推动科学评价问题探讨,使科学评价研究更深入地进行下去,本文基于公众视角探讨科学评价质量中的科学家评价质量认可及其影响因素,目的不在于对科学家评价问题做出权威性的论断,而在于进一步推动科学家评价问题的深入研究,促进科学家评价质量的提升。

1 研究现状

我国科学家评价研究起步晚,但发展迅速,而在快速发展的过程中还有许多问题亟待研究解决,王松梅等[1]分析了我国科技人才评价中我国与世界先进国家还存在的差距并强调科技人才评价必须与国际接轨。李思宏等[2]对我国科技人才评价与选拔体系不完善问题,提出明确评价范围、构建三维评价结构和综合评价方法体系的改进思路。如朱郑州等[3]从人才评价主体的责任心缺失和大学人才评价的行政化、简单化,以及评价体系的“重”理论、“轻”技术等问题及其形成原因,并认为建立完善的科技人才评价体系需要“政、产、学、研、用”多方面的努力。这些问题均忽视了公众这一视角。对此,俞立平等[4]10年前便提出了“公众对科技评价的看法如何”这一疑问,并强调元评价即评价自身的评价,可以提高评价的质量和评价机构的公信力及权威性。但笔者通过文献调研发现,当前国内学者对科学家评价的研究主要还是集中于科学家评价方法的研究,对于科学家评价质量研究较少,乃至于科学家评价质量认可度及其影响因素研究还处于空窗期。虽然科学家评价质量研究较少,但也有学者进行了尝试,如叶锦涛等[5]分析和考察了中国民众对科学家形象评价的变迁状况及其影响因素,发现2007—2021年民众对科学家形象评分经历了先下降后上升的过程,整体变迁趋势呈明显的V字形特征,科学素养、与科学家的社会距离和科学兴趣等因素都在不同程度上影响民众对科学家形象评分。胡意等[6]以科技专家基本素质、工作态度、专业程度及指导水平4个维度为主体框架的评审质量评价指标体系,开展基于神经网络算法的专家评审质量评价模型的构建。

对于当前科学家评价方法研究,笔者将其分为直接评价和间接评价[7]。直接评价,主要有同行评价,指特定领域的若干专家学者对所在专业领域的学术成果或人才的科研表现、能力和发展潜力的一种定性评价[8]。同行评价在美国看重科技人才发展潜力和创新能力的科研项目和科技人才遴选上具有突出表现,强调不单以承担科研项目数量和发表论文数量来衡量[9]。这种方法在德国也同样受用,例如马克斯·普朗克科学促进学会下设研究所学术咨询委员会均由本领域著名学者构成,开展专家项目评估[10]。不过,传统的同行评价存在弊端:例如学术偏好、学术门派和人情关系等问题[11-12]。为了弥补同行评价存在的不足,有学者探索利用区块链技术的优势以构建学术评价系统[13],还有学者利用网络的便捷性,将读者纳入评价体系中,形成开放式同行评议[14]。间接评价,主要有引文评价和期刊评价。引文评价是把论文被作为其他文章参考频次的多寡作为该文质量和影响力的一种测度。一般认为,文章被引用了则说明文章被认可,进而认为作者被业界认可,这种认可的前提是认为所有引文是等价的。而事实上,所引文章是不可能“一样的”[15],例如仅在文献综述部分出现的参考价值相比在研究方法或内容讨论出现的参考价值则略逊一筹,尽管引用只出现一次。随着科学技术发展,引文评价作用出现了拔高和误用[16]等情况,进而引发学者对学术不端[17-18]和科研伦理失范问题的讨论[19]。期刊评价,期刊作为科学家发表学术论文的载体,在期刊载体上设置相应门槛,是对不同级别学术论文的一种质量水平区分。期刊评价是根据期刊的被引量、转载量和下载量等指标对期刊划分等级,在高级别的期刊上发表学术论文,意味着作者已经是高水平作者。但不可否认,国内一些科技期刊影响力还仅停留在国内或华人圈,未获得世界科学家的普遍认同,因此,有学者[20]建议从提高国际出版人才比例与质量、开放获取程度和国际化出版标准等,解决科技期刊国际化的现存问题。

本文从公众视角出发,以全球前2%顶尖科学家榜单为例,根据信息接受理论构建研究模型,开展科学家评价质量认可度网络调查,对调查数据采用结构方程模型进行分析,验证研究模型,梳理公众对科学家评价质量认可的影响因素,旨在为科学家评价能够获得更高的社会认同,进一步规范科学家评价提供新的研究思路。

2 理论基础与假设模型

2.1 理论基础

详尽可能性模型(elaboration likelihood model,ELM)由心理学家Richard E.Petty和John T.Cacioppo[21]提出,模型见图1。该模型关注信息处理的深度和数量,认为信息处理过程中,对传播信息进行深度加工的可能性决定着受众对信息的态度。ELM模型有2种劝导路径,即核心路径和周边路径。核心路径由用户对信息进行深度加工,通过理性思考和逻辑分析,然后形成态度;周边路径是用户通过感性因素或其他外部暗示联系起来,从而形成态度。无论选择哪一种路径都取决于信息受众对信息进行深加工的动机和能力。

ELM的优点在于,它综合了个体的认知和非认知因素,清晰地阐述了个体对信息的认知处理过程。此外,该模型描述性强,可以通过容纳众多变量解释相同信息在不同情境或不同个体的差异化影响[22]。正因为如此,Sussman等[23]将该模型应用于在线信息传播与沟通研究中,构建出信息接受模型(information adoption model,IAM),认为影响信息有用性的主要因素包括信息内容质量和信息源可用性,信息接受模型见图2。其中信息内容代表中心路径,是指信息内容本身的真实性、准确性、及时性和完整性;信息源可用性则代表边缘路径,指信息源的专业性、可靠性和吸引力,主要判断信息源是否值得信任。信息内容质量和信息源可用性都直接影响用户对信息是否有用作出的判断,并最终影响用户的信息接受行为。

信息质量(information quality,IQ)指信息满足用户要求和使用目的的基本质量特性,它是一个多维的概念,是通过多维角度对信息质量进行识别和选择[24],一般认为传统的质量维度指信息的准确性、完整性、一致性、实时性和唯一性。如宋立荣等[25]通过专家调查法,发现专家侧重于信息的可达性、真实性和实用性等方面的IQ维度。张辑哲[26]将 IQ分成“第一质 ”(基于内容方面,如真实性、准确性、正确性、深刻性等)和 “第二质 ” (基于形式方面,如可靠性、耐久性等)。Kahn等[27]则从数据的视角将信息质量定义为满足规范或要求的信息。张耀辉等[28]从用户体验视角着手,将感知到的信息质量细分为信息内容质量、交互质量、期望质量和感知质量4部分。可见,信息质量的这些指标具备较好的包容性,说明信息质量维度选择和研究具有参考性。因此,对于科学家评价质量维度的确定,本文拟从准确性、有用性、完整性、客观性和可靠性,对全球顶尖科学家榜单进行评审质量认可度调查。

另外,由于科学家评审结果对公众的各个方面的抉择都会产生直接或间接的影响,因此研究科学家评价质量认可影响因素不可忽视。加之信息接受模型广泛应用于信息认可影响研究,如尹隽等[29]应用信息接受模型研究在线评论有用性影响因素,为制定消费者购买决策及确定商家营销策略提供建议。费豪泽等[30]在信息采纳模型的基础上融入在线互动理论,研究回答者在线互动对信息采纳的影响。易明等[31]依据信息接受模型,从感知价值角度构建答案质量排序初始指标体系。张艳辉等[32]在信息采纳理论基础上,用有效评论数、中差评、上传图片衡量评论的信息质量,根据淘宝网的海量在线评论数据构建模型。基于此,本文在信息接受模型的基础上,根据科学家评价的特殊性,将科学家评价的相关因素应用于该模型并展开研究。

2.2 假设模型

依据信息接受模型,结合科学家评价的复杂性,从科学家自身水平、评审数据源、评审指标、评审专家、评审程序和评审结果6个维度出发,探究其对评审有用的影响和对科学家评价质量认可影响进行分析,科学家评价质量认可度影响因素研究模型如图3所示。

2.3 研究假设

评审有用性是指公众认为评审结果大到对国家、社会和经济有促进作用,小到满足公众个体的常规学习、工作和生活等方面的需求,对评审出的不同学科专家给予信赖,表现在具有相应需求时可参考可采纳该学科专家的相关建议等。王云弟等[33]曾证实了个体的认知反应受到信息的有用性影响。此外,评审结果作为公众是否信任专家的重要评估指标,直接影响公众对评审有用性判断。因此本文提出H1、H2假设。

H1:评审有用性与科学家评价质量认可正相关。

H2:评审结果与评审有用性正相关。

作为科学家评价的对象,自身能力水平是科学家评价的内在因素。科技文献是科学家科研活动的结晶,是科学家科研能力的固化。任何一个科研项目,只有以科技文献的形式展现,才能得到社会承认,思想和技术才能得到推广和应用[34]。一般认为,一项评价项目含有越高水平的科学家,则该评价项目将得到业界的评价越高,也更能引起公众对该项评价质量的认可。因此本文提出H3假设。

H3:科学家水平与评审有用性正相关。

从科学计量学角度而言,一个科学家的学术水平通常是通过其文献出版物和文献引用来评估的,比如出版物影响因子数、文献被引用的总数、平均被引数、论文最高被引数等。随着数据化进程的推进,科学文献数据与日俱增,使得科学家评价对评审数据逐渐依赖。学术界关于科学家的定量评价开展了广泛的研究,傅旭东等[35]提出,对物的研究只有达到高度的数量化,才能实现认识的精确化和科学化。因此,可以认为数据源权威性和数据内容完整性直接作用于公众的评审有用性判断,并与科研评价的质量挂钩。因此本文提出H4假设。

H4:评审数据与评审有用性正相关。

评价指标是科学研究成果评价的关键环节,与评审结果合理与否有直接关系。有学者认为一套完整的评价指标体系可以评估科学家学术水平和不足之处,而评价指标的选取与引用必然会影响评审结果[36],最终也会影响公众对评价质量的认可。现有科学家评价量化指标不仅包含成果数量也包含成果的质量,如论文数量、专利数量、引文数量、h指数、f指数和g指数等[37]。通常认为,评审指标的科学性、全面性和综合性越强,对评审有用性的影响越强。因此本文提出H5假设。

H5:评审指标与评审有用性正相关。

评审程序包含评审制度、评审流程和评审周期等。复杂的价值问题可以借助程序加以化解,实体规范也可以通过公正的程序来形成[38]。评审制度是否完善、评审流程是否正当,评审周期是否科学,很大程度上影响着公众对评审有用性的判断,进而影响评价质量认可,即评审程序越科学合理,越能评价出对公众更加有用的专家。因此本文提出H6假设。

H6:评审程序与评审有用性正相关。

评审专家指科学家评价的实施主体。由于相关的专业知识通常只由同领域专业科学家拥有,因此评审专家一般为该领域具有广泛社会认可的科学家,由此他们的评审被认为是科学评估的黄金标准[39]。在评价对象既定的情况下,评审专家的学识、能力、道德等方面影响决定着评审结果。也就是说,科学家的评审专家在科学界声誉越高,其参与的科学家评价项目则更能被公众认可。有学者认为科技项目评审过程中项目的专家的推荐是影响评审的关键之一[40],与科技项目评审相似,科学家评价同样由同领域的具备广泛学术认可的专家作为评审团,对评审对象作出评价。评审专家越专业,公众越能从中获取有用信息。因此本文提出H7假设。

H7:评审专家与评审有用性正相关。

3 研究设计与数据分析

本文根据研究假设设计研究题项,并收集数据,通过验证分析方法验证研究假设是否成立,以此探究科学家评价质量认可度影响因素研究模型是否成立。

3.1 研究对象与方法

要研究社会公众对于科学家评价质量的认可度,即要尽可能地大范围采集研究数据,因此,本文在调查群体的选择上尽可能涵盖各年龄段、各不同学历和各个行业的人群。此外,因科学家评价质量认可度研究需建立在一个既定评审结果的基础上,做出认可态度选择,因此,本研究选择全球顶尖科学家榜单作为参照,一方面是该榜单在国内外的知名度均较高,另一方面是该榜单为公开数据对公众获知比较友好。

全球前2%顶尖科学家榜单是由美国斯坦福大学联合Elsevier每年定期发布的全球顶尖科学家学术贡献排行榜,当前最新一版为2023年分布的第六版全球前2%顶尖科学家榜单。该榜单旨在为全球学术界提供一个面向科学家长期科研表现的衡量指标,能够更客观、更真实反映科学家的影响力。榜单以Scopus数据库为依据,从近700万名科学家中根据其终身影响力和年度影响力,综合引文、h-指数、合作作者修正hm指数、不同作者位置论文的引文和综合指标(ccore)等6种指标,遴选出世界排名前2%的科学家,评估科学家的科研状态及长期科研表现,入选榜单意味着该科学家在其研究领域具有较高的世界影响力,显示科学家在相关领域研究作出了突出贡献[41]

首先,本文采用文献调查法,对已往科学家评价的研究成果进行梳理和研读,知悉当前关于科学家评价质量研究的现状,并对此进行归纳总结,从中了解现有研究的不足。其次采用理论分析法,在现有的经典理论基础上,厘清科学家评价的各个指标间的关系,并通过理论分析提出研究假设和研究模型。再次,通过网络调查,广泛收集样本数据,确保研究的科学性。最后,采用统计分析法,并结合相关软件,对样本数据采用结构方程模型(structural equation modeling,SEM)进行验证分析,从而确保研究结果的客观性和准确性。

3.2 问卷设计

科学家评价质量认可度影响因素调查问卷由3个部分构成,分别为用户基本信息调查、科学家评审认可度调查和潜变量测量题。由于评价质量认可需根据已有的科学家评审结果作参考,以便于公众在填问卷时与具体评审结果做比对,因此潜变量的题目设置以全球顶尖科学家榜单为评审结果参考。问卷采用李克特5级量表设计选项。为保证问卷科学性和合理性,依据技术接受模型和信息接受模型理论和已有的研究成果,邀请中国科学院文献情报中心(北京、武汉)、广东省科学技术情报研究所和华南师范大学的相关专家参与问卷内容设计和审核。通过预测试,收集样本20份,对量表题项进行修改和删减,以保证问卷的合理性和科学性,最终确定问题43题。

3.3 数据收集

问卷通过网络发布,数据收集时间为2023年8月4日至9月14日,剔除填写时间过短的答卷,如填写时间不足1 min 的答卷,最后共收集有效问卷471 份,样本人口特征如表1所示

数据显示,样本涵盖了不同学历、不同专业、不同职业和各个年龄段的人群,男女比例约为1:1.1,表明样本具有广泛性和代表性。本文采用结构方程模型分析样本数据,以验证假设模型。结构方程模型分析对样本量要求高,本文的问卷题项与样本的比例约为1:20,达到了结构方程模型分析的数据要求,可用SEM进行数据分析。

3.4 数据分析

3.4.1 认可度分析

全球顶尖科学家榜单认可度调查结果如图4所示。数据显示,整体来看,选择“比较认可”占了大多数,与此同时“基本认可”“比较认可”与“完全认可”,3项数据总和,在每一项指标中都达到了70%左右。由此可证明,大部分人在“全球顶尖科学家榜单认可度”调查中,对于大部分指标都持认可立场;“完全不认可”与“不太认可”占比较小,特别是“完全不认可”,此选项的数据各指标中占比都是最小;而其余4种选择,“不太认可”“基本认可”“比较认可”“完全认可”都相对来说呈平均分布,这或许与我们的文化中的“中庸”因素导致习惯性不选择消极的极端选项有关,反映在数据中就是“不太认可”的占比最少,不过,这仅为一种假设。由更精细化分析结果可以看出,持“不太认可”的数据也比较突出,不仅是大体上与立场为“认可”的3项持平均分布态势,有些指标中甚至占比高达27.18%,例如“对全球顶尖科学家榜单可靠性认可度”这一项中,相当一部分人不太认可这份榜单的评审专家,这可能与评审专家的知名度有关。在此样本中,榜单的可靠性、客观性、准确性、完整性,以及评审专家、入选科学家等方面均受到了一定程度质疑。但总体来说,可以得出结论,样本人群对全球顶尖科学家榜单认可度较高。

3.4.2 影响因素分析

(1)信度与效度检验。

信度是指问卷可靠性、稳定性和一致性程度,一般采用克朗巴哈系数值(Cronbach's Alpha,简称Cronbach.α)进行检验,Cronbach.α系数值为0.80~0.90以上,说明问卷的信度高。使用SPSS25进行分析,问卷信度分析结果如下:样本数为471,项目数为24,问卷样本信度达0.919,说明问卷题项设计可靠性、稳定性和一致性程度高。

效度即问卷有效性程度,通常采用KMO(Kaiser-Meyer-Olkin)进行测算。通过SPSS25进一步分析问卷效度,巴特利特球形度检验测算结果如下:近似卡方为5502.948,自由度为276,问卷显著性小于0.05,说明该问卷数据适用于做因子分析;KMO值为0.901,高于0.8,说明问卷具有较好的结构效度。

本文进一步对问卷数据的收敛效度和区分效度进行验证,结果如表2表3所示。AVE(平均方差萃取)和CR(组合信度)用于收敛效度分析,通常情况下,AVE大于0.5且CR值大于0.7,则说明收敛效度较高。本次针对共8个因子,以及24个分析项进行验证性因子分析(CFA)。从表2可知,共8个因子对应的AVE值全部均大于0.5,且CR值全部均高于0.7,意味着本次分析数据具有良好的收敛效度。

验证性因子分析(CFA)常用于区分效度研究。表3中斜对角线为AVE平方根值,其余值为相关系数;AVE平方根值可表示因子的“聚合性”,相关系数表示相关关系,如果因子“聚合性”很强(明显强于与其他因子间的相关系数绝对值),则能说明具有区分效度。数据显示,样本中的8个因子,其AVE平方根值均明显大于相关系数,意味着问卷的样本数据具有良好的区分效度。

(2)模型拟合度分析。

拟合指标用于整体模型拟合效果分析,判断模型拟合度指标选用RMSEA、CFI等常用的指标。经过SPSSAU对数据的处理,得到模型的最后拟合结果,结果如表4所示。

拟合优度指数(GFI)用于评估模型的整体拟合优度。GFI值越接近1,表示模式配适度越高;反之,则表示模式配适度越低。表4显示样本数据GFI值0.954大于0.9,说明模式有良好的适配。近似误差均方根(RMSEA):是评估模型拟合优度的另一个重要指标。RMSEA值越小,表示模型拟合越好。表格数据显示样本的RMSEA小于0.08,表示模型拟合较好。均方根残差(RMR):用于评估模型的整体适配度。RMR值越小,表示模型拟合越好。表4表明样本数据的RMR值为0.04,小于0.05,表示模型拟合较好。比较拟合指数(CFI):用于比较不同模型的拟合优度。CFI值越接近1,表示模型拟合越好。表中的CFI值为0.991大于0.9表示模型拟合较好。基准适配度指数(NFI)和非基准适配度指数(NNFI):用于评估模型的适配度。NFI和NNFI值越接近1,表示模型拟合越好。表4数据显示样本的NFI和NNFI值分别为0.952和0.989,均大于0.9,说明模型拟合较好。

综上,各项拟合指标均在参考标准范围内,由此说明模型的拟合度效果良好。

(3)模型路径检验。

本研究利用SPSSAU对调研数据进行结构方程模型分析,旨在推导科学家评价质量认可影响机制,探究评审有用性、科学家水平、评价指标、评审数据、评审程序、评审专家和评审结果7个变量对评价质量认可的作用效应。对研究假设模型检验,结果如表5所示。

表5数据显示,假设H2、H3科学家评审结果和科学家水平对科学家评审有用性的路径P值分别为0.454、0.129,均大于0.05,未达到显著水平,假设未得到验证,假设不成立。

相比之下,假设H1科学家评审有用性对科学家评价质量认可,CR临界比值的绝对值为8.718,估值达到0.001的显著水平,所得结果具有统计学意义,研究假设H1成立,说明科学家评审有用性对科学家评价质量认可有正向影响。其余假设CR临界值均大于1,且显著性P均满足标准值小于0.05的参考范围,研究假设H4、H5、H6、H7均成立,表明科学家评审数据、评价指标、评审程序和评审专家对科学家评审有用性均产生直接的正向影响。

基于结构方程模型路径验证结果,对科学家评价质量认可度影响因素研究初始模型进行修正,得到最终模型,影响因素模型如图5所示。

3.5 研究结果

基于上述分析,可知社会公众对全球顶尖科学家榜单整体持认可态度,具体表现在持“基本认可”“比较认可”与“完全认可”立场3项数据总和,在每一项调查指标中都达到了70%左右,由此说明公众对国际顶尖科学家榜单认可度较高。对此,我国在科学家评价上可以借鉴国际知名科学家榜单的相关做法,在已有的科学家评价上锦上添花;在科学家培养上,进一步加强顶尖科技人才的引进与培养,以提升我国科技创新实力。此外,不可忽视的是,持“不太认可”态度在各项调查指标中均占一定比例,说明部分公众对该榜单持有质疑态度,也表明该榜单的可靠性、客观性、准确性、完整性,以及评审专家、入选科学家水平等还有提升空间。

科学家评审有用性对科学家评价质量认可度有直接正向影响,而科学家评审有用性受科学家评价环节中的评审专家、评审程序和评审数据直接正向影响,评审专家、评审程序和评审数据通过评审有用性间接影响科学家评价质量认可度。此与前文预期保持一致。一般而言,公众对科学家评价的认可态度受到其有用性感知影响,一项科学家评审有用性感知越强,得到公众的认可度就越高,而评审专家水平越高、评审程序越正当、评审数据越准确,则公众的评审有用性感知也就越强,公众认可该项科学家评价的认可度便越高。此外,科学家水平和评审结果是否对科学家评审有用性产生正向影响,在本研究中并未得到验证。其中科学家水平对评审有用性影响不显著,这可能是因为,公众认为真正高水平的科学家不需要各种评审,公众可凭借其带来的直观的社会效益、经济效益和科技效益等判断科学家水平的高低。而评审结果影响较弱则可能是因为,对于科学家评审而言,评审过程的评审专家是否公正,评审数据、评审流程和评审指标准确可靠比较重要,而评审结果仅为一个科学家名单,加上公众对名单上的科学家了解不深,因此根据评审结果对公众判断评审是否有用的作用并不明显。

4 研究启示

总体而言,全球顶尖科学家榜单在样本人群中认可度较高,评审维度合理,经受得住各种影响因素的检验。此外,这种以榜单对科学家进行评价的方式均衡了专业性与普及性的维度,有利于打通科学界与新闻传媒的渠道,使科学家及其贡献更加为普罗大众所熟知。基于此,对我国科学家评价认可度研究有如下启示。

第一,重视科学家评价质量反馈,把提升科学家评价公众认可度做为评价目标之一,以提升评审结果的公信力,建立“科学家信任”。全民科学生活是建立在良好的科学家指导基础之上的,因为在公众的思想中,正是文明科学家的力量和技术的实际技能会提供给他们可以获得生产生活的改良工具。这说明科学家质量评价必须放在人类生活环境中来考察,科学家只有被公众“测量”后才能可靠地推动科学、社会和经济发展,才能在公众心中建立长期稳定的“科学家信任”。科学家评价指标评价本身是有益的,但也是有限的,有时甚至容易导致我们忽视公众对科学家评价质量的态度。

我们推出各种不同的评价或评价体系的同时,也需加强对评价质量自身审慎的反思。公众作为科学家评审结果的用户之一,其需求不容忽视。那谁把控科学家评价质量最合适?评价主体显然不合适,容易引起“王婆卖瓜,自卖自夸”的嫌疑。而笔者认为,公众才是科学家评价质量最合适的仲裁者,提升科学家评价的质量,关键还是要让社会公众参与进来,如公开评价流程、评审数据、评审结果和评价方法等,在让公众对科学家评价有了全面了解的前提下,才能解除人们对科学家评价公正性的怀疑,从而提升评审结果的公信力,建立“科学家信任”。

第二,科学家评价也要睁眼看世界,构建具有我国特色且享有广泛国际影响力的中国科学家榜单,由此建设中国特色新型智库。目前,国外具有代表性的科学家榜单有斯坦福大学和Elsevier共同发布的全球顶尖科学家榜单以及爱思唯尔(Elsevier)发布的“中国高被引学者”(highly cited Chinese researchers)榜单。这2个榜单,在评价主体上,均为具有世界公信力的大学或信息服务机构。在评审数据上,来源上均以数据库Scopus作为数据来源,该数据库是目前全球规模最大的文摘和引文数据库。在评价方法上,全球顶尖科学家榜单采用多种指标综合计算。而其评审结果,也均广受认可。单从国内科学家上榜名单宣传上看,每年榜单一出,相应报刊新闻,甚至在中国知网上纷纷登载庆祝入榜科学家。从这点来看,这些榜单对我国相关机构在科学家评价上也应得到相关的重视和思考。

我国曾有学者以2014—2020“全球高被引科学家”名单为基础,对名单中符合中国人才需求、关系友好的“全球高被引科学家”进行对接,了解其发展状况和发展需求,力求实现精准猎头和引才[42]。因此在智库质量建设上,也可以从这些国际榜单上考虑,学习国际科学家榜单的新方法、新技术和新理念,从而提升智库人才水平。原因是国际榜单中的科学家研究领域广泛,符合我国各个地方发展需求,对我国重大发展规划、社会经济发展和环境保护治理等领域均有涉及。在智库品牌建设上,源头仍然是科学家队伍建设,关键还是在科学家本身水平。因此科研通过与国际上的相关组织建立联系,拓宽智库人才引进渠道,从而提升智库水平和国际声誉。

第三,为科学家评价寻求一种能适时鼓舞优秀科学家进行科学研究的科学评价政策。对科学家评价质量作出适当评价,是对所有科学家本身价值的真正检验。科学家个人、科学技术和科学政策三者是稳定的三角关系,三者通过科学家评价政策使三者形成良性循环,好的科学家评价政策可以极大提升科学家进行科研工作的积极性,从而推动科学技术发展和科学政策的完善。简而言之,一项好的政策会使好的科学家成为可能。然而曾经使国家科学发展突飞猛进的科学家评价政策也会过时、变得不可用的时候,因此要加以调整,以适应新的科学目标。

如前所述,科学家的研究成果都会直接或间接地影响公众的生活、工作和学习等各个方面,从这个角度而言,社会公众参与科学家评价是以其直观现实需求做出判断,因此针对科学家评价制度制定可以把“公众需要”作为科学家奖励、基金分配和优先权评判标准。考虑到我国人口众多,且“众口难调”这一客观现实问题,这一制度要执行起来,在公众参与上可以考虑从量上控制的代表制,亦或是利用网络征求意见进行自愿参与制从而实现在量上的突破,即从公众参与的深度和广度上考虑。或许有人会反对说,一般公众可能并不会注意到科学家评价政策,从而质疑政策制定将公众考虑进来是否会造成资源浪费。但笔者认为,制定政策的职能部门由于其职能性质或许无法将公众意见排除在外,那么何不探索与公众的直接的或间接的和广泛的联系,从而为科学家评价政策的制定提供一种更科学合理的可能性。

5 结束语

当前的科学家评价已进入新质化发展驱动的新阶段,发文量、引用量、期刊影响因子等贯穿科学家晋升、基金项目审批与学术荣誉评审等各个环节,科学家评价在传统科学评价的基础上,得到极大重视和关注。

本文基于科学家评价相关研究现状,提出科学家评价质量认可度及其影响因素研究问题,试图以全球顶尖科学家榜单为例进行调查分析。样本数据分析结果显示,全球顶尖科学家榜单的总体认可度较高,并且经信度与效度检验、模型拟合度分析及模型路径检验,研究假设H4、H5、H6、H7均成立,表明科学家评审数据、评价指标、评审程序和评审专家对科学家评审有用性均产生直接的正向影响;但在此次分析中科学家水平、评审结果对评审有用性的影响未被直接证实,仍有待进一步讨论。

基于此,本文得出3点启示:第一,重视科学家评价质量反馈,以提升科学家评价公众认可度为评价目标之一,把不准确、不被公众接受的评审结果扼杀在摇篮之中,进而提升评价机构的公信力和权威性;第二,科学家评价也要向国际知名科学家榜单学习,构建具有我国特色且享有广泛国际影响力的中国科学家榜单,由此建设中国特色新型智库;第三,为科学家评价寻求一种能适时鼓舞优秀科学家进行科学研究的科学政策,注重公众反馈,科学家评价政策的制定也可以考虑让公众参与其中。

本研究的不足之处存在2点:首先,以全球顶尖科学家榜单作为研究对象,其专业性较强,容易导致部分社会公众不能深入理解,容易导致其所作选题可能存在未深刻体现其认知;其次,本文的研究数据较少,导致本研究结论是否具有很好的推广应用还有待验证。今后研究可对过于专业化的研究对象进行深度解析并尽可能采取多种方式收集研究数据,以提高研究结果的科学性和准确性。

参考文献

[1]

王松梅, 成良斌. 我国科技人才评价中存在的问题及对策研究[J]. 科技与管理, 2005(6):133-135.

[2]

( Wang S M, Cheng L B. Research on the problems and countermeasures in the evaluation of scientific and technological talents in China[J]. Science and Management, 2005(6):133-135.)

[3]

李思宏, 罗瑾琏, 田瑞雪. 科技人才评价与选拔体系构建思路[J]. 科技进步与对策, 2009, 26(14):148-150.

[4]

( Li S H, Luo J L, Tian R X. Thinking on constructing the evaluation and selection system of science and technology talents[J]. Science and Technology Progress and Countermeasures, 2009, 26 (14):148-150.)

[5]

朱郑州, 苏渭珍, 王亚沙. 我国科技人才评价的问题研究[J]. 科技管理研究, 2011, 31(15):132-135.

[6]

( Zhu Z Z, Su W Z, Wang Y S. Research on the problems of evaluation of scientific and technological talents in China[J]. Science and Technology Management Research, 2011, 31(15):132-135.)

[7]

俞立平, 潘云涛, 武夷山. 元评价对提高科技评价质量的影响研究[J]. 科学学研究, 2012, 30(4):512-516.

[8]

( Yu L P, Pan Y T, Wu Y S. A effective method to enhance science and technology evaluation quality: meta-evaluation[J]. Research in Science of Science, 2012, 30(4):512-516.)

[9]

叶锦涛, 何光喜, 张文霞. 中国民众对科学家形象评价的变迁研究(2007-2021年)[J]. 中国科技论坛, 2023(11):120-128.

[10]

( Ye J T, He G X, Zhang W X. A study on the changes of Chinese people's image evaluation of scientists (2007-2021)[J]. China Science and Technology Forum, 2023(11):120-128.)

[11]

胡意, 郑宏松, 陈丽丽, . 科技专家评审质量评价模型实证研究[J]. 科技和产业, 2021, 21(7):235-238.

[12]

( Hu Y, Zheng H S, Chen L L, et al. An empirical study on quality evaluation model reviewed by science and technology experts[J]. Science and Technology Industry, 2019, 21(7):235-238. )

[13]

周春雷. 试析现行学术评价体系的运作机理[J]. 中国科技期刊研究, 2012, 23(6):1013-1016.

[14]

( Zhou C L. Analysis on the operation mechanism of the current academic evaluation system[J]. China Science and Technology Journal Research, 2012, 23(6):1013-1016.)

[15]

Harriet Z, Robert K. Merton. Patterns of evaluation in science: institutionalization,structure and functions of the referee system[J]. Minerva, 1971, 9(1) : 66-100.

[16]

于珈, 王兰英, 李兵, . 浅析美国科技人才评价的做法与启示[J]. 中国科技资源导刊, 2015, 47(2) : 68-72.

[17]

( Yu J, Wang L Y, Li B, et al. Evaluation measure and its revelation about the science and technology talents in the US[J]. China Science and Technology Resources Guide, 2015, 47(2) : 68-72.)

[18]

Evaluation the procedures of the max planck society[EB/OL].[2024-08-01].

[19]

张济洲. 美国高校科研经费分配的同行评议本质、局限与改进: 以美国国家科学基金会( NSF) 资助为例[J]. 中国高教研究, 2011(10) : 40-42.

[20]

( Zhang J Z. The nature, limitations and improvement of peer review in the allocation of university research funding: A case study of National Science Foundation (NSF) funding[J]. Chinese Higher Education Research, 2011(10) : 40-42.)

[21]

吴锦雅. 同行评议面临的问题与可行性措施[J]. 编辑学报, 2011, 23(3) : 238-240.

[22]

( Wu J Y. Current problems and possible measures of peer review[J]. Journal of Editors, 2011, 23(3) : 238-240.)

[23]

余以胜, 朱佳雨, 许恩平. 基于区块链的学术评价系统模型构建研究[J]. 重庆大学学报(社会科学版), 2020, 26(4):138-149.

[24]

( Yu Y S, Zhu J Y, Xu E P. Discussion on the model construction of academic evaluation system based on blockchain[J]. Journal of Chongqing University (Social Sciences Edition), 2019, 26(4):138-149.)

[25]

Hodgkinson M, Dunckley J. Open peer review & community peer review [EB/OL]. (2017-11-05)[2024-08-01].

[26]

祝清松, 冷伏海. 基于引文内容分析的高被引论文主题识别研究[J]. 中国图书馆学报, 2014(1):39-49.

[27]

( Zhu Q S, Leng F H. Topic identification of highly cited papers based on citation content analysis[J]. Journal of Library Science, 2014(1) : 39-49.)

[28]

朱少强. 国外科学研究计量评价的研究进展[J]. 重庆大学学报(社会科学版), 2008(2):72-77.

[29]

( Zhu S Q. International advancement of quantitative research evaluation[J]. Journal of Chongqing University (Social Science Edition), 2008(2):72-77.)

[30]

易耀森. 被撤销医学论文数据学术不端行为与防范对策研究[J]. 中国科技期刊研究, 2020, 31(3):276-280.

[31]

( Yi Y S. Data academic misconduct in retracted medical articles and precautionary measures[J]. Chinese Journal of Science and Technology Research, 2019, 31(3) : 276-280.)

[32]

张治国. 由学术论文挂名现象引发的思考[J]. 中国出版, 2009(Z2):63-66.

[33]

( Zhang Z G. Reflections on the naming of academic papers[J]. China Publishing, 2009(Z2):63-66.)

[34]

索传军, 王雪艳. 引用行为的演变趋势及其对引文评价的影响分析[J]. 图书情报工作, 2019, 63(24):97-106.

[35]

( Suo C J, Wang X Y. The trend of citation behavior and its impact on citation evaluation[J]. Library and Information Services, 2019, 63(24):97-106. )

[36]

付国乐. 我国科技期刊国际化程度的评价与提升策略: 以卓越计划资助期刊为例[J]. 中国科技期刊研究, 2024, 35(4):523-531.

[37]

( Fu G L. Evaluation and enhancement strategy for internationalization degree of Chinese scientific journals: a case study of journals funded by excellence action plan for China STM Journals[J]. Chinese Journal of Science and Technology Research, 2019, 35(4):523-531.)

[38]

Petty R E, Cacioppo J T. The effects of involvement on responses to argument quantity and quality:central and peripheral routes to persuasion[J]. Journal of Personality and Social Psychology, 1984, 46(1):69-81.

[39]

袁昀, 袁勤俭. 详尽可能性模型及其在信息系统研究领域的应用与展望[J]. 现代情报, 2023, 43(5):156-167.

[40]

( Yuan Y, Yuan Q J. Elaboration likelihood model and its application and prospect in the field of information system research[J]. Modern Information, 2019, 43(5):156-167.)

[41]

Sussman S W, Siegal W S. Informational influence in organizations: an integrated approach to knowledge adoption[J]. Information Systems Research, 2003, 14 (1) : 47-65.

[42]

Wand Y, Wang R Y. Aanchoing data quality dimensions in onto-logical foundations[J]. Communications of the ACM, 1996, 39(11):86-95.

[43]

宋立荣, 李思经. 基于网络共享的农业科技信息质量维度分析[J]. 图书情报工作, 2009, 53(22):85-88.

[44]

( Song L R, Li S J. Study on the agricultural scienceand technology information quality dimension based on network sharing[J]. Library and Information Work, 2009, 53(22):85-88. )

[45]

张辑哲. 论信息形态与信息质量(下): 论信息的质与量及其意义[J]. 档案学通讯, 2006(3):20-22.

[46]

Zhang J Z. On information form and information quality (Part II) : on the quality and quantity of information and their significance [J]. Journal of Archives Science, 2006(3):20-22.

[47]

Kahn B, Strong D M, Wang R Y. Information quality benchmarks: product and service performance[J]. Communications of the ACM, 2002, 45(4) : 184-192.

[48]

张耀辉, 卢爽, 刘冰. 用户信息交互过程中影响信息质量的因素分析[J]. 情报理论与实践, 2012, 35(6):12-15.

[49]

( Zhang Y H, Lu S, Liu B. Analysis of factors affecting information quality during the user information interaction process[J]. Information Theory and Practice, 2012, 35(6):12-15. )

[50]

尹隽, 彭艳红, 刘鹏, . 基于信息接受模型的在线评论有用性影响因素研究[J]. 江苏科技大学学报(自然科学版), 2020, 34(3):69-78.

[51]

( Yin J, Peng Y H, Liu P, et al. Research on influencing factors of usefulness of online reviews based on information acceptance model[J]. Journal of Jiangsu University of Science and Technology (Natural Science Edition), 2019, 34(3):69-78.)

[52]

费豪泽, 周斌, 刘鹏, . 社会化问答中回答者在线互动行为对信息采纳影响的实证分析[J]. 数字图书馆论坛, 2019(10):45-54.

[53]

( Fei H Z, Zhou B, Liu P, et al. An empirical analysis of the impact of answers’online interactive behavior on information acceptance in socialized question answering[J]. Digital Library Forum, 2019(10):45-54.)

[54]

易明, 张婷婷. 大众性问答社区答案质量排序方法研究[J]. 数据分析与知识发现, 2019, 3(6):12-20.

[55]

( Yi M, Zhang T T. Ranking answer quality of popular Q&A community[J]. Data Analysis and Knowledge Discovery, 2019, 3(6):12-20.)

[56]

张艳辉, 李宗伟, 赵诣成. 基于淘宝网评论数据的信息质量对在线评论有用性的影响[J]. 管理学报, 2017, 14(1):77-85.

[57]

( Zhang Y H, Li Z W, Zhao Y C. How the information quality affects the online review usefulness?: An empirical analysis based on taobao review data[J]. Journal of Management, 2017, 14(1):77-85. )

[58]

王云弟, 王文韬, 谢阳群, . 双路径视角下大学生个人信息保持行为研究[J]. 情报理论与实践, 2020, 43(8):90-95.

[59]

( Wang Y D, Wang W T, Xie Y Q, et al. A study on the keeping activities of college students from the perspective of the dual-route[J]. Information Theory and Practice, 2019, 43(8):90-95. )

[60]

娄策群. 学术机构科研能力评价的文献计量指标与模型[J]. 情报理论与实践, 1995(5):14-17.

[61]

( Lou C Q. Bibliometrimetric indicators and models of research capability evaluation of academic institutions[J]. Information Theory and Practice, 1995(5):14-17.)

[62]

傅旭东, 彭建国, 游滨, . 学术评价绩效的影响因素分析[J]. 中国科技论坛, 2005(2):106-110.

[63]

( Fu X D, Peng J G, You B, et al. Analysis of influencing factors of academic evaluation performance[J]. China Science and Technology Forum, 2005(2):106-110.)

[64]

张春红, 郑英姿. 科研评价服务中归一化指标的应用情境与实效分析[J]. 情报理论与实践, 2019, 42(9):64-68.

[65]

( Zhang C H, Zheng Y Z. Application situation and effectiveness analysis of normalized indicators in research evaluation services[J]. Information Theory and Practice, 2019, 42(9):64-68. )

[66]

叶鹰. 国际学术评价指标研究现状及发展综述[J]. 情报学报, 2014, 33(2):215-224.

[67]

( Ye Y. The research progress and developing perspective of assessment indicators[J]. Journal of Information and Technology, 2014, 33(2):215-224.)

[68]

季卫东. 法律程序的意义: 对中国法制建设的另一种思考[J]. 中国社会科学, 1993(1):83-103.

[69]

( Ji W D. The significance of legal procedure: another reflection on the construction of Chinese legal system[J]. Chinese Journal of Social Sciences, 1993(1):83-103.)

[70]

Teplitskiya M, Acunab D, Elamrani-raoultc A, et al. The sociology of scientific validity: how professional networks shape judgement in peer peview[J]. Research Policy, 2018,47:1825-1841.

[71]

沈才俊, 徐暑芬, 常云志. 科技项目评审过程中项目分组与专家推荐流程的设计[J]. 江苏科技信息, 2016(6):29-31.

[72]

( Shen C J, Xu X F, Chang Y Z. Research on design of project grouping and expert recommendation process in science and technology project review[J]. Jiangsu Science and Technology Information, 2016(6):29-31.)

[73]

Ioannidis, John P A. October 2023 data-update for "Updated science-wide author databases of standardized citation indicators"[EB/OL]. [2024-05-01].

[74]

赵宁, 范巍, 张锐昕. 中国“全球高被引科学家”结构特征和成长规律分析: 基于2014—2020年“全球高被引科学家”榜单数据[J]. 科技管理研究, 2022, 42(1):208-214.

[75]

( Zhao N, Fan W, Zhang R X. Analysis on the distribution and growth Law of global highly cited researchers in China and its enlightenment based on the list data of global highly cited researchers from 2014 to 2020[J]. Science and Technology Management Research, 2002, 42(1):208-214.)

PDF (2206KB)

641

访问

0

被引

详细

导航
相关文章

/