数智赋能的生成式人工智能(GenAI)安全治理研究现状计量分析

陈璐 ,  陈方

科学观察 ›› 2026, Vol. 21 ›› Issue (1) :35-55

PDF (15044KB)
科学观察 ›› 2026, Vol. 21 ›› Issue (1) :35-55 DOI: 10.15978/j.cnki.1673-5668.20250709
数据观察

数智赋能的生成式人工智能(GenAI)安全治理研究现状计量分析

作者信息 +

Quantitative Analysis of the Research Status on Generative AI (GenAI) Security Governance Empowered by Digital Intelligence

Author information +
文章历史 +

摘要

[目的/意义] 对国内外生成式人工智能 (GenAI) 治理的研究现状进行深入分析,挖掘研究热点,探索研究现状。[方法/过程] 基于CNKI与WoS在GenAI安全治理主题下的相关文献,采用科学计量与BERTopic主题建模相结合的方法,从机构特征与主题内容分析2大角度揭示国内外GenAI安全治理研究的现状,以期为我国的治理实践提供建议。[结果/结论] 研究结果表明,国内外已形成局部协同创新局面,总体从数据安全、网络舆论生态、学术道德与伦理、教育场景与医疗健康5个治理场景展开风险分析,并得出加强思想引领与技术教育、建立健全法律法规、完善监管保障体系、加强技术监测能力,形成敏捷治理模式等治理方案。

Abstract

[Objective/Significance] This study aims to conduct an in-depth analysis of the current research status of generative AI (GenAI) governance domestically and internationally, identify research hotspots, and explore the research landscape. [Method/Process] Based on literature related to GenAI security governance from CNKI and WoS, this paper employs a combination of scientometric analysis and BERTopic topic modeling to reveal the current state of GenAI security governance research from two major perspectives: institutional characteristics and thematic content analysis, with the goal of providing recommendations for governance practices in China. [Results/Conclusions] The findings indicate that partial collaborative innovation networks have formed domestically and internationally. Overall, risk analysis is conducted across five governance scenarios: data security, online public discourse ecosystems, academic ethics, educational settings, and healthcare. Governance solutions derived include strengthening ideological guidance and technical education, establishing sound laws and regulations, improving regulatory safeguard systems, enhancing technical monitoring capabilities, and forming agile governance models.

Graphical abstract

关键词

生成式人工智能 (GenAI) / 安全治理 / BERTopic主题模型 / 社会网络分析 / 科学计量分析

Key words

generative AI (GenAI) / security governance / BERTopic topic modeling / social network analysis / scientometrics

引用本文

引用格式 ▾
陈璐, 陈方. 数智赋能的生成式人工智能(GenAI)安全治理研究现状计量分析[J]. 科学观察, 2026, 21(1): 35-55 DOI:10.15978/j.cnki.1673-5668.20250709
Chen Lu, Chen Fang. Quantitative Analysis of the Research Status on Generative AI (GenAI) Security Governance Empowered by Digital Intelligence[J]. Science Focus, 2026, 21(1): 35-55 DOI:10.15978/j.cnki.1673-5668.20250709

登录浏览全文

4963

注册一个新账户 忘记密码

0 引言

生成式人工智能(generative AI,以下简称 GenAI)是人工智能技术的重要分支,其基于人类反馈的持续学习、定向优化及任务驱动决策能力[1],正在推动各领域向“人机协作”的智能范式演进,一场智能革命已经席卷各行各业。与此同时,GenAI也存在一系列严峻的问题,包括模型偏见、隐私数据泄露、知识产权纠纷以及伦理争议等,使得对其的治理面临着典型的“科林格里奇困境”,迅速准确地定位风险并采取行之有效的治理措施是决定这场智能革命是否能顺利进行的关键。

国内外对于GenAI治理的讨论主要是在教育、医疗、模型训练等各个应用场景下。在教育场景下,针对意识形态风险、算法偏见风险和个人隐私泄露风险等,程琼等[2]提出通过强化话语引领力、技术掌控力、人机协作力量等来防范化解风险。沈苑等[3]采用案例分析法,对比分析了英国、澳大利亚和美国的案例,从政策、行业监管,以及教育机构层面等推动GenAI应用与治理。在生物医疗场景下,Vani 等[4]采用最前沿综述(state-of- the-art review,以下简称SotA)方法,结合文献分析、案例总结和跨学科理论框架,系统探讨了医疗领域GenAI的伦理挑战并提出“技术-伦理”双轨治理模型。Jackson等[5]采用跨学科文献分析与案例综合法,对GenAI在病理学研究领域的伦理风险进行场景推演与利益相关者分析。在模型训练场景下,各学者主要从数据治理的角度讨论了训练数据的版权风险与治理[6-7]、政府数据的安全[8]、数据隐私治理[9]等。此外,还有一些学者利用计量与综述的研究方法探讨GenAI的有关研究现状,储节旺等[10]利用文献综述的方法对GenAI赋能知识生产的相关利弊研究现状,潘丽[11]利用文献计量法综述GenAI的伦理问题研究现状,张小燕[12]用文献综述的方法揭示GenAI的数据治理研究状况。

综上,目前国内外对GenAI风险治理的现状研究多是通过计量与综述的方法对某一现状的具体揭示,但缺乏对国内外GenAI治理研究现状的总体挖掘,且研究方法单一,为此,本文采用科学计量与主题建模相结合的方法对国内外GenAI治理的研究现状进行深入分析,挖掘研究热点,探索研究现状,最后得出对我国GenAI治理研究与实践的启示与建议,以期为后续的研究提供借鉴。

1 研究设计

1.1 数据来源

本文以中国知网(CNKI)数据库中“北大核心”“CSSCI”“AMI”“CSCD”作为中文文献数据来源,以Web of Science(简称“WoS”)核心集数据库中的SCI-EXPANDED、SSCI、CPCI-S、CPCI-SSH、ESCI索引作为英文文献数据来源,检索以“GenAI治理”研究为主题的文献,基于国内外文献的角度,对GenAI治理的研究现状进行科学计量分析,检索所有截至2025年5月16日的文献,检索措施见表1。中文文献经人工判读过滤后最终保留206篇,英文文献去除与主题不符合的、非英文的以及在作者、期刊、发文机构等关键字段缺少信息的条目后最终保留83篇作为最终的分析数据。

本研究的数据选取原则为对GenAI技术本身的治理研究或将其应用到具体场景中的治理研究,不包括应用GenAI技术进行治理工作中的研究。

1.2 研究方法

研究方法是人们为了达到某种目的而采用的方法、手段的总和[13]。科学计量学作为一门应用性学科,以定量分析为主要途径,解释科学发展内在机理,预测科学发展趋势,为科学管理工作提供依据为目的[14],能够对GenAI安全治理研究现状分析提供支撑,实现对相关研究发文数量以及核心发文机构进行分析的目标。社会网络分析是对不同社会单位所构成的关系的结构及其属性进行分析的方法[15],在对核心发文机构进行量化分析的同时,发文机构之间的合著情况也值得关注,国内外在GenAI治理领域的研究主体是哪些?是否形成了一定的研究团体?为此,本研究选取社会网络分析法对国内外合著机构网络的整体特征与局部节点特征进行分析。

以上是对文献数据的外部特征进行量化分析的方法,为揭示数据的内部特征,本研究选取BERTopic主题模型对文献摘要数据进行主题建模,以得到国内外在GenAI安全治理领域的研究主题。BERTopic是基于BERT词向量的一种结合自然语言处理与机器学习的主题建模技术[16],利用预训练的Transformer模型捕捉文本单词之间的语义关系[17],并结合聚类算法和c-TF-IDF算法识别主题。相较于传统机器学习主题模型,BERTopic主题模型能够更充分地利用上下文的语义信息。与LDA和NMF需要提前提供主题数量不同,BERTopic通过UMAP降维与HDBSCAN密度聚类自动从文档中挖掘合理主题数[18],其建模结果在内容深度、语义信息保留等方面显著优于LDA[19]

BERTopic的核心实现依赖于机器学习中的聚类、降维等算法。利用该模型进行主题识别主要分为6个步骤:数据预处理、文本嵌入(embeddings)、降维(dimensionality reduction)、向量聚类(clustering)、序列化(tokenizer)、加权(weighting scheme)。本文的主题建模思路见图1

2 计量分析

2.1 文献时序分析

图2为中英文文献发文趋势图。可以看出,国内外有关GenAI治理的相关研究是从2023年开始的,这一时间节点的出现与2022年11月OpenAI发布ChatGPT[20]密切相关。图2(b)为中文文献的月份发文趋势图,由图2(a)图2(b)对比结果可以看出,虽然本领域尚处于起步阶段,但总体发文量随时间呈现明显的上升趋势。

2.2 机构特征分析

2.2.1 核心发文机构分析

表2表3为国内外核心发文机构,根据普莱斯定律,高产作者最低发文量计算方法见式 (1)。

$ M=0.749 \sqrt{N_{\max }}$

式中:Nmax为最高产作者的发文量;M为高产作者的最低发文量。

根据式 (1) ,将高产作者计算公式迁移到对高产机构的计算中,中文机构中发文量最高的是华东政法大学,发文10篇,则M中文=0.749 $\sqrt[]{10}$ ≈2,同理,英文机构中发文量最高的是University of Pennsylvania(宾夕法尼亚大学),发文量为5篇,则M英文=0.749 $\sqrt[]{5}$ ≈2。故本研究将中英文发文量在2篇以上的机构视为核心机构统计结果见表2表3。在统计发文单位时,当一篇文献的多个署名单位是同一单位时,统一将该单位记为1次,如署名为扬州大学马克思主义学院与扬州大学新闻与传媒学院,则统一记为扬州大学,并将署名单位统一为其最高层级的称呼,如扬州大学马克思主义学院记为扬州大学。

表2可以看出,国内发文量较高的机构分别是华东政法大学、中国社会科学院以及清华大学。其中,华东政法大学在所有高校中发文最多,依托政法大学的优势,从数据治理、产权治理、行业规范等各个方面对GenAI的治理展开研究[21-24]。其次是中国社会科学院和清华大学,中国社会科学院发文9篇,位列第2,主要从伦理、意识形态、虚假信息治理等社会科学角度展开研究[25-28],同样发文9篇,清华大学则主要从技术伦理、教育风险、版权治理等角度展开治理研究[29-32]

在国内核心发文机构中,有13所院校的法学专业在第5轮学科评估中被评为A类(北京大学、清华大学、武汉大学、中国人民大学、中国政法大学、华东政法大学、南京大学、上海交通大学、西南政法大学、浙江大学、北京师范大学、东南大学、四川大学),有11所院校的公共管理学专业在第五轮学科评估中被评为A类(清华大学、上海交通大学、北京大学、中国人民大学、北京师范大学、浙江大学、北京航空航天大学、四川大学、武汉大学、西安交通大学、南开大学),除此之外,还有传统理工类强校(同济大学、中南大学、中国科学院),综合类院校(上海大学、重庆大学、苏州大学、南京师范大学、温州大学),以及社科类科研单位(中国社会科学院)。据此可见我国在GenAI安全治理领域的研究背景呈现出明显的学科交叉特点,不同背景的科研单位都展现出对这一主题的关注,其中以法学类和公共管理类强势院校为研究主体,反映出我国在GenAI治理研究中的法律政策与公共治理研究背景。

在国外的核心发文机构中,宾夕法尼亚大学(University of Pennsylvania)与匹兹堡大学(University of Pittsburgh)大学发文量最高,其中宾夕法尼亚大学主要从社会影响的角度探讨GenAI在社会经济发展、教育等领域的治理研究[33-34],匹兹堡大学则重点关注GenAI在教育领域的负责任使用,以及在医疗环境中的伦理管理框架[5,33-34]。国外7所核心发文机构分别来自美国、澳大利亚、英国和新加坡,且都是世界著名的研究型大学。其中哈佛大学(Harvard University)、悉尼大学(University of Sydney)、新加坡国立大学(National University of Singapore)、宾夕法尼亚大学的法学专业与医学专业均在2025年QS世界大学学科排名前50,诺丁汉大学(University of Nottingham)的法学专业在2025年QS世界大学学科排名前100,哈佛大学、新加坡国立大学、宾夕法尼亚大学的商业与管理研究专业在2025年QS世界大学学科排名前50。据此可见,国外对GenAI治理的研究集中在法学、商学和医学专业背景强势的院校,结合上文中对高发文单位研究内容的简单概述得出,国内外对于GenAI治理的研究具有从法学视角出发的共性,相比于国内,国外的研究更聚焦,与研究背景结合得更紧密。

2.2.2 合著机构网络特征整体分析

机构合著网络采用Gephi绘制,合著图中只显示了有合著发文的机构,对于没有合著发文的孤立机构节点未作显示。

国内机构合著网络 (图3) 有83个合著节点,77条边,网络平均聚类系数为0.627, 平均路径长度为1.962,平均度为1.855,根据Erdős-Rényi 模型(以下简称“ER模型”)[35],平均聚类系数约等于边密度,边密度理论值的计算方法见式 (2)。

$p=2 E / N(N-1)$

式中:E为网络中边的数量;N为节点的数量;p为边密度值。

根据式(2),p国内=2×77/83×82≈0.0225,而根据Gephi的计算结果国内机构合著网络的聚类系数为0.627,显著高于理论值,表明本网络具有较强的局部聚类特征。同时,平均路径长度理论值的计算方法见式 (3)。

$L=\ln N / \ln K$

式中:K为网络平均度;N为节点数量;L为ER模型随机网络的平均路径长度理论值。

根据式 (3),L国内≈ln83/ln1.855≈7.15, 而根据Gephi的计算结果,本网络的平均路径长度为1.629,远小于理论值,这种聚类系数高、平均路径小的特征说明国内机构合著网络呈现明显的小世界特征,即机构间存在紧密的局部聚类,某些机构形成紧密的合作团体,同时又能通过少数中间机构实现全局快速连接。由图3可以看出,国内在本领域已经初步形成了以北京大学、中国社会科学院、中国政法大学、南京师范大学、清华大学、浙江大学、复旦大学等为核心的多个合作研究团体。其中以北京大学为核心的研究团队合作频率较高,以清华大学和浙江大学为核心的研究团队成员主要包括华东政法大学、南京大学等,以南京师范大学为核心的研究团队成员主要包括江苏省科学技术发展战略研究院等。这些研究团队中有一些是地理位置相近的单位,如北京大学与北京师范大学、天津师范大学、南开大学,南京师范大学与江苏省科学技术发展战略研究院,据此初步推断地理位置的相近性是促成机构合作的一个重要相关因素。

此外,从图3也可看出一些合作紧密但地理位置不相近的单位,如清华大学与浙江大学、南京大学与四川大学、北京大学与海南大学,南京师范大学与陕西师范大学。从中选取清华大学与浙江大学的合著论文进行深入分析发现,清华大学与浙江大学在生成式人工智能领域的中文合著论文只有1篇[36],是清华大学社会科学学院与浙江大学马克思主义学院的合著论文,将研究主题范围扩大到以“人工智能治理”为主题的清华大学与浙江大学合著的中文文献有11篇,可见在这一领域2所学校是跨越地域的紧密合作伙伴。实际上,有时合作主体地处不同区域,可以更好地结合不同区域的学者观点和资源,带动全国范围的学术交流与合作,目前我国在GenAI治理研究中的跨地域合作还较少。

国外机构合著网络 (图4) 有154个合著节点,519条边,网络平均聚类系数为0.946,平均路径长度为1.634,平均度为6.74,根据式(2)的计算方式,图4的边密度的理论值p国外=2×519/154×153≈0.0441,且国外机构合著网络的群居系数为0.946,显著高于理论值,表明本网络具有较强的局部聚类特征。根据式 (3) 的计算方法,平均路径长度理论值L国外=ln154/ln6.74≈2.64,而实际值(1.634)远小于理论值,这种聚类系数高、平均路径小的网络特征说明国外机构合著网络也呈现出明显的小世界特征。其中纽约大学(New York University)、麻省大学(University of Massachusetts)、阿姆斯特丹自由大学(Vrije Universiteit Amsterdam)、密歇根州立大学(Michigan State University)、马普学会(Max Planck Society)、麻省理工学院(Massachusetts Institute of Technology,简称MIT)、 挪威经济学院(Norwegian School of Economics,简称NHH)、图卢兹经济学院(Toulouse School of Economics)、哥本哈根商学院(Copenhagen Business School)、微软(Microsoft)、剑桥大学(University of Cambridge)等(图4中蓝色部分)形成了紧密的合作团体。

综上,国内外在GenAI治理的研究领域已初步形成了一定数量的紧密研究团体,局部合作趋势明显,尚未形成大范围的协同创新局面。

2.2.3 合著机构网络节点特征分析

中心性分析用于测量节点在网络中的结构位置,以此评价节点的重要性。中介中心性用于测量对其他2个非相邻节点之间联系的控制力[37],即衡量节点在网络中作为中介桥梁的重要性,若节点频繁出现在不同节点对的最短路径中,则中介中心性高,是网络的关键节点。点度中心性通过与节点直接连接的邻居数量衡量节点的直接连接能力。特征向量中心性[35]代表节点在网络中的综合影响力,不仅取决于节点自身的直接连接数,还取决于其邻居节点的重要性。本研究中的特征向量中心性经过了标准化计算(取值在[0,1]),值为1 的节点是网络中的绝对核心枢纽,直接连接到了多个高中心性节点,邻居的中心性值也很高,形成核心社群。鉴于篇幅有限,本研究将国内外研究中机构各指标降序排列前10的机构展示在表4表5中。

表4表5可以看出,国内中介中心性前3的是北京大学、清华大学、华东政法大学,国外是纽约大学(New York University)、哈佛大学、蒙纳士大学(Monash University),说明这些单位在国内外GenAI治理研究领域中发挥着关键的连接作用,在合作机会与数据共享上具有优势。国内特征向量中心性前3的是北京大学、北京师范大学以及南开大学,国外特征向量中心性前3的是蒙纳士大学(Monash University)、昆士兰大学(University of Queensland)、纽约大学(New York University)。国内点度中心性较高的是北京大学、南京师范大学、北京师范大学,国外点度中心性较高的是蒙纳士大学(Monash University)、昆士兰大学(University of Queensland)、纽约大学,同时这6家单位的3项指标基本都位列国内外排名的前10,表明这些机构在领域内处于合作活跃度高、影响力扩散快,在国内外本领域的研究中处于绝对核心地位,资源整合能力强,研究通过直接合作快速传播,容易形成学术集群,引领研究趋势,具有一定的学术生态主导力。

值得一提的是,在国外各项指标排名前10的机构中,点度中心性与特征向量中心性前10的机构完全一致。笔者检查了排名数据,发现排名10以后的机构就不再一致,经过仔细比对,这10家机构恰是图4中的国外机构网络中的核心群体。这说明该核心群体在国外本领域中处于绝对核心地位。

3 研究主题分析

研究主题的分析采用基于机器算法的BERTopic主题模型对中英文文献的摘要进行主题建模,在文本分词阶段,对中文文本采用了百度开发的LAC(lexical analysis of Chinese)中文分词工具[38]。该工具基于PaddlePaddle 深度学习平台,能够实现分词、词性标注与命名实体识别,具有较高的分词准确率,适合对科技文献进行深入分析[39]。英文文本采用了常用的Spacy分词工具。经过多轮实验,最终确定模型参数,结果见表6。在设定的参数条件下,识别出7个中文主题和5个英文主题,且都实现了较好的建模效果,中文主题一致性指数为0.39,英文主题一致性指数为0.73,各主题的文档数目以及占全部文档的比例见表7

图5图6显示了中英文文献的主题间距离与主题间语义相似度。其中主题间距离是相对于全局语义空间的计算结果,主题间语义相似度主要是根据关键词的相似度比例,更加关注局部内容[16]。本研究在对相近主题进行主题合并时,根据全局语义空间的主题间距离,如中文T3与T5在语义空间中距离较近且在同一象限可归为一类,同理英文T2与T3可归为一类。

表8为中英文研究主题的建模结果和根据特征词内容的主题归纳结果,其中每个主题的特征词按其权重降序排列给出前10个特征词。BERTopic模型通过将一个聚类主题中所有文档组合成长文档来计算词频并提取每个聚类中的核心特征词[40],这些词以不同的权重代表不同的主题。在根据特征词进行主题归纳时,如果排名前5的特征词与排名靠后的特征词内容差异较大,如英文数据T3特征词的前5个gen ai, ethical discussion, student perception, genai tool, genai technology,这些是很明显的与学生群体使用GenAI工具有关的内容,但后面的特征词却出现了sustainable energy(可持续能源),与前者内容差异明显,则舍弃靠后的特征词。根据主题建模结果与对文献内容的深度研读,本研究从治理场景出发,深入分析GenAI在具体场景的应用风险,以及针对这些风险提出的治理方案。GenAI治理场景的归纳结果见图7

3.1 数据安全治理

3.1.1 场景风险

GenAI的广泛应用带来的数据治理风险主要包括训练数据引发的版权风险、隐私泄露风险和数据污染风险。

GenAI依赖于海量多样化的训练语料,其语料来源于图书数字化和学术文献的收集,为了使大模型的训练效果尽可能地好,训练语料的规模通常可以达到10亿甚至上百亿个参数量[41],大规模的训练需求使大语言模型需要不断地获取大量的已有数据,其行为极易产生“未经授权”的获取[42-44]。对于数据爬取问题[44],国际社会对正当的数据爬取予以认可,但已有实例证明OpenAI涉嫌非法爬取大量用户信息数据[43],当GenAI开发机构利用非法数据爬取技术爬取我国境内数据并将其输出境时,就存在挑战我国数据主权的潜在风险。另一方面,GenAI会将用户的输入作为训练语料自动存入语料库,或在爬取某些网站时将用户的个人评价中包含的个人信息纳入语料库,并利用知识蒸馏的方法开展深度学习[45]。由于大模型不可能一一征求每个用户的同意再将数据纳入语料库,是否会侵犯他人的合法权益就变得非常模糊[46]

隐私泄露风险主要表现在GenAI在模型训练以及与用户交互的过程对个人敏感信息的获取[9],造成个人隐私或机密信息的泄露。数据污染风险可归纳为3种典型的数据失范情形:虚假内容[47]、敏感内容和不良内容[48]。其中虚假内容是指训练数据中包含虚假信息,敏感内容是指训练数据中涉及个人隐私、商业秘密或是国家安全等内容,不良内容是指训练数据中包含违法或敏感内容。除此之外,标注数据的质量参差不齐也会引发数据污染问题。张欣[49]指出,OpenAI引入了人类标注员模拟用户与系统对话,生成对话样本并对回复评分,这使得模型不断在人类的评价中学习。由于人类标注员的主观性与不可控性,可能在这一过程中引发模型产生毒害内容。

3.1.2 治理方案

针对GenAI存在的训练数据版权风险、隐私泄露风险和数据污染风险等数据安全风险,目前已有研究提出数据源头加强治理[9,43-50]、加强数据管理保障机制[43]、构建数据治理的治理框架、开发相应的治理技术[47]等治理方案。

在数据源头的治理方面,国家需要对数据输入端口进行严格监管,加强审查,保证GenAI流入数据的合法性[50],避免重要数据被非法纳入GenAI语料库[43],建立版权合理使用制度[6]。对于训练数据宜采用管制性监管与激励性监管并重的治理模式,确立技术、管理制度和责任一体的治理机制[7]

在加强数据管理保障机制方面,可从事前的数据保护与事后的应急处理2方面入手,需要GenAI开发机构负担有数据安全保障义务和数据安全突发事件应急义务[43]。对GenAI数据的管理保障机制可以从提升个体主体性、构建面向产业链的数据主体责任矩阵以及探索数据治理风险前瞻机制协同展开[49]。Belgodere等[51]提出一个全面审计框架,用于综合评估合成数据集和人工智能模型,该框架专注于防止偏差和歧视、确保与源数据的一致性。曾庆醒[52]针对数据污染问题提出采用渐进式技术治理策略,引入全过程风险管理理念。

在构建治理的理论框架方面,安小米等[53]提出大模型数据治理的理论框架,具体包括数据质量管理、数据管理、数据资源管理、数据资产管理、数据风险管理5个维度。Karpouzis[54]则从哲学的角度基于扩展认知和情境知识理论,认为减轻人工智能偏见需要审视其产生的文化背景。

在治理技术开发方面,陈锐等[48]通过“代码治理代码”的架构层面进行训练数据的治理,制定全面覆盖训练数据的数据安全标准与规则,以确保每个阶段的数据安全,开发者建立跨部门的数据安全小组,以及一套数据追踪与溯源系统。Yang等[47]提出一种针对AIGC内容的高效缓存机制方法,基于区块链技术确定AIGC内容所有者身份,能够在区块链环境中对生成内容进行访问控制与数据加密。Ye等[9]提出发展去标识化、加密存储等技术,平衡隐私保护和数据利用,建立数据空间和数据矩阵,保障数据流通安全。

3.2 网络舆论生态治理

3.2.1 场景风险

GenAI的网络舆论生态治理风险主要表现在深度伪造风险和意识形态风险。

GenAI引发的深度伪造问题来源于“深度学习”和“伪造”的结果[55],尽管GenAI较高的分析和生成能力已经能够解决我们日常学习和生活中的大部分问题,但从技术本质上来看,其生成的内容是基于对语料库内容上下文的学习和预测,并非从语义和逻辑的角度进行推理和判断的产物[56],因此可能会产生大量的虚假信息,生成具有感官欺骗或观念操纵的有害虚假信息[55],这种信息在网络空间中的大范围传播会在无形中对人们的思维和行为产生误导。尤其是类Sora的视频生成大模型的出现,对于越来越逼真但又缺少真实世界运行逻辑的AI视频,是否会影响青少年的认知判断?是否会变成犯罪分子的利器对老年人群实施诈骗?深度伪造风险将在一定程度上加剧“数字弱势群体”的数字平等权贫困[57]

意识形态风险主要表现在GenAI训练数据中带有的偏见与人工反馈中带有的潜在的价值观偏向,可能会作为输出的内容影响用户认知。我国对GenAI意识形态安全的探讨主要从哲学的角度[32],认为GenAI的技术原理与特点会造成人机协同操纵意识形态偏见从而导致话语权旁落[58],资本与技术的扩张导致资本逻辑内嵌于技术的意识形态之中,此风险在公共治理领域尤其显著,GenAI的意识形态输入会对自我判断能力有限的大众有潜移默化的影响。同时,随着GenAI的智能化程度不断提高,其逐渐成为网络空间的主要“信息生产者”,操控者可利用GenAI发布大量无效的冗余信息,压制有效信息,干扰主流意识形态信息的传播[32,56-58]

3.2.2 治理方案

尽管存在诸多风险,深度伪造在创意娱乐领域、教育领域以及商业领域等仍有一定的利用价值,如利用深度伪造技术“复活”逝者,为失去亲人的家庭提供帮助;帮助变性患者想象未来的自己[59];人工智能直播者销售产品、新闻广播、虚拟评论员等[60],此类应用解放了许多人力资源。因此,对深度伪造风险的治理需结合其利用价值进行针对性的风险治理,如对攻击性的深伪技术展开“反Deepfake”检测并实施进攻性治理[61],成立专门的伪造风险应对小组,坚持敏捷治理的理念,对风险事件及时响应并作出评估[61]。同时国家层面的法律法规也不可缺少,目前中国出台了《深度合成互联网信息服务管理规定》[62],美国出台了《深度伪造责任法案》[60]

针对GenAI技术广泛应用带来的意识形态风险,在宏观角度,在坚持马克思主义的思想引领的同时,我国需强化国有资本对GenAI平台的引领,避免开发应用中急功近利的短视,推进主流意识形态的传播,在国际层面,需深度参与全球治理,为全球人工智能治理贡献中国智慧[56];在微观角度,国家应形成共建共创的协同治理模式,政府、AI文化企业、科研机构、行业协会组织及公众等多方利益相关者共同参与[63],完善分布式监管网络,提升智能化监管水平[64],建立健全GenAI技术的意识形态安全治理的法律法规体系[58]。同时,从“技术规驯”的角度出发,我国可对GenAI应用的关键领域划分风险等级,对意识形态敏感领域设置特殊的应用规范,依据不同意识形态敏感领域的特点设置定向训练数据库和敏感词定向训练数据库[64]

总之,无论是深度伪造成的虚假信息风险还是意识形态风险,主要从3个方面展开治理实践:在思想方面,强化主流思想的引领;在机制建设方面,实施多元协同治理模式,完善宏观层面与微观层面的法律法规建设;在技术方面,加强技术智能监管水平,以智治智。

3.3 学术道德与伦理治理

3.3.1 场景风险

GenAI引发的学术道德与伦理风险主要包括学术不端风险与学术真实性、创新性、公平性伦理风险。

学术不端风险是指GenAI输出的结果可能包含他人的研究成果,而用户有很大概率在不知情的情况下,未经他人同意使用他人成果,由此构成学术不端行为。在论文支撑论据方面,合成技术已经让伪造图像变得容易[65]。随着GenAI生成内容被大量用于学术出版,一旦科研人员存在不良动机,各种学术不端行为会不断涌现,增加检测成本,影响科研产出的可信度,扰乱学术伦理秩序。

学术真实性伦理风险是指,由于GenAI是根据对海量训练数据进行学习来生成内容,如果对某一专业领域的训练数据不足或落后,大模型就很容易出现编造内容的“幻觉”现象,如编造虚假参考文献[66],因此其生成内容缺乏真实性的保证。学术创新性伦理风险是指,长期使用AI辅助工具可能会使研究人员形成工具依赖,造成学术创新性下降[67]。学术公平性风险包括,如果GenAI的预训练数据来自某一语言环境,则其对其他语言的研究内容可能存在偏见[67],模型输出的内容会对训练数据的语言环境进行倾斜,同时还有可能包含一些歧视性的言论,损害学术研究的中立品格[68]。另一方面,鉴于GenAI的使用主要局限于拥有大量经济和技术资源的国家和机构,这将加剧全球范围的技术鸿沟和学术不平等[69],马太效应更加明显。

3.3.2 治理方案

对GenAI的学术道德与伦理治理方案主要包括3个方面,分别是治理规则的制定、监管框架的设计与技术治理措施。

治理规则的制定包括法律法规的制定与治理规范的构建。有学者提出要构建适应AI时代的“软硬并举”法律体系,在修改已有法或制定新法时,增加关于GenAI学术使用的规定,将广大科研人员利用GenAI从事科研活动纳入规制范围,严惩扰乱学术伦理秩序的行为[67]。在行政法规、部门规章层面,增强法律的可操作性[67],健全指导和约束GenAI学术使用的软法规范,为利用GenAI开展学术研究提供系统性规制[67]。同时,健全问责制度,出版机构应建立学术责任机制,明确要求作者对其运用GenAI的部分承担学术责任[70]

监管框架的设计包括多元协同监管与全生命周期的监管。对GenAI学术使用的伦理治理需联合多方主体,明确角色定位与责任分担。政府机构需要加强制度规范建设,学术机构需要加强成果审查,科研人员需要承担学术责任并披露研究过程中的AI工具使用情况[67]。完善多元主体协同治理机制不仅需要政府、科研机构、科研人员、立法机构的参与,在行业层面,也需要建立一个多方共同参与的AIGC监督出版的技术框架[70],确保GenAI使用的透明度。此外,需要对GenAI学术使用进行全过程的伦理治理,基于技术生命周期实施针对性的监管策略[71]

技术治理措施主要是从技术层面加强对内容的审查与监管,包括对生成内容进行真实性验证,引入专家系统对关键性、敏感性内容进行人工审核[70]。在实践中,出版机构应采用AI技术检测辅助人工验证,从而确认是否存在学术不端现象[69],形成人机协作工作模式,提供监管的效率。

3.4 教育场景风险治理

3.4.1 场景风险

GenAI在教育场景下的风险主要表现为师生关系弱化、学生思维惰性、伦理与公平性3个方面。

师生关系弱化是指,GenAI在教育场景下的应用使传统的“师-生”二元关系结构转变为“师-机-生”三元关系结构[72],技术成为教育关系的一部分,加剧师生关系中教师的技术恐惧与技术崇拜,加剧学生的技术沉溺[72]。教师可能因过于依赖GenAI而降低教学能动性,学生也易于形成资源依赖,从而影响学习潜能的激发[73]

学生思维惰性的风险来源于学生对智能技术的依赖[74],这种技术依赖在不同的教育阶段有着不同的风险表现。对于初级教育阶段的学生,三观尚未稳定,缺乏对智能技术的辨别与驾驭能力,极易受到AI的制约或禁锢。学生难以接收到异质化的信息和多维观点[73],模型具有的算法偏见将导致学生逐渐依赖智能产品且思维与认知极易受到GenAI生成内容的影响,使得学生缺乏自主学习、探究学习的意愿和能力[73],形成思维惰性。对于高等教育阶段的学生,尤其是本科阶段和研究生阶段的学生,GenAI的便利性使学生容易依赖即时答案而放弃深入的系统思考,从而阻碍批判性思维的养成[75],碎片化的信息也不利于系统思考,影响自主知识体系的构建。

GenAI的伦理与公平性风险在教育场景下表现为训练数据中已有的偏见长期存在,干扰教育效果[76] 。一方面,算法中的刻板印象可能对学生造成持续性的风险侵害[77],一些种族偏见或刻板印象会干扰学生的认知;另一方面,欠发达地区可能会过分肯定GenAI生成内容的价值,破坏教育公平性[77]

3.4.2 治理方案

教育场景下的治理方案包括深化技术伦理教育与健全监管保障机制2大方面。其中深化技术伦理教育包括2个方面:一方面,针对学生群体,需加强技术伦理教育,结合思想引导与行为规劝[75],注重培养学生的技术自觉性,不依赖和滥用技术;另一方面,针对教师主体,教师应坚持“以人为本”的教育理念,善于发挥GenAI嵌入教学过程的积极价值,提高数字素养,主动变革学业评价模式,促进学生高阶思维的养成[78],培养数智化人才。

健全监管保障机制包括以下内容:针对高等教育群体的学术不端侦查检测方式[75],作为规制措施可以促使学生在使用GenAI工具时提高警惕,对生成内容的真实性进行仔细辨别,避免过度技术依赖;建立GenAI教育应用的监管体系,以实现“培养人”为教育目的,实施准入机制,提高准入门槛。以政府和教育组织为主导对GenAI进行审查,对适合介入教育活动的GenAI颁发准入许可[72],并持续性检测与阶段性评估。

3.5 医疗健康风险治理

3.5.1 场景风险

GenAI的一些固有弊端在医疗健康领域会变得更加明显,主要包括隐私泄露风险、虚假信息风险、伦理与不公平风险。

隐私泄露风险是指GenAI在医疗环境中的数据泄露,包括敏感信息泄露、侵犯隐私权等对患者安全构成威胁[79]。由于GenAI模型在训练过程中,需要持续通过大规模的数据集学习语言知识和上下文理解能力[42],尽管发布模型时会进行脱敏处理,但并不能保证所有的敏感信息或个人隐私信息都被删除,可能在某次模型输出时造成数据泄露[42]。此外,GenAI也会受到恶意攻击,一旦黑客通过这些漏洞获取到模型数据也会造成严重的数据泄露[9,32,43-80]

虚假信息风险是指AI模型的幻觉问题引发生成虚假医学信息,导致患者接收错误的信息,影响诊断结果[81]。同样也有可能误导医生,造成误诊。同时,在数据训练阶段也存在数据投毒的危险,如恶意篡改基因组数据库等[81]。伦理与不公平风险是指由于经济和地理的差异,可能使得部分群体无法获取AI赋能的医疗资源[82],技术的进步带来更严峻的马太效应,加剧医疗不公。

3.5.2 治理方案

针对医疗健康领域的治理方案,主要包括2个方面。一方面,实施多元协同治理模式,Jackson等[5]提出,要推动多利益相关方协作,包括患者有权知晓数据用途并选择是否参与AI训练,医护人员需要采取措施来监督AI辅助决策的行为,避免技术依赖导致的诊断失误,同时国际相关组织应积极推动国际监管标准的统一;另一方面,建立监管保障机制,建立AI责任追溯机制[81],明确临床决策中AI失误的法律问责方。同时,在实践中还需要建立跨学科的伦理委员会,汇集技术专家、医生以及法律专家,制定AI应用规范,处理医疗纠纷中的伦理争议[82]

4 研究结论

本文通过对GenAI安全治理主题相关的中英文文献进行计量分析和主题建模,揭示了当前国内外的核心发文结构、合著情况与研究内容,据此得出以下研究结论。

第一, GenAI主题的国内外研究尚处于初步探索阶段。近3年的发文数量(中文206篇英文83篇)较少,但呈现明显的上升趋势(图2),可见关于GenAI安全治理的探讨是近年逐渐兴起的热点话题。随着GenAI技术的不断更新迭代,初期阶段暴露的问题有助于纳入后续研发设计中,推进技术革命的顺利进行。

第二,在机构特征方面,国内外在GenAI安全治理研究领域的发文机构大多具有法学研究背景,且具有局部合作特征。从2.2节的分析结果可见,本主题的发文单位中政法类的院校发文数量较多,这些院校依托深厚的法学积累,对GenAI安全治理研究与实践探索前期具有重要意义。在机构合作情况方面,国内外都形成了一定的局部合作特征,有少量合作紧密的研究团队,且合作网络中已经出现了一些关键机构,如国内的北京大学、北京师范大学、南京师范大学,国外的纽约大学、昆士兰大学等。

第三,在研究主题方面,目前国内外主要聚焦于数据安全、网络舆论、学术道德与伦理、教育以及医疗健康场景下的风险治理研究。数据安全风险包括训练数据引发的版权风险、隐私泄露风险和数据污染风险,网络舆论生态风险主要包括深度伪造和意识形态风险,学术道德与伦理的风险包括学术不端、真实性、创新性风险,教育场景下的安全风险包括师生关系弱化、学生思维惰性风险,医疗健康领域的风险包括隐私泄露、虚假信息误导风险。其中学术道德、教育与医疗健康领域由于牵扯到与人类受众的直接交互,生成内容直接影响人类生产生活的正常运行,因此这3个场景下都涉及伦理与公平性的风险问题。

第四,目前已有的治理措施与方案主要分为4类。1)加强思想引领与技术教育。在网络舆论空间中加强主流思想的引领作用,谨防意识形态风险,对不同阶段的学生加强技术教育工作,培养学生正确使用技术,谨防技术依赖与学术不端。2)建立健全法律法规。对不同场景的风险需要统一的纲领性规制,同时也需要有针对性的政策法规。3)完善监管保障体系,推动形成多元协同治理模式,对各个场景都需要建立针对性的风险监管检测体系,如学术委员会或伦理委员会的建立、监管条例的设定等。4)加强技术监测能力,形成敏捷治理模式,加强智能监测技术的开发,及时监测并约束风险行为。

综上,在对国内外研究现状与研究主题进行深入分析的基础上,本文对我国GenAI安全治理研究与实践得出以下启示。

1)积极推动区域协同创新,同时促进跨区域的广泛交流与合作。《GenAI应用发展报告(2024)》报告[83]显示,截至2024年6月,我国GenAI产品的用户规模达到2.3亿人,各个领域都有针对性的大语言模型问世,如糖尿病诊疗多模态大模型[84],罕见病诊断模型[85],科技文献大模型[86]等,由于不同领域有不同的应用特点和治理需求,需要各界学者协同创新,不仅要区域内合作,针对区域特点进行治理研究;还要开展广泛的跨区域交流与合作,了解不同区域的挑战与需求,为国家构建差异化的多元治理格局筑牢科研底座。

2)加强GenAI安全评估技术的研究,提倡负责任的技术开发,加强行业自治。国内外已有对GenAI的安全性进行评估的技术开发,我国在这方面的技术研发还处于起步阶段。在GenAI技术飞速迭代的时代背景下,如何能确保安全性是该技术是否能运用到实践中的关键,尤其是在政府机关和科研单位中的应用。同时,技术开发主体需要秉持负责任的开发原则,不能一味地追求创新和利益而对技术中的安全和伦理隐患视为不见。

3)推动建立全方位全流程的监管和规制体系。风险问题的解决不能依赖某一种或某一个治理模式或管理框架,而是需要协同治理、敏捷治理、伦理评价框架以及针对数据的治理方案综合发挥作用。因此,在国家层面需推动建立全方位的监管和规制体系,由于GenAI在不同的场景中各有其风险挑战的特殊性,因此需针对性地考虑到技术在场景中的全流程应用特点。

4)建立“用户-企业-行业-政府”多元协同治理机制,促进国际组织协同治理。对于GenAI的多元协同治理,需要用户、企业、政府、行业的多主体参与式治理,在不同角度对技术的安全隐患实时反应。同时国际组织也需要加强协同治理,不能各自为政,为此联合国等国际组织需要发挥相应的价值。

5)提升不同层次的用户素养,谨防技术过度依赖。无论是使用GenAI的中小学生、本科生、研究生还是科研人员,都需要提升自我的技术素养,谨防技术依赖造成的认知偏差或学习能力下降。对于初高等教育阶段的用户,教育者在对提升用户素养和监管用户使用方面发挥很大的作用。对于科研人员来说,需要注意无论是GenAI还是更进一步的人工智能体的应用,本质上都是为了提升任务效率的工具,不能在工具的使用中形成认知惰性,过于信任工具或过于排斥工具都是不可取的,重要的是对度的把握。

综上,本文对国内外GenAI安全治理领域的研究现状展开了计量分析,并对治理与研究实践提出了启示建议。但本文数据来源有限,分析结果难以做到全面覆盖,同时,本研究的分析较为笼统,虽揭示了总体概况,但对每种风险场景的细致挖掘不够,解释性分析不足。这些将在后续的研究中将进行改进与完善。

参考文献

[1]

任丽梅. 生成式人工智能赋能哲学社会科学研究的机理与实践[J]. 观察与思考, 2025(5): 15-25.

[2]

(Ren L M. Mechanisms and practices of generative artificial intelligence empowers philosophical and social sciences research[J]. Observation and Ponderation, 2025(5): 15-25.)

[3]

程琼, 刘宏达. 基于生成式人工智能的思想政治教育场景构建及其风险防范[J]. 国家教育行政学院学报, 2024(8): 87-95.

[4]

(Cheng Q, Liu H D. The construction and risk prevention of ideological and political education scene based on AGI[J]. Journal of National Academy of Education Administration, 2024(8): 87-95.)

[5]

沈苑, 房斯萌, 柳晨晨, . 生成式人工智能教育应用治理:案例与反思[J]. 开放教育研究, 2024, 30(6): 39-47.

[6]

(Shen Y, Fang S M, Liu C C, et al. The governance of generative artificial intelligence in educational applications: cases and reflections[J]. Open Education Research, 2024, 30(6): 39-47.)

[7]

Vani Lakshimi R, Clare R S, Kamath A. Demystifying the ethical framework for generative AI in healthcare: a data science perspective[C]// Artificial Intelligence in Healthcare: First International Conference, AIiH 2024, Swansea, UK, September 4-6, 2024, Proceedings, Part II. Berlin, Heidelberg: Springer-Verlag, 2024: 279-289.

[8]

Jackson B R, Rashidi H H, Lennerz J K, et al. Ethical and regulatory perspectives on generative artificial intelligence in pathology[J]. Archives of Pathology & Laboratory Medicine, 2025, 149(2): 123-129.

[9]

汤贞友, 谢艺婕. 生成式人工智能数据使用的版权侵权风险及其治理[J]. 中国出版, 2024(21): 56-61.

[10]

(Tang Z Y, Xie Y J. The risk of copyright infringement in the use of generative artificial intelligence data and its governance[J]. China Publishing Journal, 2024(21): 56-61.)

[11]

孙清白. 论人工智能大模型训练数据风险治理的规范构建[J]. 电子政务, 2024(12): 41-52.

[12]

(Sun Q B. On the normative construction of risk management of artificial intelligence big model training data[J]. E-Government, 2024(12): 41-52.)

[13]

姚怡帆, 胡峰, 许正中. 生成式人工智能赋能政府数据安全治理的机遇、风险及应对[J]. 智库理论与实践, 2024, 9(4): 1-11.

[14]

(Yao Y F, Hu F, Xu Z Z. Opportunities, risks, and countermeasures for empowering government data security governance with generative artificial intelligence[J]. Think Tank: Theory & Practice, 2024, 9(4): 1-11.)

[15]

Ye X B, Yan Y H, Li J, et al. Privacy and personal data risk governance for generative artificial intelligence: a Chinese perspective[J]. Telecommunications Policy, 2024, 48(10): 102851.

[16]

储节旺, 杜秀秀. 生成式人工智能赋能科研知识生产研究述评[J]. 大学图书馆学报, 2024, 42(3): 108-117.

[17]

(Chu J W, Du X X. Research review of generative artificial intelligence empowering knowledge production in scientific research[J]. Journal of Academic Libraries, 2024, 42(3): 108-117.)

[18]

潘丽. 生成式人工智能的伦理问题研究综述:基于CiteSpace的文献计量与可视化分析[J]. 昆明理工大学学报(社会科学版), 2025, 25(2): 57-68.

[19]

(Pan L. A comprehensive review of ethical issues in generative artificial intelligence: a bibliometric and visualization analysis based on CiteSpace[J]. Journal of Kunming University of Science and Technology (Social Sciences), 2025, 25(2): 57-68.)

[20]

张小燕. 生成式人工智能数据研究综述:风险、挑战与治理[J]. 图书情报工作, 2025, 69(9): 136-148.

[21]

(Zhang X Y. A review of researches on generative artificial intelligence data: risks, challenges, and governance[J]. Library and Information Service, 2025, 69(9): 136-148.)

[22]

周子番, 邱均平, 魏开洋. 从文献计量学到“五计学”:计量学方法的演化与发展[J]. 情报杂志, 2021, 40(10): 171-178.

[23]

(Zhou Z F, Qiu J P, Wei K Y. From bibliometrics to “five-metrics”: the evolution and development of bibliometrics methods[J]. Journal of Intelligence, 2021, 40(10): 171-178.)

[24]

邱均平. 科学计量学[M]. 北京: 科学出版社, 2016.

[25]

(Qiu J P. Scientometrics[M]. Beijing: Science Press, 2016.)

[26]

沃瑟曼斯坦利, 福斯特凯瑟琳. 社会网络分析:方法与应用[M]. 北京: 中国人民大学出版社, 2025.

[27]

(Wasserman S, Faust K. Social network analysis: methods and applications[M]. Beijing: China Renmin University Press, 2025.)

[28]

Grootendorst M. BERTopic: neural topic modeling with a class-based TF-IDF procedure[EB/OL]. [2025-07-01].http://arxiv.org/abs/2203.05794.

[29]

Devlin J, Chang M W, Lee K, et al. BERT: pre-training of deep bidirectional transformers for language understanding[EB/OL]. [2025-07-01].http://arxiv.org/abs/1810.04805.

[30]

Abuzayed A, Al-Khalifa H. BERT for arabic topic modeling: an experimental study on BERTopic technique[J]. Procedia Computer Science, 2021, 189: 191-194.

[31]

卢加文, 陈雅. 基于BERTopic模型的国际开放科学主题挖掘研究[J]. 国家图书馆学刊, 2025, 34(2): 99-113.

[32]

(Lu J W, Chen Y. Research on international open science topic mining based on BERTopic model[J]. Journal of the National Library of China, 2025, 34(2): 99-113.)

[33]

Introducing ChatGPT[EB/OL]. (2024-03-13)[2025-07-01]. https://openai.com/index/chatgpt/.

[34]

胡裕岭, 姚浩亮. 生成式人工智能的数据治理与“囚笼”:基于行业主体自我监管的回应型研究[J]. 征信, 2024, 42(2): 46-57.

[35]

(Hu Y L, Yao H L. Data governance and the“cage” for ChatGPT-like generative artificial intelligence: responsive research based on self-regulation by industry subjects[J]. Credit Reference, 2024, 42(2): 46-57.)

[36]

童云峰. 生成式人工智能技术风险的内部管理型规制[J]. 科学学研究, 2024, 42(10): 2038-2046.

[37]

(Tong Y F. Internal management regulation of generative artificial intelligence technology risk[J]. Studies in Science of Science, 2024, 42(10): 2038-2046.)

[38]

刘宪权, 董文凯. 行刑二元:生成式人工智能治理的新范式[J]. 探索与争鸣, 2024(7): 127-136.

[39]

(Liu X Q, Dong W K. Dual governance of administrative law and criminal law: a new paradigm of generative artificial intelligence governance[J]. Exploration and Free Views, 2024(7): 127-136.)

[40]

丛立先, 李泳霖. 人工智能文生视频大模型的作品风险、著作权归属及有效治理[J]. 新疆师范大学学报(哲学社会科学版), 2024, 45(6): 101-111.

[41]

(Cong L X, Li Y L. Work risks, copyright ownership and effective governance for artificial intelligence text-to-video large model[J]. Journal of Xinjiang Normal University (Philosophy and Social Sciences), 2024, 45(6): 101-111.)

[42]

支振锋, 刘佳琨. 伦理先行:生成式人工智能的治理策略[J]. 云南社会科学, 2024(4): 60-71.

[43]

(Zhi Z F, Liu J K. Ethics first: governance strategies for generative artificial intelligence[J]. Social Sciences in Yunnan, 2024(4): 60-71.)

[44]

向征. “黑镜”中的对垒:生成式人工智能背景下网络意识形态风险与防范[J]. 社会科学战线, 2024(4): 18-24.

[45]

(Xiang Z. Mitigating ideological risks in the era of generative artificial intelligence on the internet[J]. Social Science Front, 2024(4): 18-24.)

[46]

肖红军, 张丽丽. 大模型伦理失范的理论解构与治理创新[J]. 财经问题研究, 2024(5): 15-32.

[47]

(Xiao H J, Zhang L L. Theoretical deconstruction and governance innovation of ethical misconduct in large model[J]. Research on Financial and Economic Issues, 2024(5): 15-32.)

[48]

何宇华, 李霞. 生成式人工智能虚假信息治理的新挑战及应对策略:基于敏捷治理的视角[J]. 治理研究, 2024, 40(4): 142-156.

[49]

(He Y H, Li X. New challenges and countermeasures of false information governance in generative artificial intelligence: based on the agile governance perspective[J]. Governance Studies, 2024, 40(4): 142-156.)

[50]

邵红红. 生成式人工智能版权侵权治理研究[J]. 出版发行研究, 2023(6): 29-38.

[51]

(Shao H H. Research on copyright infringement governance of generative artificial intelligence[J]. Publishing Research, 2023(6): 29-38.)

[52]

陈英达, 王伟. 由“急用先行”走向“逐步完善”:生成式人工智能治理体系的构建[J]. 电子政务, 2024(4): 113-124.

[53]

(Chen Y D, Wang W. From “priority for urgent needs” to “gradual improvement”: construction of generative artificial intelligence governance system[J]. E-Government, 2024(4): 113-124.)

[54]

李焕宏, 薛澜. 加强生成式人工智能在高等教育领域中的风险管理:基本框架与关键举措[J]. 高等教育研究, 2024, 45(2): 31-38.

[55]

(Li H H, Xue L. Enhancing risk management in higher education for generative artificial intelligence: basic framework and key measures[J]. Journal of Higher Education, 2024, 45(2): 31-38.)

[56]

袁雨晴, 陈昌凤. 道德物化:大模型人机价值对齐的技术伦理进路[J]. 南京社会科学, 2024(6): 88-97.

[57]

(Yuan Y Q, Chen C F. Moralizing technology: human-machine value alignment and ethic in large language models[J]. Nanjing Journal of Social Sciences, 2024(6): 88-97.)

[58]

Dotan R, Parker L S, Radzilowicz J G. Responsible adoption of generative AI in higher education: developing a “Points to Consider” approach based on faculty perspectives[EB/OL]. [2025-07-01]. http://arxiv.org/abs/2406.01930.

[59]

Capraro V, Lentsch A, Acemoglu D, et al. The impact of generative artificial intelligence on socioeconomic inequalities and policy making[J]. PNAS Nexus, 2024, 3(6):191.

[60]

Dwivedi R, Elluri L. Exploring generative artificial intelligence research: a bibliometric analysis approach[J]. IEEE Access, 2024, 12: 119884-119902.

[61]

俞鼎, 李正风. 生成式人工智能社会实验的伦理问题及治理[J]. 科学学研究, 2024, 42(1): 3-9.

[62]

(Yu D, Li Z F. Ethical issues and governance in generative artificial intelligence social experiment[J]. Studies in Science of Science, 2024, 42(1): 3-9.)

[63]

曾粤亮, 高顺, 曹高辉. 面向突发公共卫生事件的跨学科科研合作网络特征及其启示[J]. 情报科学, 2025, 43(5): 147-159.

[64]

(Zeng Y L, Gao S, Cao G H. Characteristics and inspirations of interdisciplinary research collaboration networks for public health emergencies[J]. Information Science, 2025, 43(5): 147-159.)

[65]

Jiao Z, Sun S, Sun K. Chinese lexical analysis with deep Bi-GRU-CRF network[EB/OL]. [2025-05-27]. http://arxiv.org/abs/1807.01882.

[66]

Jieba分词和LAC分词词性对比分析[EB/OL]. [2025-07-01]. https://developer.baidu.com/article/details/2968419.

[67]

(Comparative analysis of part-of-speech tagging between Jieba segmentation and LAC segmentation[EB/OL]. [2025-07-01]. https://developer.baidu.com/article/details/2968419.)

[68]

杨思洛, 于永浩. 基于BERTopic模型的国内信息资源管理研究主题挖掘与演化分析[J]. 情报科学, 2024, 42(8): 12-21.

[69]

(Yang S L, Yu Y H. Topic mining and evolution analysis of information resource management research based on BERTopic model[J]. Information Science, 2024, 42(8): 12-21.)

[70]

支振锋. 生成式人工智能大模型的信息内容治理[J]. 政法论坛, 2023, 41(4): 34-48.

[71]

(Zhi Z F. Information content governance of large model of generative artificial intelligence[J]. Tribune of Political Science and Law, 2023, 41(4): 34-48.)

[72]

赵梓羽. 生成式人工智能数据安全风险及其应对[J]. 情报资料工作, 2024, 45(2): 30-37.

[73]

(Zhao Z Y. Data security risks and countermeasures of generative artificial intelligence[J]. Information and Documentation Services, 2024, 45(2): 30-37.)

[74]

钭晓东. 论生成式人工智能的数据安全风险及回应型治理[J]. 东方法学, 2023(5): 106-116.

[75]

(Tou X D. On the data security risk of generative AI and its responsive governance[J]. Oriental Law, 2023(5): 106-116.)

[76]

Li K G, Wu H, Dong Y P. Copyright protection during the training stage of generative AI: industry-oriented U.S. law, rights-oriented EU law, and fair remuneration rights for generative AI training under the UN's international governance regime for AI[J]. Computer Law & Security Review, 2024, 55: 106056.

[77]

黄震华, 杨顺志, 林威, . 知识蒸馏研究综述[J]. 计算机学报, 2022, 45(3): 624-653.

[78]

(Huang Z H, Yang S Z, Lin W, et al. A review of knowledge distillation research[J]. Chinese Journal of Computers, 2022, 45(3): 624-653.)

[79]

刘辉, 雷崎山. 生成式人工智能的数据风险及其法律规制[J]. 重庆邮电大学学报(社会科学版), 2024, 36(4): 40-51.

[80]

Liu H, Lei Q S. Data risk of generative artificial intelligence and its legal regulation[J]. Journal of Chongqing University of Posts and Telecommunications (Social Science Edition), 2024, 36(4): 40-51.)

[81]

Yang F, Abedin M Z, Qiao Y N, et al. Toward trustworthy governance of AI-generated content (AIGC): a blockchain-driven regulatory framework for secure digital ecosystems[J]. IEEE Transactions on Engineering Management, 2024, 71: 14945-14962.

[82]

陈锐, 江奕辉. 作为生成式人工智能核心驱动力的训练数据的治理研究[J]. 情报资料工作, 2024, 45(4): 87-95.

[83]

(Chen R, Jiang Y H. Research on the governance of training data as the core driving force of generative artificial intelligence[J]. Information and Documentation Services, 2024, 45(4): 87-95.)

[84]

张欣. 生成式人工智能的数据风险与治理路径[J]. 法律科学(西北政法大学学报), 2023, 41(5): 42-54.

[85]

(Zhang X. Data risks and governance pathways of generative artificial intelligence[J]. Science of Law (Journal of Northwest University of Political Science and Law), 2023, 41(5): 42-54.)

[86]

李森. 风险防范视阈下生成式人工智能数据安全的治理路径:以GPT类模型为例[J]. 西藏民族大学学报(哲学社会科学版), 2023, 44(6): 139-145.

[87]

(Li S. The governance path for data security in AIGC from the perspective of risk prevention: taking GPT class models as an example[J]. Journal of Xizang Minzu University (Philosophy and Social Sciences Edition), 2023, 44(6): 139-145.)

[88]

Belgodere B, Dognin P, Ivankay A, et al. Auditing and generating synthetic data with controllable trust trade-offs[J]. IEEE Journal on Emerging and Selected Topics in Circuits and Systems, 2024, 14(4): 773-788.

[89]

曾庆醒. 涌现效应下的生成式人工智能数据污染及其治理路径[J]. 法学杂志, 2024, 45(5): 53-69.

[90]

(Zeng Q X. AIGC data pollution under emergent effects and its governance approaches[J]. Law Science Magazine, 2024, 45(5): 53-69.)

[91]

安小米, 龙志奇, 邝苗苗. 标准化视角下大模型数据治理的理论框架及其构成要素研究[J]. 情报资料工作, 2024, 45(6): 75-83.

[92]

(An X M, Long Z Q, Kuang M M. Research on the theoretical framework and constituent element of large model data governance under the standardization perspective[J]. Information and Documentation Services, 2024, 45(6): 75-83.)

[93]

Karpouzis K. Plato’s shadows in the digital cave: controlling cultural bias in generative AI[J]. Electronics, 2024, 13(8): 1457.

[94]

冉连, 张薇. AIGC中的深度伪造信息:生成机理与治理策略:基于行动者网络理论的分析框架[J]. 信息资源管理学报, 2025, 15(2): 137-150.

[95]

(Ran L, Zhang W. Deepfake information in AIGC: generation mechanisms and governance strategies: an analytical framework based on actor-network theory[J]. Journal of Information Resources Management, 2025, 15(2): 137-150.)

[96]

代金平, 覃杨杨. ChatGPT等生成式人工智能的意识形态风险及其应对[J]. 重庆大学学报(社会科学版), 2023, 29(5): 101-110.

[97]

(Dai J P, Qin Y Y. Ideological risks and countermeasures of generative artificial intelligence such as ChatGPT[J]. Journal of Chongqing University (Social Sciences Edition), 2023, 29(5): 101-110.)

[98]

江国华, 顾红松. 数字弱势群体的权利贫困治理[J]. 学习与实践, 2024(11): 25-33.

[99]

(Jiang G H, Gu H S. The governance of rights poverty among the digital disadvantaged groups[J]. Study and Practice, 2024(11): 25-33.)

[100]

帅建强, 韩源. 浅析生成式人工智能意识形态风险样态、生成诱因及其治理逻辑[J]. 西南民族大学学报(人文社会科学版), 2024, 45(3): 186-193.

[101]

(Shuai J Q, Han Y. An analysis of the risk patterns, generating causes, and governance logic of ldeology in generative artificial intelligence[J]. Journal of Southwest Minzu University (Humanities and Social Sciences Edition), 2024, 45(3): 186-193.)

[102]

Westerlund M. The emergence of deepfake technology: a review[J]. Technology Innovation Management Review, 2019, 9(11): 39-52.

[103]

Broinowski A, Martin F R. Beyond the deepfake problem: benefits, risks and regulation of generative AI screen technologies[J]. Media International Australia, 2024: 1329878X241288034.

[104]

许敏, 肖书嫣. 生成技术与视听操纵:AIGC时代深度伪造的内在机理与治理策略[J]. 北京邮电大学学报(社会科学版), 2024, 26(4): 27-35.

[105]

(Xu M, Xiao S Y. Generative technology and audiovisual manipulation: internal mechanisms and governance strategies for deepfake in age of AIGC[J]. Journal of Beijing University of Posts and Telecommunications (Social Sciences Edition), 2024, 26(4): 27-35.)

[106]

互联网信息服务深度合成管理规定[EB/OL]. [2025-05-29]. https://www.moj.gov.cn/pub/sfbgw/flfggz/flfggzbmgz/202307/t20230705_482071.html.

[107]

(Provisions on the administration of deep synthesis of internet information services[EB/OL].[2025-05-29].https://www.moj.gov.cn/pub/sfbgw/flfggz/flfggzbmgz/202307/t20230705_482071.html.)

[108]

解学芳, 曲晨. 价值对齐:AIGC时代的人工智能文化科技伦理风险与精准共治路径研究[J]. 兰州大学学报(社会科学版), 2024, 52(3): 147-156.

[109]

(Xie X F, Qu C. Value alignment: research on the risks of AI cultural technology ethics and good governance in the AIGC era[J]. Journal of Lanzhou University (Social Sciences), 2024, 52(3): 147-156.)

[110]

欧阳林洁, 张永红. 生成式人工智能应用的意识形态风险:命题由来、生成机制与治理进路[J]. 学术探索, 2023(11): 7-16.

[111]

(Ouyang L J, Zhang Y H. The propositional origin, generative mechanism and governance approach of ideological risk of generative AI application[J]. Academic Exploration, 2023(11): 7-16.)

[112]

Jones N. How to stop AI deepfakes from sinking society: and science[J]. Nature, 2023, 621(7980): 676-679.

[113]

Blanco-González A, Cabezón A, Seco-González A, et al. The role of AI in drug discovery: challenges, opportunities, and strategies[J]. Pharmaceuticals, 2023, 16(6): 891.

[114]

姚俊智. 生成式人工智能参与学术出版的伦理风险及其调治[J]. 出版发行研究, 2024(11): 89-96.

[115]

(Yao J Z. On ethical risks of generative artificial intelligence involvement in academic publishing and its regulation[J]. Publishing Research, 2024(11): 89-96.)

[116]

Hutson M. Robo-writers: the rise and risks of language-generating AI[J]. Nature, 2021, 591(7848): 22-25.

[117]

蒋雪颖, 刘欣. 生成式人工智能技术下的学术生产与出版:变革、失范与路径[J]. 数字图书馆论坛, 2023(5): 64-71.

[118]

(Jiang X Y, Liu X. Scholarly production and publishing under generative AI: changes, disorder, and path[J]. Digital Library Forum, 2023(5): 64-71.)

[119]

陈雨, 杨璐颖, 冯锐. 从内容生产到秩序重塑:生成式AI出版的内容生产风险与规制研究[J]. 出版广角, 2024(22): 61-67.

[120]

(Chen Y, Yang L Y, Feng R. From content production to order reshaping: research on content production risk and regulation of generative AI publishing[J]. View on Publishing, 2024(22): 61-67.)

[121]

邹太龙, 熊芹菁. 生成式人工智能学术性使用的不端风险及其治理[J]. 济南大学学报(社会科学版), 2024, 34(6): 163-167.

[122]

(Zou T L, Xiong Q J. Risks of academic misconduct induced by generative AI and its governance[J]. Journal of University of Jinan (Social Science Edition), 2024, 34(6): 163-167.)

[123]

吴砥, 吴河江. 通用大模型教育应用的潜在风险及其规避:基于技术伦理的视角[J]. 华东师范大学学报(教育科学版), 2024, 42(8): 64-75.

[124]

(Wu D, Wu H J. Potential risks of the application of general large model education and their avoidance: from the perspective of technology ethics[J]. Journal of East China Normal University (Educational Sciences), 2024, 42(8): 64-75.)

[125]

赵磊磊, 闫志明. 生成式人工智能教育应用的生态伦理与风险纾解[J]. 贵州师范大学学报(社会科学版), 2023(5): 151-160.

[126]

(Zhao L L, Yan Z M. Ecological ethical and risk reduction of generative artificial intelligence education applications[J]. Journal of Guizhou Normal University (Social Sciences), 2023(5): 151-160. )

[127]

张惠彬, 许蕾. 生成式人工智能在教育领域的伦理风险与治理路径:基于罗素大学集团的实践考察[J]. 现代教育技术, 2024, 34(6): 25-34.

[128]

(Zhang H B, Xu L. Ethical risks and governance approaches of generative artificial intelligence in education: based on the practical investigation of the Russell University Group[J]. Modern Educational Technology, 2024, 34(6): 25-34.)

[129]

田贤鹏, 肖智琦. 生成式AI赋能研究生科研写作的学术伦理与风险防控[J]. 现代教育技术, 2024, 34(8): 23-32.

[130]

(Tian X P, Xiao Z Q. Academic ethics and risk management of graduate research writing empowered by generative AI[J]. Modern Educational Technology, 2024, 34(8): 23-32.)

[131]

Deng X N, Joshi K D. Promoting ethical use of generative AI in education[J]. ACM SIGMIS Database: the DATABASE for Advances in Information Systems, 2024, 55(3): 6-11.

[132]

王佑镁, 王旦, 王海洁, . 基于风险性监管的AIGC教育应用伦理风险治理研究[J]. 中国电化教育, 2023(11): 83-90.

[133]

(Wang Y M, Wang D, Wang H J, et al. Research on risk governance of AIGC educational application ethics based on risk regulation[J]. China Educational Technology, 2023(11): 83-90.)

[134]

周洪宇, 常顺利. 生成式人工智能嵌入高等教育的未来图景、潜在风险及其治理[J]. 现代教育管理, 2023(11): 1-12.

[135]

(Zhou H Y, Chang S L. Generative AI embedded in higher education: future scenarios, potential risks and solutions[J]. Modern Education Management, 2023(11): 1-12.)

[136]

Wang Y Y, Liu C, Zhou K Y, et al. Towards regulatory generative AI in ophthalmology healthcare: a security and privacy perspective[J]. The British Journal of Ophthalmology, 2024, 108(10): 1349-1353.

[137]

徐凌验. 大模型安全风险及治理路径研究[J]. 信息安全研究, 2024, 10(10): 975-980.

[138]

(Xu L Y. Research on security risk and governance path of large models[J]. Journal of Information Security Research, 2024, 10(10): 975-980.)

[139]

Chen Y, Esmaeilzadeh P. Generative AI in medical practice: in-depth exploration of privacy and security challenges[J]. Journal of Medical Internet Research, 2024, 26: e53008.

[140]

Iliuță M E, Trentesaux D, Pop E, et al. Integration of generative artificial intelligence in medicine:first steps toward an ethical risk management methodology[C/OL]// 2024 E-Health and Bioengineering Conference (EHB). IASI, Romania: IEEE, 2024: 1-6[2025-05-29]. https://ieeexplore.ieee.org/document/10805663/.

[141]

沙鹏程. 我国生成式人工智能产品用户规模达2.3亿人[EB/OL]. [2025-05-29]. https://www.gov.cn/yaowen/liebiao/202411/content_6990362.htm.

[142]

(Sha P C. The number of users of generative artificial intelligence products in China has reached 230 million.[EB/OL]. [2025-05-29].https://www.gov.cn/yaowen/liebiao/202411/content_6990362.htm)

[143]

Li J J, Guan Z Y, Wang J, et al. Integrated image-based deep learning and language models for primary diabetes care[J]. Nature Medicine, 2024, 30(10): 2886-2896.

[144]

跻身国际前沿、助力分级诊疗|罕见病AI大模型“协和⋅太初”正式进入临床应用[EB/OL].[2025-05-29]. https://www.pumch.cn/lys_details/40037.html.

[145]

(Ranks among the international forefront and supports hierarchical medical diagnosis and treatment:the rare disease AI large model“Xiehe·Taichu” officially enters clinical application[EB/OL]. [2025-05-29]. https://www.pumch.cn/lys_details/40037.html.)

[146]

刘小容. 全国首批:讯飞星火大模型通过国家标准认证[N]. 合肥日报, 2024-09-10(3).

[147]

(Liu X R. Among the first in China:iFlytek spark large model obtains national standard certification[N]. Hefei Daily, 2024-09-10( 3).)

PDF (15044KB)

503

访问

0

被引

详细

导航
相关文章

/