支撑吉林省科学数据平台建设的科学数据标准体系研究☆

全志薇; 陈晓玲; 罗天琪; 毛刚

doi:10.15978/j.cnki.1673-5668.202204005

科学观察 ›› 2022, Vol. 17 ›› Issue (4) :68-75 DOI: 10.15978/j.cnki.1673-5668.202204005

研究论文

支撑吉林省科学数据平台建设的科学数据标准体系研究^☆

作者信息 +

Research on Scientific Data Standard System: Construction of Scientific Data Platform in Jilin Province

Author information +

文章历史 +

摘要

[目的/意义] 为了建立科学数据标准规范体系,指导吉林省科学数据资源开发与共享服务平台建设,[方法/过程]对比了国内外科学数据标准化工作的发展现状,分析了吉林省科学数据标准规范体系面临的问题。[结果/结论]提出了平台科学数据标准规范体系的设计、框架构成及其要素,并从平台的数据标准规范和技术标准规范两个方向提出了科学数据标准规范体系的建设,从政策规范、区域合作和科研项目等方面提出了指导科学数据标准规范体系落地应用的对策和建议。

Abstract

[Objective/Significance] To establish a scientific data standard specification system to guide the construction of scientific data resource development and sharing service platform in Jilin Province, [Method/Process] this paper compares the development status of scientific data standardization work at home and abroad, and analyzes the problems faced by the scientific data standard specification system in Jilin Province. [Results/Conclusions] This paper proposes the design of the scientific data standard specification system of the platform, the framework composition and its elements. It suggests that the scientific data standard specification system should be constructed from 2 directions of data standard specification and technical standard specification of the platform. It also puts forward countermeasures and suggestions to guide the application of the scientific data standard specification system on the ground from the aspects of policy specification, regional cooperation and scientific research projects.

Graphical abstract

关键词

标准规范 / 科学数据 / 数据管理 / 框架模型

Key words

standards and specifications / scientific data / data management / frame model

引用本文

引用格式 ▾

全志薇, 陈晓玲, 罗天琪, 毛刚. 支撑吉林省科学数据平台建设的科学数据标准体系研究^☆[J]. 科学观察, 2022, 17(4): 68-75 DOI:10.15978/j.cnki.1673-5668.202204005

Quan Zhiwei, Chen Xiaoling, Luo Tianqi, Mao Gang. Research on Scientific Data Standard System: Construction of Scientific Data Platform in Jilin Province[J]. Science Focus, 2022, 17(4): 68-75 DOI:10.15978/j.cnki.1673-5668.202204005

登录浏览全文

4963

注册一个新账户忘记密码

1 引言

科学数据是对科研活动进行的原始记录或加工处理过的信息,包括自然科学、工程技术科学等领域,通过基础研究、应用研究、试验开发等产生的数据,以及通过观测监测、考察调查、检验检测等方式取得并用于科学研究活动的原始数据及其衍生数据^[1]。科学数据客观性强,具有来源、生产方式、内容和形式规范的特征。科学数据元数据是对科学数据的内容、属性以及特征进行说明与解释,具有定位、发现、证明、引用、评估等功能^[2]。科学数据元数据标准是实现科学数据集中管理、挖掘数据潜在价值的基础。科学数据标准化是衡量科学数据资源管理水平的一个重要指标^[3]。

科学数据标准化研究对加强科学数据管理、挖掘数据价值具有巨大意义。国外科学数据标准化研究起步较早,1957年由国际科学联合会牵头并启动。国内科学数据标准化工作也逐步得到重视,2018年国务院印发了《科学数据管理办法》,从国家层面为科学数据标准化提供了重要政策依据。为了落实国家和地方的科学数据管理政策要求,立足地方科技发展实际需求和巩固基础研究力量,在推进吉林省科学数据资源开发与共享服务平台（简称“平台”）科学数据资源的交换与共享过程中,需要制定完善的科学数据标准规范体系^[4],做好科学数据标准规范体系统筹规划,加快推进科学数据标准化建设,为开展跨地域、跨机构的科学数据汇集和共建共享提供支撑。平台建设的目标和定位是,汇集吉林省政府资金支持的科技活动形成的自然科学、工程技术相关的科学数据,提升科学数据价值,形成科学数据的统一管理。平台需要实现科学数据的汇交采集、分级分类、加工整理、分析挖掘、数据发布等功能。平台科学数据包括记录数据、观察和检测数据、调查和监测数据、计算和模拟数据、分析数据等。平台科学数据元数据包括数据名称、关键词、简介、覆盖时间、共享条件、学科分类、关联对象、语种、创建者、所属机构、原始文件等数据属性信息。吉林省尚未建立科学数据标准规范体系,需要借鉴国内外研究成果,结合我省实际情况,提出我省科学数据规范体系设计及建议,为我省科学数据理论研究和应用实践提供参考借鉴。

2 国内外科学数据标准化工作发展现状

2.1 国外科学数据标准化工作发展现状

1957年国际科学联合会牵头,推进跨国家的科学数据共建共享,在多个学科领域成立世界数据中心及涵盖广泛学科领域的国际科技数据委员会,科学数据标准化工作逐步启动^[5]。大数据工作组（WG9）编制了基础性大数据国际标准,为大数据国际标准的建立提供指导。ITU-T开展了大数据交换框架和需求标准、大数据元数据框架和概念模型等多个国际数据标准的研制^[6],其中大数据基础设施评测框架、数据资产管理框架2项标准由中国信息通信研究院研制。美国是最先开展大数据标准化工作的国家之一,建立了较为完善的大数据标准化体系。美国成立了大数据公共工作组（NBD-PWG）,建立了大数据标准化工作框架,先后发布了涉及大数据分类、用例和一般需求、安全和隐私等研究报告^[7]。

2.2 国内科学数据标准化工作发展现状

我国科学数据标准化建设已经取得多项研究成果。从国家层面来看,《科学数据管理办法》为科学数据管理提供制度保障,明确国家科学数据全生命周期需要遵循的管理政策和标准规范^[8]。为推进《科学数据管理办法》落地和应用,科技部、财政部启动国家科学数据中心建设,进一步推动科学数据标准化工作。国务院还印发了《建设高标准市场体系行动方案》,明确提出要“加快培育发展数据要素市场”。建立了全国科技平台标准化技术委员会,负责推进科技平台建设、管理等方面的标准化工作,明确了大数据标准体系框架^[9]。中国科学院也开展科学数据标准的研制和应用^[10]。全国有序开展地方科学数据标准化建设,四川、江苏、上海等先后印发实施细则指导科学数据标准化,走在了地方科学数据标准化建设工作的前列。

国外在科学数据元数据标准化和科技资源数据平台建设方面相对比较成熟,国家层面在科技资源数据标准化建设方面也取得了巨大成绩,但是地方科学数据标准化建设工作起步相对较晚,各个平台的标准化基本是独立的,通用性差且重复性大,标准化建设工作不全面、不深入、适用性不强。

3 吉林省科学数据标准化工作存在的问题

在构建平台的过程中,需对来自不同数据库系统、不同数据结构、不同行业、不同机构的各类科技资源子系统的海量科学数据进行数据名称、类型、标准、接口、标识等属性的规范和统一,进而达到平台科学数据的深度融合与开放共享。当前,吉林省科学数据标准规范体系尚未建立,构建平台主要面临以下问题。

（1）标准规范研制工作缺乏统筹协调。标准规范研制缺乏统一的战略规划指导,科学数据标准之间不兼容的情况较为突出,造成数据融合存在较高的壁垒。

（2）标准规范管理不具有完整性。科学数据的全生命周期涉及的环节较多,且尚未形成覆盖全过程的科学数据管理的标准规范体系。

（3）标准规范体系推广宣传力度不足。由于缺乏对科学数据标准体系的宣传推广,各科研单位在建设信息系统的过程中未遵循统一的标准规范体系,也限制了科学数据标准体系的发展和应用。

4 科学数据标准规范体系设计

为了推动平台建设,实现科学数据的深度融合与开放共享,解决吉林省科学数据标准规范体系研制工作缺乏统筹协调、标准规范管理不完整、对标准规范体系认识不足等3项问题,本研究在吉林省科技计划发展项目的支持下,参考国内外现有大数据标准,如国家标准《信息技术科学数据引用》（GB/T 35294-2017）、《信息技术大数据接口基本要求》（GB/T 38672-2020）、《信息技术大数据数据分类指南》（GB/T 38667-2020）等,以及指导性技术文件,如国家科技基础条件平台中心的《科技平台标准化工作指南》和《科学数据管理办法》等,提出科学数据标准规范体系包括指导标准、通用标准和应用标准3个基本标准,用于指导科学数据采集、汇聚、存储、服务、应用的全生命周期管理,探索推进全省范围内适用的科学数据标准规范体系建设路径和方法。

4.1 需求分析

在构建平台的过程中,实现科学数据的统一管理,需要实现对各类科技资源子系统相关数据的采集并存储,推进科学数据的开放共享,需要构建统一的数据服务、数据应用功能。因此,科学数据体系结构包括数据采集、数据汇聚、数据服务和数据应用4个过程,前两个过程解决科学数据的采集与存储问题,后两个过程解决科学数据的开发与共享问题（图1）。

（1）数据获取。平台的科学数据以现有科技资源、合作机构数据、开放获得数据为核心,以科研项目产出的海量科学数据为补充。数据类型包括结构化、非结构化、半结构化等多种类型。数据采集方式包括数据库采集、分布式采集、网络采集等多种方式。

（2）数据汇聚。依据一定的规则,对分散的、异构的数据源进行抽取,经过数据去重、清洗、分类、抽取和识别,数据转换成标准的元数据格式进行存储。数据转换按照一定的规则对数据进行转换,使数据转换为标准化的元数据格式。数据清洗通过一定的技术手段保留有效数据、剔除异常数据,提升数据质量。

（3）数据服务。数据服务是采用数据关联、数据融合、数据发布与共享等技术方法,进行数据增值服务,发现并提供数据中隐性知识,实现数据价值输出,需要建立统一的数据服务接口标准规范。

（4）数据应用。数据应用过程是采用大数据分析、机器学习、数据可视化等技术手段,发现蕴含在数据中的规律,为管理决策提供数据支撑,挖掘数据价值。

4.2 建设原则

标准体系是指按照事物内在联系,在一定范围内形成的科学有机整体。标准体系建设是实现标准化的基础工作,是对标准化工作的顶层设计。基于此,平台科学数据标准规范体系的研制需要结合科学数据资源分类与资源管理生命周期的内在联系形成各类标准的有机整体,并应遵循开放性、需求导向性、协调性、适用性4项原则。

（1）开放性。根据平台的实际工作和需求进行延展和调整,遵循平台服务核心元数据等有关标准规定和要求。

（2）需求导向性。平台的标准规范体系研究以平台实际需求为导向,还要有相应的长效管理机制和规范要求。

（3）协调性。标准规范以国内外相关标准规范为基础性,加强内部规范间的横向对比,确保协调一致。

（4）适用性。平台科学数据应呈现出良好的数据分类体系和完整的元数据描述信息。

4.3 总体框架

通过科学数据体系结构标准化需求分析,解决平台构建过程中面临的问题,参考科学数据相关国家标准和行业标准,本文提出科学数据标准化体系框架,为构建平台、数据管理、数据服务等提供规范化指南。该标准体系框架分为指导标准、通用标准、应用标准3个层次^[11],如图2所示。指导标准是科学数据标准研制的依据,主要以相关法律法规、政策、国家标准为主。通用标准以指导标准为基础,根据科学数据的特征,制定一组广泛通用的科学数据标准。应用标准应遵循指导标准和通用标准,进一步对标准内容进行细化,包括数据标准规范和技术标准规范2大类^[12]。

4.3.1 指导标准

指导标准以国家最新的大数据标准、科技平台标准为基本遵循,为科学数据标准规范体系研制提供参考和指南,主要包括全国信息技术标准化委员会大数据标准工作组组织发布的大数据国家标准及由国家科技基础条件平台中心牵头起草的科技平台标准^[13]。

4.3.2 通用标准

通用标准参考指导标准的相关规范,将具有相通性的数据过程规范成标准。按照标准的应用场景,可以将通用标准划分为基础标准、采集汇聚标准、管理标准3个标准^[14]。

（1）基础标准。基础标准为整个科学数据标准体系提供基础模型、专业术语、数据分类等。基础模型提供标准体系框架、标准构成和相互关系,指导科学数据标准化工作。专业术语标准是为了实现跨领域科学数据汇聚,建立一套统一的、定义清晰的、语义表达明确的科学数据专业术语,在科学数据汇聚、管理、应用等过程中保持一致。数据分类标准兼顾科学数据产生的阶段（选题、猜想与假设、工作计划与试验、分析与论证、评估与应用）和研究领域进行分类,指导科学数据采集、共享和应用。

（2）采集汇聚标准。采集汇聚标准涉及科学数据元素、科学数据采集、科学数据预处理等。科学数据元素标准主要按照不同的学科种类,明确和统一各类科技资源子系统中的科学数据元素的名称、含义、类型、标准值等数据基础属性,使科学数据相关系统在设计、建设和使用的过程中使用相同标准的科学数据元素,为科学数据共享平台采集数据提供基础化的标准。采集汇聚标准主要是在各类科技资源子系统的基础上,使用不同的方法和技术手段,规范科学数据的数据接口、数据标准化处理、数据指标含义等。科学数据标准化处理是使用统一的标准,在科学数据ETL（Extract-Transform-Load）的过程中实现对质量的控制,提升科学数据质量,为科学数据的共享、应用奠定数据基础。

（3）管理标准。管理标准包括科学数据的数据库标准、数据质量标准、存储标准、安全标准等。数据库标准是数据库的概念结构、逻辑结构、物理设计等,为构建面向主题、稳定的、集成的数据仓库提供统一的标准。数据质量标准用于规范科学数据在ETL及应用过程中的质量控制和质量评价标准,提升科学数据的数据质量。存储标准是科学数据存储的健壮性、稳定性、及时性等功能性要求,明确科学数据存储相关系统的建设标准。数据安全标准作为科学数据标准体系的重要组成部分,是贯穿科学数据全生命周期的底线,主要包括平台和技术安全、信息安全、服务安全、应用安全等方面^[15]。

4.3.3 应用标准

基于上述的基础标准和通用标准,应用标准从科学数据实际应用出发进一步对数据标准内容精细化、准确化、体系化,包括科学数据标准规范和技术标准规范2大类。其中,数据标准规范针对核心元数据标准、数据交换格式设计规则等8个方面进行规范;技术标准规范服务于数据标准规范,从平台实际技术需求出发,指导科学数据库的建设和服务,主要包括元数据访问服务接口规范、数据发布规范、用户统一认证接口规范等3项内容^[16]。

（1）平台数据标准规范

◆ 核心元数据标准。建立核心元数据标准,需要明确元数据应用所需要的最小元数据元素,同时应兼容不同学科领域的特殊需求。元数据扩展、元数据应用的方案要充分考虑描述信息、元数据参考信息和联系信息等要素。其主要构成要素主要包括符号与缩略语、元数据的描述方法、核心元数据、核心元数据的扩展类型与规则、一致性要求等。

◆ 数据交换格式设计规则。数据交换格式需要适用于平台中心、分中心向用户提供数据服务采用的数据格式,其主要构成要素包括总体设计、业务流程梳理、数据标准化、XML数据交换格式结构设计规则、聚合数据元和数据元的设计规则、聚合数据元和数据元映射规则、XML Schema的设计规则、数据交换格式的设计流程。

◆ 公用数据元目录。公用数据元目录为数据编目、描述、组织管理以及数据交换等服务提供指南,其主要构成要素包括数据元的表达格式、表示方法、分组、目录、维护与管理、索引等。

◆ 数据资源标识符规范。数据资源应建立唯一标识符,并明确其编码的格式、规则、分配、管理、引用等。

◆ 数据分类与编码标准。数据分类与编码标准明确了科学数据分类以及科学数据到科学数据目录的映射关系。

◆ 数据集成汇交技术规范。数据集成汇交技术规范的构成要素包括汇交科学数据的种类及范围、汇交义务人的权利和义务、汇交的程序、汇交数据审核、汇交数据管理等。

◆ 数据质量评测方法与指标体系。数据质量是数据价值的基础,数据质量评估与评价是衡量科学数据价值的重要方法,既要达到通用数据质量标准,又要兼容专业领域数据质量标准。对于数据质量评测指标,应涵盖形式质量、内容质量、效果质量等相关内容。

◆ 数据引用标准。借鉴传统文献引用体系建设数据引用标准体系,既有利于保护数据创建者的知识产权,也可加强对数据引用的统计、分析,提供数据的定位和参考机制,增强科学数据的共享与应用。在制定数据引用标准的构成要素中,一是要考虑到领域的划分,分为通用领域数据引用格式和专业领域数据引用格式;二是按元素构成划分,分为必选元素和全部元素组成的两种引用格式^[17]。

（2）平台技术标准规范

◆ 数据交互接口规范。明确数据交互接口采用的协议、数据结构、参数标准与含义等,规范各类科技资源子系统信息交互、系统开发和运行维护管理。

◆ 数据发布规范。科学数据共享的前提,要考虑到数据分类、发布要求、发布对象、发布方式、质量控制等内容,主要规范数据信息共享的范围、种类、安全、管理、方式等要求,其主要构成要素包括发布主体、分类分级与发布范围、发布内容与格式、发布方式、发布程序、发布要求、系统安全管理、发布的组织管理和监督管理^[12]。

◆ 用户统一认证接口规范。明确各用户统一认证接口采用的协议、连接方式、调用参数以及数据的返回格式,其主要构成要素包括统一身份认证系统、系统建设规范等。

5 对策建议

科学数据是科研活动的重要产出和宝贵经验,科学数据的价值体现在对数据的使用上,实现对科学数据全流程管理,保障科学数据监测、分析、应用、共享的系统性、高效性、完整性、准确性,更好支撑科研发展、技术创新、社会发展,需要坚持不懈地推进科学数据标准化建设。科学数据标准化建设是需要长期坚持的基础工作,需要统筹规划、循序渐进,按照一定步骤,分阶段地开展科学数据标准化建设工作^[18]。

（1）为了解决科学数据统一管理,建立完善的政策规范是开展科学数据标准化实践的重要依据,吉林省人民政府印发了《吉林省科学数据管理办法》（吉政办发〔2018〕45号）,依托政策进行全省的科学数据管理。《科学数据管理办法》《公开科研数据的保存和维护》《资助科学研究提交数据管理计划审查指南》等政策、标准是科学数据管理的制度保障,为加强科学数据全生命周期管理、促进数据共享、提升数据价值、激发科学创新活力提供了重要依据。以科学数据政策和标准为基础,推动政策规范在平台中的落地应用,从信息系统、科研队伍、科研数据、数据共享应用等方面来规范和指导科研数据管理行为,鼓励机构和行业建设科学数据标准化的规划和实施,不断制定并完善相关政策。

（2）为了更好推进科学数据开放共享,科学数据管理部门应开展科学数据标准化的地域协作和机构合作。数据标准体系顶层设计工作是一项复杂而庞大的系统工程,需要多部门、多学科共同参与,形成统一的数据标准体系,遵循统一的数据标准体系开展数据标准化工作。在国家科学数据中心的统一管理下,首先,推进接入国家科学数据平台的开放共享,积累经验并为后续推广建立示范样板。然后,逐步开展省级数据节点,纵向向下延伸到地市州的科学数据标准化的建设、横向平行扩展到领域机构的科学数据标准化的建设,在省级数据中心的指导和协调下开展科学数据标准化建设工作。

（3）为了完善科学数据标准工作,科学数据管理部门应加强科学数据标准化建设主题（项目）合作,以平台接入数据资源探索,推进专题领域的科学数据标准化建设,促进科学数据标准化的共建共享。同时,应优先研制数据基础通用标准,着重加强研制数据服务标准。

（4）为了解决平台建设科学数据汇交全流程管理,建议优先研制数据基础通用标准,着重加强研制数据服务标准。数据标准体系的建设应重点满足科技资源各领域管理的共性要求,并不断拓展深化细分领域的标准化需求。

（5）为了提高科学数据标准化工作效果,需要加大科学数据标准化重要性的宣传及数据标准化人才的培养。加强科学数据管理标准的宣传,并对科学数据标准体系进行反馈和完善。加大力度培养数据标准化人才,提高从业人员的业务能力,加快我省科学数据的行业标准、专业标准、领域标准的制定,全面保障大数据时代我省科技领域的健康发展。

（6）为了达到科学数据开放共享意愿,需要强化科学数据标准化意识,特别是对于由财政资金资助的科研项目,其研究成果属于国家财产,科研过程中获得的科学数据在一定期限内应汇交到数据管理中心,向社会公开共享。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	SDS/T1003-2004, 科学数据共享工程技术标准[S].

[2]	刘嘉. 元数据导论[M]. 北京: 华艺出版社, 2002.

[3]	姚艳敏, 白玉琪. 农业大数据标准体系框架研究[J]. 农业大数据学报, 2019, 1(4): 76-85.

[4]	胡良霖, 郑晓欢, 朱艳华, 等. 中国科学院科学数据标准体系研究与实践[J]. 图书馆, 2019(11): 6-10.

[5]	郑鈜, 汪灏. 《数据安全法》的体系坐标与精细表达[J]. 西华大学学报(哲学社会科学版), 2020, 39(5): 16-20.

[6]	王卷乐, 石蕾, 徐波, 等. 我国科学数据标准体系研究[J]. 中国科技资源导刊, 2020, 52(5): 45-51, 77.

[7]	胡良霖, 朱艳华, 高瑜蔚, 等. 烟草科研大数据标准体系的构建[J]. 烟草科技, 2020, 53(4): 100-106.

[8]	朱天晨. 浅析大数据标准化工作现状与建议[J]. IT经理世界, 2020, 23(2): 191.

[9]	曹彦荣. 地理信息标准研制与信息共享环境实践[D]. 北京: 中国科学院地理科学与资源研究所, 2008.

[10]	王志军. 苹果信息化管理数学模型及专业信息服务系统构建[D]. 泰安: 山东农业大学, 2014.

[11]	麦绿波. 标准体系构建的方法论[J]. 标准科学, 2011(10): 11-15.

[12]	梅相月. 用户需求下科学数据共享平台优化研究[D]. 哈尔滨: 黑龙江大学, 2021.

[13]	徐枫. 科学数据共享标准体系框架[J]. 中国基础科学, 2003, 5(1): 44-49.

[14]	许东惠, 赫运涛, 王志强, 等. 面向科技资源管理的科技平台标准体系研究[J]. 中国科技资源导刊, 2020, 52(2): 1-6, 16.