ICS 35.020;35.240.01 GB L 70 中华人民共和国国家标准 GB/T 35295--2017 信息技术 大数据 术语 Information technology--Big data--Terminology 2017-12-29 发布 2018-07-01实施 中华人民共和国国家质量监督检验检疫总局 发布 中国国家标准化管理委员会 GB/T 35295--2017 前言 1: 范围 2术语和定义 2.1：大数据及其应用领域术语 2.2·密切相关的通用术语 参考文献 索引 GB/T352952017 前言 本标准按照GB/T1.1--2009给出的规则起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本标准由全国信息技术标准化技术委员会（SAC/TC28)提出并归口。 本标准起草单位：中国电子技术标准化研究院、浪潮软件集团有限公司、浪潮（北京）电子信息产业 有限公司、国家信息中心、华为技术有限公司、北京数码大方科技股份有限公司、山东省标准化研究院、 北京世纪互联宽带数据中心有限公司、清华大学 学、中科恒源信息科技有限公司、山西天地科技有限公司、 大唐软件技术股份有限公司、成都勤智数码科 技股份有限公司微软（中国）有限公司、福建亿榕信息技 术有限公司中国科学院计算机网络信息中心北京软件和信息服务交易所有限公司、北京华宇软件股 份有限公司四川长虹佳华数字技术有限公司、中兴通讯股份有限公司、四川久远银海软件股份有限公 司、北京东方通科技股份有限公司、北明软件股份有限公司、天津南大通用数据技术股份有限公司、重庆 云威科技有限公司广州赛宝认证中心服务有限公司、北京大学。 本标准主要起草人梅宏、高林、卫凤林、赵菁华、张群、王建华、黄先芝、吴楠、苏志远、宦茂盛、吕欣、 杨莉莉、符海芳、昊东亚、齐建军、万洋、玉凯、王文飞、周行健、王建民、王朝坤、张星华、莫宏波、 苏晓婷、芦效东、周训波、程之明、刘宇峰、吴志刚、许怡娴、苏江文、石松、胡良霖、闵京华、于铁强、 胡才勇、高冀鹏、张楠、李剑飞、邹代泉、黄、王东、程曦、乔文涛、赵大航、俞立平、汪疆平、王进宏、 冀辉、王洪越、李力、刘小茵、李尧、李宁、张展新、王静、李冰、陈海、徐洋、李易昂、赵俊峰。 学兔兔www.bzfxw.com 学兔兔www.bzfxw.com GB/T 35295--2017 信息技术大数据术语 1范围 本标准界定了信息技术大数据领域中的常用术语和定义， 本标准适用于大数据领域的科研、教学和应用。 2术语和定义 2.1大数据及其应用领域术语 2.1.1 大数据，“big data 真有体量巨大、来源多样、生成极快、且多变等特征并且难以用传统数据体系结构有效处理的包含 大量数据集的数据。 注：国际上，大数据的4个特征普遍不加修饰地直接用volume、variety、velocity和variability于以表述，并分别赋 予了它们在大数据语境下的定义 a）体量：volume构成大数据的数据集的规模。 b）：多样性，variety：数据可能米自多个数据仓库，数据领域或多种数据类型 e)：：速度：velocity：单位时间的数据流量 d）多变性：variability：大数据其他特征，即体量、速度和多样性等特征都处于多变状态。 2.1.2 数据生存周期 data lifecycle 将原始数据转化为可用于行动的知识的一组过程。 2.1.3 大数据参考体系结构big data reference architecture 种用作工具以便于对大数据内在的要求，设计结构和运行进行开放性探讨的高层概念模型 注：比较普遍认同的大数据参考体系结构一般包含系统协调者、数据提供者、大数据应用提供者、大数据框架提供 者和数据消费者等5个逻辑功能构件。 2.1.4 系统协调者： :. system orchestrator 大数据参考体系结构中的种逻辑功能构件，它定义所需的数据应用活动并将它们整合到可运行 的垂直系统中 注1：系统协调者可以是人、软件或这二者 注2：系统协调者一般包括业务领导者、咨询师、数据科学家、信息体系结构设计师、软件体系结构设计师安全体 系结构设计师、个人信息保护体系结构设计师和网络体系结构设计师。 2.1.5 数据提供者：dataprovider 大数据参考体系结构中的一种逻辑功能构件，它将新的数据或信息引入大数据系统。 注：数据提供者一般包括：企业、公共机构、科学家、调研大员、从事数据搜索的工程师、网络应用软件、网络运营商 和未端用户。 学兔兔www.bzfxw.com GB/T 35295--2017 2.1.6 大数据应用提供者bigdataapplicationprovider 大数据参考体系结构中的种逻辑功能构件，它执行数据生存周期操作，以满足系统协调者定义的 需求以及安全和隐私保护需求。 注：大数据应用提供者般包括：应用领域专家、平台领域专家咨询师。 2.1.7 大数据框架提供者big dataframeworkprovider 大数据参考体系结构中的一种逻辑功能构件：它建立种计算框架，在此框架中执行转换应用，同 时保护数据完整性和隐私。 注：大数据框架提供者一般包括：内嵌数据集集群、数据中心和云提供者。 2.1.8 数据消费者：data consumer 大数据参考体系结构中的一种逻辑功能构件，它是使用大数据应用提供者提供的应用的末端用户 或其他系统 注数据消费者一般包括，末端用户，调研人员、应用和系统 2.1.9 基础设施框架 infrastructure framework 由网络、计算、存储和环境等功能构件构成的一种集合。 注1网络、计算、存储和环境的解释如下： a）·网络：支持将数据从一个资源传输到另一个资源的资源（如，已定义的物理资源、软件资源、虚拟资源 等)。 6）：计算：执行和驻留其他大数据系统构件（如，物理资源、操作系统、虚拟实现、逻辑分布）的软件的物理处 理器和存储器 存储：在天数据系统中保存数据的资源（如，存储器、本地磁盘、独立磁盘的软/硬件余阵列、存储域网、 附网存储）。 d）：环境建立大数据系统时必须考虑的物理辅助资源（如，供电，冷却等） 注2：这是大数据框架提供者可能提供的一种框架。 2.1.10 数据平台框架data platform framework 用于指导实现结合相关应用编程接口（API)访问的逻辑数据组织和分发的集合。 注1，此类框架般还包含数据注册和连同语义数据描述(如格式化本体或分类)的元数据服务，逻辑数据组织的 覆盖范围从简单限定的平面文件到完全分布式关系数据存储或分栏数据存储。 注2：这是大数据框架提供者可能提供的一种框架。 2.1.11 处理框架processing framework 覆盖为支持大数据应用实现所需基础设施软件的，定义数据的计算和处理的集合。 注：这是大数据框架提供者可能提供的一种槟架。 2.1.12 消息/通信框架：messaging/communications framework 源于高性能计算环境、为水平扩展集群中节点之间的可靠查询、传输和接收数据提供API的集合。 注这是大数据框架提供者可能提供的一种框架。 2.1.13 资源管理框架 resource nanagement framework 大数据框架提供者可能提供的，利用数据本地化作为种输人变量来确定是否安装新的处理框架 2 学兔兔www.bzfxw.com GB/T 35295--2017 元素（如，主节点、处理节点、作业位置），从而实现对CPU和存储两大资源高效且有效管理的集合。 注，这是大数据框架提供者可能提供的一种框架。 2.1.14 大数据系统big data system 实现大数据参考体系结构的全部或部分功能的系统。 2.1.15 大数据服务：big data service 基于大数据参考体系结构提供的数据服务。 2.1.16 垂直扩展 vertical scaling 为提高性能而提高处理速度、存储和内存等系统参数的过程。 2.1.17 水平扩展horizontal scaling 将集成的一群个体资源作为一个单系统使用的过程。 2.1.18 大数据范例bigdataparadigm 一种由水平耦合分布式数据系统和独立资源组成的、用于实现为有效处理众多数据集所必需的可 伸缩性的知识。 2.1.19 大数据工程化bigdata engineering 为适应大数据对于有效存储、操作和分析的需求而运用治理独立资源的先进技术构建可伸缩数据 系统的过程。 2.1.20 大规模并行处理massivelyparallel processing 多个处理器并行工作以执行个特定计算任务的过程。 2.1.21 分布式文件系统distributed file system 多个结构化数据集分布在一个或多个服务器集群的各个计算节点的文件系统。 注：此类系统中，数据可能分布在文件和/或数据集层，更为普遍的是在数据块这个层级分布，同时支持集群中多个 节点与大型文件和7或数据集的不同部分交互。 2.1.22 分布式计算distributed computing 一种覆盖存储层和处理层的、用于实现多类型程序设计算法模型的计算模式。 注：分布式计算结果通常加载到分析环境。MapReduce是数据分布式计算中默认的处理构件。 2.1.23 分散-聚集scatter-gather 大数据集的处理形式，其中所需的计算被划分并分布在集群的多个节点王，整体结果由每个节点的 结果合并而成 注：分散-聚集通常要求对处理软件的算法