《电力图计算系统技术要求 第1部分 总则.docx》由会员分享，可在线阅读，更多相关《电力图计算系统技术要求 第1部分 总则.docx（12页珍藏版）》请在第壹文秘上搜索。
1、ICSCCST/CEC中国电力企业联合会团体标准T/CECXXXXX-XXXX电力图计算系统技术要求 （草案）第1部分总则TechnicalrequirementsforgridgraphcomputingsystemPart1GeneralXXXX -XX-XX 发布XXXX-XX-XX实施中国电力企业联合会前言II1范围12规范性引用文件13术语和定义14图计算系统概述14.1 图计算系统14.2 图数据模型25技术架构25.1架构图25.2 存储层35.3 计算层35.4 接口层45.5 工具层45. 6应用层46技术架构56. 1基本要求56.2 存储功能要求56.3 计算功能要求56
2、.4 工具功能要求67技术特性要求67.1 容灾能力要求67.2 兼容性要求67. 3可扩展性要求67.4 运维管理能力要求67.5 性能要求78应用能力要求7错误!未定义书签。错误!未定义书签。错误!未定义书签。8. 1图挖掘8.2图表示学习8. 3图深度学习8.4 电网拓扑分析78.5 电力系统计算方法79安全技术要求79. 1基本要求79.4 身份鉴别要求79.5 访问控制要求79.6 安全审计要求89.7 5数据安全要求8-XjL.刖三本文件按照GB/T1.1-2020标准化工作导则第1部分：标准化文件的结构和起草规则的规定起草。电力图计算系统技术要求分为4个部分：一一第1部分：总则；
3、第2部分：数据模型与交互；一一第3部分：系统评测；一一第4部分：查询与算法接口。本部分为电力图计算系统技术要求的第1部分。本文件由中国电力企业联合会提出。本文件由中国电力企业联合会电力先进计算标准化委员会(CECTC20)归口并解释。本文件起草单位：XXXX、XXXX、XXXX。本文件主要起草人：XXX、XXX、XXXo本文件为首次发布。本文件在执行过程中的意见或建议反馈至中国电力企业联合会标准化管理中心(北京市向广路二条一号，100761)O电力图计算系统技术要求第1部分总则1范围本文件规定了电力行业图计算系统的概述、技术架构、技术功能要求、技术特性要求、应用能力要求、安全技术要求等。本文件
4、适用于电力行业图计算系统的设计、研发、测试、评估等。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件,仅该日期对应的版本适应于本文件：不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T20273信息安全技术数据库管理系统安全技术要求GB/T35273信息安全技术个人信息安全规范GB/T37722信息技术大数据存储与处理系统功能要求3术语和定义下列术语和定义适用于本文件。3. 1图计算graphcomputing以“图论”为基础的对数据的一种“图”结构的抽象表达，以及在这种数据结构上的计算模式。来源：GB/T37722-
5、20193.2图计算一种应用图理论存储实体及其之间关系信息的非关系型数据库。来源：GB/T37722-20194图计算系统概述图计算适用于电网等大规模复杂网络系统分析与优化，已在千万级设备节点规模省级电网主配一体融合建模、拓扑分析、潮流计算中得到初步应用，是电力系统高性能分析优化的一种全新技术路线。在，电网一张图，的发展目标下，结合新型电力系统特性，图计算技术在全景电网拓扑构建与数据融合及分析、大规模电气计算和电力知识图谱三大应用场景中具有优势。4.1 图计算系统图计算系统是对图结构数据进行处理的系统，图计算系统会对图结构数据进行针对性优化高效计算。图计算系统应用图形理论存储实体之间的关系信息
6、，相对于传统关系型计算模式，它也更擅于处理网状的友杂关系。最常见的例子是社会网络中人与人之间的关系。图计算系统能够自然地表示和高效地查询数据的关系信息并且易于水平扩展。图计算系统的应用场景包括：社交网络（社区发现等）、实时推荐（好友推荐、资讯推荐、智能营销等）、安全防控（风险事件预警、可信判断、防虚假交易、反套现等）、知识图谱（娱乐知识图谱、商品知识图谱、失联信息修复等）。4.2 图数据模型图计算系统基于“图”的数据结构，利用图的特性来对数据进行存储管理，并对传统图的概念进行了扩展。图计算系统以有向属性图或以主谓宾的三元组的数据模型对数据进行表示，利用实体（即“顶点”）及实体之间的关系（即“边
7、”）来对各类业务场景进行抽象。图的数据模型具备如下特征：a）应由顶点和边构成，应使用顶点来表示实体，使用边来表示实体之间的关系。b）应使用顶点属性来表示实体的属性，以及实体元数据，比如时间戳、版本号等。c）应使用边的属性来表示实体之间关系的强度、权重或质量，以及关系的元数据，比如时间戳、版本号等。d）应使用边的方向来表示实体之间关系的语义，边的方向应有一个源顶点和一个目标顶点。e）宜使用主谓宾的三元组模式表达，是由从“主语”到“宾语”的一条有向边来表示，边上的标签用谓词表示。5技术架构5.1架构图图计算系统的硬件部署架构，可分为单机部署和分布式部署，以单机部署为例:a）内存宜采用大容量，不小于
8、64GB；b）硬盘容量宜不小于内存4倍，宜使用SSD硬盘；c）CPU处理器宜不小于16核；图计算系统的技术架构图，如下图所示：应用层工具层 接口层计算层存储层应用程序用户探作界面工具图形化查询工具数据导入导出工具I查询接口 II算法接口 I高可用服务引孽 I心跳监控器II配置监控器I I状态监控器I I统计管理器I图查询引擎I直询解析器II查询优化器I I查询必理器I I更新修理器I图分析引孽I基础图论更法一|I图优化算法 I图推理算法一 I图淙度学习数据加载引一I快速队列I I实时更新器I I块加载器I I批量更新器I图存储引擎分区管理器 I 分区 I I I分区图1图计算系统架构图a）图计
9、算系统可分为应用层、工具层、接口层、计算层和存储层。b）存储层应由图存储引擎构成，其中包括分片管理器和若干个存储数据的分片，实现图数据的存储功能。C）计算层宜由高可用服务引擎、图查询引擎、图分析引擎、数据加载引擎构成，实现图计算的高可用服务、图查询计算、数据加载、图分析等功能。d）接口层宜支持主流查询接口和主流算法接口，提供二次开发能力。e）工具层宜由用户操作界面、图形化查询工具和数据导入导出工具组成。f）应用层应基于图计算的计算层和存储层的功能，来提供上层应用，比如社交网络、安全风控、知识图谱等。5.2 存储层a）存储层用于基于分片来存储图数据，应包括若干个分片，和分片管理器。b）分片用于实
10、现图数据的分布式存储。c）分片管理器用于实现对分片的管理，功能应包括寻址、负载均衡、集群管理等。5.3 计算层5.3.1 概述计算层应提供图数据的加载、查询、处理、分析等功能，包括高可用服务引擎、图查询引擎、数据加载引擎、图分析引擎。5.3.2高可用服务引擎高可用服务引擎应提供图计算的高可用服务，可包括心跳监控器、配置监控器、状态监控器、统计管理器等功能组件。a）心跳监控器用于监控图计算系统的心跳，并进行自动容错恢复。b）配置监控器用于监控图计算系统的配置情况，及时发现系统配置上的问题。c）状态监控器用于监控图计算系统的运行状态，及时发现系统运行状态的异常。d）统计管理器用于统计图计算系统的性
11、能指标，并进行可视化展示。1.3.3 图查询引擎图查询引擎应提供图计算的查询、计算等功能，应包括查询解析器、查询优化器、查询处理器、更新处理器等功能组件。a）查询解析器用于解析接收到的查询指令。b）查询优化器，用于对查询活动进行执行计划的优化。c）查询处理器用于执行解析后的查询指令，根据不同的操作，调用不同的执行器。d）更新处理器用于执行对图数据的更新操作，包括新增、修改、删除等操作。1.3.4 数据加载引擎数据加载引擎应提供数据加载功能，应包括批量生成、增量加载、实时更新等方式，可包括快速队列、实时更新器、块加载器、批量更新器等功能组件。a）快速队列用于缓存流数据源的实时数据更新请求，调用相
12、应的实时更新器，来更新这些数据。b）实时更新器用于处理流数据源的实时数据更新。c）块加载器用于实现数据块的增量加载。d）批量更新器用于实现图数据的批量生成和更新。e）说明：数据加载引擎的实现可以不限于上述功能组件。5. 3.5图分析引擎图分析引擎应提供图指标、基础图论算法、图优化模块，宜提供图推理、图深度学习等模块。a）图指标模块负责计算指标，表征图的基本状态。b）基础图论算法模块负责执行基于经典图论的算法，包含路径计算和子图挖掘相关算法等。c）图优化模块使用图论算法进行组合优化。d）图推理模块提供支持知识图谱推理的能力。e）图深度学习模块提供支持图的特征抽取能力。5.4接口层接口层应提供主流
13、软件的查询接口和主流算法接口，提供面向应用的二次开发能力。a）查询接口用于与外部接口，接收来自于外部的查询指令。b）主流查询接口应适配具有较强生态开源框架的Gremlin、OPenCyPher或SPARQL等查询语言,接收来自于外部的查询指令，宜提供存储过程的过程式接口。c）主流算法接口应适配如Prege1、GAS等图算法迭代框架，接收来自于外部的算法命令。5.5工具层工具层应提供用户操作界面工具、图形化查询工具、数据导入导出工具。5.6应用层应用层应基于图计算的计算层、存储层、工具层的功能，来提供上层应用程序。6技术架构5.1 基本要求图计算系统宜符合GB/T37722-20196.5节“分
14、布式图计算”的要求。图计算系统应符合GB/T37722-20197.4节“图计算”的要求。5.2 存储功能要求图计算系统应具备如下的存储功能要求：a）宜具备图数据的分片存储功能；b）应基于有向属性图或以主谓宾的三元组的数据模型对图数据进行存储。c）应实现存储数据的一致性管理。5.3 计算功能要求6. 3.1高可用服务功能要求图计算系统应具备如下的高可用服务功能要求：a）应支持对系统心跳的监控，和自动容错恢复。b）宜支持对系统配置的监控，并及时发现系统配置上的问题。c）应支持对系统状态的监控，及时发现系统运行状态的异常。d）应支持对系统性能指标的统计，并进行可视化展示。e）宜支持系统动态伸缩、弹
15、性扩容等。7. 3.2图查询功能要求图计算系统应具备如下的图查询功能要求：a）应支持如下的功能操作：增删改查、连接、排序、聚合。b）应支持数值函数、字符函数、时间日期函数、类型转换、条件表达式、正则表达式、循环函数、聚合函数等多种函数。c）应支持添加新的操作符和自定义函数，来扩展图查询语言的功能。d）应支持对单个顶点和边，以及其属性的精准查询。e）应支持建立范围查询的索引。f）应支持对图查询结果的可视化展现。g）应支持单顶点、多顶点多层关系扩展查询，支持最短路径、最优路径遍历搜索。h）宜支持图上的子图匹配查询。i）宜支持主流图查询语言，如IGremlin、OPenCyPher和SPARQL等。8. 3.3图分析功能要求图计算
