《电力大数据项目简介.docx》由会员分享，可在线阅读，更多相关《电力大数据项目简介.docx（8页珍藏版）》请在第壹文秘上搜索。
1、电力大数据项目简介XX科技股份有限公司编制目录一、电力大数据项目背景3二、客户情况及市场情况41客户情况4技术选型2.市场情况4错误!未定义书签。四、项目团队构成错误!未定义书签.五、团队成员技能需求错误!未定义书签.一、电力大数据项目背景近年来，互联网、物联网、社交网络等技术的突飞猛进，引发了数据规模的爆炸式增长，大数据已经普遍存在，能源、交通运输业等领域都积累了TB级、PB级乃至EB级的大数据。数据的迅猛增长预示着以数据驱动的“数据科学”时代到来，国内外都制定和启动了大数据研究计划，投入大量资金支持大数据研究。2012年，美国政府宣布启动“大数据研究与开发计划”。2013年美国电力科学研究
2、院(EPR1.)启动了两项大数据研究项目：输电网现代化示范项目和配电网现代化示范项目。德国联邦经济和技术部启动了未来能源系统技术促进计划，在6个示范项目中，普遍利用了大数据技术，分别从促进可再生能源发展、开发商业模式、能源服务、能源交易及传统的化石能源如何融入能源互联网等方面推出了能源互联网初步解决方案。加拿大实施了PowerShiftAt1.antic项目，其目的是通过控制热水器、空调等跟踪风力发电的变动，从而保持电力需求实时平衡，是对信息与能源交互的进一步探索。2012年，中国在国家层面提出把“大数据作为科技创新主攻方向之一，打造以大数据驱动的智能电网。十三五数据中国建设下智能电网产业投资
3、分析及前景颈测报告分析认为智能电网大数据结构复杂、种类繁多，具有分散性、多样性和复杂性等特征，这些特征给大数据处理带来极大的挑战。智能电网是以物理电网为基础，将现代先进的传感测量技术、通信技术、信息技术、计算机技术和控制技术与物理电网高度集成而形成的智能电网。二、客户情况及市场情况1 .客户情况(1)数据体量巨大。智能电网部署了大量的智能电能表和其他监测设备，产生了大量的历史数据且在迅速增长，从TB级别，跃升到PB级别。常规数据采集与监视控制(SUPerviSOryCOntro1.andDadaAequis1.ion,SCADA)系统10000个遥测点，按采样间隔34s计算,每年产生1.03T
4、B数据。(2)数据结构复杂，种类繁多。电网数据具有显著的分布式和异构特性，数据广域分布、种类众多，包括实时数据、历史数据、文本数据、多媒体数据、时间序列数据等各类结构化、半结构化数据，以及非结构化数据，各类数据查询与处理的频度和性能要求也不尽相同。比如，电力设备状态监测数据中的油色谱数据05h果样一次，而绝缘放电数据的采样速率高达几百kHz,甚至GHzo(3)实时性要求(速度)高且增长快。能源生产、转换和消费要求瞬间完成，电网大数据中包含着很多实时性数据，数据的分析结果也往往具有实时性要求。(4)数据价值高。大数据应用贯穿电力发,输、配用、调度等各个环节，通过大数据技术应用可对各个阶段进行预测
5、，及时发现潜在风险，保证电网的安全性和电价的经济性：大数据应用催生了更多的互联网商业模式，甚至将影响不同区域一次能源的价格体系。2 .市场情况电力大数据大致可分为3类：电力系统运行和设备检测、实时状态数据，电力企业营销数据和电力企业管理数据。其中，电力企业营销数据又包括交易电价、售电量、用电客户等方面的数据。随着我国智能电网以及能源互联网的建设越来越深入，大数据技术已成为支律智能电网安全运行最重要的方法，因此要充分挖掘电力大数据的价值。(1)辅助电源系统协同运行决策。电力多源系统协同优化决策的前提是对大量、翔实、可靠的信息进行及时处理，缺乏全面的信息资源将会造成决策的偏差、失误，以及管理效率的
6、低下。具体而言，在电源端，包含了大量分布式电源、微网、储能装置，还需实现电力与供热(冷)、供气和交通系统的互动，只有建立起电力与其他能源的营、配、调一体化数据融合系统，利用大数据技术进行分析，才能保证多种能源的智能生产与配送。(2)支持电力安全稳定经济运行。电力系统本身是一个动态实时变化的系统，因此必须实时监测系统的运行状态，快速处理各种情况，保证系统的安全检定运行。统计发现，大多数电网故陈主要是设备故原问题引发的，通过收集设备的全寿命周期数据(实验数据、运行数据及气候环境数据等)。建立设备运行模型，有利于实时评估设备状态，从而避免由于设备故障造成的电网事故。(3)催化新商业模式的形成。在构建
7、能源互联网过程中，数以百亿计的设备需要与网络互联互通，不断果积的海量数据有待于挖掘和运用的同时，在各国电网广泛互联状态下，电力价格属性将会催生更多的互联网商业模式，甚至将影响不同区域次能源的价格体系。同时将涌现出基于开放的电源端、售电端活跃市场.以及在节能增效的大背景出现的新型能源公司。这一概念下的“能源互联网”，呈现的是前所未有的互联网激情和各行各业的主动融合。“互联网+”和用电市场的大力结合，将全力带动相关产业健康发展。(4)提高能源管理水平。利用数理统计、模式识别、神经网络、机器学习、人工智能等技术，可从海量数据中挖掘出能源生产和消费中能量损失的原因，为能源生产和消费效率提升找到方向。基
8、于天气数据、环境数据、能源互联网设备监控数据，可实现动态定容、提高设备利用率，并提高设备运检效率与运维管理水平；通过搜集、整理、分析、检索各能源消费终端、生产链等能源信息，最快地传捡能源需求和能源供给，在整个能源互联网中实现能源谖配，满足用户、企业、生产商、运营商等各方的需求，可最大限度地避免能源浪费与低效利用。(5)提高调度精益化水平。根据电力生产发、供、用必须同时完成的瞬时平衡规律及电能不能大规模有效存储的特点，需要科学调度,保持电网正常运行。电力系统调度当前主要应用SCADA系统，以实现数据采集、设备控制、测量、参数调节，以及各类信号报警等各项功能。但随着大规模间歇性能源的接入，电力系统
9、的结构更加复杂多变，海量、分散、异构的实时信息大量涌人数据中心，面对大量实时信息时，传统调度系统的实时性和合理性很难满足要求，无法实现电网的精益化调度。因此，基于大数据的调度技术关键问题是设计基于大规模多源细节数据的电力系统调度模型和实时流数据分析处理技术，实现电力系统调度从粗放型向集约型的转变。三、技术选型 CDH/F1.umeKafka数据采集，结合数据流技术对接各类应用系统及数据库的数据资源 CDH/HDFS文件类数据整合与存储，HADOOP技术路线 CDHHBSE格式类数据整合与存储，HADOOP技术路线 CDH/HIVE数据清洗 CDHSPRK离线数据开发及处理 F1.INK实时数据
10、开发及处理 CDH/SPARK数据服务及安全 CDHYRNCM数据负载及集群管理 CDH/HIVESparkM1.数据分析及智能 TAB1.EAU针对数据分析及智能提供自助式或嵌入式的可视化分析图表 E1.ASTICSEARCH针对数据分析及智能提供面向用户的全局数据探索或面向应用的全局数据搜索 HDPYARN针对数据服务及安全类应用的定制开发提供微服务运行环境技术管理工具四、项目团队构成姓名性别学历职眷专业工作单位项目中的分工年作同工时仍签字成员A男本科高级大数据工程师应用电子技术XX科技股份有限公司项目管理12成员B男本科高级大数据工程师体肓医学技术总监12成员C男本科中级软件工程肝计算机
11、科学与技术软件开发12成员D男本科高级大数据讲陆计算机科学与技术软件开发12成员E男本科中级软件工程师数学与应用数学软件开发12成员F男本科高级运维工程师信息管理架构设计12五、团队成员技能需求(1)成员A云计算、大数据高级工程师擅长：负责企业级云计算、大数据平台项目，大数据应用开发项目的立项、论证、险收等项目过程管理，云计算和大数据相关通识性培训。项目经历：区域医疗云计算中心、重庆三峡银行大数据平台、电信分析云项目、重庆移动业务支撑大数据平台建设。(2)成员BC1.oUdera大数据专家高级软件工程师长期从事技术管理工作，对技术团队的管理和认识有自己独到的见解，善于将人员提升和管理经营有机结
12、合。擅长技术：Windows,1.inux.Exchange.数据库、Hadoop,项目管理等系统开发与管理。(3)成员C高级软件工程师擅长技术：网络通信、网络安全、数据库操作、dui1.ib、cc+o(4)成员D南级软件工程师擅长技术：Python爬虫程序开发、Python数据分析、1.inUX系统管理、大数据存储与管理、Had。P大数据开发、SCaIa函数式编程、数据挖掘、云计算平台架构、EXCe1.高级数据分析、图像识别、机器学习、分布式计算、数据可视化分析等。(5)成员E大数据分析师擅长技术：R语言统计分析、Exce1.数据分析、Q1.ik数据可视化、数据可视化建模、概率论与数理统计。(6)成员FC1.oUdera大数据专家商级软件测试工程师曾在上海惠普、IBM、MOTORO1.A,北京融信恒通等公司任职，擅长技术：hadoop平台设计、运维、熟悉yarn、hdfs/HA、mapreducev1.v2,f1.ume,SqoOp、pig、impa1.a,hive、zookeeper,等相关组件集群的搭建和维护管理。
