《大数据技术与应用赛项竞赛方案-2023年河南省高等职业教育技能大赛竞赛方案.docx》由会员分享，可在线阅读，更多相关《大数据技术与应用赛项竞赛方案-2023年河南省高等职业教育技能大赛竞赛方案.docx（24页珍藏版）》请在第壹文秘上搜索。
1、2022年河南省高等职业教育技能大赛大数据技术与应用赛项竞赛方案一赛项名称赛项名称：大数据技术与应用赛项组别：高职组专业大类：电子信息主办单位：河南省教育厅承办单位：河南工业职业技术学院报到及推荐住宿地点：另行通知二、竞赛目的为适应大数据产业对高素质技术技能型人才的职业需求，赛项以大数据技术与应用为核心内容和工作基础，重点考查参赛选手基于Hadoop、SPaXk、Flink平台环境下,充分利用SparkCoreSparkSQLFlumeKafkaFlink、HiveHBaSe、RedisMaxwel1ClickHouseMySQL等相关技术的特点，基于Scala、JaVaSCriPt等开发语言
2、，综合软件开发相关技术，解决实际问题的能力，激发学生对大数据相关知识和技术的学习兴趣，提升学生职业素养和职业技能，努力为中国大数据产业的发展储备及输送新鲜血液。通过举办本赛项，可以搭建校企合作的平台，提升大数据技术与应用专业及其他相关专业毕业生能力素质，满足企业用人需求，促进校企合作协同育人，对接产业发展，实现行业资源、企业资源与教学资源的有机融合，使高职院校在专业建设、课程建设、人才培养方案和人才培养模式等方面，跟踪社会发展的最新需要，缩小人才培养与行业需求差距，引领职业院校专业建设与课程改革。三、参赛资格（一）参考2022年国赛赛项规程要求，本次竞赛为团体赛。以学校为单位组队参赛，每校限报
3、2个代表队。每支参赛队由3名选手组成，其中队长1名。每支参赛队可配指导教师2名，指导教师须为本校在职教师（包括在编在岗教师、签订正式聘用合同并连续全职在参赛学校工作一年以上的在聘教师）。（二）参赛学生须是2023年在籍全日制高职学生，指导老师和学生须为同校在籍。在往届全国职业院校技能大赛高职组竞赛中获得一等奖的选手，不再参加同一项目同一组别的省级竞赛。参赛选手的资格审查工作按照全国职业院校技能大赛制度汇编要求执行。四、参赛报名（一）参赛院校须于3月3日前登录河南省高职院校技能大赛报名系统（http：/39.105.49.188）,按要求填报并提交参赛信息。（二）各参赛院校以学校为单位注册报名平
4、台，安排专人管理报名账号，做好大赛报名工作（技术支持：张玺，电话：19837739696）。（三）提交报名信息后，参赛院校从系统导出参赛选手报名表、参赛信息汇总表后，连同参赛选手身份证复印件和学信网“教育部学籍在线验证报告”或省招办录取名册复印件各1份并加盖院校公章，报送或邮寄到赛项承办院校（河南工业职业技术学院）。纸质报名材料接收截止时间为3月5日，以邮戳时间为准。邮寄地址：河南省南阳市杜诗路1666号河南工业职业技术学院;邮编：473000；联系人：安炜，联系电话：13937769818o（四）承办学校收到纸质报名材料，按参赛条件的要求认真审核参赛选手和指导教师资格，审核通过报名成功。五、
5、竞赛日程安排（具体以参赛指南为准）日期时间内容地点3月21日14:00-18:00各参赛队报到宾馆15:00-16:00开幕式、领队会、赛前说明大报告厅16:00-16:30选手熟悉赛场竞赛场地3月22日8:00-9:00赛场检录，竞赛选手进入赛位竞赛场地9:00-15:00竞赛选手完成竞赛任务竞赛场地16:00-19:00对选手提交的结果文件进行评分竞赛场地六、竞赛内容赛项以大数据技术与应用为核心内容和工作基础，重点考查参赛选手基于Hadoop、SparkFlirIk平台环境下,充分利用SParkCore、SparkSQL、FlumeKafkaFlinkHive、HBaseRedisMaxw
6、el1ClickHouse.MySQL等技术的特点，综合软件开发相关技术，解决实际问题的能力，具体包括：1 .掌握HadoOP平台、基于SPark的离线分析平台、基于Flink的实时分析平台，在容器环境下，按照项目需求安装相关技术组件并按照需求进行合理配置；2 .掌握基于Spark的离线数据采集方式方法，完成指定数据的抽取并写入Hive分区表中。掌握基于FlumeMaxwell的实时数据采集，将数据写入Kafka中；3 .综合利用FlinkKafka、Hive、Redis、HBaseClickHouse等技术，使用SeaIa开发语言，完成某电商系统的实时数据处理，包括使用Flink处理Kafk
7、a中的数据、实时数据仓库、将数据备份至HBaSe中、建立HiVe外表、将数据处理结果存入Redis、CliCkHoUSe中等操作；4综合利用SPark、Hive、MySQL、HBaSe、CliCkHOUSe等相关技术，使用Scala开发语言，完成某电商系统的离线数据处理，包括Hive数据仓库、使用SPark处理离线数据、数据合并、去重、排序、数据类型转换、将数据处理结果存入MySQL、HBaSe、CliCkHoUSe中等操作；5 .综合运用HTML、CSSJaVaSCriPt等开发语言，VUe.js前端技术，结合EChartS数据可视化组件，利用后端数据接口完成数据可视化；6.根据竞赛过程，完
8、成综合分析报告的编写;7.竞赛时间6小时，竞赛连续进行。竞赛内容构成如下：考核环节考核知识点和技能点大数据平台环境搭建Docker基本操作Hadoop完全分布式安装配置Spark安装配置FIink安装配置HiVe安装配置Kafka安装配置Flume安装配置ClickHouse安装配置HBase安装配置数据采集使用Spark抽取MySQL指定数据表中的增量数据到OdS层的指定的分区表中使用FIUme采集某端口的实时数据流并存入Kafka指定的TOPiC中使用Maxwell采集MySQL的binlog日志并存入Kafka指定的Topic中实时数据处理使用Flink消费Kafka中的数据并将数据分发
9、至Kafka的dwd层中使用Flink消费Kafka中的数据的同时能够将数据备份至HBase中，同时建立Hive外表使用Flink对实时数据进行处理并将处理计算结果存入RediS中使用Flink对实时数据进行处理并将处理计算结果存入ClickHouse中离线数据处理使用SPark对OdS层中的离线数据进行清洗，包括数据合并、去重、排序、数据类型转换等操作将清洗完的数据存入dwd层中根据dwd层的数据使用Spark对数据进行处理计算，并将计算结果存入MySQL中根据dwd层的数据使用Spark对数据进行处理计算，并将计算结果存入HBase中根据dwd层的数据使用Spark对数据进行处理计算，并将
10、计算结果存入ClickHouse中数据可视化根据后端数据接口，基于VUe.js、EChartS的数据可视化编码（柱状图、折线图、饼状图等）综合分析报告文档能力、综合分析能力竞赛各阶段分值权重和时间分布如下:阶段竞赛时间分值权重大数据平台环境搭建6小时权重10%数据采集权重15%实时数据处理权重25%离线数据处理权重20%数据可视化权重15%综合分析报告权重10%团队分工明确合理、操作规范、文明竞赛权重5%七、竞赛方式（一）竞赛模式：封闭式竞赛。（二）本赛项的竞赛过程中不安排指导教师进场指导。（三）统一编制赛位号，参赛队须比赛前30分钟到赛项指定地点接受检录，抽取顺序号，进场抽签决定赛位号，抽签
11、结束后，按照抽取的赛位号进场，在对应的赛位上完成竞赛任务。（四）本赛项采取团体赛形式，满分100分。竞赛时间为6个小时，竞赛连续进行，每项任务用时可自行掌握。比赛开始前10分钟进场完毕，选手检查所在比赛台位上的仪器设备是否完好、领取比赛任务书等材料。比赛结束后各参赛队停止操作，递交比赛技术文档。（五）竞赛流程八、竞赛规则（一）比赛时间为6个小时，比赛过程连续进行。（二）参赛队的竞赛工位号采用抽签方式确定。赛题以任务书形式发放，竞赛参考资料在赛前植入参赛选手的计算机，参赛队根据任务书要求完成竞赛任务。（S）赛项组委会统一布置竞赛需要的软硬件环境。选手不得私自携带任何移动存储、辅助工具、移动通信等
12、进入赛场。（四）参赛选手可于3月21日下午预先熟悉比赛场地（具体时间见参赛指南），但不得进行现场练习。参赛选手按规定时间到达指定地点，凭参赛证、学生证和身份证（三证必须齐全）进入赛场。选手迟到10分钟取消比赛资格。（五）各队领队和指导教师，以及观摩人员在赛场指定的观摩区观摩比赛。（六）参赛选手不得携带通讯工具和其它未经允许的资料、物品进入比赛场地，不得中途退场。如出现较严重的违规、违纪、舞弊等现象，经裁判组裁定取消比赛成绩。（七）新闻媒体在赛场设定的媒体采访区工作，并且听从现场工作人员的安排和管理，不能影响比赛进行。（A）在竞赛过程中，参赛选手如有疑问，应举手示意，现场裁判应按要求及时予以答疑
13、。如遇设备或软件等故障，参赛选手应举手示意，现场裁判、技术人员等应及时予以解决。确因计算机软件或硬件故障，致使操作无法继续的，经裁判长确认，予以启用备用设备。（九）比赛过程中，参赛选手须严格遵守操作标准和规范，保证自身安全，并接受裁判员的监督和警示；若因设备故障导致选手中断或终止比赛，由裁判长视具体情况做出裁决。（十）参赛选手不得因各种原因提前结束比赛。如确因不可抗因素需要离开赛场的，须向现场裁判举手示意，经裁判长许可并完成记录后，方可离开。凡在竞赛期间内提前离开的选手，不得返回赛场。（十一）现场比赛结束，经裁判长确认后方可离开赛场。（十二）竞赛由评分裁判现场评分，经裁判长签字确认后予以公布，
14、如有异议请直接向赛项仲裁工作组申请复核。（十三）参赛选手应严格遵守赛场纪律，服从指挥，着装整洁，仪表端庄，讲文明礼貌。各代表队之间应团结、友好、协作，避免发生任何形式的矛盾。（十四）其它未尽事宜，将在赛前向各领队做详细说明。九、成绩评定及公布（一）评分标准制定原则竞赛评分制定严格遵守公平、公正的原则，大数据技术与应用赛项评分采用赛项结果评分方法，始终贯彻落实竞赛一贯坚持的公平、公正和公开原则。参与竞赛成绩管理的组织机构包括裁判组、监督组和仲裁组等。裁判组实行“裁判长负责制”，设裁判长1名，全面负责竞赛的裁判与管理工作。裁判员根据竞赛工作需要分为检录裁判、加密裁判、现场裁判和评分裁判。检录裁判负
15、责对参赛队伍（选手）进行点名登记、身份核对等工作；加密裁判负责组织参赛队伍（选手）抽签并对参赛队伍（选手）的信息进行加密、解密；现场裁判按规定做好赛场记录，维护赛场纪律；评分裁判负责对参赛队伍（选手）的技能展示、操作规范和竞赛成果等按赛项评分标准进行评定。监督组对裁判组的工作进行全程监督，并对竞赛成绩抽检复核。仲裁组负责接受由参赛队领队提出的对裁判结果的申诉，组织复议并及时反馈复议结果。（二）评分方法选手在完成任务之后，将任务完成结果拷贝至U盘中，由参赛选手队长签字确认（签工位号）。评分采取分步得分、累计总分的计分方式。不计参赛选手的个人得分，只记录团体得分。参赛队提交比赛任务结束请求或者在比赛时间终止后，不得再进行任何操作。否则，视为比赛作弊，给参赛队记警告一次。在竞赛过程中，选手如有不服从裁判判决、扰乱赛场秩序、舞弊等不文明行为，由裁判长按照规定扣减相应分数并且给予警告，情节严重的取消竞赛资格，竞赛成绩记O分，队员退出比赛现场。（三）评分标准任务考查点描述评分标准分值（分）数平环搭W)大据台境建1分据平
