招商金科数据湖运维管理(J29066)

1. 大数据平台保障：负责Hadoop、Spark、Hive、Flink、ClickHouse、HBase、Kafka等大数据生态组件的集群运维，保障集群高可用性、高可靠性；针对集群性能瓶颈（如资源占用过高、任务延迟、数据倾斜等）进行分析与优化，提升平台处理能力。 2. 故障应急与风险管控：建立健全大数据平台监控告警体系（含硬件、软件、网络、数据链路等），快速响应并处理各类运维故障（如集群宕机、任务失败、数据丢失等），降低故障对业务的影响；定期开展风险评估与应急演练，提升团队风险预判与应急处置能力。 3. 数据安全与合规保障：负责大数据平台的数据安全与合规管理，落实数据加密、权限管控、日志审计等安全措施；配合内外部合规检查，确保运维工作符合行业规范与公司制度。 4. 运维体系搭建与管理：主导大数据运维体系规划、建设与优化，制定标准化运维流程（含集群部署、扩容、备份、监控、故障处理等），输出运维标准规范、应急预案等规范文档，提升运维效率与标准化水平。 5. 跨部门协作：对接开发、业务、数据等跨部门团队，理解业务需求与技术痛点，提供运维支撑与解决方案；协同推进大数据平台的迭代升级、新业务上线等相关运维保障工作。

1. 学历与专业：本科及以上学历，计算机科学与技术、软件工程、信息安全、网络工程等相关专业；条件优秀者可适当放宽。 2. 工作经验： - 5年以上大数据运维相关工作经验，2年以上团队管理经验，主导过大规模大数据集群（节点数100+）的全生命周期运维工作； - 有云厂商（华为云、阿里云、AWS等）大数据服务（如MRS、MaxCompute、EMR等）运维经验者优先。 3. 专业技能： - 精通大数据生态组件（Hadoop、Spark、Hive、Flink、ClickHouse、HBase、Kafka等）的原理与运维方法，具备丰富的集群部署、扩容、优化、故障排查经验； - 熟悉Linux操作系统（CentOS/Redhat/麒麟等）的运维与优化，精通Shell、Python等至少一种脚本语言，具备自动化运维工具开发或使用经验优先； - 掌握Docker、K8s等容器化与编排技术，有大数据组件容器化部署与运维经验者优先； - 了解数据安全相关技术（如数据加密、权限管理、漏洞扫描等），有大数据平台安全运维经验者优先； - 具备较强的问题分析与解决能力，能快速定位并处理复杂的运维故障。