高级爬虫工程师

负责业务线公开数据（Web/APP/API）的爬虫架构设计、开发与日常运维，保障数据采集的完整性、实时性和稳定性。 针对动态Token、设备指纹、验证码等反爬策略进行逆向分析与对抗，建立多级降级、重试与熔断机制。 在采集过程中完成初步数据清洗与结构化处理，配合业务方进行轻度指标化分析。 建立爬虫身份认证、代理IP与Cookie的动态安全管理体系，对敏感字段实施自动脱敏与加密存储，确保合规。 将爬虫任务接入大数据平台（Flink/Spark），通过Kafka等消息中间件实现采集与解析的解耦，提升管道高可用性。 支持AI算法团队的基础数据需求与数仓建设；同时协同产品及研发团队，支撑数据应用和系统对接，建立数据质量监控机制，保障数仓数据一致性。

精通Python/Java，3~5年以上爬虫开发经验，本科及以上经验，熟练使用Scrapy或WebMagic框架，掌握异步编程，有主流平台的位置数据、POI、AOI等围栏数据处理经验优先。 深度理解HTTP协议及抓包分析，熟练应对动态渲染（Selenium/Playwright）、验证码识别及设备指纹绕过。 具备扎实的大数据开发能力：熟悉Hadoop/Spark/Flink生态，有将采集任务接入实时计算平台的实际项目经验；熟悉阿里云大数据体系（DataWorks、MaxCompute、Hologres等），有DataWorks数据开发、调度配置与运维实战经验；熟悉Hive/ClickHouse等OLAP引擎，能独立完成基础数仓模型的ETL开发与优化。 熟练使用Kafka/RocketMQ、Redis、MongoDB及一种关系型数据库（MySQL/PostgreSQL）。 具备数仓建设实战经验优先：深入理解数仓分层架构（ODS/DWD/DWS），熟悉维度建模方法论，有字段标准化映射、数据字典维护及数据质量监控体系搭建的实际经验。 具备良好的法律风险意识，能在目标网站改版时快速定位并制定恢复方案。