一、岗位职责：
1、负责公司的爬虫技术研究以及爬虫策略优化；
2、根据业务需求，实现大规模文本、图片、视频数据抓取、清洗、存储等工作；
3、监控程序的运行状态，核对数据正确性，排查错误原因；
4、配合公司其他开发人员制定并实施平台数据反扒方案确保平台数据安全；
5、对数据质量负责，提供数据分析报告，优化数据应用架构，支持产品研发。

二、岗位要求：
1、熟悉linux平台，掌握python/java/javascript或某种编程语言；
2、熟悉基于正则表达式、css、http协议、ml等的网页信息抽取技术；
3、熟练使用sql语句操作数据库，具备扎实的数据清洗、集成、转换等能力；
4、精通常用的爬虫技术及框架，并能快速实现相应功能；
5、具有钻研精神，对数据驱动业务有深入理解，对数据与业务方面有足够的敏感性，独立思考能力和逻辑分析能力强。

三、薪资待遇：
1、薪资面议；
2、福利：五险+带薪年假+节日福利+法定假日+不定期员工活动