职位描述：1）根据产品需求，进行MySQL数据库存储过程等脚本开发；2）负责爬虫业务的QA、ETL的设计、开发和维护；3）负责爬虫业务的数据源分析，并能够独立负责数据模型设计和ETL开发；4）整理并维护爬虫业务的系统架构、逻辑结构、清洗规则、QA流程、权限管理等数据库文档；5）设计、改善QA流程，对业务部门提供数据查询、QA、清洗、统计分析的技术支持；6）负责相关数据处理，分析原始数据并采用合适的算法，对数据去重、清洗、分析、转换与入库；7） 挖掘原始数据中有价值的数据，钻研业务，能够更为深层次的理解业务数据。职位要求：1）精通SQL，熟悉MySQL数据库的SQL优化、索引优化。2）熟悉MySQL数据库的字符串/时间日期/数值函数、正则表达式，并能灵活组合使用；3）熟悉MySQL数据库开发，熟练编写自定义函数、存储过程、计划任务；4）熟悉MySQL数据库的体系架构原理；5）熟悉MySQL数据库索引、分区、事务、锁机制；6）熟悉Linux操作系统，了解常用的Linux命令；7）熟悉JDBC、有Java或Python开发经验者优先；8）有Visio、XMind、EA、Power Designer等模型管理工具使用经验者优先；9）有Informatic、DataStage、Kettle等ETL工具使用经验者优先；10）熟悉http、html、 DOM、 xpath、Scrapy、Pyspider等爬虫技术者优先；11）拥有良好的代码习惯，结构清晰，命名规范，逻辑性强；12）有责任心，学习能力强，良好的团队合作精神，对工作有热情。职能类别：数据库工程师/管理员