岗位描述；1、参与公司所需的爬虫系统架构设计、数据库设计；2、负责网络爬虫的核心技术研究和开发，参与各种核心搜索策略、算法、数据聚类、重组的设计与开发；3、对互联网海量业务进行整合、分析挖掘4、能够快速且有效的进行数据清洗语文本挖掘5、与技术团队进行沟通，负责爬虫数据与业务系统的整合对接6、负责爬虫数据的策略开发，支持风险业务决策岗位要求：1、本科及以上学历计算机相关专业，5年以上Java、python开发经验，熟悉常用的信息抓取策略和数据重组算法；2、精通Python或者JAVA语言，熟悉网络编程；3、精通关系型数据库的开发和了解Mongodb、HBase、HIVE等NoSQL数据库；4、熟悉大规模网页爬取，深度网页爬取，熟悉Nutch、Scrapy、Lucene、Heritrix、Solr、Sphinx等工具5、熟悉大规模系统的负载均衡、缓存、网络存储、网络安全、数据库高可用设计及性能评估机制；职能类别：算法工程师关键字：爬虫