一、崗位職責：
1、負責公司的爬蟲技術研究以及爬蟲策略優(yōu)化；
2、根據業(yè)務需求，實現(xiàn)大規(guī)模文本、圖片、視頻數(shù)據抓取、清洗、存儲等工作；
3、監(jiān)控程序的運行狀態(tài)，核對數(shù)據正確性，排查錯誤原因；
4、配合公司其他開發(fā)人員制定并實施平臺數(shù)據反扒方案確保平臺數(shù)據安全；
5、對數(shù)據質量負責，提供數(shù)據分析報告，優(yōu)化數(shù)據應用架構，支持產品研發(fā)。

二、崗位要求：
1、熟悉linux平臺，掌握python/java/javascript或某種編程語言；
2、熟悉基于正則表達式、css、http協(xié)議、ml等的網頁信息抽取技術；
3、熟練使用sql語句操作數(shù)據庫，具備扎實的數(shù)據清洗、集成、轉換等能力；
4、精通常用的爬蟲技術及框架，并能快速實現(xiàn)相應功能；
5、具有鉆研精神，對數(shù)據驅動業(yè)務有深入理解，對數(shù)據與業(yè)務方面有足夠的敏感性，獨立思考能力和邏輯分析能力強。

三、薪資待遇：
1、薪資面議；
2、福利：五險+帶薪年假+節(jié)日福利+法定假日+不定期員工活動