招聘 爬虫高级工程师

轻轻的我来了qwe

岗位描述
1.有爬取直播间接口的的优先。
2.负责多平台爬取和页面内容的提取分析；
3.研究各种网站、网页、链接的形态，发现它们的特点和规律；  
4.解决技术疑难问题，包括反反爬、压力控制等；
5.设计各种策略和算法，提升抓取效果；充分利用带宽资源，避免限制，
6.参与搭建通用爬虫系统。

岗位要求
1.计算机及相关专业，专科以上学历，1年以上工作经验；
2.精通计算机网络，熟练掌握易语言或者Python，Java, 多线程，HTML，JS/CSS等技术，熟悉Scrapy框架或其他的Web scraping framework；
3.精通网页抓取原理及技术，精通正则表达式，能从结构化的和非结构化的数据中获取信息；
4.有丰富的Linux系统使用经验，熟悉MySQL、Redis等，熟悉Internet基本协议（如TCP/IP，HTTP等）；
5.有分布式爬虫架构经验者优先；
7.具有文本分析、数据挖掘、自然语言处理、信息检索、机器学习背景者优先；

哎呀呀呀

哦，知道了