当前位置:首页 > 人才招聘 > 岗位职责

爬虫岗位职责

时间:2023-12-22 08:44:19
爬虫岗位职责

爬虫岗位职责

在快速变化和不断变革的今天,各种岗位职责频频出现,明确岗位职责能让员工知晓和掌握岗位职责,能够最大化的进行劳动用工管理,科学的进行人力配置,做到人尽其才、人岗匹配。想必许多人都在为如何制定岗位职责而烦恼吧,下面是小编为大家整理的爬虫岗位职责,欢迎阅读,希望大家能够喜欢。

爬虫岗位职责1

岗位职责

1.熟悉线程池、并发机制、锁机制、线程安全原理;

2.java体系知识:网络io、设计模式、linux、jvm、java类加载机制、java内存模型;

3.爬虫经验:webmagic、adsl拨号、正则表达式、脱壳技术、加密、图片破解、二维码识别、滑块验证码破解、httpclient、分词、分布式爬虫调度、数据质量监控、代理ip调度算法、配置化爬虫、授权爬虫、舆情、应用市场、反爬;

4.熟悉http/http、tcp/ip、socket等通讯协议;

5.6年以上软件开发经验,至少2年爬虫开发经验。

任职要求

1.采集、清洗、监控、配置化、调度、反爬、数据爬取、分词、检索等数据采集研发;

2.较强的逻辑思维和发散思维;

3.计算机或相关专业本科及以上学历。

爬虫岗位职责2

职位描述:

工作职责:

1.开发网页自动化脚本。

2.负责商品信息结构化,编写自动化脚本解析网页 ……此处隐藏1778个字……重等工作

任职要求:

1、2年及以上网络爬虫开发经验,本科及大专学历,计算机相关专业,

2、积极、沟通顺畅,工作认真负责

3、扎实的编程能力,熟悉常用算法和数据结构等基础知识

4、熟练掌握开发语言java或c/c++,熟悉脚本语言和正则表达式

爬虫岗位职责12

职责描述:

1.参与爬虫系统的架构设计与开发;

2.负责执行和开发分布式网络爬虫系统,进行多平台信息的抓取和分析;

3.负责网页信息和app数据抽取、清洗、消重等工作,提升平台的抓取效率;

4.参与爬虫核心算法和策略优化,熟悉采集系统的调度策略;

5.实时监控爬虫的`进度和警报反馈。

任职要求:

1.本科以上学历,3年以上爬虫开发相关经验,熟练使用python或java进行开发;

2.熟练使用正则表达式、css path、xpath等,能够从结构化的和非结构化的数据中获取信息;

3.熟练使用mysql数据库,掌握redis、mongodb、hive等常用nosql技术并具有实战经验;

4.熟悉各种抓取技术,包括代理、phantomjs/selenium、验证码处理;

5.熟悉整个爬虫的设计及实现流程,有从事网络爬虫、网页信息抽取开发经验,熟悉反爬虫技术,有分布式爬虫架构经验;

6.具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先;

7.快速学习能力,工作积极主动,有创业热情和良好的团队协助能力;

8.需要有大量数据爬取以及高难度反爬经验,没有相关经验的勿扰。

《爬虫岗位职责.doc》
将本文的Word文档下载到电脑,方便收藏和打印
推荐度:
点击下载文档

文档为doc格式

上一篇:app专员岗位职责 下一篇:烙铁岗位职责