職位描述
PythonJavaScript數(shù)據(jù)采集爬蟲開發(fā)反爬蟲分布式爬蟲Scrapy互聯(lián)網(wǎng)IT服務(wù)計(jì)算機(jī)軟件
一、職位描述：
1、負(fù)責(zé)設(shè)計(jì)和開發(fā)分布式的網(wǎng)絡(luò)爬蟲應(yīng)用，包括調(diào)度、抓取、入庫等內(nèi)容，進(jìn)行互聯(lián)網(wǎng)相關(guān)信息的抓取和分析
2、負(fù)責(zé)實(shí)現(xiàn)大規(guī)模數(shù)據(jù)的抓取、抽取，去重、分類，垃圾過濾，質(zhì)量識別、解析入庫等工作
3、負(fù)責(zé)對指定的多個網(wǎng)站進(jìn)行網(wǎng)頁抓取、數(shù)據(jù)提取、破解反爬策略
4、承接開發(fā)任務(wù)，需求分析，確保按時按質(zhì)按量完成任務(wù)
5、有良好的溝通和學(xué)習(xí)能力.有較強(qiáng)的團(tuán)隊(duì)協(xié)作能力以及快速解決問題的能力。
二、崗位要求：
1、計(jì)算機(jī)或相關(guān)專業(yè)、具備3年以上項(xiàng)目開發(fā)經(jīng)驗(yàn)；
2、具有scrapy, scrapy-redis開發(fā)經(jīng)驗(yàn)；
3、具有web逆向經(jīng)驗(yàn), 如滑塊驗(yàn)證碼, 瑞數(shù)5代6代
4、熟悉多線程、網(wǎng)絡(luò)編程，精通網(wǎng)頁抓取原理及技術(shù)，精通正則表達(dá)式；?
5、熟悉并熟練應(yīng)用各種常見加密算法；?
6、熟悉至少一種關(guān)系型數(shù)據(jù)庫(MySQL等); 熟悉NoSQL redis mongodb；至少熟悉一種mq, 有過數(shù)據(jù)庫調(diào)優(yōu)和海量數(shù)據(jù)存儲經(jīng)驗(yàn)優(yōu)先；
7、具有工商數(shù)據(jù)、金融數(shù)據(jù)、案件數(shù)據(jù)抓取經(jīng)驗(yàn)者優(yōu)先;?
8、有移動平臺（iOS，安卓）開發(fā)經(jīng)驗(yàn)優(yōu)先；
?
工作地點(diǎn)
上海浦東新區(qū)中國人壽金融中心
相似職位
- 開發(fā)工程師（爬蟲方向）8000-15000元
上海 - 楊浦
上海畢得醫(yī)藥科技股份有限公司 - 爬蟲工程師1-1.5萬
上海 - 浦東
上海問道云人工智能科技有限公司 - python爬蟲工程師（線上一輪面試）8000-9000元
上海 - 徐匯
上海申美信息科技有限公司北京分公司 - 爬蟲工程師（python）1-2萬
上海 - 徐匯
軟通動力信息技術(shù)(集團(tuán))股份有限公司 - 爬蟲工程師（項(xiàng)目合作）1.5-3萬
上海 - 浦東
美國Selleck生物科技有限公司 - 開發(fā)工程師（爬蟲方向）7000-14000元
上海 - 楊浦
上海畢得醫(yī)藥科技股份有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- 海康威視招聘
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團(tuán)招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強(qiáng)生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
郭女士/人事經(jīng)理
今日活躍立即溝通
上海問道云人工智能科技有限公司上海問道云人工智能科技有限公司成立于2017年，從事人工智能創(chuàng)新研究，致力于將先進(jìn)的人工智能技術(shù)與行業(yè)應(yīng)用相結(jié)合。用堅(jiān)實(shí)的技術(shù)力量參與人工智能領(lǐng)域的基礎(chǔ)性科學(xué)研究，致力服務(wù)于金融、法律、零售等多個行業(yè)。
公司主頁