雇員點評標簽
職位描述
Python反爬蟲分布式爬蟲爬蟲開發(fā)FlaskDjango反爬互聯網人工智能
崗位職責:
1.負責互聯網數據爬取、清洗、存儲及解析工作，確保數據的完整性和準確性。
2.設計并優(yōu)化分布式爬蟲架構，提高爬取效率與穩(wěn)定性，降低反爬風險。
3.研究并破解目標網站的反爬策略，采用動態(tài)渲染、代理池等方式提升爬蟲成功率，
4.監(jiān)控并維護已有爬蟲系統(tǒng)，及時響應異常情況，確保系統(tǒng)穩(wěn)定運行。
任職要求:
1.計算機相關專業(yè)，本科及以上學歷，具備扎實的計
算機基礎，熟悉常見數據結構與算法。
2.精通 Python 及爬蟲框架(如 Scrapy、
Selenium、Playwright、BeautifulSoup.
Requests)
3.熟悉反爬機制，掌握 User-Agent 偽裝、代理池.
驗證碼破解、動態(tài)加載解析(如 Puppeteer、
Pyppeteer)等技巧。
4.具備一定的分布式爬蟲開發(fā)經驗，了解Kafka.RabbitMQ、Celery、Scrapy-Redis等分布式任務調用。
查看全部
工作地點
上海徐匯區(qū)模速空間(SMC)1
相似職位
- 爬蟲工程師1-1.5萬
上海 - 浦東
上海問道云人工智能科技有限公司 - 開發(fā)工程師（爬蟲方向）8000-15000元
上海 - 楊浦
上海畢得醫(yī)藥科技股份有限公司 - 高級爬蟲工程師1.8-2.2萬
上海 - 閔行
上?，F代通用識別技術有限公司 - 開發(fā)工程師（爬蟲方向）7000-14000元
上海 - 楊浦
上海畢得醫(yī)藥科技股份有限公司 - 爬蟲工程師（項目合作）1.5-3萬
上海 - 浦東
美國Selleck生物科技有限公司 - python爬蟲工程師（線上一輪面試）8000-9000元
上海 - 徐匯
上海申美信息科技有限公司北京分公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯想招聘
- ?？低曊衅?/a>
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
胡雨分/高級招聘顧問
當前在線立即溝通
軟通動力信息技術(集團)股份有限公司
軟通動力信息技術（集團）股份有限公司（以下簡稱“軟通動力”）是中國數字技術產品和服務創(chuàng)新領導企業(yè)，致力于成為一家具有全球影響力的科技企業(yè)，企業(yè)數字化轉型可信賴合作伙伴。公司2005年成立于北京，多年來始終堅持科技創(chuàng)新，具有軟硬全棧的智能技術產品和服務能力，提供軟件與數字技術服務、計算產品與數字基礎設施、數字能源與智算服務以及國際化服務。目前，公司在10余個重要行業(yè)服務超過1100家國內外客戶，其中超過230家客戶為世界500強或中國500強企業(yè)，員工近90000人。軟通動力擁有軟通咨詢、軟通金科、軟通工業(yè)互聯、機械革命、軟通華方等業(yè)務子品牌，并在全球40余個城市布局業(yè)務，構建北美、日本、東南亞、中東四大國際交付中心，在北京城市副中心、江蘇無錫建設兩大智能制造基地。同時，公司前瞻布局智能制造、ICT軟硬基礎能力和生產力智能化產品，打造產業(yè)鏈閉環(huán)。軟通動力設立30個能力中心，擁有1個國家級工程實驗室，6個省市政府認定的工程、技術實驗室及研發(fā)中心，1個博士后科研工作站，50+技術合作伙伴的生態(tài)合作體系，不斷探索前沿技術的巨大商業(yè)應用潛力。公司旗下教育品牌軟通教育，擁有一家全日制本科學院——鄭州西亞斯學院數字技術產業(yè)學院；同時在全國合作院校600多所，設有70多個校企聯合人才培養(yǎng)基地，通過校企合作、協同育人，為社會培養(yǎng)高素質應用型人才。軟通動力先后獲得“2023年中國IT服務市場排名TOP 1”、“2024年Q4 PC出貨量國內市場份額排名TOP 2”、“2024年中國軟件和信息技術服務競爭力百強企業(yè)”、“2023年中國信創(chuàng)企業(yè)100強”、“2024萬得ESG評級（Wind ESG Rating）AA級及信息技術服務行業(yè)ESG綜合得分排名第一”等榮譽及市場認可，并擁有全球軟件工程領域最高級別CMMI V2.0成熟度5級評估認證、國家研發(fā)運營一體化（DevOps）三級能力成熟度模型認證、信息技術服務標準（ITSS）運維能力成熟度一級認證等專業(yè)資質，支撐公司更優(yōu)質的服務體系。
公司主頁