問 我是計算機專業(yè)的畢業(yè)生，目前處于求職狀態(tài)，想問一下爬蟲工程師的工作內容是什么？

答 1.編寫大規(guī)模分布式網絡爬蟲（多線程、分布式調度、協(xié)議處理）； 2.能用系統(tǒng)解決動態(tài)網頁內容抓取、深度網頁內容抓取的關鍵技術； 3.采用機器學習，信息檢索，大規(guī)模數據挖掘等工作。 4.爬蟲核心算法和策略優(yōu)化,熟悉采集系統(tǒng)的調度策略，分析爬蟲系統(tǒng)瓶頸設計實現(xiàn)相應策略和算法，提升爬蟲的抓取效率和質量。