問 我是計(jì)算機(jī)專業(yè)的畢業(yè)生，目前處于求職狀態(tài)，想問一下大數(shù)據(jù)工程師的工作內(nèi)容是什么？

答 1.負(fù)責(zé)爬蟲架構(gòu)設(shè)計(jì)和研發(fā)； 2.負(fù)責(zé)爬蟲核心搜索策略、算法、數(shù)據(jù)聚類、重組的設(shè)計(jì)與開發(fā)； 3.負(fù)責(zé)網(wǎng)絡(luò)爬蟲或數(shù)據(jù)采集軟件的優(yōu)化改進(jìn)以及采集規(guī)則編寫； 4.解決封賬號(hào)、封IP等采集難點(diǎn)攻克； 5.確保所負(fù)責(zé)的站點(diǎn)按周期采集及時(shí)，全面。