爬蟲在互聯(lián)網(wǎng)世界中有很多的作用,比如:
1.數(shù)據(jù)采集,比如:
• 抓取微博評論(機(jī)器學(xué)習(xí)輿情監(jiān)控)
• 抓取招聘網(wǎng)站的招聘信息(數(shù)據(jù)分析、挖掘)
• 新浪滾動新聞
• 百度新聞網(wǎng)站
2.軟件測試
• 爬蟲之自動化測試
自動化測試所必需的selenium . selenium是一個(gè)用于Web應(yīng)用程序測試的工具,selenium 測試直接運(yùn)行在瀏覽器中,就像真正的用戶在操作一樣。 支持的瀏覽器包括IE,chrome和Firefox等。其實(shí)就是借助于selenium做爬蟲的事情。
3.搶票和投票
• 12306搶票
• 投票網(wǎng)
4.網(wǎng)絡(luò)安全
• 短信轟炸
• web漏洞掃描