點(diǎn)通自主開發(fā)的爬蟲軟件已為多個(gè)客戶項(xiàng)目采用,主要功能:
1)自動(dòng)爬取指定網(wǎng)站內(nèi)容,并可將內(nèi)容中用戶所需字段提取,保存為用戶指定的規(guī)整格式;
2)自動(dòng)適配爬取網(wǎng)站的變化;
3)爬取過(guò)程可模擬人員操作行為,包括登錄及各種操作的行為模式;
4)對(duì)圖片和復(fù)雜排版樣式的智能處理;
5)對(duì)爬取內(nèi)容的深度挖掘,包括數(shù)據(jù)庫(kù)生成、標(biāo)引、分類、檢索等實(shí)施;