楼上说的(de )很多,我(wǒ )补充(chōng )一下(xià ),正确的应(yīng )该叫网络蜘蛛,又(yòu )称爬(pá )虫,本质是(shì )搜索引(yǐn )擎(qíng )派出(chū )的一个(gè )执行抓取任务的程(chéng )序蜘蛛(zhū )池的本质是(shì )大(dà )量的网站(zhàn )互(hù )相链接(jiē ),每个站单独(dú )产(chǎn )生大(dà )量(liàng )的内容吸(xī )引蜘(zhī )蛛来爬,几千个网(wǎng )站互链时,可(kě )以想(xiǎng )象蜘蛛的链接(jiē )
Copyright © 2008-2018