楼上(shàng )说的很(hěn )多(duō ),我(wǒ )补(bǔ )充(chōng )一下,正确的应该叫网络蜘蛛(zhū ),又称爬(pá )虫(chóng ),本质是搜索引(yǐn )擎派(pài )出的一个执行抓取任务的程序(xù )蜘蛛池(chí )的(de )本(běn )质是大量的网站互相链(liàn )接,每个站单独(dú )产(chǎn )生(shēng )大(dà )量的(de )内(nèi )容吸引(yǐn )蜘蛛来(lái )爬,几千个网站互链(liàn )时,可以(yǐ )想象蜘蛛(zhū )的(de )链接
Copyright © 2008-2018