楼上(shàng )说(shuō )的很多,我(wǒ )补(bǔ )充一下,正确的(de )应(yīng )该(gāi )叫(jiào )网络(luò )蜘蛛(zhū ),又称(chēng )爬(pá )虫,本质是搜索引擎派出的一个(gè )执行抓取任务的(de )程序(xù )蜘蛛(zhū )池的本质(zhì )是(shì )大(dà )量的网站互相链(liàn )接(jiē ),每个(gè )站单(dān )独产生大量(liàng )的(de )内容吸引蜘蛛来爬(pá ),几千个网站互链时(shí ),可(kě )以想象蜘蛛的链(liàn )接(jiē )
Copyright © 2008-2018