第2章  搜索引擎的下载系统 

2.1 爬虫的发展历史

在搜索引擎的4大系统中，第1个系统是下载系统。和航天运载火箭系统的动力系统一样，下载系统是搜索引擎大厦的基础。搜索的数据均来自于下载系统的工作，其工作方式巧妙、合理且强大。爬虫也称为“Crawler”，中文译为“爬虫”，或者“蜘蛛”。