1.1　各种网络爬虫

有运行在大规模云计算平台的通用网络爬虫，还有一些行业垂直爬虫以及网站定向爬虫。通用网络爬虫是大鳄，每一只都有自己独立的领地。行业垂直爬虫是领头雁，是各行业的旗帜。而网站定向爬虫则像一只只小麻雀，麻雀虽小，五脏俱全。