随着互联网的快速发展,越来越多的信息被发布到互联网上。发布后的信息都会被嵌入各式各样的网站结构当中,虽然搜索引擎可以辅助人们寻找这些信息,但是搜索引擎也存在局限性。通用的搜索引擎的目标是尽可能覆盖全网络,其难以针对特定的目的和需求进行索引。面对如今结构越来越复杂,且信息含量越来越密集的数据,通用的搜索引擎很难对数据进行有效的发现和获取。在上述背景下,网络爬虫应运而生,它为互联网数据的应用提供了新的方法。