更新时间：2023-11-16 18:00:27
封面
版权信息
内容提要
大数据技术精品系列教材专家委员会
序
前言
项目1 了解爬虫与Python爬虫环境
项目背景
学习目标
思维导图
任务1.1 认识爬虫
1.1.1 爬虫的概念
1.1.2 爬虫的分类
1.1.3 爬虫的合法性与robots协议
任务1.2 认识反爬虫
1.2.1 网站反爬虫的目的与手段
1.2.2 爬取策略制定
任务1.3 配置Python爬虫环境
1.3.1 配置PyCharm
1.3.2 Python爬虫相关库介绍与配置
1.3.3 配置MySQL
1.3.4 配置MongoDB
小结
实训
实训 Python爬虫环境配置
思考题
课后习题
项目2 爬虫基础知识准备
任务2.1 了解网页基础
2.1.1 了解网页开发技术
2.1.2 了解网页的结构
2.1.3 了解网页的分类
2.1.4 了解网页的数据结构
任务2.2 认识HTTP
2.2.1 熟悉HTTP请求方法与过程
2.2.2 熟悉常见的HTTP状态码
2.2.3 熟悉HTTP头部信息
2.2.4 熟悉Cookie
实训1 创建一个简单的网页文件
实训2 访问网站并查看请求信息和响应信息
项目3 简单静态网页爬取——获取某企业官网基本信息
任务3.1 实现HTTP请求
3.1.1 使用Chrome开发者工具查看网页
3.1.2 使用urllib 3库实现HTTP请求
3.1.3 使用Requests库实现HTTP请求
任务3.2 解析网页
3.2.1 使用Xpath解析网页
3.2.2 使用Beautiful Soup库解析网页
3.2.3 使用正则表达式解析网页
任务3.3 存储数据
3.3.1 将数据存储为JSON文件
3.3.2 将数据存储到MySQL数据库
实训1 生成GET请求并获取指定网页内容
实训2 搜索目标节点并提取文本内容
实训3 在数据库中建立新表并导入数据
项目4 爬取动态网页——获取图书基本信息
任务4.1 使用逆向分析爬取动态网页
4.1.1 判别网页类型
4.1.2 获取动态网页信息
任务4.2 使用Selenium库爬取动态网页
4.2.1 下载浏览器驱动
4.2.2 打开浏览器并访问页面
4.2.3 元素选取
4.2.4 元素交互
4.2.5 页面操作
4.2.6 页面等待
任务4.3 存储数据至MongoDB数据库
4.3.1 MongoDB数据库和MySQL数据库的区别
4.3.2 将数据存储到MongoDB数据库
项目5 模拟登录——登录某企业官网
任务5.1 使用表单登录方法实现模拟登录
5.1.1 查找提交入口
5.1.2 查找并获取需要提交的表单数据
5.1.3 使用POST请求方法登录
