Python网络爬虫：从入门到精通

封面

版权信息

内容提要

前言

基础篇

第1章 Python基础及网络爬虫

1.1 了解Python语言

1.1.1 Python是什么

1.1.2 Python的应用现状

1.2 配置安装Python开发环境

1.2.1 在Windows上安装

1.2.2 在Ubuntu和macOS上安装

1.2.3 IDE的使用：以PyCharm为例

1.2.4 Jupyter Notebook简介

1.3 Python基础知识

1.3.1 “Hello World!”与数据类型

1.3.2 逻辑语句

1.3.3 Python中的函数与类

1.3.4 更深入了解Python

1.4 互联网、HTTP与HTML

1.4.1 互联网与HTTP

1.4.2 HTML

1.5 Hello Spider

1.5.1 编写第一个爬虫程序

1.5.2 对爬虫的思考

1.6 分析网站

1.6.1 robots.txt与Sitemap简介

1.6.2 网站技术分析

1.6.3 网站所有者信息分析

1.6.4 使用开发者工具检查目标网页

章节实训：Python环境的配置与爬虫的运行

思考与练习

第2章 静态网页抓取

2.1 从抓取开始

2.2 正则表达式

2.2.1 什么是正则表达式

2.2.2 正则表达式的简单使用

2.3 BeautifulSoup爬虫

2.3.1 安装BeautifulSoup

2.3.2 BeautifulSoup的基本用法

2.4 XPath与lxml

2.4.1 XPath

2.4.2 lxml与XPath的使用

2.5 遍历页面

2.5.1 抓取下一个页面

2.5.2 完成爬虫

2.6 使用API

2.6.1 API简介

2.6.2 API使用示例

章节实训：哔哩哔哩直播间信息抓取练习

思考与练习

第3章 数据存储

3.1 Python中的文件

3.1.1 Python中的文件读写

3.1.2 对象序列化

3.2 Python中的字符串

3.3 Python中的图片

3.3.1 PIL与Pillow模块

3.3.2 Python与OpenCV简介

3.4 CSV文件

3.4.1 CSV简介

3.4.2 CSV的读写

3.5 数据库的使用

3.5.1 MySQL的使用

3.5.2 SQLite 3的使用

3.5.3 SQLAlchemy的使用

3.5.4 Redis的使用

3.5.5 MongoDB的使用

3.6 其他类型的文档

章节实训：使用Python 3读写SQLite 3数据库

思考与练习

进阶篇

第4章 JavaScript与动态内容

4.1 JavaScript与AJAX技术

4.1.1 JavaScript语言

4.1.2 AJAX

4.2 抓取AJAX数据

4.2.1 分析数据

4.2.2 数据提取

4.3 抓取动态内容

4.3.1 动态渲染页面

4.3.2 使用Selenium

4.3.3 PyV8与Splash

章节实训：抓取人民邮电出版社热销图书信息

思考与练习

第5章 模拟登录与验证码

5.1 表单

5.1.1 表单与POST

5.1.2 POST发送表单数据

5.2 Cookie

5.2.1 Cookie简介

5.2.2 在Python中Cookie的使用

5.3 模拟登录网站

5.3.1 分析网站

5.3.2 Cookie方法的模拟登录

5.4 验证码

5.4.1 图片验证码

5.4.2 滑动验证

章节实训：通过Selenium模拟登录Gitee并保存Cookie

思考与练习