一个知识清单:如何学习Python爬虫
import this.
- 前言
- 能利用爬虫技术做到哪些很酷很有趣很有用的事情? - 知乎
- 学习 Python,基本语法,常用数据处理库
- 你是如何自学 Python 的? - 知乎
- Python 2.7 教程 - 廖雪峰,学基础看这个完全就够了。
- 或者看他讲的视频,Python 入门 - 廖雪峰。
- 了解网页的基本结构、组成 HTML+CSS+JS 三剑客
- 类比于一个人,HTML 就是骨架、CSS 是衣服、JS 是这个人的一系列动作,比如打自己一巴掌。
- HTML 教程,CSS 教程,JavaScript 教程
- 了解爬虫工作原理,涉及文件下载,数据解析,以及数据存储
- 如何入门 Python 爬虫? - 知乎
- 网页下载,HTTP 协议详解,一个非常好用的 Python 库,Requests for Humans
- 数据解析,深入浅出之正则表达式(一),regex 可视化工具
- 超越正则表达式,XPath是什么鬼。
- 数据存储,Python 自带轻量级数据库SQLite。
- 了解各种坑,模拟登陆,JS 加载、点击动作,请求次数限制
- 网络爬虫定向抓取漫谈
- 详解抓取网站,模拟登陆,抓取动态网页的原理和实现(Python,C#等)
- 专栏:Python 爬虫入门教程
- 爬虫视频课程 - 极客学院
- 超级武器,上手 Scrapy 框架
- 非常好用的大而全功能完备的Scrapy 框架
- 这里有之前版本的中文翻译,Scrapy 0.25 文档。
- 一栈式解决方案,直接上浏览器 webkit 解决 JS 动态加载问题
- 网页动态刷新,什么是AJAX?
- 两个无图形化的浏览器内核爬虫,spynner,Ghost.py
- 究极武器,直接使用第三方服务:PQL,Kimono
- 能够直接把网页变成 API 的Kimono。
- 像 SQL 查询语句一样调用网站服务的YQL,雅虎出品。