Python爬虫简介

爬取你要的数据：爬虫技术中已经解释了爬虫的核心步骤了和相关涉及内容，也提到了很多语言都可以实现爬虫，都能爬取到你要的数据。

不过不同语言有自己的侧重点，而其中爬虫领域，最方便的要数Python。Python在爬虫领域，有很多的现成的库和框架可供使用，便于快速高效的实现爬虫的功能。

用Python写爬虫的不同方式

正如爬取你要的数据：爬虫技术中所整理的，用Python去写爬虫，也有三种方式：

• 裸写Python爬虫代码
  • 下载
    • python的内置http网络库
      • urllib
        • crifanLibPython中的getUrlRespHtml
  • 提取
    • re模块
      • Python中的正则表达式：re模块详解
  • 保存
    • txt
    • csv / excel
      • Python心得：操作CSV和Excel
• 用各种Python库组合去写爬虫代码
  • 下载
    • 选择第三方的、更强大的、更好用的网络库
      • Python心得：http网络库
        • Requests
        • aiohttp
  • 提取
    • BeautifulSoup
      • Python专题教程：BeautifulSoup详解
        • v3 -> Python2
        • v4 -> Python3
    • PyQuery
      • Python心得：HTML解析库PyQuery
    • lxml
      • 【记录】Python中尝试用lxml去解析html – 在路上
    • 等等
  • 保存
    • csv / excel
    • PyMySQL
      • 主流关系数据库：MySQL
    • PyMongo
      • 主流文档型数据库：MongoDB
    • 等等
• 用爬虫框架去写爬虫代码
  • 常见Python爬虫框架
    • PySpider
      • Python爬虫框架：PySpider
    • Scrapy
      • 主流Python爬虫框架：Scrapy
    • 其他相关
      • 【整理】pyspider vs scrapy