2022年 11月 9日

如何入门 Python 爬虫?人人都能学会

文章目录

  • 前言
  • 一、网络爬虫的概念
    • 1.1 网络爬虫与浏览器的区别:
    • 1.2 网络爬虫的定义及作用
  • 二、爬虫的基本流程
    • 2.1 发起请求
    • 2.2 获取响应内容
    • 2.3 解析内容
    • 2.4 保存数据
  • 三、Python爬虫学习的10个步骤
  • 四、180分钟学会爬虫入门(含实例)

前言

从爬虫基础概念入手开始讲,再说爬虫学习的步骤及知识点,最后送大家180分钟的爬虫实战教程。


初学Python爬虫要搞清楚的问题:

网络爬虫的定义及其作用
爬虫的基本流程有哪些
Python爬虫学习的几个步骤

一、网络爬虫的概念

1.1 网络爬虫与浏览器的区别:

浏览器是展示数据的, 而网络爬虫是采集数据的。

1.2 网络爬虫的定义及作用

定义:网络爬虫(又被称为网页蜘蛛,网络机器人)就是模拟客户端发送网络请求,获取响应数据,一种按照一定的规则,自动地抓取万维网信息的程序或脚本。

作用:从万维网上, 获取我们需要的信息。

二、爬虫的基本流程

在这里插入图片描述

2.1 发起请求

通过url向服务器发送requests请求,请求可以包含额外的header信息。

2.2 获取响应内容

如果服务器正常响应,那么将受到一个response,response即为我们所请求的网页内容,可能包含htmljson二进制数据(图片、视频)等。

2.3 解析内容

如果是html代码则可以使用网页解析器进行解析;如果是json数据则可以转换成json对象进行解析;如果是二进制数据则可以保存到文件进行进一步的处理。

2.4 保存数据

可以保存到本地文件,也可以保存到数据库(mysql edismongodb等)。

三、Python爬虫学习的10个步骤

(1)首先学会基本的Python语法知识

(2)学习Python爬虫常用到的几个重要内置库urllib, http等,用于下载网页

(3)学习正则表达式re、BeautifulSoup(bs4)、Xpath(lxml)等网页解析工具

(4)开始一些简单的网站爬取(博主从百度开始的,哈哈),了解爬取数据过程

(5)了解爬虫的一些反爬机制,header,robot,时间间隔,代理ip,隐含字段等

(6)学习一些特殊网站的爬取,解决登录、Cookie、动态网页等问题

(7)了解爬虫与数据库的结合,如何将爬取数据进行储存

(8)学习应用Python的多线程、多进程进行爬取,提高爬虫效率

(9)学习爬虫的框架,Scrapy、PySpider等

(10)学习分布式爬虫(数据量庞大的需求)

四、180分钟学会爬虫入门(含实例)

视频教程–>黑马程序员180分钟轻松获取疫情数据,Python爬虫入门课

  • 了解什么是爬虫
  • 掌握requests库的使用
  • 掌握BeautifulSoup解析库提取数据
  • 掌握正则表达式提取数据
  • 掌握是用json模块处理json格式数据
  • 掌握疫情爬虫项目的实现
  • 了解疫情数据可视化