2022年 11月 8日

python豆瓣Top250数据分析

 python基础学习

Python基础语法_aiqq136的博客-CSDN博客

python_webcrawler

以下内容

数据可视化

数据可视化_aiqq136的博客-CSDN博客

一.python爬虫

1.任务介绍

需求分析

爬取豆瓣电影Top250的基本信息，包括电影的名称、豆瓣评分、评价数、电影概况、电影链接等。

https://movie.douban.com/top250

2.爬虫初识

什么是爬虫?

网络爬虫，是一种按照一定规则，自动抓取互联网信息的程序或者脚本。

由于互联网数据的多样性和资源的有限性，根据用户需求定向抓取相关网页并分析已成为如今主流的爬取策略。

爬虫可以做什么?

你可以爬取妹子的图片，爬取自己想看的视频等等，只要你能通过浏览器访问的数据都可以通过爬虫获取。

爬虫的本质是什么?

模拟浏览器打开网页，获取网页中我们想要的那部分数据。

3.基本流程

准备工作

通过浏览器查看分析目标网页，学习编程基础规范。

获取数据

通过HTTP库向目标站点发起请求，请求可以包含额外的header等信息，

如果服务器能正常响应，会得到一个Response，便是所要获取的页面内容。

解析内容

得到的内容可能是HTML、json等格式，可以用页面解析库、正则表达式等进行解析。

保存数据

保存形式多样，可以存为文本，也可以保存到数据库，或者保存特定格式的文件。

二.准备工作

1.网页的路径规律

https://movie.douban.com/top250?start=0        从第1个开始展示

https://movie.douban.com/top250?start=25            从第26个开始展示

2.URL分析

页面包括250条电影数据,分10页，每页25条

每页的URL的不同之处:最后的数值=（页数- 1)* 25

3.分析页面

借助Chrome开发者工具(F12)来分析网页，在Elements下找到需要的数据位置

Select an element in the page to inspect it Ctrl + Shift +C

在network下可以看刷新网址以后的所有访问请求的时间线

Headers：当前这一次访问给浏览器发送的信息

User-Agent:浏览器信息

需要登录的网页 要用到cookie

4.编码规范

1.一般Python程序第一行需要加入

#-*- coding: utf-8 -*-或者# coding=utf-8

这样可以在代码中包含中文

2.在Python中，使用函数实现单一功能或相关联功能的代码段，可以提高可读性和代码重复利用率，

函数代码块以def关键词开头，后接空格、函数标识符名称、圆括号()、冒号:

括号中可以传入参数，函数段缩进(Tab或四个空格，只能任选一种),

return用于结束函数，可以返回一个值，也可以不带任何表达式(表示返回None )

3.Python文件中可以加入main函数用于测试程序

if __name__ == "__main__":

有利于管理函数的执行顺序
例子：

  1. #-*- coding: utf-8 -*-
  2. def main():
  3.     print("hello")
  4.  
  5. if __name__ == "__main__":  #当程序执行时
  6.     #调用函数
  7.     main()

4.Python使用#添加注释，说明代码（段)的作用

三.引入模块

1.模块( module )

用来从逻辑上组织Python代码（变量、函数、类），本质就是py文件,提高代码的可维护性。

Python使用import来导入模块，如import sys

例子：
test1文件夹里面有t1.py

  1. def add(a,b):
  2.     return a+b

而我想在test2文件夹的t2.py中调用t1中的函数

#引入自定义的模块

  1. from test1 import t1
  2. print(t1.add(2,3))

#引入系统的模块

  1. import sys
  2. import os

#引入第三方模块（这些都是这个项目要使用的模块）
 

  1. import bs4  #网页解析，获取数据
  2. import re   #正则表达式，进行文字匹配
  3. import urllib.request,urllib.error  #制定URL，获取网络数据
  4. import xlwt #进行excel操作
  5. import sqlite3  #进行SQLite数据库操作

由于我使用的工具为vs2019，它的第三方模块的加载方式为

 在这里输入想查找的包的名字，例如bs4

 点击pip install bs4就可以了

现在程序为

  1. #-*- coding: utf-8 -*-
  2. from bs4 import BeautifulSoup  #网页解析，获取数据
  3. import re   #正则表达式，进行文字匹配
  4. import urllib.request,urllib.error  #制定URL，获取网络数据
  5. import xlwt #进行excel操作
  6. import sqlite3  #进行SQLite数据库操作
  7.  
  8.  
  9. def main():
  10.     baseurl="https://movie.douban.com/top250"
  11.     #1.爬取网页
  12.     datalist=getData(baseurl)
  13.     
  14.     savepath=".\\豆瓣电影Top250.xls"    #当前文件夹下
  15.     #3.保存数据
  16.     saveData(savepath)
  17.  
  18.  
  19. #爬取网页
  20. def getData(baseurl):
  21.     datelist=[]
  22.     #2.逐一解析数据
  23.     return datalist
  24.  
  25. #保存数据
  26. def saveData(savepath):
  27.     print("save.....")
  28.  
  29. if __name__ == "__main__":  #当程序执行时
  30.     #调用函数
  31.     main()

2.获取数据

Python一般使用urllib库获取页面

获取页面数据

  • 对每一个页面，调用askURL函数获取页面内容
  • 定义一个获取页面的函数askURL，传入一个url参数，表示网址，如https:// movie.douban.com/top250?start=0
  • urllib.Request生成请求:urllib.urlopen发送请求获取响应; rcad获取页面内容
  • 在访问页面时经常会出现错误，为了程序正常运行，加入异常捕获try…except…语句

 urllib测试

urllib测试_aiqq136的博客-CSDN博客

获取数据

得到一个指定URL的网页内容

  1. #-*- coding: utf-8 -*-
  2. from bs4 import BeautifulSoup  #网页解析，获取数据
  3. import re   #正则表达式，进行文字匹配
  4. import urllib.request,urllib.error  #制定URL，获取网络数据
  5. import xlwt #进行excel操作
  6. import sqlite3  #进行SQLite数据库操作
  7.  
  8.  
  9. def main():
  10.     baseurl="https://movie.douban.com/top250?start="
  11.     #1.爬取网页
  12.     datalist=getData(baseurl)
  13.     
  14.     savepath=".\\豆瓣电影Top250.xls"    #当前文件夹下
  15.     #3.保存数据
  16.     #saveData(savepath)
  17.     askURL("https://movie.douban.com/top250?start=")
  18.  
  19.  
  20. #爬取网页
  21. def getData(baseurl):
  22.     datalist=[]
  23.     #2.逐一解析数据
  24.     return datalist
  25.  
  26. #得到一个指定URL的网页内容
  27. def askURL(url):
  28.         #模拟浏览器头部信息，向豆瓣服务器发送信息
  29.     head={"User-Agent":" Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36"}
  30.         #用户代理，表示告诉豆瓣服务器，我们是什么类型的机器，浏览器（本质上是高速浏览器，我们可以接受什么水平的信息）
  31.     request=urllib.request.Request(url,headers=head)
  32.     html=""
  33.     try:
  34.         response=urllib.request.urlopen(request)
  35.         html=response.read().decode("utf-8")
  36.         print(html)
  37.     except urllib.error.URLError as e:  #捕获错误
  38.         if hasattr(e,"code"):
  39.             print(e.code)   #打印错误代码
  40.         if hasattr(e,"reason"):
  41.             print(e.reason) #打印错误原因
  42.     return html
  43.  
  44.  
  45.  
  46. #保存数据
  47. def saveData(savepath):
  48.     print("save.....")
  49.  
  50. if __name__ == "__main__":  #当程序执行时
  51.     #调用函数
  52.     main()

查看内容，发现得到网页的数据了

爬取网页

用循环构造换页

  1. #爬取网页
  2. def getData(baseurl):
  3.     datalist=[]
  4.     for i in range(0,10):   #调用获取页面信息的函数，10次
  5.         url=baseurl + str(i*25)
  6.         html=askURL(url)    #保存获取到的网页源码
  7.         #2.逐一解析数据
  8.  
  9.     
  10.     return datalist

现阶段代码

  1. #-*- coding: utf-8 -*-
  2. from bs4 import BeautifulSoup  #网页解析，获取数据
  3. import re   #正则表达式，进行文字匹配
  4. import urllib.request,urllib.error  #制定URL，获取网络数据
  5. import xlwt #进行excel操作
  6. import sqlite3  #进行SQLite数据库操作
  7.  
  8.  
  9. def main():
  10.     baseurl="https://movie.douban.com/top250?start="
  11.     #1.爬取网页
  12.     datalist=getData(baseurl)
  13.     
  14.     savepath=".\\豆瓣电影Top250.xls"    #当前文件夹下
  15.     #3.保存数据
  16.     #saveData(savepath)
  17.     askURL("https://movie.douban.com/top250?start=")
  18.  
  19.  
  20. #爬取网页
  21. def getData(baseurl):
  22.     datalist=[]
  23.     for i in range(0,10):   #调用获取页面信息的函数，10次
  24.         url=baseurl + str(i*25)
  25.         html=askURL(url)    #保存获取到的网页源码
  26.         #2.逐一解析数据
  27.  
  28.     
  29.     return datalist
  30.  
  31. #得到一个指定URL的网页内容
  32. def askURL(url):
  33.         #模拟浏览器头部信息，向豆瓣服务器发送信息
  34.     head={"User-Agent":" Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36"}
  35.         #用户代理，表示告诉豆瓣服务器，我们是什么类型的机器，浏览器（本质上是高速浏览器，我们可以接受什么水平的信息）
  36.     request=urllib.request.Request(url,headers=head)
  37.     html=""
  38.     try:
  39.         response=urllib.request.urlopen(request)
  40.         html=response.read().decode("utf-8")
  41.         print(html)
  42.     except urllib.error.URLError as e:  #捕获错误
  43.         if hasattr(e,"code"):
  44.             print(e.code)   #打印错误代码
  45.         if hasattr(e,"reason"):
  46.             print(e.reason) #打印错误原因
  47.     return html
  48.  
  49.  
  50.  
  51. #保存数据
  52. def saveData(savepath):
  53.     print("save.....")
  54.  
  55. if __name__ == "__main__":  #当程序执行时
  56.     #调用函数
  57.     main()

补充BeautifulSoup用于html文件解析

BeautifulSoup用于html文件解析_aiqq136的博客-CSDN博客

补充re模块：正则表达式

re模块：正则表达式_aiqq136的博客-CSDN博客

正则提取

拿到每一个电影的相关信息

  1. #2.逐一解析数据
  2.         soup=BeautifulSoup(html,"html.parser")
  3.         for item in soup.find_all('div',class_="item"): #查找符合要求的字符串，形成列表
  4.             print(item)

 

搞出第一页影片的超链接

  1. #影片详情的链接的规则
  2. findLink=re.compile(r'<a href="(.*?)">')   #创建正则表达式，表示规则（字符串模式）
  3.  
  4. #爬取网页
  5. def getData(baseurl):
  6.     datalist=[]
  7.     for i in range(0,1):   #调用获取页面信息的函数，10次
  8.         url=baseurl + str(i*25)
  9.         html=askURL(url)    #保存获取到的网页源码
  10.  
  11.         #2.逐一解析数据
  12.         soup=BeautifulSoup(html,"html.parser")
  13.         for item in soup.find_all('div',class_="item"): #查找符合要求的字符串，形成列表
  14.             #print(item)    #测试：查看电影item全部信息
  15.             data=[] #保存一部电影的全部信息
  16.             item=str(item)
  17.             
  18.             #影片详情的链接
  19.             link=re.findall(findLink,item)[0]   #re库用来通过正则表达式查找指定的字符串,[0]表示如果有两个，只要第一个
  20.             print(link)
  21.  
  22.  
  23.     return datalist

https://movie.douban.com/subject/1292052/
https://movie.douban.com/subject/1291546/
。。。。。。。。
https://movie.douban.com/subject/1291560/
https://movie.douban.com/subject/3319755/

截断整出一个电影的item信息，把需求的东西都提取出来，之后加循环就行了

  1. #爬取网页
  2. def getData(baseurl):
  3.     datalist=[]
  4.     for i in range(0,1):   #调用获取页面信息的函数，10次
  5.         url=baseurl + str(i*25)
  6.         html=askURL(url)    #保存获取到的网页源码
  7.  
  8.         #2.逐一解析数据
  9.         soup=BeautifulSoup(html,"html.parser")
  10.         for item in soup.find_all('div',class_="item"): #查找符合要求的字符串，形成列表
  11.             #print(item)    #测试：查看电影item全部信息
  12.             data=[] #保存一部电影的全部信息
  13.             item=str(item)
  14.             print(item)
  15.             break
  16.             #影片详情的链接
  17.             link=re.findall(findLink,item)[0]   #re库用来通过正则表达式查找指定的字符串,[0]表示如果有两个，只要第一个
  18.             print(link)
  19.  
  20.  
  21.     return datalist

保存到一个html文档里面进行对比

  1. <div class="item">
  2. <div class="pic">
  3. <em class="">1</em>
  4. <a href="https://movie.douban.com/subject/1292052/">
  5. <img alt="肖申克的救赎" class="" src="https://img2.doubanio.com/view/photo/s_ratio_poster/public/p480747492.jpg" width="100"/>
  6. </a>
  7. </div>
  8. <div class="info">
  9. <div class="hd">
  10. <a class="" href="https://movie.douban.com/subject/1292052/">
  11. <span class="title">肖申克的救赎</span>
  12. <span class="title"> / The Shawshank Redemption</span>
  13. <span class="other"> / 月黑高飞(港)  /  刺激1995(台)</span>
  14. </a>
  15. <span class="playable">[可播放]</span>
  16. </div>
  17. <div class="bd">
  18. <p class="">
  19.                             导演: 弗兰克·德拉邦特 Frank Darabont   主演: 蒂姆·罗宾斯 Tim Robbins /...<br/>
  20.                             1994 / 美国 / 犯罪 剧情
  21.                         </p>
  22. <div class="star">
  23. <span class="rating5-t"></span>
  24. <span class="rating_num" property="v:average">9.7</span>
  25. <span content="10.0" property="v:best"></span>
  26. <span>2523850人评价</span>
  27. </div>
  28. <p class="quote">
  29. <span class="inq">希望让人自由。</span>
  30. </p>
  31. </div>
  32. </div>
  33. </div>

 将相关需要提取的东西转为正则表达式，并设置为全局变量

  1. #影片详情的链接的规则
  2. findLink=re.compile(r'<a href="(.*?)">')   #创建正则表达式，表示规则（字符串模式）
  3. #影片图片
  4. findImgSrc=re.compile(r'<img.*src="(.*?)"',re.S)  #re.S让换行符包含在字符中
  5. #影片片名
  6. findTitle=re.compile(r'<span class="title">(.*)</span>')
  7. #影片评分
  8. findRating=re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
  9. #找到评价人数
  10. findJudge=re.compile(r'<span>(\d*)人评价</span>')
  11. #找到概况
  12. findInq=re.compile(r'<span class="inq">(.*)</span>')
  13. #找到影片的相关内容
  14. findBd=re.compile(r'<p class="">(.*?)</p>',re.S)

把电影的相关信息保存到datalist里面

  1. #影片详情的链接
  2.             link=re.findall(findLink,item)[0]   #re库用来通过正则表达式查找指定的字符串,[0]表示如果有两个，只要第一个
  3.             data.append(link)       #列表添加链接
  4.  
  5.             imgSrc=re.findall(findImgSrc,item)[0]
  6.             data.append(imgSrc)     #列表添加图片
  7.  
  8.             titles=re.findall(findTitle,item)   #片名可能只有一个中文名，没有外文名
  9.             if(len(titles)==2):
  10.                 ctitle=titles[0]    #添加中文名
  11.                 data.append(ctitle)
  12.                 otitle=titles[1].replace("/","")    #去掉无关的符号
  13.                 data.append(otitle) #添加外国名
  14.             else:
  15.                 data.append(titles[0])
  16.                 data.append(' ')     #外国名留空
  17.  
  18.             rating=re.findall(findRating,item)[0]
  19.             data.append(rating)     #添加评分
  20.  
  21.             judgeNum=re.findall(findJudge,item)[0]
  22.             data.append(judgeNum)   #添加评价人数
  23.  
  24.             inq=re.findall(findInq,item)[0]
  25.             if len(inq)!=0:
  26.                 inq=inq[0].replace("。","")  #去掉句号
  27.                 data.append(inq)    #添加概述
  28.             else:
  29.                 data.append(" ")    #留空
  30.  
  31.             bd=re.findall(findBd,item)
  32.             bd=re.sub('<br(\s+)?/>(\s+)?'," ",bd)   #去掉<br/>
  33.             bd=re.sub('/'," ",bd)   #去掉/
  34.             data.append(bd.strip()) #去掉前后的空格
  35.  
  36.  
  37.             datalist.append(data)   #把处理好的一部电影信息放入datalist

全代码

  1. #-*- coding: utf-8 -*-
  2. from bs4 import BeautifulSoup  #网页解析，获取数据
  3. import re   #正则表达式，进行文字匹配
  4. import urllib.request,urllib.error  #制定URL，获取网络数据
  5. import xlwt #进行excel操作
  6. import sqlite3  #进行SQLite数据库操作
  7.  
  8.  
  9. def main():
  10.     baseurl="https://movie.douban.com/top250?start="
  11.     #1.爬取网页
  12.     datalist=getData(baseurl)
  13.     
  14.     savepath=".\\豆瓣电影Top250.xls"    #当前文件夹下
  15.     #3.保存数据
  16.     #saveData(savepath)
  17.     askURL("https://movie.douban.com/top250?start=")
  18.  
  19. #影片详情的链接的规则
  20. findLink=re.compile(r'<a href="(.*?)">')   #创建正则表达式，表示规则（字符串模式）
  21. #影片图片
  22. findImgSrc=re.compile(r'<img.*src="(.*?)"',re.S)  #re.S让换行符包含在字符中
  23. #影片片名
  24. findTitle=re.compile(r'<span class="title">(.*)</span>')
  25. #影片评分
  26. findRating=re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
  27. #找到评价人数
  28. findJudge=re.compile(r'<span>(\d*)人评价</span>')
  29. #找到概况
  30. findInq=re.compile(r'<span class="inq">(.*)</span>')
  31. #找到影片的相关内容
  32. findBd=re.compile(r'<p class="">(.*?)</p>',re.S)
  33.  
  34.  
  35. #爬取网页
  36. def getData(baseurl):
  37.     datalist=[]
  38.     for i in range(0,1):   #调用获取页面信息的函数，10次
  39.         url=baseurl + str(i*25)
  40.         html=askURL(url)    #保存获取到的网页源码
  41.  
  42.         #2.逐一解析数据
  43.         soup=BeautifulSoup(html,"html.parser")
  44.         for item in soup.find_all('div',class_="item"): #查找符合要求的字符串，形成列表
  45.             #print(item)    #测试：查看电影item全部信息
  46.             data=[] #保存一部电影的全部信息
  47.             item=str(item)
  48.             
  49.             #影片详情的链接
  50.             link=re.findall(findLink,item)[0]   #re库用来通过正则表达式查找指定的字符串,[0]表示如果有两个，只要第一个
  51.             data.append(link)       #列表添加链接
  52.  
  53.             imgSrc=re.findall(findImgSrc,item)[0]
  54.             data.append(imgSrc)     #列表添加图片
  55.  
  56.             titles=re.findall(findTitle,item)   #片名可能只有一个中文名，没有外文名
  57.             if(len(titles)==2):
  58.                 ctitle=titles[0]    #添加中文名
  59.                 data.append(ctitle)
  60.                 otitle=titles[1].replace("/","")    #去掉无关的符号
  61.                 data.append(otitle) #添加外国名
  62.             else:
  63.                 data.append(titles[0])
  64.                 data.append(' ')     #外国名留空
  65.  
  66.             rating=re.findall(findRating,item)[0]
  67.             data.append(rating)     #添加评分
  68.  
  69.             judgeNum=re.findall(findJudge,item)[0]
  70.             data.append(judgeNum)   #添加评价人数
  71.  
  72.             inq=re.findall(findInq,item)
  73.             if len(inq)!=0:
  74.                 inq=inq[0].replace("。","")  #去掉句号
  75.                 data.append(inq)    #添加概述
  76.             else:
  77.                 data.append(" ")    #留空
  78.  
  79.             bd=re.findall(findBd,item)[0]
  80.             bd=re.sub('<br(\s+)?/>(\s+)?'," ",bd)   #去掉<br/>
  81.             bd=re.sub('/'," ",bd)   #去掉/
  82.             data.append(bd.strip()) #去掉前后的空格
  83.  
  84.  
  85.             datalist.append(data)   #把处理好的一部电影信息放入datalist
  86.  
  87.     print (datalist)
  88.     return datalist
  89.  
  90. #得到一个指定URL的网页内容
  91. def askURL(url):
  92.         #模拟浏览器头部信息，向豆瓣服务器发送信息
  93.     head={"User-Agent":" Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36"}
  94.         #用户代理，表示告诉豆瓣服务器，我们是什么类型的机器，浏览器（本质上是高速浏览器，我们可以接受什么水平的信息）
  95.     request=urllib.request.Request(url,headers=head)
  96.     html=""
  97.     try:
  98.         response=urllib.request.urlopen(request)
  99.         html=response.read().decode("utf-8")
  100.         #print(html)
  101.     except urllib.error.URLError as e:  #捕获错误
  102.         if hasattr(e,"code"):
  103.             print(e.code)   #打印错误代码
  104.         if hasattr(e,"reason"):
  105.             print(e.reason) #打印错误原因
  106.     return html
  107.  
  108.  
  109.  
  110. #保存数据
  111. def saveData(savepath):
  112.     print("save.....")
  113.  
  114. if __name__ == "__main__":  #当程序执行时
  115.     #调用函数
  116.     main()

3.4保存数据

3.4.1Excel表存储

利用python库xlwt将抽取的数据datalist写入Excel表格

  1. 以utf-8编码创建一个Excel对象
  2. 创建一个Sheet表
  3. 往单元格写入内容
  4. 保存表格

用几行python代码写入xls表格

  1. import xlwt
  2. workbook=xlwt.Workbook(encoding="utf-8")    #创建workbook对象
  3. worksheet=workbook.add_sheet('sheet1')      #创建工作表
  4. worksheet.write(0,0,'hello')                #写入数据，第一个参数表示行，第二个参数表示列，第三个参数内容
  5. workbook.save('student.xls')                #保存文件

 例子：在xls表格写入99乘法表

  1. import xlwt
  2. workbook=xlwt.Workbook(encoding="utf-8")    #创建workbook对象
  3. worksheet=workbook.add_sheet('sheet1')      #创建工作表
  4.  
  5. for i in range(1,10):   #行
  6.     for j in range(1,i+1):   #列
  7.             worksheet.write(i-1,j-1,"%d * %d = %d"%(i,j,i*j))
  8. workbook.save('99.xls')                #保存文件

 保存数据：Top250

  1. #保存数据
  2. def saveData(datalist,savepath):
  3.     print("save.....")
  4.     book=xlwt.Workbook(encoding="utf-8",style_compression=0)    #样式压缩效果
  5.     sheet=book.add_sheet('豆瓣电影TOP250',cell_overwrite_ok=True)      #单元格可以覆盖
  6.     col=("电影详情链接","图片链接","影片中文名","影片外国名","评分","评价数","概况","相关信息")  #元组
  7.     for i in range(0,8):
  8.         sheet.write(0,i,col[i])
  9.     for i in range(0,250):
  10.         print("第%d条"%i)
  11.         data=datalist[i]
  12.         for j in range(0,8):
  13.             sheet.write(i+1,j,data[j])  #数据
  14.     book.save('doubanTop250.xls')   #保存

Message=list index out of range 错误

将inq=re.findall(findInq,item)[0]

改为inq=re.findall(findInq,item)

xls表格保存豆瓣Top250的全代码

  1. #-*- coding: utf-8 -*-
  2. from bs4 import BeautifulSoup  #网页解析，获取数据
  3. import re   #正则表达式，进行文字匹配
  4. import urllib.request,urllib.error  #制定URL，获取网络数据
  5. import xlwt #进行excel操作
  6. import sqlite3  #进行SQLite数据库操作
  7.  
  8.  
  9. def main():
  10.     baseurl="https://movie.douban.com/top250?start="
  11.     #1.爬取网页
  12.     datalist=getData(baseurl)
  13.     
  14.     savepath=".\\豆瓣电影Top250.xls"    #当前文件夹下
  15.     #3.保存数据
  16.     saveData(datalist,savepath)
  17.     askURL("https://movie.douban.com/top250?start=")
  18.  
  19. #影片详情的链接的规则
  20. findLink=re.compile(r'<a href="(.*?)">')   #创建正则表达式，表示规则（字符串模式）
  21. #影片图片
  22. findImgSrc=re.compile(r'<img.*src="(.*?)"',re.S)  #re.S让换行符包含在字符中
  23. #影片片名
  24. findTitle=re.compile(r'<span class="title">(.*)</span>')
  25. #影片评分
  26. findRating=re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
  27. #找到评价人数
  28. findJudge=re.compile(r'<span>(\d*)人评价</span>')
  29. #找到概况
  30. findInq=re.compile(r'<span class="inq">(.*)</span>')
  31. #找到影片的相关内容
  32. findBd=re.compile(r'<p class="">(.*?)</p>',re.S)
  33.  
  34.  
  35. #爬取网页
  36. def getData(baseurl):
  37.     datalist=[]
  38.     for i in range(0,10):   #调用获取页面信息的函数，10次
  39.         url=baseurl + str(i*25)
  40.         html=askURL(url)    #保存获取到的网页源码
  41.  
  42.         #2.逐一解析数据
  43.         soup=BeautifulSoup(html,"html.parser")
  44.         for item in soup.find_all('div',class_="item"): #查找符合要求的字符串，形成列表
  45.             #print(item)    #测试：查看电影item全部信息
  46.             data=[] #保存一部电影的全部信息
  47.             item=str(item)
  48.             
  49.             #影片详情的链接
  50.             link=re.findall(findLink,item)[0]   #re库用来通过正则表达式查找指定的字符串,[0]表示如果有两个，只要第一个
  51.             data.append(link)       #列表添加链接
  52.  
  53.             imgSrc=re.findall(findImgSrc,item)[0]
  54.             data.append(imgSrc)     #列表添加图片
  55.  
  56.             titles=re.findall(findTitle,item)   #片名可能只有一个中文名，没有外文名
  57.             if(len(titles)==2):
  58.                 ctitle=titles[0]    #添加中文名
  59.                 data.append(ctitle)
  60.                 otitle=titles[1].replace("/","")    #去掉无关的符号
  61.                 data.append(otitle) #添加外国名
  62.             else:
  63.                 data.append(titles[0])
  64.                 data.append(' ')     #外国名留空
  65.  
  66.             rating=re.findall(findRating,item)[0]
  67.             data.append(rating)     #添加评分
  68.  
  69.             judgeNum=re.findall(findJudge,item)[0]
  70.             data.append(judgeNum)   #添加评价人数
  71.  
  72.             inq=re.findall(findInq,item)
  73.             if len(inq)!=0:
  74.                 inq=inq[0].replace("。","")  #去掉句号
  75.                 data.append(inq)    #添加概述
  76.             else:
  77.                 data.append(" ")    #留空
  78.  
  79.             bd=re.findall(findBd,item)[0]
  80.             bd=re.sub('<br(\s+)?/>(\s+)?'," ",bd)   #去掉<br/>
  81.             bd=re.sub('/'," ",bd)   #去掉/
  82.             data.append(bd.strip()) #去掉前后的空格
  83.  
  84.  
  85.             datalist.append(data)   #把处理好的一部电影信息放入datalist
  86.  
  87.     #print (datalist)
  88.     return datalist
  89.  
  90. #得到一个指定URL的网页内容
  91. def askURL(url):
  92.         #模拟浏览器头部信息，向豆瓣服务器发送信息
  93.     head={"User-Agent":" Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36"}
  94.         #用户代理，表示告诉豆瓣服务器，我们是什么类型的机器，浏览器（本质上是高速浏览器，我们可以接受什么水平的信息）
  95.     request=urllib.request.Request(url,headers=head)
  96.     html=""
  97.     try:
  98.         response=urllib.request.urlopen(request)
  99.         html=response.read().decode("utf-8")
  100.         #print(html)
  101.     except urllib.error.URLError as e:  #捕获错误
  102.         if hasattr(e,"code"):
  103.             print(e.code)   #打印错误代码
  104.         if hasattr(e,"reason"):
  105.             print(e.reason) #打印错误原因
  106.     return html
  107.  
  108.  
  109.  
  110. #保存数据
  111. def saveData(datalist,savepath):
  112.     print("save.....")
  113.     book=xlwt.Workbook(encoding="utf-8",style_compression=0)    #样式压缩效果
  114.     sheet=book.add_sheet('豆瓣电影TOP250',cell_overwrite_ok=True)      #单元格可以覆盖
  115.     col=("电影详情链接","图片链接","影片中文名","影片外国名","评分","评价数","概况","相关信息")  #元组
  116.     for i in range(0,8):
  117.         sheet.write(0,i,col[i])
  118.     for i in range(0,250):
  119.         print("第%d条"%i)
  120.         data=datalist[i]
  121.         for j in range(0,8):
  122.             sheet.write(i+1,j,data[j])  #数据
  123.     book.save('doubanTop250.xls')   #保存
  124.  
  125.  
  126.  
  127. if __name__ == "__main__":  #当程序执行时
  128.     #调用函数
  129.     main()
  130.     print("爬去完毕")

补充SQLite相关知识

SQLite相关知识_aiqq136的博客-CSDN博客sqlite是python3后支持的简单数据库打开或创建数据库import sqlite3conn=sqlite3.connect(“test.db”) #打开或创建数据库print(“Opened database successfully”)pycharm通过database查看SQLite数据库SQLite建表格式import sqlite3conn=sqlite3.connect(“test.db”) #打开或创建数据库prin..https://blog.csdn.net/aiqq136/article/details/122478368

保存数据到SQLite

主函数修改

  1. def main():
  2.     baseurl="https://movie.douban.com/top250?start="
  3.     #1.爬取网页
  4.     datalist=getData(baseurl)
  5.     
  6.     #savepath=".\\豆瓣电影Top250.xls"    #当前文件夹下
  7.     dbpath="movie.db"
  8.     #3.保存数据
  9.     #saveData(datalist,savepath)
  10.     saveData2DB(datalist,dbpath)
  11.  
  12.     #askURL("https://movie.douban.com/top250?start=")

数据库保存数据

  1. #数据库保存数据
  2. def saveData2DB(datalist,dbpath):
  3.     print("...")

创建数据库

  1. #创建数据库
  2. def init_db(dbpath):
  3.     sql='''
  4.         create table movie250
  5.         (
  6.         id integer primary key autoincrement,
  7.         info_link text,
  8.         pic_link text,
  9.         cname varchar,
  10.         ename varchar,
  11.         score numeric,
  12.         rated numeric,
  13.         instroduction text,
  14.         info text
  15.         )
  16.     ''' #创建数据表
  17.     conn=sqlite3.connect(dbpath)
  18.     cursor=conn.cursor()
  19.     cursor.execute(sql)
  20.     conn.commit()
  21.     conn.close()
  22.  
  23.  
  24.  
  25. if __name__ == "__main__":  #当程序执行时
  26.     #调用函数
  27.     #main()
  28.     init_db("movietest.db")
  29.     print("爬取完毕")

数据库保存数据

  1. #数据库保存数据
  2. def saveData2DB(datalist,dbpath):
  3.     print("saving....")
  4.     init_db(dbpath)
  5.     conn=sqlite3.connect(dbpath)    #链接数据库
  6.     cur=conn.cursor()   #游标
  7.     #print(datalist)
  8.     for data in datalist:
  9.         for index in range(len(data)):
  10.             if index==4 or index==5:
  11.                 continue
  12.             data[index]='"'+data[index]+'"'
  13.         sql='''
  14.             insert into movie250(
  15.             info_link,pic_link,cname,ename,score,rated,instroduction,info)
  16.             values(%s)'''%",".join(data)
  17.         print(sql)
  18.         #cur.execute(sql)
  19.         #conn.commit()
  20.     cur.close()
  21.     conn.close()
  22.     print("save done....")

全代码

  1. #-*- coding: utf-8 -*-
  2. from bs4 import BeautifulSoup  #网页解析，获取数据
  3. import re   #正则表达式，进行文字匹配
  4. import urllib.request,urllib.error  #制定URL，获取网络数据
  5. import xlwt #进行excel操作
  6. import sqlite3  #进行SQLite数据库操作
  7.  
  8.  
  9. def main():
  10.     baseurl="https://movie.douban.com/top250?start="
  11.     #1.爬取网页
  12.     datalist=getData(baseurl)
  13.     
  14.     #savepath=".\\豆瓣电影Top250.xls"    #当前文件夹下
  15.     dbpath="movie.db"
  16.     #3.保存数据
  17.     #saveData(datalist,savepath)
  18.     saveData2DB(datalist,dbpath)
  19.  
  20.     #askURL("https://movie.douban.com/top250?start=")
  21.  
  22. #影片详情的链接的规则
  23. findLink=re.compile(r'<a href="(.*?)">')   #创建正则表达式，表示规则（字符串模式）
  24. #影片图片
  25. findImgSrc=re.compile(r'<img.*src="(.*?)"',re.S)  #re.S让换行符包含在字符中
  26. #影片片名
  27. findTitle=re.compile(r'<span class="title">(.*)</span>')
  28. #影片评分
  29. findRating=re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
  30. #找到评价人数
  31. findJudge=re.compile(r'<span>(\d*)人评价</span>')
  32. #找到概况
  33. findInq=re.compile(r'<span class="inq">(.*)</span>')
  34. #找到影片的相关内容
  35. findBd=re.compile(r'<p class="">(.*?)</p>',re.S)
  36.  
  37.  
  38. #爬取网页
  39. def getData(baseurl):
  40.     datalist=[]
  41.     for i in range(0,10):   #调用获取页面信息的函数，10次
  42.         url=baseurl + str(i*25)
  43.         html=askURL(url)    #保存获取到的网页源码
  44.  
  45.         #2.逐一解析数据
  46.         soup=BeautifulSoup(html,"html.parser")
  47.         for item in soup.find_all('div',class_="item"): #查找符合要求的字符串，形成列表
  48.             #print(item)    #测试：查看电影item全部信息
  49.             data=[] #保存一部电影的全部信息
  50.             item=str(item)
  51.             
  52.             #影片详情的链接
  53.             link=re.findall(findLink,item)[0]   #re库用来通过正则表达式查找指定的字符串,[0]表示如果有两个，只要第一个
  54.             data.append(link)       #列表添加链接
  55.  
  56.             imgSrc=re.findall(findImgSrc,item)[0]
  57.             data.append(imgSrc)     #列表添加图片
  58.  
  59.             titles=re.findall(findTitle,item)   #片名可能只有一个中文名，没有外文名
  60.             if(len(titles)==2):
  61.                 ctitle=titles[0]    #添加中文名
  62.                 data.append(ctitle)
  63.                 otitle=titles[1].replace("/","")    #去掉无关的符号
  64.                 data.append(otitle) #添加外国名
  65.             else:
  66.                 data.append(titles[0])
  67.                 data.append(' ')     #外国名留空
  68.  
  69.             rating=re.findall(findRating,item)[0]
  70.             data.append(rating)     #添加评分
  71.  
  72.             judgeNum=re.findall(findJudge,item)[0]
  73.             data.append(judgeNum)   #添加评价人数
  74.  
  75.             inq=re.findall(findInq,item)
  76.             if len(inq)!=0:
  77.                 inq=inq[0].replace("。","")  #去掉句号
  78.                 data.append(inq)    #添加概述
  79.             else:
  80.                 data.append(" ")    #留空
  81.  
  82.             bd=re.findall(findBd,item)[0]
  83.             bd=re.sub('<br(\s+)?/>(\s+)?'," ",bd)   #去掉<br/>
  84.             bd=re.sub('/'," ",bd)   #去掉/
  85.             data.append(bd.strip()) #去掉前后的空格
  86.  
  87.             datalist.append(data)   #把处理好的一部电影信息放入datalist
  88.  
  89.     #print (datalist)
  90.     return datalist
  91.  
  92. #得到一个指定URL的网页内容
  93. def askURL(url):
  94.         #模拟浏览器头部信息，向豆瓣服务器发送信息
  95.     head={"User-Agent":" Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36"}
  96.         #用户代理，表示告诉豆瓣服务器，我们是什么类型的机器，浏览器（本质上是高速浏览器，我们可以接受什么水平的信息）
  97.     request=urllib.request.Request(url,headers=head)
  98.     html=""
  99.     try:
  100.         response=urllib.request.urlopen(request)
  101.         html=response.read().decode("utf-8")
  102.         #print(html)
  103.     except urllib.error.URLError as e:  #捕获错误
  104.         if hasattr(e,"code"):
  105.             print(e.code)   #打印错误代码
  106.         if hasattr(e,"reason"):
  107.             print(e.reason) #打印错误原因
  108.     return html
  109.  
  110. #保存数据
  111. def saveData(datalist,savepath):
  112.     print("save.....")
  113.     book=xlwt.Workbook(encoding="utf-8",style_compression=0)    #样式压缩效果
  114.     sheet=book.add_sheet('豆瓣电影TOP250',cell_overwrite_ok=True)      #单元格可以覆盖
  115.     col=("电影详情链接","图片链接","影片中文名","影片外国名","评分","评价数","概况","相关信息")  #元组
  116.     for i in range(0,8):
  117.         sheet.write(0,i,col[i])
  118.     for i in range(0,250):
  119.         print("第%d条"%i)
  120.         data=datalist[i]
  121.         for j in range(0,8):
  122.             sheet.write(i+1,j,data[j])  #数据
  123.     book.save('doubanTop250.xls')   #保存
  124.  
  125. #数据库保存数据
  126. def saveData2DB(datalist,dbpath):
  127.     print("saving....")
  128.     init_db(dbpath)
  129.     conn=sqlite3.connect(dbpath)    #链接数据库
  130.     cur=conn.cursor()   #游标
  131.     for data in datalist:
  132.         for index in range(len(data)):
  133.             if index==4 or index==5:
  134.                 continue
  135.             data[index]='"'+data[index]+'"'
  136.         sql='''
  137.             insert into movie250(
  138.             info_link,pic_link,cname,ename,score,rated,instroduction,info)
  139.             values(%s)'''%",".join(data)
  140.         #print(sql)
  141.         cur.execute(sql)
  142.         conn.commit()
  143.     cur.close()
  144.     conn.close()
  145.     print("save done....")
  146.  
  147.  
  148. #创建数据库
  149. def init_db(dbpath):
  150.     sql='''
  151.         create table movie250
  152.         (
  153.         id integer primary key autoincrement,
  154.         info_link text,
  155.         pic_link text,
  156.         cname varchar,
  157.         ename varchar,
  158.         score numeric,
  159.         rated numeric,
  160.         instroduction text,
  161.         info text
  162.         )
  163.     ''' #创建数据表
  164.     conn=sqlite3.connect(dbpath)
  165.     cursor=conn.cursor()
  166.     cursor.execute(sql)
  167.     conn.commit()
  168.     conn.close()
  169.  
  170.  
  171. if __name__ == "__main__":  #当程序执行时
  172.     #调用函数
  173.     main()
  174.     print("爬取完毕")

爬取成功并存到数据库中