明霞山资源网 Design By www.htccd.com
最近老师布置了个作业,爬取豆瓣top250的电影信息。按照套路,自然是先去看看源代码了,一看,基本的信息竟然都有,心想这可省事多了。简单分析了下源代码,标记出所需信息的所在标签,ok,开始干活!
鉴于正则表达式的资料已经看了不少,所以本次除了beautifulsoup外,还有些re的使用,当然,比较简单。而爬到信息后,以往一般是存到txt文件,或者数据库中,老是重样的操作,难免有些‘厌倦'。心想,干嘛不存到Excel表呢?对啊,可以存到Excel表。
环境准备:pip install openpyxl (假设你已配好了python环境)
好了,废话少说,上代码。
# coding=UTF-8 ''' function:爬取豆瓣top250的电影信息,并写入Excel文件 ''' import requests import re from openpyxl import workbook # 写入Excel表所用 from openpyxl import load_workbook # 读取Excel表所用 from bs4 import BeautifulSoup as bs import os os.chdir('C:\Users\Administrator\Desktop') # 更改工作目录为桌面 def getHtml(src): html = requests.get(src).content getData(html, src) # 首页链接和其他页不同,所以单独获取信息 urls = re.findall('href="(.*filter="换行"都算作是子节点!莫名地有点方...不知各位有没有遇到过。如图,我按列表下标标记,0,2,4,6,8是换行,但也被算作子节点...
2.还是contents方法,代码中的 '#得到电影所有名称' 处的代码 n.contents[1]获取的除了a标签外,还有其下的span标签,这是为何?它们算一个整体?
3.对如下图的电影信息处理时,出现了几处错误,原因有以下几点:
(1)部分电影没有主演信息...
(2)主演信息为这样'主演: ',就一个主演字样,无内容
(3)部分电影没有简介
(4)当主演信息中没有'...'时,获取主演信息受阻
解决方案:(1)(2)都是主演问题,判断是否存在即可。(我以捕获异常处理)
(3)是简介问题,我无法给出具体哪部电影没有简介,但给了该电影所在的页面链接,可访问核查。(貌似有点笨)
(4)获取受阻是因为后面没有精确定位点,最后以re.split('[1-2]+')方法解决,匹配年份第一位作为分片点
本次分享就到这儿了,最后,照旧放几张结果图吧。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
明霞山资源网 Design By www.htccd.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
明霞山资源网 Design By www.htccd.com
暂无评论...