还是分析一下大体的流程：
首先还是Chrome浏览器抓包分析元素，这是网址：https://www.douyu.com/directory/all
发现所有房间的信息都是保存在一个无序列表中的li中，所以我们可以先获取一个装有li的element对象的列表，然后在对每个element逐一操作
分析斗鱼的翻页，有一个下一页按钮，是个li，class="dy-Pagination-item-custom" ，但是当烦到最后一页的时候，class="dy-Pagination-disabled dy-Pagination-next"，所以我们要想利用selenium模拟点击这个按钮，我们应该利用
get_elements_by_xpath()这个函数，这样到最后一页就获取不到了，就可以终止程序了。而用elements的原因是当到最后一页的时候获取不到的话，element会报错
然后还是通用的套路：发送请求获取响应、提取数据和下一页的元素、保存数据、点击下一页的元素循环......
遇到的两个坑：
需要用time.sleep()函数强制等待页面加载完再获取元素，否则报错，睡几秒就看你的网速了
xpath定位的时候，网页上有的类如这样：class=" abc"或者class="abc " ，前面或后面有空格的，xpath处理的时候也必须有空格，否则获取不到
代码实现：
import time
from selenium import webdriver
class DouyuSpider(object):
def __init__(self):
self.start_rul = 'https://www.douyu.com/directory/all'
self.driver = webdriver.Chrome()
def get_content_list(self):
time.sleep(10) # 强制等待10秒，否则可能报错
li_list = self.driver.find_elements_by_xpath('//ul[@class="layout-Cover-list"]/li')
content_list = []
for li in li_list:
item = {}
item['room_img'] = li.find_element_by_xpath('.//img[@class="DyImg-content is-normal "]').get_attribute('src')
item['room_title'] = li.find_element_by_xpath('.//h3[@class="DyListCover-intro"]').text
item['root_category'] = li.find_element_by_xpath('.//span[@class="DyListCover-zone"]').text
item['author_name'] = li.find_element_by_class_name('DyListCover-user').text
item['watch_num'] = li.find_element_by_class_name('DyListCover-hot').text
content_list.append(item)
print(item) # 打印每次获取到的直播房间的信息
# 获取下一页的元素,为了防止没有报错，这里用elements，翻到最后一页一定就没有了，返回一个列表
next_url = self.driver.find_elements_by_xpath('//li[@class=" dy-Pagination-next"]')
next_url = next_url[0] if len(next_url) > 0 else None
return content_list, next_url
def save_content_list(self, content_list):
pass # 保存数据这里就不再做演示
def run(self): # 实现主要逻辑
# 1.start_url
# 2.发送请求，获取响应
self.driver.maximize_window()
self.driver.get(self.start_rul)
# 3.提取数据，提取下一页的元素
content_list, next_url = self.get_content_list()
# 4.保存数据
self.save_content_list(content_list)
# 4.点击下一页元素，循环
while next_url is not None:
next_url.click()
content_list, next_url = self.get_content_list()
self.save_content_list(content_list)
if __name__ == '__main__':
douban = DouyuSpider()
douban.run()
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒 经典版》的玩家都可以获得奖励。