很多时候，我们要查看的内容必须要先登录才能找到，比如知乎的回答，QQ空间的好友列表、微博上关注的人和粉丝等。要使用爬虫直接登录抓取这些信息时，有一个不太好解决的难题，就是这些网站设置的登录规则以及登录时的验证码识别。不过，我们可以想办法绕过去，思路是这样的：先使用浏览器登录，从浏览器获取登录后的“凭证”，然后将这个“凭证”放到爬虫里，模拟用户的行为继续抓取。这里，我们要获取的凭证就是cookie信息。
这次我们尝试使用python和cookie来抓取QQ空间上的好友列表。使用的工具是FireFox浏览器、FireBug和Python。
获取cookie
打开FireFox浏览器，登录QQ空间，启动FireBug，选择FireBug中的Cookies页签，点击页签中的cookies按钮菜单，选择“导出本站点的cookie”即可完成cookie的导出。
导出cookie会以一个名为cookies.txt文本文件形式存在。
程序实现
然后我们会使用获取的cookie新建一个opener来替换之前请求时使用的默认的opener。将获取的cookies拷贝到程序目录下，编写脚本如下：
#!python
# encoding: utf-8
from http.cookiejar import MozillaCookieJar
from urllib.request import Request, build_opener, HTTPCookieProcessor
DEFAULT_HEADERS = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0"}
DEFAULT_TIMEOUT = 360
def grab(url):
cookie = MozillaCookieJar()
cookie.load('cookies.txt', ignore_discard=True, ignore_expires=True)
req = Request(url, headers=DEFAULT_HEADERS)
opener = build_opener(HTTPCookieProcessor(cookie))
response = opener.open(req, timeout=DEFAULT_TIMEOUT)
print(response.read().decode('utf8'))
if __name__ == '__main__':
grab(<a href="http://user.qzone.qq.com/QQ号/myhome/friends" rel="external nofollow" >http://user.qzone.qq.com/QQ号/myhome/friends</a>)
因为我们使用的是FireFox浏览器导出的cookie文件，所以这里使用的cookieJar是MozillaCookieJar。
执行脚本…然而报错了：
Traceback (most recent call last):
File "D:/pythonDevelop/spider/use_cookie.py", line 17, in <module>
start()
File "D:/pythonDevelop/spider/use_cookie.py", line 9, in start
cookie.load('cookies.txt', ignore_discard=True, ignore_expires=True)
File "D:\Program Files\python\python35\lib\http\cookiejar.py", line 1781, in load
self._really_load(f, filename, ignore_discard, ignore_expires)
File "D:\Program Files\python\python35\lib\http\cookiejar.py", line 2004, in _really_load
filename)
http.cookiejar.LoadError: 'cookies.txt' does not look like a Netscape format cookies file
问题出在cookies文件上，说是不像一个Netscape格式的cookie文件。不过也好解决，只需要在cookies文件开始一行添加如下内容即可：
# Netscape HTTP Cookie File
通过这行内容提示python cookie解析器这是一个FireFox浏览器适用的cookie。
再次执行，还是会报错，因为比较长我就只贴关键的部分出来：
http.cookiejar.LoadError: invalid Netscape format cookies file 'cookies.txt': '.qzone.qq.com\tTRUE\t/\tFALSE\tblabla\tdynamic'
意思是cookie中某些行存在格式错误。具体错在哪儿，需要先了解下FireFox浏览器的cookie格式。MozillaCookieJar认为每行cookie需要包含以下信息，每条信息以制表符分隔：
名称 domain domain_specified path secure expires name value 类型 字符串 布尔型 字符串 布尔型 长整型 字符串 字符串 说明 域名 — 适用路径 是否使用安全协议 过期时间 名称 值
其中domain_specified是什么意思我不很清楚，以后弄明白了再补上。再来看看我们获取的cookie的部分行：
user.qzone.qq.com FALSE / FALSE 814849905_todaycount 0 user.qzone.qq.com FALSE / FALSE 814849905_totalcount 0 .qzone.qq.com TRUE / FALSE 1473955201 Loading Yes .qzone.qq.com TRUE / FALSE 1789265237 QZ_FE_WEBP_SUPPORT 0
前两行格式是错误的，后两行格式是正确的。前两行缺少“expires”属性。该怎么办呢——补上就好了呗。在其他的cookie中随意选一个时间补上就OK了。
补全cookie后，再次执行是正常的，没有报错。但是没有如预期的打印出好友信息，因为网址错了。使用firebug可以找出正确的网址：
https://h5.qzone.qq.com/proxy/domain/r.qzone.qq.com/cgi-bin/tfriend/friend_ship_manager.cgi"text-align: center">
至于如何解析json，会在下一节进行说明。
动态获取cookie
cookie是有过期时间的。如果想长时间抓取网页，就需要每隔一段时间就更新一次cookie。如果都是从FireFox浏览器来手动获取显得有些笨了。从浏览器获取的cookie只是作为一个入口，之后再进行请求还是要依靠python主动获取cookie。下面是一段获取cookie的程序：
#!python # encoding: utf-8 from http.cookiejar import CookieJar from urllib.request import Request, HTTPCookieProcessor, build_opener DEFAULT_HEADERS = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0"} DEFAULT_TIMEOUT = 360 def get(url): cookie = CookieJar() handler = HTTPCookieProcessor(cookie) opener = build_opener(handler) req = Request(url, headers=DEFAULT_HEADERS) response = opener.open(req, timeout=DEFAULT_TIMEOUT) for item in cookie: print(item.name + " = " + item.value) response.close()在示例程序中演示了如何获取cookie，并打印了cookie的name和value两项属性。通过实例可以看到每次执行http请求都会重新获取cookie，因此可以将我们的程序调整一下：执行第一次请求时使用我们通过浏览器获取的cookie，之后的每次请求都可以使用上次请求时获取的cookie。调整后的程序：
#!python # encoding: utf-8 from http.cookiejar import MozillaCookieJar, CookieJar from urllib.request import Request, build_opener, HTTPCookieProcessor, urlopen DEFAULT_HEADERS = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0"} DEFAULT_TIMEOUT = 360 def gen_login_cookie(): cookie = MozillaCookieJar() cookie.load('cookies.txt', ignore_discard=True, ignore_expires=True) return cookie def grab(cookie, url): req = Request(url, headers=DEFAULT_HEADERS) opener = build_opener(HTTPCookieProcessor(cookie)) response = opener.open(req, timeout=DEFAULT_TIMEOUT) print(response.read().decode("utf8")) response.close() def start(url1, url2): cookie = gen_login_cookie() grab(cookie, url1) grab(cookie, url2) if __name__ == '__main__': u1 = "https://user.qzone.qq.com/QQ号/myhome/friends" u2 = "https://h5.qzone.qq.com/proxy/domain/r.qzone.qq.com/cgi-bin/tfriend/friend_ship_manager.cgi" start(u1, u2)就这样。
其他
其实在登录QQ空间时使用cookie还有另一种法子——通过观察，也可以在http 请求头中添加cookie信息。
获取请求头中cookie的方式：打开FireFox浏览器，打开FireBug并激活FireBug的network页签，在FireFox浏览器上登录QQ空间，然后在FireBug中找到登录页请求，然后就可以找到请求头中的cookie信息了。
将cookie信息整理成一行，添加到请求头中就可以直接访问了。这个方法相对简单，减少了修改cookie文件的步骤。
此外，在一篇博客文章中还找到了直接登录QQ空间的方案。这算是已知最好的法子了，只要腾讯不改变登录规则就能很简单的执行请求获取cookie。不过年代久远，不知规则是否还适用
以上就是python 爬虫如何正确的使用cookie的详细内容，更多关于python 爬虫使用cookie的资料请关注其它相关文章！
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒 经典版》的玩家都可以获得奖励。