一.項(xiàng)目背景
由于http協(xié)議是無(wú)狀態(tài)的協(xié)議,簡(jiǎn)單理解為如果客戶端向服務(wù)器發(fā)送兩次請(qǐng)求,這
兩次請(qǐng)求是獨(dú)立的,,也就是說(shuō)服務(wù)器根本不知道是同一個(gè)客戶端發(fā)送過(guò)來(lái)的請(qǐng)求。所
以為了維護(hù)客戶端的請(qǐng)求狀態(tài),Cookie技術(shù)應(yīng)用而生。
Cookie是通過(guò)客戶端保持狀態(tài)的解決方案,它是由服務(wù)器發(fā)送給客戶端的特殊信息,
而這些特殊信息以文本形式存儲(chǔ)放在客戶端,然后客戶端每次向服務(wù)器發(fā)送請(qǐng)求時(shí)會(huì)攜
帶上大量這些特殊信息。
Session是通過(guò)服務(wù)器來(lái)保持狀態(tài)的,客戶端第一次訪問(wèn)時(shí),服務(wù)器為這個(gè)客戶端
創(chuàng)建唯一特征碼,也就是SessionID,客戶端再次請(qǐng)求時(shí),服務(wù)器根據(jù)SessionID在服
務(wù)器數(shù)據(jù)庫(kù)中查詢,若有這個(gè)SessionID,則會(huì)做相應(yīng)響應(yīng)。
Cookie屬性
》》name=value,鍵和值,具體的Cookie名稱和內(nèi)容
》》expires=xxxxx,過(guò)期時(shí)間,Cookie有效期
》》path=/,根路徑,Cookie作用的具體路徑位置
》》httpOnly,此Cookie只能服務(wù)器操作,JS無(wú)法操作
二.實(shí)現(xiàn)過(guò)程
本次項(xiàng)目我們爬取的目標(biāo)網(wǎng)址為閃職網(wǎng),一個(gè)專門為爬蟲(chóng)工程師進(jìn)行練習(xí)的網(wǎng)址,也
在此非常感謝網(wǎng)站后臺(tái)維護(hù)人員辛勤付出,網(wǎng)址為:http://shanzhi.spbeen.com/,從
中可以看出Cookies有csrftoken和shanzhi_kmer以及它們各自對(duì)應(yīng)的值
from selenium import webdriver
import time
import json
#用戶名,此處我們注冊(cè)四個(gè)用戶,如果無(wú)效讀者后期可自行注冊(cè)
users=[
{'username':'test123456','password':'test123456'},
{'username':'wfq123','password':'123'},
{'username':'cauwfq','password':'cauwfq'},
{'username':'cauwfq1234','password':'cauwfq1234'}
]
#登錄網(wǎng)址
def login(username,password):
#初始化url
url='http://shanzhi.spbeen.com/login/'
#初始化webdriver
driver=webdriver.Chrome()
#最大化窗口
driver.maximize_window()
#請(qǐng)求url
driver.get(url)
#用戶名輸入框
username_input=driver.find_element_by_xpath('//*[@id="username"]')
#發(fā)送用戶名
username_input.send_keys(username)
#休眠1s
time.sleep(1)
#密碼輸入框
password_input=driver.find_element_by_xpath('//*[@id="MemberPassword"]')
#發(fā)送密碼
password_input.send_keys(password)
#休眠1s
time.sleep(1)
#點(diǎn)擊登錄按鈕
driver.find_element_by_xpath('/html/body/div/div/div[2]/button').click()
#休眠3s
time.sleep(3)
#獲取cookies
cookie_lists=driver.get_cookies()
#獲取cookie值
cookie_dict={cookie['name']:cookie['value'] for cookie in cookie_lists}
#寫入文件
with open('./cookies.txt','a+',encoding='utf8') as f:
#寫入文件
f.write(json.dumps(cookie_dict))
#寫入換行
f.write('n')
#退出瀏覽器
driver.quit()
if __name__ == '__main__':
#遍歷每個(gè)用戶
for user in users:
#登錄網(wǎng)站
login(user['username'],user['password'])
#測(cè)試Cookie有效性
import requests
import json
import re
#讀取cookies數(shù)據(jù)
with open('cookies.txt','r',encoding='utf8') as f:
#讀取存儲(chǔ)為列表
cookies_list=f.readlines()
#存儲(chǔ)結(jié)果
result=''
#遍歷每個(gè)Cookie
for cookie_str in cookies_list:
#加載Cookie
cookie_dict=json.loads(cookie_str)
#構(gòu)建會(huì)話
session=requests.session()
#加入到會(huì)話中
session.cookies=requests.utils.cookiejar_from_dict(cookie_dict)
#請(qǐng)求網(wǎng)址
response=session.get('http://shanzhi.spbeen.com/login/')
#輸出響應(yīng)內(nèi)容
#print(response,response.text)
#存儲(chǔ)結(jié)果
result+=response.text
#輸出登錄結(jié)果,發(fā)現(xiàn)歡迎結(jié)果為4個(gè),四個(gè)用戶登錄成功
print(re.findall('歡迎',result))
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
服務(wù)器
+關(guān)注
關(guān)注
12文章
9237瀏覽量
85668 -
HTTP
+關(guān)注
關(guān)注
0文章
510瀏覽量
31336 -
Cookie
+關(guān)注
關(guān)注
0文章
30瀏覽量
10415
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
php中Cookie及其使用
呢?還是讓我們看了下面的內(nèi)容,再做回答吧。 (1)Cookie技術(shù)簡(jiǎn)介 在WEB技術(shù)發(fā)展史上,Cookie技術(shù)的出現(xiàn)是一個(gè)重大的變革。最先是Netscape在它的Netscape
發(fā)表于 01-11 09:25
Cookie是怎樣工作的?
上面的Cookie在瀏覽器上只保存到1999年3月1日1秒。當(dāng)然,如果瀏覽器上Cookie 太多,超過(guò)了系統(tǒng)所允許的范圍,瀏覽器將自動(dòng)對(duì)它進(jìn)行刪除。至于屬性Path,用來(lái)指定
發(fā)表于 01-11 09:32
cookie是什么意思
到1999年3月1日1秒。當(dāng)然,如果瀏覽器上Cookie 太多,超過(guò)了系統(tǒng)所允許的范圍,瀏覽器將自動(dòng)對(duì)它進(jìn)行刪除。至于屬性Path,用來(lái)指定Cookie將被發(fā)送到服務(wù)器的哪一個(gè)目錄路徑
發(fā)表于 01-11 21:26
cookie和session的不同作用
,Cookie和Session還有以下區(qū)別:1. 存取方式的不同Cookie中只能保管ASCII字符串,假如需求存取Unicode字符或者二進(jìn)制數(shù)據(jù),需求先進(jìn)行編碼。Cookie中也不
發(fā)表于 01-09 17:39
Cookie和Session的區(qū)別總結(jié)
,Cookie和Session還有以下區(qū)別:1. 存取方式的不同Cookie中只能保管ASCII字符串,假如需求存取Unicode字符或者二進(jìn)制數(shù)據(jù),需求先進(jìn)行編碼。Cookie中也不
發(fā)表于 01-10 15:11
構(gòu)建一個(gè)Cookie JAR激情時(shí)鐘
描述Cookie JAR激情時(shí)鐘我想重現(xiàn)幾年前我最古老的項(xiàng)目之一,當(dāng)時(shí)我建造了一個(gè)類似的時(shí)鐘。只是這一次,我想應(yīng)用不同的技術(shù)并提出更好的設(shè)計(jì)。這個(gè)時(shí)鐘將滾動(dòng)瀏覽一系列浪漫消息,并且每小時(shí)顯示一條
發(fā)表于 08-01 06:44
什么是Cookie?
什么是Cookie?
按照Netscape官方文檔中的定義,Cookie是在HTTP協(xié)議下,服務(wù)器或腳本可以維護(hù)客戶工作站上信息的一種方式。Cooki
發(fā)表于 01-11 09:27
?2297次閱讀
網(wǎng)絡(luò)Cookie工作原理
網(wǎng)絡(luò)Cookie工作原理
引言
雖然大多數(shù)網(wǎng)絡(luò)Cookie使用起來(lái)相當(dāng)簡(jiǎn)單,但是它們也有自己獨(dú)特的原理。
發(fā)表于 08-04 08:32
?4141次閱讀
Cookie數(shù)據(jù)是如何移動(dòng)的?
Cookie數(shù)據(jù)是如何移動(dòng)的?
Cookie數(shù)據(jù)只是網(wǎng)站存儲(chǔ)在您的硬盤上的一個(gè)名稱/值對(duì)。所有Cookie數(shù)據(jù)都是這樣。網(wǎng)站存儲(chǔ)此數(shù)據(jù),并在以后接收此數(shù)據(jù)。一個(gè)網(wǎng)站只能接收其
發(fā)表于 08-04 08:33
?916次閱讀
網(wǎng)站是如何使用Cookie的?
網(wǎng)站是如何使用Cookie的?
Cookie由于為使用網(wǎng)站的人解決了一個(gè)大問(wèn)題而逐漸發(fā)展起來(lái)。從廣義上說(shuō),Cookie允許網(wǎng)站在計(jì)算機(jī)上存儲(chǔ)狀態(tài)信息,這些信息可讓網(wǎng)站記住瀏
發(fā)表于 08-04 08:33
?1664次閱讀
cookie的作用
cookie也可以叫做瀏覽器緩存,主要就是為了辨別用戶的資料,有兩種類型分別是會(huì)話cookie和持久cookie。本文主要詳細(xì)闡述cookie的作用以及
cookie和session區(qū)別
本視頻主要詳細(xì)闡述了cookie和session區(qū)別,cookie數(shù)據(jù)存放在客戶的瀏覽器上,session數(shù)據(jù)放在服務(wù)器上。cookie不是很安全,別人可以分析存放在本地的COOKIE
構(gòu)建便捷海外IP代理池:策略與實(shí)踐
構(gòu)建便捷海外IP代理池是一個(gè)涉及多方面策略與實(shí)踐的過(guò)程。
評(píng)論