如何在go語言代碼中使用HTTP代理IP。
以下代碼主要圍繞第一次接觸HTTP代理IP的go新手來寫(步驟注釋清晰)。
直接把下面示例代碼中的HTTP代理API,替換成你后臺生成的代理API鏈接,就可以跑起來了。
以下是一個示例代碼,只是一個基礎(chǔ)的演示,具體的代碼還是要根據(jù)你業(yè)務(wù)的實際情況去寫的。
示例代碼中的HTTP代理IP,我使用的是華益云的HTTP代理API,注冊就能白嫖1萬個高匿爬蟲IP,有效期是一年,對于調(diào)試代碼來說這個時間是非常的友好。
華益云-企業(yè)級HTTP爬蟲代理IP供應(yīng)商-點我免費領(lǐng)取示例代碼demo中同款10000個高匿IP
打開代理API,獲取里面的IP,使用IP訪問目標(biāo)網(wǎng)站,其實代碼中就是執(zhí)行這個過程而已,然后加了幾個錯誤判斷有助于代碼的穩(wěn)定運行。(步驟注釋清晰)
package main import ( "errors" "fmt" "io/ioutil" "log" "net/http" "net/url" "strings" "time" ) func main() { // 發(fā)送給服務(wù)器的標(biāo)識 userAgent := "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/532.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36" // 代理api(這里我推薦使用www.9vps.com華益云的HTTP代理API,注冊就送1萬IP) proxyUrl := "http://http.9vps.com/getip.asp?username=166xxxx6597&pwd=xxxxbaa59ce237dff65134984b9cxxxx&geshi=1&fenge=1&fengefu=&Contenttype=1&getnum=20&setcity=&operate=all&" outPutProxy, _ := getProxy(proxyUrl, userAgent) if len(outPutProxy) == 0 { // 沒有獲取到代理 return } // 目標(biāo)請求網(wǎng)站 url := "https://www.qq.com/" var out string = "" for i := 0; i < 3; i++ { // 最多嘗試三次 px := outPutProxy[0] outPutProxy = append(outPutProxy[:0], outPutProxy[1:]...) fmt.Println("using proxy ", px) response, err := requestGet(url, userAgent, "http://"+px) out = fmt.Sprintf("%s", response) if err == nil { // 這里說明請求成功了,直接可以退出循環(huán)了 fmt.Println(out) break } else { if len(outPutProxy) == 0 { // 沒有代理了再次獲取下 outPutProxy, err = getProxy(proxyUrl, userAgent) if err != nil { log.Fatalln(err) } } } } // 最終的響應(yīng)內(nèi)容 fmt.Println(out) } func getProxy(proxyUrl string, userAgent string) ([]string, error) { var outPutProxy []string proxyIps, err := requestGet(proxyUrl, userAgent, "") fmt.Println(proxyIps) if err != nil { return outPutProxy, err } // {"code":3002,"data":[],"msg":"error!用戶名或密碼錯誤","success":false} if strings.Index(proxyIps, "{") > -1 { return outPutProxy, errors.New(proxyIps) } outPutProxy = strings.Split(proxyIps, "\r\n") fmt.Printf("總共獲取了%d個代理\n", len(outPutProxy)) return outPutProxy, nil } func requestGet(reqUrl string, userAgent string, proxyAddr string) (string, error) { var client http.Client if proxyAddr != "" { // 有代理的情況 proxy, err := url.Parse(proxyAddr) if err != nil { return "", err } client = http.Client{ Timeout: 5 * time.Second, // 5秒最大超時 Transport: &http.Transport{Proxy: http.ProxyURL(proxy)}, } } else { client = http.Client{ Timeout: 5 * time.Second, // 5秒最大超時 } } // 創(chuàng)建新的Request對象 req, err := http.NewRequest("GET", reqUrl, nil) if err != nil { return "", err } // 設(shè)置請求頭 req.Header.Set("user-agent", userAgent) // 向服務(wù)器發(fā)送請求 resp, err := client.Do(req) if err != nil { return "", err } // 讀取響應(yīng)內(nèi)容 body, err := ioutil.ReadAll(resp.Body) if err != nil { return "", err } // 將響應(yīng)內(nèi)容轉(zhuǎn)為string類型 response := string(body) return response, nil }
或者直接百度搜索:華益云HTTP代理
審核編輯:湯梓紅
-
HTTP
+關(guān)注
關(guān)注
0文章
510瀏覽量
31330 -
代碼
+關(guān)注
關(guān)注
30文章
4803瀏覽量
68752 -
go語言
+關(guān)注
關(guān)注
1文章
158瀏覽量
9055
發(fā)布評論請先 登錄
相關(guān)推薦
評論