代碼是正經(jīng)代碼，但是程序員正不正經(jīng)就不知道了。
?
前言
在使用爬蟲對某些網(wǎng)站進(jìn)行爬取時，為了不讓網(wǎng)站發(fā)現(xiàn)我們的ip，模擬其他用戶ip地址去訪問網(wǎng)站。也就相當(dāng)于間接的去訪問網(wǎng)站，流程如圖：
我們使用到代理服務(wù)器，去間接訪問網(wǎng)絡(luò)，并通過代理返回數(shù)據(jù)。而不是走直接訪問這條流程。
正文閱讀 第一、什么是代理服務(wù)器
代理服務(wù)器（ ）的功能是代理網(wǎng)絡(luò)用戶去取得網(wǎng)絡(luò)信息。形象地說，它是網(wǎng)絡(luò)信息的中轉(zhuǎn)站，是個人網(wǎng)絡(luò)和服務(wù)商之間的中間代理機(jī)構(gòu)，負(fù)責(zé)轉(zhuǎn)發(fā)合法的網(wǎng)絡(luò)信息，對轉(zhuǎn)發(fā)進(jìn)行控制和登記。
第二、請求使用代理。
在已經(jīng)知道一個代理ip之后，我們?nèi)绾问褂媚兀?/p>
import requests
response=requests.get("http://www.baidu.com",proxies={"http":"127.0.0.1:1245"})
print(response.text)
在使用requests模塊去請求接口時，便可以通過參數(shù)proxies 來進(jìn)行傳輸，將所需要的代理ip進(jìn)行設(shè)置。
第三、本地計算機(jī)如何使用代理服務(wù)器。
已經(jīng)學(xué)會了如何請求接口時，添加代理，那如何為本地結(jié)算機(jī)設(shè)置代理呢。
找到我們的代理ip，然后按照下面的操作進(jìn)行。
方法1：手動設(shè)置代理
1、按win鍵我裂開了，教給他如何搭建和使用代理服務(wù)器，他居然用來做這么不正經(jīng)的事（爬蟲，或者打開ie瀏覽器
2、搜索選項，或者在ie瀏覽器右上角設(shè)置選擇選項。
3、點擊連接，找到局域網(wǎng)設(shè)置
4、勾選代理，并設(shè)置ip地址，端口。
這樣，我們就成功設(shè)置了代理，接下來訪問的所有數(shù)據(jù)都會傳輸?shù)竭@個代理ip中。
方法2：直接使用命令行修改
這么修改也太麻煩了一點，直接使用命令行來解決是不是要簡單一點呢？
設(shè)置代理：
@echo off
echo 設(shè)置代理服務(wù)器……
reg add "HKCU\Software\Microsoft\Windows\CurrentVersion\Internet Settings" /v ProxyEnable /t REG_DWORD /d 1 /f
reg add "HKCU\Software\Microsoft\Windows\CurrentVersion\Internet Settings" /v ProxyServer /d "39.106.223.1342:80" /f
start iexplore.exe
Pause取消代理：
@echo off
echo 取消代理服務(wù)器……
reg add "hkcu\Software\Microsoft\Windows\CurrentVersion\Internet Settings" /v ProxyEnable /t REG_DWORD /d 0x0 /f
start iexplore.exe
Pause這里為什么要啟動一下ie瀏覽器呢？主要是為了讓我們的配置生效，找了一些方法都不能生效，啟動一下ie瀏覽器生效比較快，還簡單。
第四、驗證計算機(jī)代理ip是否有用，服務(wù)器接收情況。
我們已經(jīng)設(shè)置成功了，那我們訪問網(wǎng)站時是否有效呢？抱著這個因為，我們繼續(xù)來往下看。
需要做驗證，那我們需要用到服務(wù)端。當(dāng)我們請求服務(wù)器時，顯示的ip，我們就可以知道是否生效。
服務(wù)器端：我們需要在服務(wù)器端搭建一個簡易網(wǎng)站，我們可以通過服務(wù)器打印的日志看出當(dāng)前請求的ip，這里我們使用的是服務(wù)器，如果有興趣研究學(xué)習(xí)的，可以先花五十元，去買一個月那種便宜的服務(wù)器玩一下。當(dāng)然用途不只是研究本課題，還有其他用途。
代碼如下：
from flask import *
app = Flask(__name__)
@app.route('/')
def index():
ip = request.remote_addr#獲取用戶ip
return "你的ip為"+ip
if __name__ == '__main__':
app.run(host="0.0.0.0",port=8088)#0000，允許所有用戶訪問，127.0.0.1允許本地用戶訪問。這里，使用我的服務(wù)器ip便可以訪問，:8088/，網(wǎng)站：當(dāng)我們訪問這個鏈接，然后就可以查詢到ip。
1、原始ip
用戶端顯示：
服務(wù)器端請求情況：
Ok，成功獲取到我們的ip，接下來，我們換一個代理ip試一下。
2、代理ip
我們使用代理ip為58.240.52.114:80。
用戶端顯示：
服務(wù)器端顯示情況：
我們可以通過這個簡單的例子看出，我們本地使用的代理ip是生效的，那使用模塊請求呢，如圖，我們可以看到，是相同的結(jié)果。那說明代理ip對于服務(wù)器端來說，的確能起到掩蓋ip的作用。
第五、代理，安全，以及相關(guān)工具。
在本地設(shè)置代理方法有很多，比如上面提到的第三條。然后還有：
工具，如圖，我們可以通過設(shè)置代理端口來設(shè)置，本地請求的數(shù)據(jù)，都會發(fā)送到127.0.0.1:8888：
只是其中一個，也是我們測試同學(xué)常用的一個軟件。另外還有也同樣可以設(shè)置代理，添加一個代理服務(wù)器。
當(dāng)然，還有其他很多工具，這里就不一一列舉了。
常用于爬蟲分析，安全分析，測試同學(xué)測試抓包。
這里能不能攔截使用代理呢。當(dāng)你使用了代理進(jìn)行訪問時，禁止訪問。
1、Js，app判斷是否系統(tǒng)設(shè)置代理，如果設(shè)置代理，給出警告，不加載數(shù)據(jù)
優(yōu)點：快，缺點：用戶修改js代碼，替換js，依然可以訪問。但一般用戶操作不了。多數(shù)人都是正常訪問的。
2、限制代理ip訪問，建立一個代理ip庫，將市面上的代理ip存儲進(jìn)去，用戶訪問時，與代理ip庫對比。如果有就直接禁制。
優(yōu)點，能限制大多數(shù)代理ip。缺點：額外增加查詢步驟，速度降低。
3、不限制。普通用戶一般不這樣操作，也不會，做好用戶檢驗，沒有這個用戶，你有代理ip也還是這個用戶。你換用戶，隨你換好了。
當(dāng)然大家還有什么好的方式也可以在評論區(qū)討論哦。
第六、搭建一個自己的代理服務(wù)器
搭建代理服務(wù)器，需要使用到一款軟件，。
資源鏈接（已破解）：公眾號回復(fù)“代理服務(wù)器”便可獲取
將這款軟件安裝到你的服務(wù)器上，并啟動，通過設(shè)置，我們可以設(shè)置代理端口號。根據(jù)對應(yīng)需要服務(wù)進(jìn)行設(shè)置端口號。
這樣，我們的代理服務(wù)器就搭建好了，代理ip：123.207.31.148:808然后我們來驗證我們代理是否有效。
第七、代理服務(wù)器有效性驗證。
想要驗證我們自己搭建的代理服務(wù)器是否有效，那我們這次直接來看，模塊是否有效，需要做的是對比代理服務(wù)器啟動前后的變化來判斷。
1、代理服務(wù)未啟動時
關(guān)閉代理，并請求接口，會提示代理服務(wù)器錯誤，就說明沒有這個代理：
import requests
response=requests.get("http://123.207.31.148:8088/",proxies={"http":"123.207.31.148:808"})
print(response.text)2、代理服務(wù)器啟動時
我們啟動代理服務(wù)器，再來請求一下，我們可以從下面兩幅圖，以及和上面做出對比，ip也是我們設(shè)置的代理服務(wù)器，我們的代理服務(wù)器有效。
用戶端：
服務(wù)器端：
3、修改代理服務(wù)器端口
我們將原來的808端口修改為8081，再來試一下。808也就不再生效。
8081請求：
這樣，我們的代理服務(wù)器也就說明設(shè)置是有效的。
第八、爬取代理服務(wù)器
我們一個代理服務(wù)器已經(jīng)搞定了，相同的，當(dāng)我們有幾百，上千個服務(wù)器，都搭建了代理服務(wù)器，那我們是不是擁有了自己的代理ip池。但我們沒那么多錢，也沒必要。只能去用別人的了。
代理ip池獲取，代碼如下：
import requests
from bs4 import BeautifulSoup
?
def proxy_ip(protocol=["http"],anonlv1=[],country=["CN"]):
"""
:param protocol: 請求方式：http，https,socks4,socks5
:param anonlv1: 級別：1,2,3,4 L1 – 透明，L2 – 匿名，L3 – 扭曲，L4 – 精英
:param country: 國家，無為全部,CN 中國
:return:ip_list，ip列表
"""
text=""
for i in protocol:
text+="protocol="+i+"&"
for i in anonlv1:
text+="anonlv1="+i+"&"
for i in country:
text+="country="+i+"&"
global headers
headers={
'cookie': '_ga=GA1.2.1786575828.1619658683; _gid=GA1.2.555491280.1623999959; _gat=1',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.85 Safari/537.36'
}
response=requests.get("http://proxydb.net/?"+text,headers=headers)
Soup = BeautifulSoup(response.text, "html.parser")
table = Soup.find_all("table")[0].find_all("a")
list=[]
for i in table:
ip=i.get_text()
list.append(ip)
return list文章總結(jié)
通過本文，你可以了解到
1、模塊如何設(shè)置代理。
2、代理ip設(shè)置是否真有效。
3、如何搭建自己的代理服務(wù)器。
4、代理ip池的獲取。
處于安全方面來說，因為我們請求時，數(shù)據(jù)會發(fā)送到代理服務(wù)器，如果請求在賬號密碼是明文的情況下，代理服務(wù)器就可以獲取到你的賬號信息。
同理，翻墻軟件也是一種代理，只不過他代理到國外去了。翻墻軟件也是能獲取到你的用戶信息的哦，所以大家需要注意個人信息安全呀。
免責(zé)聲明：本文系轉(zhuǎn)載自其它媒體，版權(quán)歸原作者所有；旨在傳遞信息，不代表本站的觀點、立場和對其真實性負(fù)責(zé)。如需轉(zhuǎn)載，請聯(lián)系原作者。如果來源標(biāo)注有誤或侵犯了您的合法權(quán)益等其他原因不想在本站發(fā)布，來信即刪。
