IP模擬器

很多人想使用免費的代理IP。 畢竟不花錢，但是免費代理IP的費率大家應該都知道吧。 所以，即使你不想花錢，現實也不允許。 對于需要使用爬蟲爬取數據的人來說，時間比購買代理IP要貴很多。 那么誰在使用免費代理IP？  

 

一般來說，營銷推廣需要少量IP的人，以及剛開始爬行的人，那么如何獲得免費代理IP呢？ 獲取免費代理IP后，爬蟲如何設置代理IP？  

 

 如何獲得免費代理IP

 

1.找幾個提供免費IP代理的網站，獲取IP數據源。  

 

2.驗證對應的IP代理訪問出口IP是否與機器的出口IP一致，得到不一致的IP代理列表。  

 

3.根據您要訪問的網站，過濾掉無效的代理IP。 因為不是所有的代理都可以使用，可能的原因是我們的網絡連接不上這個代理，或者這個代理連接不上我們的目標網址，所以我們踢掉了無效的代理。  

 

4.根據自己的實驗目的驗證IP代理的響應速度，排序，選擇最好的。  

 

爬蟲設置代理IP的方法 

 

1.使用Python3，先導入urllib的請求，然后調用ProxyHandler，可以接收代理IP的參數。  

 

動態 IP 模擬器

 

2.將IP地址以字典的形式放入其中，設置代理類型、IP地址和端口。 例如： 

 

 動態 IP 模擬器 

 

3. 使用 build_opener() 構建一個 opener 對象。  

 

動態IP模擬器 

 

4.調用構造的opener對象中的open方法發出請求。 其實urlopen類似于使用內部定義的opener.open()，相當于我們自己重寫。  

 

動態IP模擬器

 

 5.如果我們使用install_opener()，我們可以將之前自定義的opener設置為全局。  

 

動態 IP 模擬器

]

6。 設置為global后，使用urlopen發送請求，這樣發送請求的IP地址就是代理IP，而不是本機的IP地址。  

 

動態IP模擬器

 

注意如果在使用代理時遇到錯誤提示目標電腦主動拒絕無法連接，說明可能是代理IP無效或端口 號碼錯了。 替換有效的代理IP。  

 

以上就是爬蟲設置代理IP的方法。 圖文介紹比較清楚，設置也不難。 對于使用Python爬蟲的人來說，這可以說是一項基礎工作，但也是必要的。 由于爬蟲采集數據，通常會遇到IP限制的問題，在保證速度的情況下，使用代理IP是目前最有效的方法。