網頁爬蟲為何需要代理
網頁爬蟲需在短時間內讀取同網站大量頁面。若所有請求來自單一IP，網站會根據該IP的請求頻率限速，導致採集變慢。透過代理分散請求到多IP，每個IP的請求量維持合理水平，採集就能穩定進行。
地區也很重要。許多網站會根據訪問的國家顯示不同的語言、價格和商品列表。選擇國家訪問，可以準確收集該國訪客看到的數據。
IPKite旋轉住宅代理透過單一地址自動輪換IP。您的採集程式只需設定一次代理地址，無需管理IP列表。
適合網頁爬蟲的IPKite代理
輪換住宅代理最適合網頁爬蟲。若不在用戶名添加會話參數，每個請求都會分配新住宅IP，即使讀取數千頁列表與詳情頁，請求也會自然分散。只需在登入或翻頁等需連續操作的環節切換為固定會話即可。
若目標為一般公開網站且請求量極大，搭配使用數據中心代理也是好選擇。無限流量讓您無需擔心成本即可讀取含大量圖片的頁面。
沒有同時連接數的限制，因此隨著爬蟲程序的工作者數量增加，處理量也會同步增加。即使將工作者分配到多個伺服器，也可以使用相同的用戶名和密碼。
- 輪換型住宅代理: 大多數的網頁爬取工作, 地區數據
- 固定會話: 登入後連續閱讀多個頁面的區段
- 資料中心代理: 適用於高請求量的普通網站、API調用
網頁爬蟲代理推薦設定
最初以5~10個同時請求開始，觀察回應代碼，如果回應穩定，再逐漸增加。僅指定必要的國家，可以使用更廣泛的IP範圍。
| 項目 | 推薦值 | 原因 |
|---|---|---|
| IP 方式 | 輪換(無會話ID) | 平均分配請求至不同IP |
| 國家 | 目標網站的主要市場國家 | 取得在地訪客視角數據 |
| 城市 | 僅在需要時 | 僅在存在城市差異的網站上指定 |
| 通訊協定 | HTTP 端口 7000 | 與多數收集函式庫直接相容 |
| 同時請求 | 從小規模開始逐步擴增 | 觀察目標網站回應以調整適當速度 |
| 逾時 | 20~30秒 | 緩慢頁面也等待載入 |
網頁爬蟲代理設定範例
以下是使用Python每次請求變更美國IP讀取頁面的範例。只需變更使用者名稱中的cc值即可取得其他國家資料。
import requests
proxy = "http://USERNAME-cc-us:PASSWORD@gw.ipkite.com:7000"
proxies = {"http": proxy, "https": proxy}
urls = ["https://example.com/list?page=1", "https://example.com/list?page=2"]
for url in urls:
r = requests.get(url, proxies=proxies, timeout=30)
print(url, r.status_code, len(r.text))爬蟲代理費用範例
住宅代理按實際流量計費，可透過頁面大小與數量預估成本。僅載入HTML不含圖片/字型時，單頁約50~150KB。
已購買的GB無使用期限，建議一次購買較大套餐可享更低單價，剩餘流量可延續至下個月使用。
| 月採集量 | 所需流量 | 購買範例 | 費用 |
|---|---|---|---|
| 10萬頁 x 100KB | 約10GB | 10GB | $33.00 |
| 30萬頁 x 100KB | 約30GB | 自訂30GB(每GB $3.30) | $99.00 |
| 100萬頁 x 100KB | 約100GB | 100GB | $330.00 |
網頁爬蟲代理回應代碼處理
爬取時記錄回應狀態碼可一目瞭然任務狀態。旋轉住宅代理每次請求會分配新IP，多數暫時性錯誤只需稍後重試即可獲得正常回應。
- 設定標頭: 發送與一般瀏覽器相同的User-Agent和語言值
- 重試次數: 每個網址限2-3次重新發送
| 回應 | 意思 | 處理方法 |
|---|---|---|
| 200 | 正常回應 | 儲存資料並跳轉至 |
| 301 / 302 | 跳轉至其他地址 | 跟隨重定向網址並儲存 |
| 403 | 需確認存取條件 | 檢查國家設定和請求標頭，並使用新IP重試 |
| 429 | 請求速度快 | 延長請求間隔並稍後重試 |
| 5xx | 目標伺服器暫時狀態 | 幾秒後更換新IP |
購買爬蟲代理
購買爬蟲代理只需充值餘額並選擇住宅代理GB數即可完成。建議初期以10GB測試採集程式與頁面大小, 待掌握月用量後再轉購大流量方案。
購買流程為：充值餘額＞選擇商品與數量＞取得連線資訊。連線資訊將於購買後立即顯示於會員頁面。
- 起始流量包: 10GB，每GB $3.30
- 定期收集: 100GB，每GB$3.30
- 大量收集: 10,000GB，每GB $1.10起
網路爬蟲最佳實踐
網頁爬蟲是與目標網站長期互動的工作。保持以下習慣可提升採集品質並節省流量：
- 公開數據採集: 檢查robots.txt和網站使用條款，僅讀取公開頁面
- 適當速度: 在請求之間保持間隔可使目標網站與採集工作都保持穩定
- 僅接收必要內容: 關閉圖片·影片·字型請求可大幅減少流量
- 重試: 失敗的請求將稍後以新IP再次發送
- 尊重隱私: 不收集可識別個人身份的資訊，以聚合數據為主