웹 스크래핑 프록시, 회전형 주거용 IP로 안정적인 데이터 수집
웹 스크래핑 프록시는 수집 요청을 여러 IP로 나눠 보내 대량의 공개 페이지를 끊김 없이 읽게 해 줘요. IPKite 회전형 주거용 프록시는 요청마다 새 주거용 IP를 배정하고, 나라와 도시를 골라 지역별 화면을 그대로 받아 와요.
웹 스크래핑에 프록시가 필요한 이유
웹 스크래핑은 같은 사이트의 많은 페이지를 짧은 시간에 읽는 작업이에요. 모든 요청이 한 IP에서 나가면 사이트는 그 주소의 요청 수를 기준으로 속도를 조절하고, 수집은 금방 느려져요. 프록시로 요청을 여러 IP에 나누면 주소마다 요청 수가 적당한 수준으로 유지되어 수집이 고르게 이어져요.
지역도 중요해요. 많은 사이트가 접속한 나라에 따라 언어, 가격, 상품 목록을 다르게 보여 줘요. 나라를 골라 접속하면 그 나라 방문자가 보는 데이터를 정확하게 모을 수 있어요.
IPKite 회전형 주거용 프록시는 접속 주소 하나로 요청마다 다른 주거용 IP를 배정해요. 수집 프로그램은 프록시 주소만 한 번 넣어 두면 되고, IP 목록을 따로 관리할 필요가 없어요.
웹 스크래핑에 맞는 IPKite 프록시
웹 스크래핑에는 회전형 주거용 프록시가 가장 잘 맞아요. 사용자 이름에 세션 값을 넣지 않으면 요청마다 새 주거용 IP가 배정되어, 목록 페이지와 상세 페이지를 수천 장씩 읽어도 요청이 자연스럽게 나뉘어요. 로그인이나 페이지 넘김처럼 같은 주소가 이어져야 하는 구간만 고정 세션으로 바꾸면 돼요.
대상이 일반적인 공개 사이트이고 요청 수가 아주 많다면 데이터센터 프록시를 함께 쓰는 것도 좋아요. 트래픽이 무제한이라 이미지가 많은 페이지도 비용 걱정 없이 읽을 수 있어요.
동시 연결 수에는 제한이 없어서 수집 프로그램의 작업자 수를 늘리는 만큼 처리량도 함께 늘어나요. 작업자를 여러 서버에 나눠 돌려도 같은 사용자 이름과 비밀번호를 그대로 써요.
- 회전형 주거용 프록시: 대부분의 스크래핑 작업, 지역별 데이터
- 고정 세션: 로그인 뒤 여러 페이지를 이어서 읽는 구간
- 데이터센터 프록시: 요청이 많은 일반 사이트, API 호출
웹 스크래핑 프록시 추천 설정
처음에는 동시 요청을 5~10개 정도로 시작해 응답 코드를 살펴보고, 정상 응답이 꾸준하면 조금씩 늘려 가는 방식이 가장 안정적이에요. 나라는 꼭 필요한 곳만 지정하면 넓은 IP 범위를 쓸 수 있어요.
| 항목 | 추천 값 | 이유 |
|---|---|---|
| IP 방식 | 회전(세션 값 없음) | 요청마다 새 IP로 요청을 고르게 나누기 |
| 나라 | 대상 사이트의 주 시장 나라 | 현지 방문자가 보는 데이터 받기 |
| 도시 | 필요할 때만 | 도시별 차이가 있는 사이트에서만 지정 |
| 프로토콜 | HTTP 포트 7000 | 대부분의 수집 라이브러리와 바로 맞음 |
| 동시 요청 | 작게 시작해서 점점 늘리기 | 대상 사이트 응답을 보며 알맞은 속도 찾기 |
| 타임아웃 | 20~30초 | 느린 페이지도 기다려 받기 |
웹 스크래핑 프록시 설정 예시
아래는 Python으로 미국 IP를 요청마다 바꿔 가며 페이지를 읽는 예시예요. 사용자 이름의 cc 값만 바꾸면 다른 나라 데이터를 받을 수 있어요.
import requests
proxy = "http://USERNAME-cc-us:PASSWORD@gw.ipkite.com:7000"
proxies = {"http": proxy, "https": proxy}
urls = ["https://example.com/list?page=1", "https://example.com/list?page=2"]
for url in urls:
r = requests.get(url, proxies=proxies, timeout=30)
print(url, r.status_code, len(r.text))웹 스크래핑 프록시 비용 예시
주거용 프록시는 쓴 트래픽만큼 요금을 내기 때문에 페이지 크기와 페이지 수로 비용을 미리 계산할 수 있어요. HTML만 받고 이미지와 글꼴을 받지 않으면 페이지 하나가 보통 50~150KB 정도예요.
구매한 GB는 기간 제한 없이 다 쓸 때까지 쓰기 때문에, 한 달 계획보다 넉넉하게 큰 묶음을 구매해 두면 1GB당 가격이 낮아지고 다음 달 수집에도 그대로 이어서 써요.
| 한 달 수집량 | 필요 트래픽 | 구매 예시 | 비용 |
|---|---|---|---|
| 페이지 10만 장 x 100KB | 약 10GB | 10GB | $33.00 |
| 페이지 30만 장 x 100KB | 약 30GB | 30GB 직접 입력(1GB당 $3.30) | $99.00 |
| 페이지 100만 장 x 100KB | 약 100GB | 100GB | $330.00 |
웹 스크래핑 프록시 응답 코드별 처리
수집 중에는 응답 코드를 기록해 두면 작업 상태를 한눈에 볼 수 있어요. 회전형 주거용 프록시는 다시 보낼 때마다 새 IP가 배정되기 때문에, 대부분의 일시적인 응답은 잠시 기다렸다가 다시 보내는 것만으로 정상 응답으로 이어져요.
- 머리글 맞추기: 일반 브라우저와 같은 User-Agent와 언어 값을 함께 보내기
- 재시도 횟수: 주소마다 2~3번 안에서 다시 보내기
| 응답 | 뜻 | 처리 방법 |
|---|---|---|
| 200 | 정상 응답 | 데이터를 저장하고 다음 주소로 |
| 301 / 302 | 다른 주소로 이동 | 이동한 주소를 따라가 저장 |
| 403 | 접근 조건 확인 필요 | 나라 설정과 요청 머리글을 점검하고 새 IP로 다시 |
| 429 | 요청이 빠름 | 요청 간격을 늘리고 잠시 뒤 다시 |
| 5xx | 대상 서버 일시 상태 | 몇 초 뒤 새 IP로 다시 |
웹 스크래핑 프록시 구매
웹 스크래핑 프록시 구매는 잔액을 충전하고 주거용 프록시 GB를 고르면 바로 끝나요. 처음에는 10GB로 수집 코드와 페이지 크기를 확인하고, 한 달 사용량이 보이면 그 양에 맞는 큰 묶음으로 옮기는 손님이 많아요.
구매 순서는 잔액 충전, 상품과 수량 고르기, 접속 정보 받기예요. 접속 정보는 구매 직후 회원 화면에 바로 나와요.
- 시작 묶음: 10GB, 1GB당 $3.30
- 정기 수집: 100GB, 1GB당 $3.30
- 대량 수집: 10,000GB, 1GB당 $1.10부터
웹 스크래핑 좋은 운영 방법
웹 스크래핑은 대상 사이트와 함께 오래 가는 작업이에요. 아래 습관을 지키면 수집 품질이 높아지고 트래픽도 아낄 수 있어요.
- 공개 데이터 모으기: robots.txt와 사이트 이용 약관을 확인하고 공개된 페이지만 읽기
- 알맞은 속도: 요청 사이에 간격을 두면 대상 사이트와 수집 작업 모두 안정적
- 필요한 것만 받기: 이미지·영상·글꼴 요청을 끄면 트래픽이 크게 줄어듦
- 다시 시도: 실패한 요청은 잠시 뒤 새 IP로 한 번 더 보내기
- 개인정보 존중: 개인을 알아볼 수 있는 정보는 모으지 않고 집계 데이터 위주로 쓰기