Web kazıma proxy, dönen konut IP'leri ile istikrarlı veri toplama

Web kazımasında proxy kullanmanın nedenleri

Web kazıma, aynı sitenin çok sayıda sayfasını kısa sürede okuma işlemidir. Tüm istekler tek IP'den gelirse, site bu adrese göre hız sınırı uygular ve kazıma hızı düşer. Proxy ile istekleri birden fazla IP'ye dağıtarak her adres için makul istek seviyesini koruyabilirsiniz.

Bölge de önemlidir. Birçok site, bağlandığınız ülkeye göre dil, fiyat, ürün listesini farklı gösterir. Ülke seçerek bağlanırsanız, o ülkenin ziyaretçilerinin gördüğü verileri doğru bir şekilde toplayabilirsiniz.

IPKite dönen konut proxy'leri tek bir bağlantı adresiyle her istekte farklı konut IP'leri atar. Scraping programınıza proxy adresini bir kez girmeniz yeterlidir, ayrıca IP listesi yönetmenize gerek kalmaz.

Web kazıma için IPKite proxy'leri

Web kazıma için en uygun çözüm dönen konut proxy'leridir. Kullanıcı adına oturum değeri eklemezseniz, her istekte yeni bir konut IP'si atanır ve binlerce liste/detay sayfasını okurken istekler doğal şekilde dağıtılır. Giriş yapma veya sayfalandırma gibi süreklilik gereken işlemler için sabit oturum kullanabilirsiniz.

Hedef genel bir açık site ise ve istek sayısı çok fazla ise veri merkezi proxy'sini birlikte kullanmak da iyi bir fikirdir. Trafik sınırsız olduğu için görselleri bol olan sayfaları da maliyet endişesi olmadan okuyabilirsiniz.

Eşzamanlı bağlantı sayısında sınır yoktur, bu nedenle toplama programının işçi sayısını artırdıkça işlem hacmi de artar. İşçiler birden fazla sunucuya bölünse bile aynı kullanıcı adı ve şifre kullanılır.

• Dönen konut proxy: çoğu kazıma işi, bölgesel veriler
• Sabit oturum: Giriş yaptıktan sonra birden fazla sayfayı ardışık olarak okuma
• Veri merkezi proxy: Yoğun talep gören genel siteler, API çağrıları

Web kazıma için önerilen proxy ayarları

İlk başta eşzamanlı istekleri 5-10 arasında başlatıp yanıt kodlarını kontrol edin, düzenli yanıt alırsanız yavaşça artırın. Ülkeyi sadece gerekli yerlerde belirtirseniz geniş bir IP aralığı kullanabilirsiniz.

Web kazıma proxy ayar örnekleri

Aşağıda, Python ile ABD IP'sini her istekte değiştirerek sayfaları okumanın örneği verilmiştir. Kullanıcı adındaki cc değerini değiştirerek diğer ülkelerin verilerini alabilirsiniz.

import requests

proxy = "http://USERNAME-cc-us:PASSWORD@gw.ipkite.com:7000"
proxies = {"http": proxy, "https": proxy}

urls = ["https://example.com/list?page=1", "https://example.com/list?page=2"]
for url in urls:
    r = requests.get(url, proxies=proxies, timeout=30)
    print(url, r.status_code, len(r.text))

Web scraping proxy maliyet örneği

Residential proxy, kullanılan trafik kadar ücretlendirildiği için sayfa boyutu ve sayfa sayısı ile maliyeti önceden hesaplayabilirsiniz. Sadece HTML alıp resim ve yazı tiplerini almazsanız, bir sayfa genellikle 50-150KB civarındadır.

Satın aldığınız GB'lerin kullanım süresi sınırı yoktur, tamamını kullanana kadar kullanabilirsiniz. Bu nedenle bir aylık plan yerine daha büyük bir paket satın alırsanız GB başına fiyat düşer ve sonraki ayın scraping işlemlerinde de kullanmaya devam edebilirsiniz.

Web kazıma proxy yanıt kodlarına göre işlem

Toplama sırasında yanıt kodlarını kaydetmek, iş durumunu tek bakışta görmenizi sağlar. Dönen konut proxy'leri her gönderimde yeni bir IP atadığından, çoğu geçici yanıt bir süre bekleyip tekrar gönderildiğinde normal yanıta dönüşür.

• Başlık ayarlama: Normal tarayıcılarla aynı User-Agent ve dil değerlerini birlikte gönderme
• Yeniden deneme sayısı: Her adres için 2-3 kez yeniden gönderim

Web scraping proxy satın al

Web scraping proxy satın almak için bakiyenizi doldurup residential proxy GB'ını seçmeniz yeterlidir. Başlangıçta 10GB ile toplama kodunu ve sayfa boyutunu test edebilir, bir aylık kullanımı gördükten sonra daha büyük paketlere geçebilirsiniz.

Satın alma sırası bakiyeyi yükleme, ürün ve miktar seçme, bağlantı bilgilerini alma şeklindedir. Bağlantı bilgileri satın alma işleminden hemen sonra üye ekranında görüntülenir.

• Başlangıç paketi: 10GB, GB başına $3.30
• Düzenli toplama: 100GB, GB başına $3.30
• Büyük ölçekli toplama: 10,000GB, 1GB başına $1.10'dan başlayan fiyatlarla

İyi web scraping uygulamaları

Web kazıma hedef siteyle uzun süreli bir çalışmadır. Aşağıdaki alışkanlıkları benimserseniz veri kalitesi artar ve trafikten tasarruf edersiniz.

• Açık veri toplama: robots.txt ve site kullanım şartlarını kontrol ederek yalnızca açık sayfaları oku
• Uygun hız: İstekler arasında aralık bırakmak hem hedef siteyi hem de veri toplama işlemini stabilize eder
• Sadece Gerekli Olanı Alın: Görsel·video·font isteklerini kapatarak trafiği büyük ölçüde azaltın
• Tekrar deneyin: Başarısız istekler bir süre sonra yeni bir IP ile tekrar gönderilir
• Kişisel verilere saygı: Bireyleri tanımlayabilecek bilgiler toplamayın ve toplu verilere odaklanın