Web kazımada iki tür bakım var: site yeniden tasarlandığında seçicileri onarmak ve isteğinizle sayfa arasındaki her ne varsa onu aşmak. Çarşamba günü GitHub'da bir günde yaklaşık 1.661 yıldızla trend olan Scrapling adlı Python kütüphanesi, ikisini tek ürün olarak satmaya çalışıyor.
İlk yarı ayrıştırıcı. Scrapling bir seçimi öğreniyor — sayfayı çekip css('.product', auto_save=True) çağırıyorsunuz — ve site işaretlemesi değiştikten sonra adaptive=True ile yeniden sorguladığınızda hata vermek yerine öğeleri benzerliğe göre yeniden buluyor. Bir yeniden tasarım boyunca kazıyıcı bakımı yapmış olan herkes bunun işin en sıkıcı kısmı olduğunu bilir; burada onu bir insan değil kütüphane yapıyor.
İkinci yarı gizlilik. StealthyFetcher tarayıcı parmak izlerini taklit ediyor, HTTP katmanı Chrome TLS parmak izini taklit edip HTTP/3 konuşabiliyor, isteğe bağlı DNS-over-HTTPS ile vekil üzerinden giden isteklerde DNS sızıntısı önleniyor. README, Cloudflare'ın Turnstile ve ara sayfa doğrulamalarını geçtiğini iddia ediyor. Ayrıca tüm oturum türlerinde döngüsel ya da özel stratejili vekil rotasyonu, alan adı engelleme ve CDP üzerinden uzak tarayıcı desteği var.
Bunun etrafında gerçek bir tarama çatısı oturuyor: start_urls ve asenkron parse geri çağırmaları olan Scrapy benzeri örümcekler, eşzamanlılık sınırları, bir site engellemeye başladığında gecikmeyi ikiye katlayıp durduğunda gevşeten alan adı başına kısıtlama, Ctrl+C'nin güvenli olması için kontrol noktalı duraklat/devam et, akan sonuçlar, hedef sunucuyu yeniden yormadan ayrıştırma mantığını denemek için yanıtları önbelleğe alan geliştirme modu ve bir mağazanın JSON kataloğunu yürüyen ShopifySpider dahil hazır şablonlar.
İki ayrıntı projenin nereye gittiğini söylüyor. Birincisi, robots.txt'e uyum varsayılan değil bir bayrak (robots_txt_obey). İkincisi, kütüphane artık bir MCP sunucusu ve bir "agent skill" ile geliyor; yani kod asistanları API'yi uydurmak yerine doğru Scrapling kodu yazsın diye. Veri çıkarma, insanlar için bir kütüphane olarak değil, dil modelleri için bir araç olarak paketleniyor.
İş modeli README'de açık: platin sponsor bloğu vekil sağlayıcılardan oluşuyor ve bir sponsor Akamai, DataDome, Kasada ve Incapsula için antibot jetonu satıyor. Atlatma ücretsiz yazılım; IP itibarı ise paralı ürün. 2026'da kazımanın gerçek maliyet eğrisi bu: ayrıştırma hızı yıllar önce çözüldü (Scrapling kendi metodolojisiyle ayrıştırıcısını 1,99 ms, BeautifulSoup+lxml'i 1.562 ms olarak ölçüyor); pahalı kalan şey insan gibi görünmek.
Bir uyarıyı açıkça söylemek gerek: kazımanın kendisi yasal olsa bile bir bot kontrolünü aşmak sitenin koşullarını ihlal edebilir ve bir kütüphane bu kararı sizin yerinize veremez. Projenin kendi sorumluluk reddi kullanıcıları yerel hukuka ve kullanım koşullarına yönlendiriyor.
Daha büyük nokta şu: bot atlatma metalaştı. Eskiden uzmanlık hizmeti olan şey artık sponsor listesi olan bir paragraf Python. Bir sitenin bot savunmasının sağladığı hendek, kabaca konut tipi bant genişliğinin fiyatı kadar.
