[]

Yazılımcılara Soru (Performans Kıyaslaması)
Hello world!
Diyelim ki istatisiksel bir araştırma için bir websitesinden (örn. amazon) içerik çekmek ve veritabanı oluşturmak istiyoruz. (SQL olabilir).
Performans için en verimli dil/altyapı hangisidir? Yani en hızlı hangisi bize hizmet eder?
Phyton? Php/curl? Java falan?
(Not: Amatörüm, linç etmeyin.)
Diyelim ki istatisiksel bir araştırma için bir websitesinden (örn. amazon) içerik çekmek ve veritabanı oluşturmak istiyoruz. (SQL olabilir).
Performans için en verimli dil/altyapı hangisidir? Yani en hızlı hangisi bize hizmet eder?
Phyton? Php/curl? Java falan?
(Not: Amatörüm, linç etmeyin.)

Günde bir kez,10 kez filan çekilecekse mesela performansın bir anlamı yok, python yazması kolay, öğrenmesi kolay.
Anlık çekilecekse performans devreye giriyor, orda da node.js diye düşünüyorum.
Anlık çekilecekse performans devreye giriyor, orda da node.js diye düşünüyorum.
- masseter
(15.11.19 20:07:38)

Amazon gibi bir yerden veri çekecekseniz o kadar çok istek gönderemezsiniz, belirli bir sayıdan sonra IP adresiniz kara listeye girer. Proxy kullanmanız lazım, elinizde bir IP havuzu olacak, onları dönüşümlü kullanacaksınız.
Bu işlemleri yapmak için Node.js öneririm.
Veri çekeceğiniz sayfalar dinamik mi, yoksa statik mi?
Statik ise
Node.js + request + cheerio
nodejs.org
github.com
github.com
Dinamik ise
Puppeteer
github.com
Proxy için https client
github.com
Bu işlemleri yapmak için Node.js öneririm.
Veri çekeceğiniz sayfalar dinamik mi, yoksa statik mi?
Statik ise
Node.js + request + cheerio
nodejs.org
github.com
github.com
Dinamik ise
Puppeteer
github.com
Proxy için https client
github.com
- hayirsiz
(15.11.19 21:02:07 ~ 21:06:57)
1