[]

Yazılımcılara Soru (Performans Kıyaslaması)

Hello world!

Diyelim ki istatisiksel bir araştırma için bir websitesinden (örn. amazon) içerik çekmek ve veritabanı oluşturmak istiyoruz. (SQL olabilir).

Performans için en verimli dil/altyapı hangisidir? Yani en hızlı hangisi bize hizmet eder?

Phyton? Php/curl? Java falan?

(Not: Amatörüm, linç etmeyin.)

 
Günde bir kez,10 kez filan çekilecekse mesela performansın bir anlamı yok, python yazması kolay, öğrenmesi kolay.

Anlık çekilecekse performans devreye giriyor, orda da node.js diye düşünüyorum.
  • masseter  (15.11.19 20:07:38) 
Amazon gibi bir yerden veri çekecekseniz o kadar çok istek gönderemezsiniz, belirli bir sayıdan sonra IP adresiniz kara listeye girer. Proxy kullanmanız lazım, elinizde bir IP havuzu olacak, onları dönüşümlü kullanacaksınız.

Bu işlemleri yapmak için Node.js öneririm.

Veri çekeceğiniz sayfalar dinamik mi, yoksa statik mi?

Statik ise
Node.js + request + cheerio
nodejs.org
github.com
github.com

Dinamik ise
Puppeteer
github.com

Proxy için https client
github.com
  • hayirsiz  (15.11.19 21:02:07 ~ 21:06:57) 
1
buraya yazılanların hakları Sir Anthony Hopkins'e aittir.
yazan eden compumaster, ilgilenen eden fader
modere edenler angelus, Artibir, aychovsky, baba jo, basond, compumaster, deckard, fader, fraise, groove salad, kahvegibi, kaymaktutmayansicaksut, kibritsuyu, monstro, pandispanya, robin, ron dennis
bu sitede yazılanların hiçbiri doğru değildir. site içeriği küçükler için sakıncalı olabilir. yazılardan yazarları sorumludur. kaynak göstermeden alıntılanamaz. devlet tarafından atanmış bir kurumun internet üzerinde kimin hangi bilgiye ulaşıp ulaşamayacağına karar vermesi insan haklarına aykırıdır. web siteleri kullanıcıların istekleri doğrultusunda bağlandıkları yerlerdir. kullanıcılar isterlerse bir web sitesine bağlanmayabilirler. bu güçleri ve imkanları mevcuttur. bir kullanıcı bir siteye bağlanmak istiyorsa bu onun tercihi ve hakkıdır. bağlanmak istemiyorsa bu yine onun tercihi ve hakkıdır. halkın kendisine hizmet etmesi için görevlendirdiği kurumlar hadlerini aşıp halka neye ulaşıp ulaşmayacağını bilmeyen cahil cühela muamelesi edemezler. ebeveynlerin çocuklarını sakıncalı içeriklerden koruması için çok sayıda bedava ve ücretli yazılım mevcuttur. bu yazılımlar bir web tarayıcısını kullanmaktan daha karmaşık teknik bilgi gerektirmemektedir. devletin milletini küçük düşürmesi ve ebleh yerine koyması yasaktır. Skimlinks ile linkler üzerinden yönlendirme payı alınmaktadır.