stringer
Şöyle bir duyuru açmıştım: https://www.eksiduyuru.com/duyuru/1612467/yazilimci-arkadaslar-yardimci-olabilir-mi-goodreads-tan-veri-toplamak-hkFakat istediğim cevapları alamadım. Goodreads bu verileri paylaşmak istemiyorsa api yoluyla, bir makalede kullanırsam yasal sorunlar doğabilir.Yapmak istediğim
Şöyle bir duyuru açmıştım: www.eksiduyuru.com
Fakat istediğim cevapları alamadım. Goodreads bu verileri paylaşmak istemiyorsa api yoluyla, bir makalede kullanırsam yasal sorunlar doğabilir.
Yapmak istediğim şu: bir yazarın bir kitabına gelen yorumları (zaman, dil, cinsiyet) gibi ölçütlere göre sınıflandırıp incelemek. Bunu nasıl yaparım, yardımcı olacak hiç mi kimse yok :( eskiden yazılımcı arkadaşlar daha aktifti burada, her soruya cevap verirlerdi :(
Fakat istediğim cevapları alamadım. Goodreads bu verileri paylaşmak istemiyorsa api yoluyla, bir makalede kullanırsam yasal sorunlar doğabilir.
Yapmak istediğim şu: bir yazarın bir kitabına gelen yorumları (zaman, dil, cinsiyet) gibi ölçütlere göre sınıflandırıp incelemek. Bunu nasıl yaparım, yardımcı olacak hiç mi kimse yok :( eskiden yazılımcı arkadaşlar daha aktifti burada, her soruya cevap verirlerdi :(
0
Yasal sorun olacağını sanmıyorum; sonuçta Goodreads'ın sistemine sızıp halka açık olmayan bir veriyi kullanmıyorsunuz. Sizin sıkıntınız bunu API üzerinden yapamadığınız için bir crawler bulup onun üzerinden veriyi çekmeniz, burada da işin legalitesinin ötesinde muhtemelen sitenin buna dair önlemlerine takılacaksınız; ya IP'niz engellenecek ve siteye erişemeyeceksiniz ya da site Captcha vb. bir doğrulama isteyecek.
+2
Çok teşekkür ederim. Bunu yapmanın başka yolu yok mu, vaz mı geçmeli bu sevdadan?
0
Bir önceki duyuruya arkadaş bir GitHub sayfası bırakmış, o işinizi görür gibi gözüküyor. Crawlbase'e baktım, 1000 request için 1.25$ gibi bir masraf var. Goodreads de gördüğüm kadarıyla her sayfada 30 yorum gösteriyor. Yani istediğiniz kitaptaki toplam yorum sayısını 30'a bölerseniz kabaca kaç request gerekeceğini bulursunuz (Tabi normalde gerçek request sayısı tekrar eden requestler vb. biraz daha fazla olur muhtemelen)
ChatGPT ya da Deepseek kullanarak GitHub'taki scraper'ı kullanacak basit bir Python kodu yazabilirsiniz.
Zaten kullanımı da basit, istediğiniz kitabın review sayfasının linkini aşağıdakiyle değiştirip sonrasında kodunuzun içinden aşağıdaki fonksiyonları çağırıyorsunuz, goodreads_reviews.json dosyasına revieweri kaydediyor. Tabi çalışması için önce Crawlbase hesabı açmanız ve oradan aldığınız API Token'ı da koda yerleştirmeniz lazım. Sanırım Crawlspace 1000 request ücretsiz veriyor yani çalışıp çalışmadığını da deneyebilirsiniz.
book_reviews = scrape_goodreads_reviews_with_pagination('www.goodreads.com')
save_reviews_to_json(book_reviews)
ChatGPT ya da Deepseek kullanarak GitHub'taki scraper'ı kullanacak basit bir Python kodu yazabilirsiniz.
Zaten kullanımı da basit, istediğiniz kitabın review sayfasının linkini aşağıdakiyle değiştirip sonrasında kodunuzun içinden aşağıdaki fonksiyonları çağırıyorsunuz, goodreads_reviews.json dosyasına revieweri kaydediyor. Tabi çalışması için önce Crawlbase hesabı açmanız ve oradan aldığınız API Token'ı da koda yerleştirmeniz lazım. Sanırım Crawlspace 1000 request ücretsiz veriyor yani çalışıp çalışmadığını da deneyebilirsiniz.
book_reviews = scrape_goodreads_reviews_with_pagination('www.goodreads.com')
save_reviews_to_json(book_reviews)
+1
jsoup ve selenium kullanıyoruz biz java için.
hatta ben kendim için şöyle bi uygulama yapmak istiyordum zaman ayrımak zor geliyor;
goodreads'den okuma listemdeki kitap listesini alıp nadirkitap'tan bu kitapları arayarak sahaflara göre gruplamıyı planlıyordum. örneğin 20 kitabın 5 tanesi bir sahafta var, bu sayede kitapları kargo ücretsiz bir şekilde almak istiyorum.
jsoup ve selenium kullanmak basit sayılır da java kurulumu biraz zorlamyabilir sizi. bi de bazen fazla istek atınca sorun olabiliyor bazı sitelerde.
hatta ben kendim için şöyle bi uygulama yapmak istiyordum zaman ayrımak zor geliyor;
goodreads'den okuma listemdeki kitap listesini alıp nadirkitap'tan bu kitapları arayarak sahaflara göre gruplamıyı planlıyordum. örneğin 20 kitabın 5 tanesi bir sahafta var, bu sayede kitapları kargo ücretsiz bir şekilde almak istiyorum.
jsoup ve selenium kullanmak basit sayılır da java kurulumu biraz zorlamyabilir sizi. bi de bazen fazla istek atınca sorun olabiliyor bazı sitelerde.
0
