[]

50-60 milyon satır veride SQL çalıştırmak?

Çok uzun sürüyor mu basit select sorgusu ya da daha kompleks join yapıları, veri temizleme işleri yapılacak diyelim, zaman sıkıntı olur mu, yoksa big data teknolojilerine yönelmek mi gerek?




 
Sisteme ve cektigin seylere bagli. 250 milyonda tek satir count komutunun 3 saatte geldigi de oluyor. Ayni tablodan saniyede 50 satir cektiginde sorunsuz aldigin da oluyor.


  • acemi  (10.02.19 01:19:32) 
kolon sayisina, nasil bir sorgu olduguna ve indexlere bagli. eger index varsa ve normal bir select sorgusu ise aninda donmesi lazim. 50-60M satir cok da buyuk bir database sayilmaz


  • crucio  (10.02.19 01:20:56) 
Gunluk en az o kadar verinin geldigi tablolara dogru indexleme - partitionlama ve guclu sistem (exadata) ile birkac saniyede istedigimiz sorgunun cevabini gorebiliyoruz. İcindeki veri de onemli tabi.


  • fakyoras  (10.02.19 06:02:42) 
50-60m satir buyuk sayilmaz.


  • kaptankedi  (10.02.19 08:27:46) 
index alanlarından sorgu kriteri yazarsanız sorun olmaz. yaklaşık 500 gb'lık, 180 milyar satırlı bir tablodan doğru sorgulanırsa 1 saniyede sorgulayabiliyoruz örneğin. joinler de index olursa sorun olmaz.

bir de veritabanı ne? altyapısı ne? bunlar da önemli. yukarıdaki örnek oracle & exadata.

bunun yannı sıra, sorgulanan alanın tipi de önemli. örneğin bir alanın char olması ile varchar olması arasında da, büyük verilerde ciddi performans farkı bulunur.
  • altinci nesil caylak  (10.02.19 11:21:33) 
aggregation yapacağsan başka durumlar da var ;)


  • kaptankedi  (10.02.19 18:51:39) 
1
buraya yazılanların hakları Sir Anthony Hopkins'e aittir.
yazan eden compumaster, ilgilenen eden fader
modere edenler angelus, Artibir, aychovsky, baba jo, basond, compumaster, deckard, fader, fraise, groove salad, kahvegibi, kaymaktutmayansicaksut, kibritsuyu, monstro, pandispanya, robin, ron dennis
bu sitede yazılanların hiçbiri doğru değildir. site içeriği küçükler için sakıncalı olabilir. yazılardan yazarları sorumludur. kaynak göstermeden alıntılanamaz. devlet tarafından atanmış bir kurumun internet üzerinde kimin hangi bilgiye ulaşıp ulaşamayacağına karar vermesi insan haklarına aykırıdır. web siteleri kullanıcıların istekleri doğrultusunda bağlandıkları yerlerdir. kullanıcılar isterlerse bir web sitesine bağlanmayabilirler. bu güçleri ve imkanları mevcuttur. bir kullanıcı bir siteye bağlanmak istiyorsa bu onun tercihi ve hakkıdır. bağlanmak istemiyorsa bu yine onun tercihi ve hakkıdır. halkın kendisine hizmet etmesi için görevlendirdiği kurumlar hadlerini aşıp halka neye ulaşıp ulaşmayacağını bilmeyen cahil cühela muamelesi edemezler. ebeveynlerin çocuklarını sakıncalı içeriklerden koruması için çok sayıda bedava ve ücretli yazılım mevcuttur. bu yazılımlar bir web tarayıcısını kullanmaktan daha karmaşık teknik bilgi gerektirmemektedir. devletin milletini küçük düşürmesi ve ebleh yerine koyması yasaktır. Skimlinks ile linkler üzerinden yönlendirme payı alınmaktadır.