Tag Archives | batch processing

Büyük veri akışlarını gerçek zamanlı (real-time) ve güvenilir bir şekilde işlemeye olanak tanıyan, açık kaynaklı, dağıtık bir hesaplama çerçevesi Apache Storm‘un 3.1.0 sürümü duyuruldu. Hadoop gibi sistemler belirli zaman aralıklarında toplu işleme (batch processing) yaparken, Apache Storm gelen veriyi durmaksızın ve anlık olarak işler. Verileri depolamadan, anlık olarak alıp işleyen (gerçek zamanlı işleme) Apache Storm, çalışma yükünü birden fazla sunucuya otomatik olarak dağıtıp paralelleştiriyor (dağıtık yapı). Bir düğüm veya işlem çöktüğünde verilerin ve işlerin kaybolmamasını, yeniden başlatılabilmesini sağlayan (hataya dayanıklılık (Fault-Tolerant)) yazılım, çekirdeği JVM üzerinde (Clojure ve Java) yazılmış olsa da, herhangi bir programlama dili ile veri işleme mantığı (dil bağımsızlığı) geliştirilebiliyor. Sistem loglarının canlı takibi ve anormallik tespitini yapan Apache Storm, kredi kartı işlemlerinin milisaniyeler içinde analiz edilip şüpheli faaliyetlerin yakalanmasını da sağlıyor. Ayrıca IoT (nesnelerin interneti) sensörlerden gelen sürekli veri akışlarının anlık olarak değerlendirilmesini yapıyor. Apache Storm 3.1.0 hakkında bilgi edinmek için sürüm notlarını inceleyebilirsiniz.

Continue Reading →