Tag Archives | Apache Iceberg

Apache SeaTunnel 3.0.0 duyuruldu

Büyük ölçekli ve farklı kaynaklardaki verileri yüksek performansla entegre etmek, dönüştürmek ve senkronize etmek için geliştirilmiş, açık kaynaklı, dağıtık ve çok modüllü bir veri entegrasyonu (ETL / ELT) platformu olan Apache SeaTunnel‘in 3.0.0 sürümü duyuruldu. 200’den fazla yerleşik bağlayıcıya sahip olan yazılım; MySQL, PostgreSQL vb. veritabanları, Apache Kafka, Apache Pulsar vb. akış platformları, Amazon S3, HDFS, Apache Iceberg, Apache Paimon vb. depolama ve Lakehouse gibi araçlarla birlikte çalışıyor. Veri işleme ve çalıştırma motoru olarak kendi yerel motoru olan SeaTunnel Zeta’nın yanı sıra Apache Flink ve Apache Spark ile entegre çalışabilen yazılım, hem toplu (batch) veri işleme hem de gerçek zamanlı (real-time streaming) ve değişiklik yakalama (CDC – Change Data Capture) senaryolarını destekliyor. Yeni sürüm, 2.3.13’ten bu yana 927 commit, 30 yeni eklenen bağlantı noktası, 107 değiştirilen bağlantı noktası içeriyor. Apache SeaTunnel 3.0.0 hakkında bilgi edinmek için sürüm notlarını inceleyebilirsiniz.

Continue Reading →

 

Apache SeaTunnel 3.0.0 edinmek için aşağıdaki linkten yararlanabilirsiniz.

Apache Polaris 1.8.0 duyuruldu

Apache Iceberg ve diğer veri ve AI varlıkları için açık kaynaklı bir katalog olan Apache Polaris‘in 1.8.0 sürümü duyuruldu. Dağıtılmış, çok motorlu bir ortamda Apache Iceberg masalarını yönetmek için özel olarak oluşturulmuş açık kaynaklı bir katalog hizmeti olan Apache Polaris; Iceberg REST kataloğu API’sini uyguladığı, bunun da sorgu motorlarını Iceberg meta verileriyle bağlamak için standartlaştırılmış, bulut tabanlı bir yöntem sunduğu ifade ediliyor. Birincil amacı, Iceberg tabloları için meta veri yönetimi, yönetişim ve erişim kontrolünü merkezileştirmek olan yazılım; sadece meta verileri yönetmekle kalmıyor, aynı zamanda entegre bir rol tabanlı erişim kontrolü (RBAC) sistemi aracılığıyla yönetişim politikalarını da uyguluyor. Iceberg, tablo meta veri ve işlem modelini tanımlayan Polaris, bu tabloları kataloglayan, erişimi koordine eden ve yönetişimi uygulayan hizmeti sunuyor. Yeni sürümde, Polaris’in otomatik şema geçişleri olmadığı için, mevcut Postgres/CockroachDB dağıtımlarının, bir operatör manuel olarak yeniden oluşturana kadar eski, etkisiz dizini koruduğu söyleniyor. İlişkisel JDBC arka ucu artık önyükleme sırasında veritabanı şemasını oluşturmuyor: şema oluşturma, veritabanı yöneticisine ait ayrıcalıklı bir işlem olarak kabul edilmiş bulunuyor. Apache Polaris 1.8.0 hakkında bilgi edinmek için sürüm notlarını inceleyebilirsiniz.

Continue Reading →

 

 

Apache Polaris 1.8.0 edinmek için aşağıdaki linkten yararlanabilirsiniz.