Modern finansın rekabetçi dünyasında, önde kalmak inovasyonu benimsemek anlamına geliyor. Türkiye’nin önde gelen özel bankalarından DenizBank için bu, yapay zeka (AI) ve makine öğrenimini (ML) operasyonlarının özüne entegre etme konusunda güçlü bir bağlılık anlamına geliyor. DenizBank’taki bu teknolojik evrimi yönlendiren, bankacılıkta neyin mümkün olduğunu yeniden tanımlamada kilit bir rol oynayan DenizBank’ın BT iştiraki Intertech’tir. Bu modernizasyondan önce, DenizBank’ın veri bilimi ekipleri, hızlı inovasyon yapma yeteneklerini engelleyen önemli engellerle karşı karşıyaydı. 120’den fazla veri bilimcisi, model geliştirme için bir Sanal Masaüstü Altyapısı (VDI) kullanıyordu. Bu VDI tabanlı ortam yalnızca yavaş ve kaynak yoğun olmakla kalmıyor, aynı zamanda sürekli değişen Python kütüphanelerinin yaşam döngüsü yönetimini de inanılmaz derecede zorlaştırıyordu. Bu durum, her yeni modelin karmaşık ve manuel bir kurulum gerektirdiği, kullanımı zor dijital iş istasyonlarına güvenmek zorunda kalmalarına neden oldu. Standartlaşma eksikliği: Birleşik bir platform olmadan tutarlılık büyük bir sorundu. Veri erişim yöntemleri, model ortamları, veritabanı entegrasyonları ve kod depoları bir veri bilimcisinden diğerine farklılık gösteriyordu ve bu da iş birliğini ve yönetimi zorlaştırıyordu. Pazara sunma ve dağıtım sürecinin yavaşlığı: Manuel süreçler bir geliştirme darboğazı yaratıyordu.
Continue Reading →
Ayrıca, iş ekipleri hangi modellerin daha iyi performans gösterdiğini anlamak ve karşılaştırmakta zorlanırken, hangi modelin dağıtılacağına karar vermek de önemli ölçüde zaman alıyordu. Bu kararsızlık, kritik iş fırsatlarının kaçırılmasına yol açıyordu. Intertech, parça parça bir yaklaşımın işe yaramayacağını fark etti. Kapsamlı ve standartlaştırılmış bir çözüme ihtiyaçları vardı. Hedefleri açıktı: pazara sunma süresini kısaltmak, yapay zeka maliyetlerini düşürmek, tüm veri bilimi sürecini otomatikleştirmek ve ekiplerini self-servis yetenekleriyle güçlendirmek. Üç yılı aşkın bir süredir kurumsal uygulama platformu ortamı (Red Hat OpenShift) işletme deneyimine sahip olan Intertech, sağlam, konteyner tabanlı mimariler konusunda derin bir uzmanlığa sahipti. Bir sonraki doğal adım, Red Hat OpenShift AI’yı benimsemekti. Ölçeklenebilirlik için Kubernetes’ten yararlanma konusundaki güçlü yeteneği ve altyapıya yönelik GitOps dostu, kod tabanlı yaklaşımı nedeniyle seçildi. OpenShift AI, OpenShift ile tamamen entegre bir ürün olduğundan, MLOps ekibi, deneylerden üretim modellerine kadar tüm yapay zeka yaşam döngüsünü tam izlenebilirlikle yönetmek için GitOps uygulamalarını benimsedi. Başarıyı garantilemek için Intertech, en uygun çözümü tasarlamak üzere Red Hat Consulting ile iş birliği yaptı ve mevcut DevOps ve GitOps en iyi uygulamalarıyla uyumlu hale getirmek için dikkatlice uyarladı. OpenShift AI’nın uygulanması, DenizBank’taki veri bilimcilerinin çalışma şeklini değiştirdi. Ekip artık tüm süreç üzerinde tam görünürlük ve kontrole sahip. Yeni bir model geliştirme ortamı talep etmek için, bir veri bilimcinin yeni bir Git dalı oluşturması, gereksinimlerini (ML veya GenAI gibi proje türü, kaynaklar, erişim hakları) bir JSON dosyasında yapılandırması ve commit etmesi yeterli. Ardından bir çekme isteği, platform yöneticisi tarafından onaylanır ve bu da OpenShift GitOps’u (ArgoCD) otomatik olarak tetikleyerek gerekli tüm bileşenleri ve yapılandırmaları sağlanıyor. Aynı denetlenebilir, otomatik süreç, model dağıtımı için de kullanılıyor. Veri bilimcileri artık OpenShift AI çalışma alanlarını kullanarak dakikalar içinde kendi özelleştirilmiş AI model geliştirme ortamlarını oluşturabilirler. Bu yeni konteyner tabanlı platformda, farklı kullanım durumları için farklı kütüphane setleriyle farklı imajları çalıştırma esnekliğine ve hızına sahipler. Önceden oluşturulmuş, standartlaştırılmış imajlar arasından seçim yapabilir veya kendi imajlarını oluşturabilirler, böylece her proje tutarlı bir temel çizgiden başlar. Önde gelen açık kaynak teknolojilerine erişim: Platform, dizüstü bilgisayar yönetimi ve model sunumu için Kubeflow ve model çıkarımı için vLLM dahil olmak üzere çok çeşitli açık kaynaklı yapay zeka teknolojilerine kesintisiz erişim sağlar. Gelişmiş güvenlik ve güvenilirlik: Kod artık merkezi depolarda barındırıldığından, her model titiz bir inceleme ve doğrulama sürecinden geçer ve bu da daha sağlam ve güvenli dağıtımlara olanak tanıyor. Optimize edilmiş GPU kullanımı: NVIDIA panoları ve Çoklu Örnek GPU (MIG) teknolojisiyle entegrasyon sayesinde DenizBank, artık GPU kaynaklarını inanılmaz bir hassasiyetle bölüp tahsis edebiliyor, hem eğitim hem de sunum için kullanımı optimize edebiliyor ve kaynakları gerektiği gibi otomatik olarak ölçeklendirebiliyor. Bir model geliştirme ortamını hazırlamak için gereken süre bir haftadan yalnızca 10 dakikaya indirildi. Yeni mikro hizmet modellerini dağıtmak için gereken süre de benzer bir şekilde birkaç günden dakikalara düştü. Güçlendirilmiş ve üretken ekipler: 120’den fazla DenizBank veri bilimcisi artık ihtiyaç duydukları özerkliğe ve standartlaştırılmış araçlara sahip, bu da üretkenliği artırıyor ve yüksek değerli model oluşturmaya odaklanmalarını sağlıyor. Kuruluşun geliştirilmiş modelleri ve daha hızlı dağıtım döngüleri, bankanın kârlılığı üzerinde doğrudan bir etkiye sahip oldu. Temerrüde düşen kredi riski, %7,51’den %5,79’a düşerek önemli ölçüde azaldı. Otomasyon ve GitOps yaklaşımı, manuel operasyonları ve genel giderleri önemli ölçüde azaltmış. Verimli kaynak kullanımı: GPU dilimleme ve dağıtılmış iş yükleri, optimize edilmiş kaynak kullanımı ve maliyet tasarrufu sağlamış. DenizBank’ın yeni süreci, daha sağlam ve daha güvenli modellerin oluşturulmasını sağlamış ve bu da daha doğru müşteri kredi değerlendirmeleri ve dolandırıcılık amaçlı finansal faaliyetlerin daha hızlı tespiti gibi somut iş sonuçlarına doğrudan yol açmış. DenizBank’ın şimdi odak noktası, kalan tüm veri bilimcilerini ve modellerini OpenShift AI platformuna taşımak. Bankanın, geleceğe baktığında daha verimli bilgi işlem kaynağı kullanımına ve gelişmiş model çıkarım yeteneklerine öncelik verdiği söyleniyor. Bu bilginin tamamını telekomünikasyon, finansal hizmetler ve bulut bilişim alanlarında 20 yılı aşkın deneyime sahip deneyimli bir BT uzmanı olan Erkan Ercan‘ın yazdığı “DenizBank drives AI innovation with Red Hat OpenShift AI” başlıklı yazıda bulabilirsiniz.
DenizBank’ı kutluyoruz. Darısı tüm bankaların başına diyoruz.
Hem akış hem de toplu işlemler için Flink ve Spark ile gerçek zamanlı göl mimarisi oluşturmayı sağlayan bir göl formatı olan Apache Paimon‘un 2.0.0 sürümü, Jingsong Lee tarafından duyuruldu. Göl formatını ve LSM yapısını yenilikçi bir şekilde birleştirerek, gerçek zamanlı akış güncellemelerini göl mimarisine getirdiği belirtilen yazılımın yeni büyük sürümünün, Paimon‘u birleşik bir multimodal olarak ilerlettiği, Java ve Python ile akış, parti ve AI iş yükleri için göl evi sürüm versiyonları oluşturduğu söyleniyor. Buna giden yolda 100’den fazla katkıda bulunanın 1.100’den fazla taahhütte bulunduğu belirtilirken, onun, birincil anahtar masalar, birleştirme motorları, değişim kütüğü üretimi ve birleşik parti ve akış erişimi, nesne depolamaya gerçek zamanlı güncellemeler getirdiği söyleniyor. AI uygulamalarının nadiren sadece satır ve sütunlarla çalıştığı belirtilirken, Apache Paimon 2.0.0’ın farklı bir model sunduğu, görüntüleri, videoyu, sesi, belgeleri ve diğer büyük nesneleri özel olarak saklayan BLOB tipi, beyan edilen bir eleman tipine sahip sabit boyutlu yoğun bir vektörü temsil eden Vekik tipi ve Parquet Varyant ikilisini kullanarak nesneleri, dizileri ve ölçek değerlerini saklayan VARYANT tipi gibi. Apache Paimon 2.0.0 hakkında bilgi edinmek için sürüm duyursunu ya da GitHub sürümler sayfasını inceleyebilirsiniz.
Yapay zeka ve “Jarvis” adlı bir sesli asistan kullanarak, çok çeşitli görevleri yerine getirmek için komutlar yürütebilen Amerikan kökenli Debian GNU/Linux tabanlı bir 
Çalıştırıldığında tanıdık, samimi bir selamlama üreten; “Hello, world!” (“Merhaba dünya!”) yazan programın başka bir uygulaması olan 
Makine öğrenimi modelleri hayat döngüsünde karşılaşılan güçlükleri kolaylaştırmak amacıyla geliştirilmiş açık kaynak kodlu bir proje olan 
ABD ambargosu nedeniyle güç bir süreçten geçen Huawei, 
