Archive | GNU/Linux

Ayrıca, iş ekipleri hangi modellerin daha iyi performans gösterdiğini anlamak ve karşılaştırmakta zorlanırken, hangi modelin dağıtılacağına karar vermek de önemli ölçüde zaman alıyordu. Bu kararsızlık, kritik iş fırsatlarının kaçırılmasına yol açıyordu. Intertech, parça parça bir yaklaşımın işe yaramayacağını fark etti. Kapsamlı ve standartlaştırılmış bir çözüme ihtiyaçları vardı. Hedefleri açıktı: pazara sunma süresini kısaltmak, yapay zeka maliyetlerini düşürmek, tüm veri bilimi sürecini otomatikleştirmek ve ekiplerini self-servis yetenekleriyle güçlendirmek. Üç yılı aşkın bir süredir kurumsal uygulama platformu ortamı (Red Hat OpenShift) işletme deneyimine sahip olan Intertech, sağlam, konteyner tabanlı mimariler konusunda derin bir uzmanlığa sahipti. Bir sonraki doğal adım, Red Hat OpenShift AI’yı benimsemekti. Ölçeklenebilirlik için Kubernetes’ten yararlanma konusundaki güçlü yeteneği ve altyapıya yönelik GitOps dostu, kod tabanlı yaklaşımı nedeniyle seçildi. OpenShift AI, OpenShift ile tamamen entegre bir ürün olduğundan, MLOps ekibi, deneylerden üretim modellerine kadar tüm yapay zeka yaşam döngüsünü tam izlenebilirlikle yönetmek için GitOps uygulamalarını benimsedi. Başarıyı garantilemek için Intertech, en uygun çözümü tasarlamak üzere Red Hat Consulting ile iş birliği yaptı ve mevcut DevOps ve GitOps en iyi uygulamalarıyla uyumlu hale getirmek için dikkatlice uyarladı. OpenShift AI’nın uygulanması, DenizBank’taki veri bilimcilerinin çalışma şeklini değiştirdi. Ekip artık tüm süreç üzerinde tam görünürlük ve kontrole sahip. Yeni bir model geliştirme ortamı talep etmek için, bir veri bilimcinin yeni bir Git dalı oluşturması, gereksinimlerini (ML veya GenAI gibi proje türü, kaynaklar, erişim hakları) bir JSON dosyasında yapılandırması ve commit etmesi yeterli. Ardından bir çekme isteği, platform yöneticisi tarafından onaylanır ve bu da OpenShift GitOps’u (ArgoCD) otomatik olarak tetikleyerek gerekli tüm bileşenleri ve yapılandırmaları sağlanıyor. Aynı denetlenebilir, otomatik süreç, model dağıtımı için de kullanılıyor. Veri bilimcileri artık OpenShift AI çalışma alanlarını kullanarak dakikalar içinde kendi özelleştirilmiş AI model geliştirme ortamlarını oluşturabilirler. Bu yeni konteyner tabanlı platformda, farklı kullanım durumları için farklı kütüphane setleriyle farklı imajları çalıştırma esnekliğine ve hızına sahipler. Önceden oluşturulmuş, standartlaştırılmış imajlar arasından seçim yapabilir veya kendi imajlarını oluşturabilirler, böylece her proje tutarlı bir temel çizgiden başlar. Önde gelen açık kaynak teknolojilerine erişim: Platform, dizüstü bilgisayar yönetimi ve model sunumu için Kubeflow ve model çıkarımı için vLLM dahil olmak üzere çok çeşitli açık kaynaklı yapay zeka teknolojilerine kesintisiz erişim sağlar. Gelişmiş güvenlik ve güvenilirlik: Kod artık merkezi depolarda barındırıldığından, her model titiz bir inceleme ve doğrulama sürecinden geçer ve bu da daha sağlam ve güvenli dağıtımlara olanak tanıyor. Optimize edilmiş GPU kullanımı: NVIDIA panoları ve Çoklu Örnek GPU (MIG) teknolojisiyle entegrasyon sayesinde DenizBank, artık GPU kaynaklarını inanılmaz bir hassasiyetle bölüp tahsis edebiliyor, hem eğitim hem de sunum için kullanımı optimize edebiliyor ve kaynakları gerektiği gibi otomatik olarak ölçeklendirebiliyor. Bir model geliştirme ortamını hazırlamak için gereken süre bir haftadan yalnızca 10 dakikaya indirildi. Yeni mikro hizmet modellerini dağıtmak için gereken süre de benzer bir şekilde birkaç günden dakikalara düştü. Güçlendirilmiş ve üretken ekipler: 120’den fazla DenizBank veri bilimcisi artık ihtiyaç duydukları özerkliğe ve standartlaştırılmış araçlara sahip, bu da üretkenliği artırıyor ve yüksek değerli model oluşturmaya odaklanmalarını sağlıyor. Kuruluşun geliştirilmiş modelleri ve daha hızlı dağıtım döngüleri, bankanın kârlılığı üzerinde doğrudan bir etkiye sahip oldu. Temerrüde düşen kredi riski, %7,51’den %5,79’a düşerek önemli ölçüde azaldı. Otomasyon ve GitOps yaklaşımı, manuel operasyonları ve genel giderleri önemli ölçüde azaltmış. Verimli kaynak kullanımı: GPU dilimleme ve dağıtılmış iş yükleri, optimize edilmiş kaynak kullanımı ve maliyet tasarrufu sağlamış. DenizBank’ın yeni süreci, daha sağlam ve daha güvenli modellerin oluşturulmasını sağlamış ve bu da daha doğru müşteri kredi değerlendirmeleri ve dolandırıcılık amaçlı finansal faaliyetlerin daha hızlı tespiti gibi somut iş sonuçlarına doğrudan yol açmış. DenizBank’ın şimdi odak noktası, kalan tüm veri bilimcilerini ve modellerini OpenShift AI platformuna taşımak. Bankanın, geleceğe baktığında daha verimli bilgi işlem kaynağı kullanımına ve gelişmiş model çıkarım yeteneklerine öncelik verdiği söyleniyor. Bu bilginin tamamını telekomünikasyon, finansal hizmetler ve bulut bilişim alanlarında 20 yılı aşkın deneyime sahip deneyimli bir BT uzmanı olan Erkan Ercan‘ın yazdığı “DenizBank drives AI innovation with Red Hat OpenShift AI” başlıklı yazıda bulabilirsiniz. 

• Tam vaka çalışmasını indirebilirsiniz.
• Red Hat AI hakkında daha fazla bilgi edinebilirsiniz.
• Red Hat OpenShift AI ve Red Hat Enterprise Linux AI’nın başlangıç ​​kılavuzunu inceleyebilirsiniz.

DenizBank’ı kutluyoruz. Darısı tüm bankaların başına diyoruz.