Büyük dil modellerini (LLM) bilgisayarda yerel olarak çalıştırmaya ve yönetmeye olanak tanıyan bir araç olan Ollama‘nın 0.11.9 sürüm adayı duyuruldu. Harici sunuculara veya bulut tabanlı hizmetlere bağlı kalmadan, yapay zeka modellerini kullanıcının tamamen kendi bilgisayarında çalıştırabileceği, özel ve potansiyel olarak daha hızlı bir çalışma ortamı elde edebilecekleri ifade ediliyor. Bunun bir test sürümü olduğunun unutulmaması ve yalnızca test etmek amacıyla kullanılması gerektiği belirtilirken, sürümün, güzel bir performans iyileştirmesiyle geldiği söyleniyor. Ollama‘nın bu yeni sürümü, GPU ve CPU hesaplamalarını üst üste bindirerek gelişmiş performans sağlıyor. Ollama, bu modellerle etkileşim için geliştirilmiş bir API ve komut satırı arayüzü (CLI) sunarak, geliştiricilerin bu yapay zeka yeteneklerini kendi uygulamalarına kolayca entegre etmelerine olanak sağlıyor. macOS, Windows ve GNU/Linux gibi büyük platformlarda çalışabilen yazılımın bu sürümünün, VMware mühendisi Daniel Hiltgen tarafından geliştirildiği ve GPU’nun meşgul kalmasına yardımcı olmak için bir sonraki grup için grafiği eşzamansız olarak oluşturmayı amaçladığı ifade ediliyor. Metal işlemcide, token oranında %2-3’lük; RTX 4090 işlemcide ise yaklaşık %7’lik bir hızlanma görüldüğü belirtiliyor. Ollama 0.11.9-rc0 sürümü ayrıca, tanınmayan AMD GPU’larının ollama için hataya neden olduğu sorunları da düzeltiyor. Ollama 0.11.9-rc0 hakkında bilgi edinmek için GitHub sürümler sayfasını inceleyebilirsiniz.
Ollama 0.11.9-rc0 edinmek için aşağıdaki linklerden yararlanabilirsiniz.