Tag Archives | yerel

Büyük dil modellerini (LLM) bilgisayarda yerel olarak çalıştırmaya ve yönetmeye olanak tanıyan bir araç olan Ollama‘nın 0.12.6 sürüm adayı duyuruldu. Harici sunuculara veya bulut tabanlı hizmetlere bağlı kalmadan, yapay zeka modellerini kullanıcının tamamen kendi bilgisayarında çalıştırabileceği, özel ve potansiyel olarak daha hızlı bir çalışma ortamı elde edebilecekleri ifade ediliyor. Bunun bir test sürümü olduğunun unutulmaması ve yalnızca test etmek amacıyla kullanılması gerektiği belirtilirken, sürümün, güzel bir performans iyileştirmesiyle geldiği söyleniyor. Ollama‘nın bu yeni sürümü, GPU ve CPU hesaplamalarını üst üste bindirerek gelişmiş performans sağlıyor. Ollama, bu modellerle etkileşim için geliştirilmiş bir API ve komut satırı arayüzü (CLI) sunarak, geliştiricilerin bu yapay zeka yeteneklerini kendi uygulamalarına kolayca entegre etmelerine olanak sağlıyor. macOS, Windows ve GNU/Linux gibi büyük platformlarda çalışabilen yazılımın bu sürümünde, yanıt oluştururken donmasına neden olan sorununun düzeltildiği söyleniyor. Qwen3-coder’ın /api/generate veya ollama run qwen3-coder <prompt> kullanıldığında ham modda çalışmasına neden olan sorun da düzeltilirken, Ollama’nın artık num_gpu ayarlandığında modelleri doğru şekilde çıkardığı belirtiliyor. Vulkan için deneysel destek artık kaynaktan yerel olarak derlendiğinde kullanılabiliyor. Gelecekteki bir sürümde, Vulkan desteğinin ikili sürüme de ekleneceği ifade ediliyor. Ollama 0.12.6-rc0 hakkında bilgi edinmek için GitHub sürümler sayfasını inceleyebilirsiniz. Continue Reading →

Büyük dil modellerini (LLM) bilgisayarda yerel olarak çalıştırmaya ve yönetmeye olanak tanıyan bir araç olan Ollama‘nın 0.11.9 sürüm adayı duyuruldu. Harici sunuculara veya bulut tabanlı hizmetlere bağlı kalmadan, yapay zeka modellerini kullanıcının tamamen kendi bilgisayarında çalıştırabileceği, özel ve potansiyel olarak daha hızlı bir çalışma ortamı elde edebilecekleri ifade ediliyor. Bunun bir test sürümü olduğunun unutulmaması ve yalnızca test etmek amacıyla kullanılması gerektiği belirtilirken, sürümün, güzel bir performans iyileştirmesiyle geldiği söyleniyor. Ollama‘nın bu yeni sürümü, GPU ve CPU hesaplamalarını üst üste bindirerek gelişmiş performans sağlıyor. Ollama, bu modellerle etkileşim için geliştirilmiş bir API ve komut satırı arayüzü (CLI) sunarak, geliştiricilerin bu yapay zeka yeteneklerini kendi uygulamalarına kolayca entegre etmelerine olanak sağlıyor. macOS, Windows ve GNU/Linux gibi büyük platformlarda çalışabilen yazılımın bu sürümünün, VMware mühendisi Daniel Hiltgen tarafından geliştirildiği ve GPU’nun meşgul kalmasına yardımcı olmak için bir sonraki grup için grafiği eşzamansız olarak oluşturmayı amaçladığı ifade ediliyor. Metal işlemcide, token oranında %2-3’lük; RTX 4090 işlemcide ise yaklaşık %7’lik bir hızlanma görüldüğü belirtiliyor. Ollama 0.11.9-rc0 sürümü ayrıca, tanınmayan AMD GPU’larının ollama için hataya neden olduğu sorunları da düzeltiyor. Ollama 0.11.9-rc0 hakkında bilgi edinmek için GitHub sürümler sayfasını inceleyebilirsiniz.

Continue Reading →