İçeriğe geç
parazade
Yapay Zeka ile Kazanç

Kendi Bilgisayarında Ücretsiz Yapay Zekâ Sistemi Kur: Ekran Kartı, İşlemci ve RAM ile Adım Adım

Yayın: · Son güncelleme:

· 30 dk okuma

Kısaca

Kendi bilgisayarında ücretsiz ve limitsiz bir yapay zekâ sistemi kurmak mümkün: Ollama ya da LM Studio ile dil modeli, Continue ile kod asistanı, ComfyUI ya da Forge ile görsel üretim. Belirleyici olan ekran kartının belleğidir (VRAM); 8 GB'lık kartta 7-8B modeller rahat çalışır, kart yoksa işlemci ve RAM ile daha yavaş çalışır.

Kendi Bilgisayarında Ücretsiz Yapay Zekâ Sistemi Kur: Ekran Kartı, İşlemci ve RAM ile Adım Adım
Fotoğraf: Nana Dua / Pexels
İçindekiler
  1. Ekran kartında belirleyici olan şey: VRAM
  2. Kartına göre ne çalışır: 4 GB'tan 24 GB'a
  3. NVIDIA dışındaki kartlar
  4. Ekran kartın yoksa ya da yetmiyorsa: işlemci ve RAM
  5. İşlemciyle çalıştırırken hızı ne belirler
  6. Karma kullanımı elle ayarlamak
  7. Terminali hiç kullanmadıysan: önce burayı oku
  8. Terminali açmak
  9. Bir komutu çalıştırmak
  10. Bilmen gereken altı şey
  11. Klasörler arasında gezinmek
  12. Dosya oluşturmak
  13. Hata alırsan
  14. Adım 0: Ön hazırlık
  15. Adım 1: Ollama ile dil modelini kur
  16. Günlük kullanımda işine yarayacak komutlar
  17. API olarak kullanmak
  18. Tarayıcıda sohbet arayüzü
  19. Alternatif: LM Studio
  20. Adım 2: İşe göre doğru modeli seç
  21. Modeli kendi işine göre ayarlamak
  22. Adım 3: VS Code içinde kod asistanı
  23. Terminalde kod ajanı: OpenCode
  24. Adım 4: Görsel üretim
  25. Seçenek A: ComfyUI
  26. Seçenek B: Forge
  27. Model dosyalarını indir ve yerleştir
  28. 8 GB için hangi model
  29. Adım 5: LoRA ile kendi tarzını öğret
  30. 1. Veri setini hazırla
  31. 2. Görselleri etiketle
  32. 3. Eğitim aracını kur
  33. 4. 8 GB için eğitim ayarları
  34. 5. Sonucu test et
  35. Adım 6: Kendi belgelerinle konuşan asistan
  36. Adım 7: Ses: konuşmayı yazıya, yazıyı sese
  37. Konuşmayı yazıya çevirmek
  38. Yazıyı sese çevirmek
  39. Adım 8: Otomasyon: modeli kendi kendine çalışan işlere bağla
  40. Adım 9: Evdeki sisteme telefondan ve dizüstünden eriş
  41. Yerel model nerede yeter, nerede yetmez
  42. Hibrit strateji: maliyeti düşüren kullanım
  43. Sık karşılaşılan sorunlar ve kurulum kontrol listesi
  44. Kontrol listesi

Masanın altındaki bilgisayar sandığından fazlasını yapıyor.

Yapay zekâ abonelikleri bir noktada can sıkmaya başlıyor. Biri sohbet için, biri kod için, biri görsel için derken her ay kartından sessizce bir tutar çıkıyor. Üstüne, sorduğun her sorunun ve yapıştırdığın her kod parçasının başkasının sunucusuna gittiğini de biliyorsun. Bu yazının sonunda elinde limiti olmayan ve verini dışarı göndermeyen, kendine ait bir yapay zekâ sistemi olacak.

Oysa oyun oynamak ya da video kurgulamak için aldığın bilgisayar bu işlerin önemli bir kısmını kendi başına yapabiliyor. Ekran kartın varsa hızlı, yoksa işlemci ve RAM ile daha yavaş ama yine de iş görür şekilde. Bu yazıda o bilgisayarı parça parça bir yapay zekâ istasyonuna çeviriyoruz.

Bir konuda baştan dürüst olalım. Burada bir modeli sıfırdan yaratmıyoruz; o iş veri merkezlerinin işi. Bizim yaptığımız, araştırma ekiplerinin eğitip herkese açık yayınladığı modelleri indirip kendi makinemizde koşturmak. Sonra da onları kendi belgelerimize, kendi tarzımıza ve kendi iş akışımıza göre şekillendirmek. Pratikte ihtiyacın olan da zaten bu.

Bu rehber, 8 GB VRAM'li bir kartı (örnek: RTX 3060 Ti) temel alıyor; ekran kartı olmayan ya da daha zayıf olan makineler için de ayrı bir bölüm var. Sırayla şunları kuracağız:

  • Sohbet ve kod modeli: Ollama ya da LM Studio üzerinde çalışan yerel bir dil modeli.
  • İşlemci ve RAM ile çalıştırma: Ekran kartı olmadan ya da kartın yetmediği büyük modellerde ne yapılır.
  • Editör asistanı: VS Code içinde Continue ile kod tamamlama ve sohbet.
  • Görsel üretim: ComfyUI ya da Forge ile SDXL ve Flux.
  • Kişiselleştirme: 20-30 görselle LoRA eğitimi.
  • Belge asistanı: Kendi PDF'lerine ve notlarına bakarak cevap veren sohbet.
  • Ses: Konuşmayı yazıya, yazıyı sese çeviren yerel araçlar.
  • Otomasyon: Modeli iş akışlarına bağlayıp kendi kendine çalışan görevler kurmak.
  • Uzaktan erişim: Evdeki bilgisayarı telefondan ve dizüstünden kullanmak.

Bunların hiçbiri için para ödemiyorsun ve kullanım sınırı yok. Kurulum bittikten sonra internete de ihtiyacın kalmıyor; yazdığın, yüklediğin, ürettiğin her şey kendi diskinde duruyor.

Not: Buradaki komutlar ve model adları araçların resmî belgelerindeki yaygın kurulum yoluna dayanır. Bu araçlar sık güncellenir; bir komut hata verirse ilgili aracın resmî sayfasındaki güncel sürüme bak.

Ekran kartında belirleyici olan şey: VRAM

Yerel yapay zekâda hızı belirleyen şey işlemci ya da RAM değil, ekran kartının belleğidir (VRAM). Model VRAM'e tamamen sığarsa hızlı çalışır; sığmazsa bir kısmı sistem RAM'ine taşar ve hız 5-10 kat düşer.

İki kavramı bilmek yeterli:

  • Parametre sayısı (7B, 8B): Modelin büyüklüğü. "7B" 7 milyar parametre demek. Büyük model daha akıllı ama daha çok bellek ister.
  • Sıkıştırma (quantization, Q4): Modelin sayılarını 16 bit yerine 4 bit ile saklamak. Boyut yaklaşık dörtte bire iner, kalite kaybı küçüktür. 8 GB kartta standart tercih Q4'tür (dosya adlarında Q4_K_M olarak geçer).
Model boyutu Q4 dosya boyutu (yaklaşık) 8 GB VRAM'de durum
1,5-3B 1-2 GB Çok hızlı; kod tamamlama için ideal
7-8B 4,5-5 GB Rahat çalışır; bu kartın tatlı noktası
12-14B 7-9 GB Sınırda; kısmen RAM'e taşar, yavaşlar
30B ve üstü 18 GB+ Pratikte kullanılamaz

Model dosyasının üzerine konuşma geçmişi (context) için de 1-2 GB pay bırakmak gerekir. Bu yüzden 8 GB kartta hedef 7-8 milyar parametreli modellerin Q4 sürümleridir.

Masaüstü bilgisayar ekran kartı
Yerel yapay zekâda hızı belirleyen şey ekran kartının belleği (VRAM). Fotoğraf: Nana Dua / Pexels

Kartına göre ne çalışır: 4 GB'tan 24 GB'a

Rehberdeki adımlar her kartta aynıdır; değişen tek şey indireceğin modelin boyutudur. Kartının VRAM miktarını nvidia-smi çıktısından öğren ve aşağıdaki satırı bul. Değerler yaklaşıktır.

VRAM Örnek kartlar Dil modeli (Q4) Görsel üretim LoRA eğitimi
4 GB GTX 1650, GTX 1050 Ti, RTX 3050 (dizüstü) 3-4B rahat; 7B ancak RAM ile karma SD 1.5 rahat; SDXL Forge ile çok yavaş Yalnızca SD 1.5
6 GB GTX 1660 Super/Ti, RTX 2060, RTX 3050 6 GB, RTX 4050 (dizüstü) 4B rahat; 7B kısa bağlamla sınırda SDXL çalışır; Flux GGUF Q3-Q4 yavaş SD 1.5 rahat; SDXL zor
8 GB RTX 3060 Ti, RTX 3070, RTX 4060, RTX 4060 Ti 8 GB, RTX 5060 7-8B rahat SDXL rahat; Flux GGUF Q4 SDXL
12 GB RTX 3060 12 GB, RTX 4070, RTX 4070 Super, RTX 5070 12-14B rahat Flux GGUF Q6-Q8 SDXL rahat; Flux mümkün
16 GB RTX 4060 Ti 16 GB, RTX 4070 Ti Super, RTX 4080, RTX 5060 Ti 16 GB, RTX 5070 Ti 14B geniş bağlamla; 20-22B sınırda Flux'ın 8 bit tam sürümü Flux rahat
24 GB ve üstü RTX 3090, RTX 4090, RTX 5090 30-32B rahat Her şey, tam kalite Her şey

Kart seçerken ya da elindekini değerlendirirken üç şeyi bil:

  • VRAM, kartın neslinden önemlidir. Yapay zekâ için 12 GB'lık RTX 3060, oyunlarda daha hızlı olan 8 GB'lık 3060 Ti'den daha fazla iş görür. Model karta sığmıyorsa kartın hızı bir şey ifade etmez.
  • İkinci el RTX 3090 fiyat/bellek şampiyonudur. 24 GB VRAM'i en ucuza veren karttır ve 30B'lik modelleri açar.
  • Dizüstü kartlarında VRAM'e bak, isme değil. Dizüstü RTX 4060 8 GB'tır ama dizüstü RTX 4050 6 GB'tır; aynı seri içinde bile değişir.

NVIDIA dışındaki kartlar

Donanım Dil modeli Görsel üretim
AMD Radeon (RX 6000/7000/9000) Ollama ve LM Studio destekler; kurulum NVIDIA kadar kolaydır Linux'ta sorunsuz; Windows'ta ek kurulum (ZLUDA ya da DirectML) ister ve daha yavaştır
Intel Arc LM Studio ile çalışır; destek daha sınırlıdır Mümkün ama uğraştırır
Apple Silicon (M serisi Mac) Çok iyi çalışır; bellek ortak olduğu için 16 GB'lık bir Mac kabaca 10 GB'lık kart gibi davranır ComfyUI çalışır; aynı fiyattaki NVIDIA karttan yavaştır

AMD kartlarda tablodaki VRAM satırları dil modelleri için aynen geçerlidir. Görsel üretim ve LoRA eğitimi tarafında ise araçların çoğu önce NVIDIA için yazıldığından, bu işler ağırlıktaysa NVIDIA belirgin biçimde daha az uğraştırır.

Ekran kartın yoksa ya da yetmiyorsa: işlemci ve RAM

Dil modelleri ekran kartı olmadan da çalışır; yalnızca yavaş çalışır. Ollama ve LM Studio'nun altındaki motor (llama.cpp) modeli nereye sığdırabiliyorsa oraya koyar: önce VRAM'e, kalanı sistem RAM'ine. Senin ayrıca bir şey yapman gerekmez.

Burada üç senaryo var:

  • Yalnızca işlemci. Ekran kartı yok ya da çok eski. Model tamamen RAM'de durur, hesabı işlemci yapar.
  • Karma (hibrit). Model VRAM'e sığmıyor. Katmanların bir kısmı kartta, kalanı işlemcide çalışır. 8 GB kartla 14B'lik bir modeli böyle açabilirsin.
  • Tamamen ekran kartı. Model VRAM'e sığıyor. En hızlısı bu; rehberin geri kalanı bunu hedefliyor.
Sistem RAM'i İşlemciyle açılabilecek model (Q4) Kullanım hissi
8 GB 1,5-4B Akıcı; basit işler için yeterli
16 GB 7-8B Yavaş ama kullanılır; cevap kelime kelime gelir
32 GB 12-14B, ya da kartla karma olarak 20B civarı Sabır ister; toplu ve arka plan işlerine uygun
64 GB 30B civarı Çok yavaş; yalnızca sürenin önemsiz olduğu işler için

Hız farkını somutlaştırmak için: 7B'lik bir model 3060 Ti'de saniyede kabaca 40-60 kelime parçası (token) üretirken, güncel bir masaüstü işlemcide 5-10 civarında kalır. Bu sayılar yaklaşıktır; işlemciye ve RAM'e göre değişir.

İşlemciyle çalıştırırken hızı ne belirler

  • RAM hızı ve çift kanal. İşlemcide darboğaz çekirdek sayısı değil, bellekten veri okuma hızıdır. Tek modül yerine iki modül (çift kanal) takılıysa hız belirgin biçimde artar. DDR5, DDR4'ten hızlıdır.
  • Çekirdek sayısı. 6-8 fiziksel çekirdekten sonrası pek fark yaratmaz.
  • Model boyutu. İşlemcide küçük model seçmek, büyük modeli beklemekten çoğu zaman daha verimlidir. 3-4B'lik güncel modeller özet, çeviri ve sınıflandırma gibi işleri rahat yapar.

Karma kullanımı elle ayarlamak

Ollama kaç katmanın karta yükleneceğini kendisi hesaplar. Elle ayarlamak istersen Modelfile içine şunu ekle:

FROM qwen2.5-coder:14b
PARAMETER num_gpu 24

num_gpu karta yüklenecek katman sayısıdır. nvidia-smi ile VRAM'i izleyerek sayıyı artır; VRAM 7,5 GB'a yaklaşınca dur. LM Studio'da aynı ayar "GPU Offload" kaydırıcısıdır. Yalnızca işlemciyle çalıştırmak için değeri 0 yap.

Görsel üretimde durum farklı: SDXL ve Flux işlemcide teorik olarak çalışır ama tek bir görsel dakikalar, hatta onlarca dakika sürer. Görsel tarafı için ekran kartı pratikte şarttır.

İşlemciyi ne zaman tercih edersin? Gece çalışan toplu işlerde (yüzlerce metni özetlemek, etiketlemek), ekran kartı görsel üretimle meşgulken ve kartsız bir sunucuda küçük bir modelle basit görevler yürütürken.

Terminali hiç kullanmadıysan: önce burayı oku

Bu rehberdeki gri kutuların içindeki satırlar komuttur ve terminal denen pencereye yazılır. Terminal, bilgisayara fareyle tıklamak yerine yazarak iş yaptırdığın bir penceredir. Korkulacak bir tarafı yok; buradaki komutların hepsini kopyalayıp yapıştıracaksın.

Bilgisayar ekranında terminal ve kod satırları
Rehberdeki komutlar terminal penceresine kopyalanıp yapıştırılır. Fotoğraf: Al Nahian / Pexels

Terminali açmak

Sistem Nasıl açılır
Windows 10/11 Başlat'a tıkla, PowerShell yaz, çıkan "Windows PowerShell" ya da "Terminal" uygulamasını aç
macOS Cmd + Boşluk tuşlarına bas, Terminal yaz, Enter'a bas
Linux Ctrl + Alt + T

Açılan pencerede yanıp sönen bir imleç ve solunda bir yazı görürsün (örneğin PS C:\Users\Adın>). Bu yazı, terminalin komut beklediğini ve o an hangi klasörde olduğunu gösterir.

Bir komutu çalıştırmak

  1. Rehberdeki gri kutunun içindeki satırı fareyle seç ve kopyala (Ctrl + C).
  2. Terminal penceresine tıkla ve yapıştır. Windows'ta Ctrl + V ya da farenin sağ tuşu, macOS'ta Cmd + V, Linux'ta Ctrl + Shift + V.
  3. Enter'a bas. Komut ancak Enter'a basınca çalışır.
  4. Bekle. Soldaki yazı (PS C:\...>) yeniden görününce komut bitmiştir. O yazı gelmeden yeni komut yazma.

Bir kutuda birden fazla satır varsa satırları tek tek, sırayla çalıştır. Her satır ayrı bir komuttur.

Bilmen gereken altı şey

  • Komutu durdurmak: Ctrl + C. Takılan ya da kapatmak istediğin bir programı durdurur. Terminalde kopyalama kısayolu olarak çalışmaz.
  • Önceki komutu geri getirmek: Yukarı ok tuşu. Aynı komutu yeniden yazmana gerek kalmaz.
  • Uzun süren komutlar: Model indirirken ekranda ilerleme çubuğu görürsün. Birkaç GB'lık indirme dakikalar sürer; pencereyi kapatma.
  • Kurulumdan sonra terminali kapatıp yeniden aç. Yeni kurduğun bir programı (Ollama, Git, Python) terminal ancak yeniden açılınca tanır.
  • Açık kalması gereken programlar: ComfyUI ve Forge gibi araçlar çalıştıkları terminal penceresi açık kaldığı sürece çalışır. Pencereyi kapatırsan program da kapanır. Başka komut yazacaksan ikinci bir terminal penceresi aç.
  • Linux ve macOS'ta sudo: Komut sudo ile başlıyorsa parola sorar. Parolayı yazarken ekranda hiçbir şey görünmez; bu normaldir. Yazıp Enter'a bas.

Klasörler arasında gezinmek

Bazı komutlar belirli bir klasörün içinde çalıştırılmalıdır. Rehberde cd ComfyUI gibi bir satır gördüğünde yapılan şey budur: "ComfyUI klasörünün içine gir."

Komut Ne yapar
cd KlasorAdi O klasörün içine girer
cd .. Bir üst klasöre çıkar
dir (Windows) / ls (macOS, Linux) Bulunduğun klasördeki dosyaları listeler
pwd Hangi klasörde olduğunu gösterir

Windows'ta kestirme yol: Dosya Gezgini'nde istediğin klasörü aç, boş bir yere sağ tıkla ve "Terminalde aç" seçeneğine bas. Terminal doğrudan o klasörde açılır.

Kurulumları dağınık olmasın diye tek bir klasörde topla. Örneğin C:\yapayzeka adında bir klasör oluştur, terminali orada aç ve git clone ile başlayan komutları orada çalıştır.

Dosya oluşturmak (Modelfile, config, .py)

Rehber birkaç yerde "şu içerikle bir dosya oluştur" diyor. Bunun için terminal gerekmez:

  1. Not Defteri'ni (ya da VS Code'u) aç ve kutudaki içeriği yapıştır.
  2. "Farklı Kaydet" de. Kayıt türünü "Tüm dosyalar" yap.
  3. Dosya adını rehberde yazdığı gibi gir: Modelfile, yaziya_dok.py gibi. Sonuna .txt eklenmediğinden emin ol.
  4. Dosyayı, komutu çalıştıracağın klasöre kaydet ve terminali o klasörde aç.

Hata alırsan

Ekranda yazan Anlamı Ne yapmalı
"...is not recognized" ya da "command not found" Program kurulu değil ya da terminal onu henüz tanımıyor Programı kur; kuruluysa terminali kapatıp yeniden aç
"No such file or directory" Yanlış klasördesin ya da dosya adı hatalı dir ya da ls ile klasörü kontrol et, cd ile doğru klasöre gir
"Access denied" ya da "Permission denied" Yetki gerekiyor Windows'ta terminali sağ tıklayıp "Yönetici olarak çalıştır" ile aç; Linux'ta komutun başına sudo ekle
"docker: command not found" Docker kurulu değil docker.com adresinden Docker Desktop'ı kur ve çalıştır, sonra komutu yeniden dene

Hata mesajını anlamadıysan mesajın tamamını kopyala ve kurduğun yerel modele ya da bir sohbet asistanına yapıştır. Hata mesajı yorumlamak bu modellerin iyi yaptığı işlerdendir.

Son bir not: rehberde curl ... | sh, source ... ve ./dosya.sh biçimindeki komutlar Linux ve macOS içindir. Windows'ta bunların yerine ne yapacağın (kurulum dosyasını indirmek ya da .bat dosyasını çalıştırmak) ilgili adımda ayrıca yazıyor.

Adım 0: Ön hazırlık

Kuruluma başlamadan önce üç şeyi kontrol et: sürücü, disk alanı ve temel araçlar.

  1. NVIDIA sürücüsünü güncelle. nvidia.com üzerinden ya da NVIDIA App ile en güncel sürücüyü kur. Eski sürücü, modelin ekran kartı yerine işlemcide çalışmasının en sık sebebidir.

  2. Kartın görüldüğünü doğrula. Terminali (Windows'ta PowerShell) aç ve şunu çalıştır:

    nvidia-smi
    

    Çıktıda kart adını ve 8192MiB gibi bir bellek değerini görmelisin. Bu komutu ileride VRAM kullanımını izlemek için de kullanacaksın.

  3. Disk alanı ayır. Dil modelleri için 20 GB, görsel modelleri için 40-60 GB boş alan yeterli. SSD şart değil ama model yükleme süresini ciddi kısaltır.

  4. Git ve Python kur (görsel üretim için). Windows'ta git-scm.com adresinden Git'i, python.org adresinden Python 3.10 ya da 3.11'i kur. Python kurulumunda "Add Python to PATH" kutusunu işaretle.

Sistem RAM'i için 16 GB yeterli, 32 GB rahat. İşletim sistemi olarak Windows 10/11 ve Linux'un ikisi de sorunsuz çalışır.

Adım 1: Ollama ile dil modelini kur

Ollama, modeli indirip çalıştırmayı tek komuta indiren en kolay yoldur; kurulumdan ilk cevaba kadar yaklaşık beş dakika sürer. Arka planda bir servis olarak çalışır ve diğer programların bağlanabileceği bir API açar.

  1. Kurulum. Windows ve macOS için ollama.com adresinden kurulum dosyasını indirip çalıştır. Linux'ta tek satır yeterli:

    curl -fsSL https://ollama.com/install.sh | sh
    
  2. Kurulumu doğrula.

    ollama --version
    
  3. İlk modeli indir ve çalıştır. Aşağıdaki komut modeli indirir (yaklaşık 4,7 GB) ve sohbeti terminalde başlatır:

    ollama run llama3.1:8b
    

    Soru yaz, Enter'a bas. Çıkmak için /bye yaz.

  4. Kod modelini de indir.

    ollama pull qwen2.5-coder:7b
    
  5. Modelin ekran kartında çalıştığını doğrula. Model açıkken ikinci bir terminalde:

    ollama ps
    

    PROCESSOR sütununda 100% GPU yazmalı. CPU ya da karışık bir oran görürsen model VRAM'e sığmamış demektir; daha küçük bir model seç ya da açık olan diğer GPU programlarını kapat.

Günlük kullanımda işine yarayacak komutlar

Komut Ne yapar
ollama list İndirilmiş modelleri listeler
ollama pull <model> Modeli indirir ya da günceller
ollama run <model> Modelle sohbet başlatır
ollama ps Bellekteki modelleri ve GPU kullanımını gösterir
ollama stop <model> Modeli bellekten çıkarır, VRAM'i boşaltır
ollama rm <model> Modeli diskten siler

API olarak kullanmak

Ollama http://localhost:11434 adresinde bir API sunar ve OpenAI uyumlu bir uç noktası da vardır. Kendi yazılımından şöyle çağırabilirsin:

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.1:8b",
  "prompt": "FastAPI ile basit bir health endpoint yaz",
  "stream": false
}'

Bu curl örneği Linux ve macOS terminali içindir; Windows PowerShell'de tırnak işaretleri yüzünden hata verir. Windows'taysan aynı isteği Adım 8'deki Python örneğiyle gönder.

OpenAI kütüphanesi kullanan mevcut bir kodun varsa base_url değerini http://localhost:11434/v1 yapman yeterli; kodun geri kalanı aynı kalır.

Tarayıcıda sohbet arayüzü (isteğe bağlı)

Terminal yerine ChatGPT benzeri bir arayüz istersen Open WebUI kur. Docker yüklüyse tek komut:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Ardından tarayıcıda http://localhost:3000 adresini aç. Ollama'daki modeller otomatik listelenir.

Alternatif: LM Studio (terminal istemeyenler için)

LM Studio aynı işi tamamen grafik arayüzle yapar; terminal kullanmak istemiyorsan Ollama yerine bunu kur. İkisini aynı anda kurmanda da sakınca yok, yalnızca aynı anda model yükleme.

  1. lmstudio.ai adresinden kurulum dosyasını indir ve kur.
  2. Soldaki arama (Discover) bölümüne model adını yaz, örneğin qwen2.5-coder 7b.
  3. Sürüm listesinden Q4_K_M olanı seç. LM Studio, kartına sığıp sığmayacağını her sürümün yanında gösterir.
  4. İndirme bitince sohbet sekmesinde üstten modeli seç ve yükle.
  5. Model ayarlarında "GPU Offload" kaydırıcısını en sağa çek. Böylece tüm katmanlar ekran kartına yüklenir.
  6. Başka programlardan bağlanmak için Developer sekmesinden yerel sunucuyu başlat. Sunucu http://localhost:1234/v1 adresinde OpenAI uyumlu bir API açar.
Ollama LM Studio
Arayüz Terminal + arka plan servisi Tam grafik arayüz
Model seçimi Hazır etiketler (llama3.1:8b) Hugging Face'teki tüm GGUF dosyaları
Otomasyon ve sunucu kullanımı Daha uygun Mümkün ama masaüstü odaklı
Kime uygun Geliştirici, script yazan Deneyerek keşfetmek isteyen

Adım 2: İşe göre doğru modeli seç

8 GB kartta tek bir "en iyi" model yok; işe göre 2-3 model indirip aralarında geçiş yapmak en verimli kullanım. Ollama bir modeli kullanmadığında bellekten kendisi çıkarır, o yüzden diskte birkaç model tutmanın bedeli yalnızca disk alanıdır.

İş Model Ollama komutu Yaklaşık boyut
Kod yazma, hata ayıklama Qwen2.5-Coder 7B ollama pull qwen2.5-coder:7b 4,7 GB
Editörde anlık kod tamamlama Qwen2.5-Coder 1.5B ollama pull qwen2.5-coder:1.5b-base 1 GB
Genel sohbet, metin, özet Llama 3.1 8B ollama pull llama3.1:8b 4,9 GB
Genel sohbet, çok dilli metin Gemma serisi ollama pull gemma3:4b 3,3 GB
Kod tabanında arama (embedding) Nomic Embed ollama pull nomic-embed-text 0,3 GB

Seçim için pratik kurallar:

  • Kod işi için kod modeli kullan. Aynı boyuttaki genel bir model, kodda özelleşmiş modelin gerisinde kalır.
  • Türkçe metin için Gemma ve Llama'yı kendi metninle dene. Küçük modellerin Türkçesi İngilizcesinden zayıftır; ikisini aynı soruyla karşılaştırıp iyi olanı tut.
  • Yeni çıkanları takip et. Açık kaynak modeller birkaç ayda bir yenilenir. ollama.com/library sayfasında 7-8B aralığındaki güncel modellere bak; kurulum mantığı hiç değişmez, yalnızca model adı değişir.

Modeli kendi işine göre ayarlamak (Modelfile)

Modele kalıcı bir rol ve ayar vermek için bir Modelfile dosyası oluştur:

FROM qwen2.5-coder:7b
PARAMETER temperature 0.2
PARAMETER num_ctx 8192
SYSTEM """Sen kıdemli bir yazılım geliştiricisin. Kısa cevap ver, önce çalışan kodu yaz, açıklamayı sonra ekle."""

Sonra kendi adınla kaydet ve çalıştır:

ollama create kod-asistanim -f Modelfile
ollama run kod-asistanim

num_ctx modelin tek seferde görebildiği metin miktarıdır. Yükselttikçe VRAM kullanımı artar; 8 GB kartta 7B model için 8192 güvenli bir üst sınırdır.

Adım 3: VS Code içinde kod asistanı (Continue)

Continue eklentisini Ollama'ya bağladığında editörün içinde ücretsiz kod tamamlama ve sohbet elde edersin. Kodun hiçbir sunucuya gitmez; bu, gizli kalması gereken projeler için asıl kazançtır.

  1. Eklentiyi kur. VS Code'da Extensions panelini aç (Ctrl+Shift+X), "Continue" ara ve kur. Sol kenarda Continue simgesi belirir.

  2. Gerekli modelleri indir. Sohbet, tamamlama ve kod araması için üç ayrı model kullanılır:

    ollama pull qwen2.5-coder:7b
    ollama pull qwen2.5-coder:1.5b-base
    ollama pull nomic-embed-text
    
  3. Yapılandırma dosyasını aç. Continue panelinde dişli simgesine tıkla ve yapılandırma dosyasını aç. Dosya kullanıcı klasöründe .continue/config.yaml yolundadır.

  4. İçeriğini şununla değiştir:

    name: Yerel Asistan
    version: 1.0.0
    schema: v1
    models:
      - name: Qwen Coder 7B
        provider: ollama
        model: qwen2.5-coder:7b
        roles:
          - chat
          - edit
          - apply
      - name: Qwen Coder 1.5B
        provider: ollama
        model: qwen2.5-coder:1.5b-base
        roles:
          - autocomplete
      - name: Nomic Embed
        provider: ollama
        model: nomic-embed-text
        roles:
          - embed
    
  5. Dene. Dosyayı kaydet, bir kod dosyası aç ve yazmaya başla. Gri renkte öneri gelir; Tab ile kabul edersin.

Kısayol Ne yapar
Tab Gelen tamamlama önerisini kabul eder
Ctrl+L Seçili kodu sohbet paneline gönderir
Ctrl+I Seçili kodu verdiğin talimatla yerinde düzenler
@codebase (sohbette) Soruyu tüm proje üzerinde arayarak cevaplar

Tamamlama için neden ayrı ve küçük bir model? Tamamlama her tuş vuruşunda çalışır ve 300 milisaniyenin altında cevap vermelidir. 1.5B model bunu yapar; 7B model yapamaz. İki model birlikte yaklaşık 6 GB VRAM tutar ve 8 GB karta sığar.

Tamamlama gecikiyorsa görsel üretim araçlarının açık olup olmadığını kontrol et. ComfyUI ve Ollama aynı VRAM'i paylaşır; ikisi aynı anda çalışırsa biri RAM'e taşar.

Terminalde kod ajanı: OpenCode

Continue sana öneri verir; OpenCode ise işi kendisi yapar. Terminalde çalışan açık kaynak bir kod ajanıdır: proje dosyalarını okur, düzenler, komut çalıştırır ve sonucu görüp devam eder. Ollama'ya bağlanınca bu döngünün tamamı kendi makinende döner.

  1. Kur.

    curl -fsSL https://opencode.ai/install | bash
    

    Node.js kuruluysa npm install -g opencode-ai de aynı işi görür (Windows'ta bu yol daha rahattır).

  2. Modele geniş bir bağlam ver. Ajan, dosya içeriklerini ve araç çıktılarını modele gönderdiği için Ollama'nın varsayılan bağlam boyutu yetmez. Bir Modelfile oluştur:

    FROM qwen2.5-coder:7b
    PARAMETER num_ctx 16384
    
    ollama create qwen-coder-16k -f Modelfile
    
  3. OpenCode'u Ollama'ya bağla. Güncel sürümler çalışan Ollama'yı ve modellerini kendisi bulur. Bulmazsa ~/.config/opencode/opencode.json dosyasını (Windows'ta C:\Users\<kullanıcı>\.config\opencode\opencode.json) şu içerikle oluştur:

    {
      "$schema": "https://opencode.ai/config.json",
      "provider": {
        "ollama": {
          "npm": "@ai-sdk/openai-compatible",
          "name": "Ollama (yerel)",
          "options": {
            "baseURL": "http://localhost:11434/v1"
          },
          "models": {
            "qwen-coder-16k": {
              "name": "Qwen Coder 7B (16k)"
            }
          }
        }
      },
      "model": "ollama/qwen-coder-16k"
    }
    

    Adresin sonundaki /v1 şarttır; model adı da ollama list çıktısındakiyle birebir aynı olmalıdır.

  4. Çalıştır. Proje klasöründe opencode yaz. İçeride /models ile modeli seç, sonra işi tarif et: "Bu klasördeki testleri çalıştır, kırılanı düzelt."

8 GB kartta ne beklemeli

Ajan kullanımı, yerel modelin en çok zorlandığı iştir. Model yalnızca kod yazmaz; hangi aracı ne zaman çağıracağına da karar verir ve 7B'lik modeller bunu sık sık şaşırır. Araç çağırmak yerine ekrana ham JSON basması ya da aynı adımda takılıp kalması bilinen sorunlardır.

İş 7B yerel modelle sonuç
Tek dosyada küçük, net tarif edilmiş değişiklik Çoğunlukla çalışır
Bir dosyayı okuyup açıklamak, test yazmak Çalışır
Birkaç dosyaya yayılan değişiklik Sık sık yarıda kalır
"Şu özelliği baştan sona ekle" türü açık uçlu görev Güvenilmez

Bu yüzden OpenCode'u iki modelle kullanmak mantıklıdır: küçük ve gizli işler için yerel model, büyük görevler için bir bulut modelinin ücretsiz katmanı. OpenCode onlarca sağlayıcıyı destekler ve /models ile sohbet ortasında geçiş yaparsın. Kartın 12 GB ya da üstüyse 14B'lik bir kod modeliyle ajan kullanımı belirgin biçimde daha tutarlı olur.

Adım 4: Görsel üretim (ComfyUI veya Forge)

SDXL ve Flux'ın hafif sürümleri 8 GB kartta çalışır: bulut servislerinden yavaş, ama ücretsiz ve limitsiz. İki arayüzden birini seç; ikisi de aynı model dosyalarını kullanır.

ComfyUI Forge
Arayüz Düğüm (node) tabanlı akış şeması Klasik form: prompt yaz, üret
Öğrenme eğrisi Daha dik Dakikalar içinde
Esneklik ve otomasyon Çok yüksek; akışlar kaydedilir, API ile tetiklenir Orta
Kime uygun Toplu üretim, otomasyon kuracak olan Hızlıca görsel üretmek isteyen
Bilgisayar ekranında dijital görsel çalışması
SDXL ve Flux'ın hafif sürümleri 8 GB'lık kartta yerelde görsel üretir. Fotoğraf: Daniele / Pexels

Seçenek A: ComfyUI

Windows (en kolay yol). ComfyUI'nin GitHub sayfasındaki Releases bölümünden NVIDIA için taşınabilir (portable) paketi indir. Arşivi 7-Zip ile bir klasöre aç ve run_nvidia_gpu.bat dosyasını çalıştır. Python dahil her şey paketin içindedir.

Linux ya da elle kurulum.

git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
python -m venv venv
source venv/bin/activate
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121
pip install -r requirements.txt
python main.py

Tarayıcıda http://127.0.0.1:8188 adresi açılır. Windows'ta elle kurulum yapıyorsan source venv/bin/activate yerine venv\Scripts\activate yaz.

ComfyUI Manager'ı ekle. Eksik düğümleri tek tıkla kurmanı sağlar; pratikte zorunludur:

cd ComfyUI/custom_nodes
git clone https://github.com/ltdrdata/ComfyUI-Manager.git

ComfyUI'yi yeniden başlat; menüde Manager düğmesi görünür.

Seçenek B: Forge

git clone https://github.com/lllyasviel/stable-diffusion-webui-forge.git
cd stable-diffusion-webui-forge

Windows'ta webui-user.bat, Linux'ta ./webui.sh dosyasını çalıştır. İlk açılış bağımlılıkları indirdiği için 10-15 dakika sürer. Arayüz http://127.0.0.1:7860 adresinde açılır. Forge, VRAM yönetimini kendisi yapar; 8 GB kart için ek ayar gerekmez.

Model dosyalarını indir ve yerleştir

Model dosyalarını Hugging Face ya da Civitai'den indirirsin. Dosyanın doğru klasöre konması yeterlidir; arayüzü yenileyince listede görünür.

Dosya türü ComfyUI klasörü Forge klasörü
SDXL ana model (checkpoint) models/checkpoints models/Stable-diffusion
LoRA models/loras models/Lora
VAE models/vae models/VAE
Flux ana model (GGUF) models/unet models/Stable-diffusion
Flux metin kodlayıcıları models/clip models/text_encoder

8 GB için hangi model

Model Sürüm 1024×1024 görsel süresi (yaklaşık) Güçlü yanı
SDXL Standart .safetensors (6,9 GB) 15-30 saniye Hız, çok sayıda hazır stil ve LoRA
Flux schnell GGUF Q4 30-60 saniye (4 adım) Görsel içinde yazı, prompt'a sadakat
Flux dev GGUF Q4 ya da NF4 1,5-3 dakika (20 adım) En yüksek kalite

Flux'ın tam sürümü 23 GB'tır ve bu karta sığmaz; bu yüzden sıkıştırılmış GGUF ya da NF4 sürümü şarttır. ComfyUI'de GGUF dosyalarını yüklemek için Manager'dan "ComfyUI-GGUF" düğüm paketini kur. Flux ana modelin yanında üç dosya daha ister: clip_l, t5xxl (bunun da sıkıştırılmış sürümünü seç) ve ae.safetensors adlı VAE.

Başlangıç için öneri: önce SDXL ile kurulumu doğrula, akışı öğren, sonra Flux'a geç. İlk görsel için ComfyUI'de hazır şablonlardan (Workflow menüsü, Templates) "SDXL" akışını aç, modeli seç, prompt'u yaz ve Run'a bas.

Adım 5: LoRA ile kendi tarzını öğret

Bir modele gerçekten kendi damganı vurmanın yolu LoRA eğitimidir: 20-30 görselle bir tarzı, bir ürünü ya da bir karakteri modele öğretirsin ve bu, 8 GB kartta yapılabilir. LoRA, ana modeli değiştirmez; üzerine takılan 50-200 MB'lık küçük bir ek dosyadır.

1. Veri setini hazırla

  • 20-30 görsel topla. Az ama tutarlı görsel, çok ama dağınık görselden iyidir.
  • Çeşitlilik sağla. Tarz öğretiyorsan farklı konular, ürün ya da karakter öğretiyorsan farklı açılar, ışıklar ve arka planlar kullan.
  • Kaliteyi koru. Kısa kenarı en az 1024 piksel olsun. Bulanık, filigranlı ve yazılı görselleri çıkar.
  • Tetikleyici kelime belirle. Başka hiçbir anlama gelmeyen bir kelime seç, örneğin nzmstyle. Üretimde bu kelimeyi yazınca LoRA devreye girer.

2. Görselleri etiketle

Her görselin yanına aynı adla bir .txt dosyası koy ve görseli tek cümleyle tarif et. Tetikleyici kelime başta olsun:

nzmstyle, a red ceramic teapot on a wooden table, soft daylight

Kural: modelin öğrenmesini istediğin şeyi yazma, değişebilir olan her şeyi yaz. Tarz öğretiyorsan tarzı tarif etme, yalnızca görseldeki nesneleri tarif et. 30 görseli elle etiketlemek 15 dakika sürer; eğitim araçlarının içindeki otomatik etiketleyici (WD14 ya da BLIP) ile de yapılabilir.

3. Eğitim aracını kur

En yaygın araç Kohya_ss'tir:

git clone --recursive https://github.com/bmaltais/kohya_ss.git
cd kohya_ss

Windows'ta setup.bat, Linux'ta ./setup.sh çalıştır. Kurulum bitince gui.bat ya da ./gui.sh ile arayüzü aç. Flux için LoRA eğiteceksen, düşük VRAM'e göre hazırlanmış FluxGym daha sade bir alternatiftir.

4. 8 GB için eğitim ayarları (SDXL)

Ayar Değer Neden
Çözünürlük 1024×1024 (sığmazsa 768×768) SDXL'in doğal çözünürlüğü
Batch size 1 VRAM sınırı
Network rank (dim) / alpha 16 / 8 Küçük dosya, yeterli kapasite
Öğrenme oranı 1e-4 Güvenli başlangıç değeri
Toplam adım 1500-2500 25 görsel × 10 tekrar × 8 epoch ≈ 2000
Optimizer AdamW8bit ya da Adafactor Daha az bellek
Mixed precision fp16 Belleği yarıya indirir
Gradient checkpointing Açık 8 GB'ta şart
Cache latents Açık VRAM ve süre tasarrufu
Text encoder eğitimi Kapalı Bellek tasarrufu
Kaydetme sıklığı Her epoch En iyi noktayı sonradan seçmek için

Bu ayarlarla SDXL LoRA eğitimi 3060 Ti'de yaklaşık 1-2 saat sürer. Flux LoRA 8 GB'ta mümkündür ama birkaç saat alır; ilk denemeyi SDXL ile yap.

5. Sonucu test et

  1. Eğitim klasöründe her epoch için bir .safetensors dosyası oluşur. Hepsini models/loras klasörüne kopyala.
  2. ComfyUI'de akışa "Load LoRA" düğümü ekle, Forge'da prompt'a <lora:dosya_adi:0.8> yaz.
  3. Aynı prompt ve aynı seed ile her epoch'u dene. Tetikleyici kelimeyi prompt'a eklemeyi unutma.
  4. Tarzı yakalayan ama prompt'a hâlâ uyan en erken epoch'u seç.
Belirti Sebep Çözüm
Tarz neredeyse hiç görünmüyor Az eğitim Adım sayısını artır ya da LoRA gücünü 1.0'a çıkar
Her görsel eğitim görsellerinin kopyası Aşırı eğitim Daha erken epoch'u kullan, gücü 0,6'ya indir
Eğitim "out of memory" ile duruyor VRAM yetmiyor Çözünürlüğü 768'e indir, diğer GPU programlarını kapat

Adım 6: Kendi belgelerinle konuşan asistan (RAG)

Yerel modelin en çok işe yaradığı yer, senin dosyalarını bilen bir asistana dönüştüğü andır. Model sözleşmelerini, notlarını ya da proje dokümanlarını ezberlemez; soru sorduğunda ilgili sayfaları bulur ve cevabı onlara bakarak yazar. Bu yönteme RAG deniyor ve model eğitimi gerektirmiyor.

İki kolay yol var:

Open WebUI ile (Adım 1'de kurduysan hazır).

  1. Embedding modelini indir: ollama pull nomic-embed-text
  2. Open WebUI'de Workspace bölümünden Knowledge'ı aç ve yeni bir bilgi tabanı oluştur.
  3. PDF, Word, Markdown ya da metin dosyalarını sürükleyip bırak.
  4. Sohbette # yazıp bilgi tabanını seç ve sorunu sor.

AnythingLLM ile (Docker istemeyenler için). anythingllm.com adresinden masaüstü uygulamasını kur, model sağlayıcısı olarak Ollama'yı seç, bir çalışma alanı aç ve belgelerini yükle. Kurulumu tek bir uygulamadan ibarettir.

İyi sonuç için üç kural:

  • Belgeleri konuya göre ayır. Her şeyi tek bir bilgi tabanına atarsan model alakasız sayfaları getirir.
  • Taranmış PDF kullanma. Metin seçilemiyorsa model de okuyamaz; önce OCR'dan geçir.
  • Cevabın kaynağını kontrol et. İki araç da cevabın hangi sayfadan geldiğini gösterir. Küçük modeller bulamadığında uydurabilir; önemli işlerde kaynağa bak.

Adım 7: Ses: konuşmayı yazıya, yazıyı sese

Toplantı kaydı, sesli not, video altyazısı ve seslendirme işleri de tamamen yerelde yapılabilir. İkisi de hafif araçlardır; ekran kartını neredeyse hiç yormazlar.

Masa üzerinde kayıt mikrofonu
Whisper ve Piper ile ses kayıtları yerelde yazıya ve sese çevrilir. Fotoğraf: Filip Szyller / Pexels

Konuşmayı yazıya çevirmek (Whisper)

Whisper açık kaynak bir konuşma tanıma modelidir ve Türkçeyi iyi tanır. Hızlı sürümü olan faster-whisper'ı kur:

pip install faster-whisper

Bir ses dosyasını yazıya dökmek için şu betiği yaziya_dok.py adıyla kaydet:

from faster_whisper import WhisperModel

model = WhisperModel("medium", device="cuda", compute_type="int8_float16")
segments, info = model.transcribe("kayit.mp3", language="tr")

for s in segments:
    print(f"[{s.start:.1f} - {s.end:.1f}] {s.text}")

python yaziya_dok.py ile çalıştır. medium model yaklaşık 2-3 GB VRAM kullanır ve bir saatlik kaydı birkaç dakikada çözer. Ekran kartın yoksa device="cpu" ve compute_type="int8" yaz, modeli small seç.

Yazıyı sese çevirmek (Piper)

Piper işlemcide bile gerçek zamandan hızlı çalışan bir seslendirme aracıdır:

pip install piper-tts
echo "Merhaba, bu ses bilgisayarımda üretildi." | piper --model tr_TR-dfki-medium.onnx --output_file cikti.wav

Türkçe ses dosyasını (.onnx ve yanındaki .json) Piper'ın ses listesinden indirip komutu çalıştırdığın klasöre koy. Ses doğal ama stüdyo kalitesinde değildir; video anlatımı ve bildirim sesleri için yeterlidir.

Bu ikisini dil modeliyle birleştirince sesli asistan zinciri ortaya çıkar: Whisper konuşmayı yazıya çevirir, Ollama cevabı üretir, Piper cevabı seslendirir.

Adım 8: Otomasyon: modeli kendi kendine çalışan işlere bağla

Sohbet penceresi işin yalnızca bir yüzü; asıl verim, modelin sen başında değilken çalışmasından gelir. Bunun için n8n adlı açık kaynak iş akışı aracını kullanabilirsin. Kutucukları birbirine bağlayarak akış kurarsın, kod yazman gerekmez.

  1. n8n'i kur.

    docker run -d --name n8n -p 5678:5678 -v n8n_data:/home/node/.n8n --add-host=host.docker.internal:host-gateway --restart always n8nio/n8n
    
  2. Arayüzü aç. Tarayıcıda http://localhost:5678 adresine git ve yerel hesabını oluştur.

  3. Ollama'yı bağla. Yeni bir akışta Ollama düğümü ekle ve kimlik bilgisi olarak adres alanına http://host.docker.internal:11434 yaz. Model listesinde indirdiğin modeller görünür.

Kurulabilecek akışlardan örnekler:

Tetikleyici Model ne yapar Çıktı
Klasöre yeni PDF düşer Belgeyi özetler, anahtar bilgileri çıkarır Tabloya bir satır ekler
Her sabah 08:00 RSS kaynaklarındaki haberleri okur, önemlileri seçer Tek sayfalık günlük özet
Yeni destek e-postası gelir Konuyu sınıflandırır, cevap taslağı yazar Taslak klasörüne kaydeder
Yeni ürün satırı eklenir Ürün açıklaması ve başlık yazar Veritabanını günceller

Bu tür işlerde 7B'lik model yeterlidir, çünkü her adım küçük ve tanımlıdır. Hız da önemli değildir; bu yüzden akışları geceleyin ya da işlemci üzerinde çalıştırabilirsin.

Kod yazmayı tercih ediyorsan aynı şeyi Python'la birkaç satırda yaparsın:

import requests

cevap = requests.post("http://localhost:11434/api/generate", json={
    "model": "llama3.1:8b",
    "prompt": "Şu metni üç maddede özetle: ...",
    "stream": False,
})
print(cevap.json()["response"])

Adım 9: Evdeki sisteme telefondan ve dizüstünden eriş

Kurduğun sistemi yalnızca o bilgisayarın başında kullanmak zorunda değilsin. Masaüstünü sunucu gibi çalıştırıp telefondan ve dizüstünden aynı modellere bağlanabilirsin.

  1. Ollama'yı ağa aç. Varsayılan olarak Ollama yalnızca kendi makinesinden gelen istekleri kabul eder. Windows'ta sistem ortam değişkenlerine OLLAMA_HOST adıyla 0.0.0.0 değerini ekle ve Ollama'yı yeniden başlat. Linux'ta:

    sudo systemctl edit ollama
    

    Açılan dosyaya şunu yaz, kaydet ve servisi yeniden başlat:

    [Service]
    Environment="OLLAMA_HOST=0.0.0.0"
    
    sudo systemctl restart ollama
    
  2. Ev ağından bağlan. Aynı Wi-Fi'daki cihazlardan http://<bilgisayarın-yerel-IP'si>:3000 adresiyle Open WebUI'ye girersin. Telefonda tarayıcıdan açıp ana ekrana eklersen uygulama gibi davranır.

  3. Ev dışından bağlan. Tailscale'i hem masaüstüne hem telefona kur ve aynı hesapla giriş yap. Cihazlar arasında şifreli özel bir ağ kurulur; masaüstüne Tailscale'in verdiği adresle dışarıdan da ulaşırsın.

Masada akıllı telefon ve dizüstü bilgisayar
Tailscale ile evdeki sisteme telefondan ve dizüstünden güvenle erişilir. Fotoğraf: MART PRODUCTION / Pexels

Uyarı: Modemden port yönlendirerek Ollama'yı doğrudan internete açma. Ollama'nın kendi parola koruması yoktur; açık bırakılan sunucuları tarayan botlar kısa sürede bulur ve senin kartını kullanır.

Yerel model nerede yeter, nerede yetmez

7B'lik yerel bir model iyi bir yardımcıdır ama ücretli Claude ya da GPT seviyesinde değildir. Bunu baştan bilmek hayal kırıklığını önler.

Yerel 7-8B model iyi yapar Zorlanır ya da yapamaz
Tek bir fonksiyon ya da küçük script yazmak Büyük bir projeyi baştan sona kurmak
Var olan kodu açıklamak Onlarca dosyaya yayılan değişiklikleri tutarlı yapmak
Hata mesajını yorumlamak, hata ayıklamada yardım Karmaşık mimari kararlar vermek
Regex, SQL sorgusu, birim testi, dokümantasyon Uzun bağlamı (binlerce satır) akılda tutmak
Metin özetlemek, çevirmek, yeniden yazmak Güncel bilgi gerektiren sorular (internete bakamaz)

Hibrit strateji: maliyeti düşüren kullanım

En verimli düzen, işi zorluğuna ve gizliliğine göre bölmektir:

  • Yerelde yap: Rutin işler (tekrarlayan kod, test, yorum satırı, format dönüşümü) ve dışarı çıkmaması gereken her şey (müşteri verisi, şirket içi kod, API anahtarı içeren dosyalar).
  • Bulut modellerin ücretsiz katmanlarını dönüşümlü kullan: Mimari tasarım, zor hatalar, büyük yeniden yazımlar gibi yerel modelin yetmediği işler. Birinin limiti dolunca diğerine geç.
  • Görseli tamamen yerelde üret: Görsel üretimde yerel kalite bulut servislerine çok daha yakındır ve adet sınırı yoktur.

Bu düzenle ücretli aboneliklere olan ihtiyaç ciddi biçimde azalır; aylık maliyet düşer, gizli veriler de makinenden çıkmamış olur.

Sık karşılaşılan sorunlar ve kurulum kontrol listesi

Sorunların çoğu tek bir sebebe dayanır: VRAM dolmuştur. İlk bakacağın yer her zaman nvidia-smi çıktısıdır.

Sorun Muhtemel sebep Çözüm
Model çok yavaş cevap veriyor Model işlemcide ya da kısmen RAM'de çalışıyor ollama ps ile kontrol et; daha küçük model seç, diğer GPU programlarını kapat
"CUDA out of memory" hatası VRAM yetmiyor Dil modelini durdur (ollama stop), çözünürlüğü düşür, Q4 sürüm kullan
nvidia-smi komutu bulunamıyor Sürücü kurulu değil NVIDIA sürücüsünü yeniden kur, bilgisayarı yeniden başlat
Continue öneri vermiyor Ollama çalışmıyor ya da model adı yanlış ollama list ile adları doğrula, config.yaml içindeki adlarla eşleştir
ComfyUI'de kırmızı düğümler Eksik düğüm paketi Manager içinden "Install Missing Custom Nodes"
Görseller siyah ya da bozuk çıkıyor Yanlış VAE ya da uyumsuz model Modelle eşleşen VAE'yi seç; SDXL akışında SDXL modeli kullan
Model uzun konuşmada baştakileri unutuyor Context sınırı doldu Yeni sohbet aç ya da num_ctx değerini yükselt

Altın kural: dil modeli ile görsel üretimi aynı anda çalıştırma. 8 GB ikisine birden yetmez; birini kullanırken diğerini kapat.

Kontrol listesi

  • ☐ NVIDIA sürücüsü güncel, nvidia-smi kartı gösteriyor
  • ☐ Ollama kurulu, ollama run llama3.1:8b cevap veriyor
  • ☐ ollama ps çıktısında 100% GPU yazıyor
  • ☐ Kod modeli (qwen2.5-coder:7b) indirildi
  • ☐ VS Code'da Continue kurulu ve config.yaml ayarlandı
  • ☐ Tab ile kod tamamlama çalışıyor
  • ☐ OpenCode kuruldu ve yerel modelle bir dosyada değişiklik yaptı
  • ☐ ComfyUI ya da Forge açılıyor
  • ☐ SDXL ile ilk görsel üretildi
  • ☐ Flux'ın GGUF sürümü ile görsel üretildi
  • ☐ 20-30 görsellik veri seti hazırlandı ve etiketlendi
  • ☐ İlk LoRA eğitildi ve test edildi
  • ☐ Open WebUI ya da AnythingLLM'de bir bilgi tabanı kuruldu ve belgeye soru soruldu
  • ☐ Whisper ile bir ses kaydı yazıya döküldü
  • ☐ n8n'de Ollama'ya bağlı ilk akış çalıştı
  • ☐ Telefondan sisteme erişildi

İlk altı madde bir akşamda biter; tamamı için bir iki hafta sonu ayır. Sonunda elinde aylık ücreti olmayan, limiti olmayan ve verini dışarı göndermeyen bir yapay zekâ sistemi olur.

Sıkça Sorulan Sorular

Yerel yapay zekâ için en önemli donanım hangisi?

Ekran kartının belleği, yani VRAM. Model VRAM'e tamamen sığarsa hızlı çalışır; sığmazsa bir kısmı sistem RAM'ine taşar ve hız 5-10 kat düşer. 8 GB VRAM'li bir kartta hedef, 7-8 milyar parametreli modellerin Q4 sürümleridir.

Ekran kartı olmadan yapay zekâ modeli çalıştırılabilir mi?

Evet. Ollama ve LM Studio modeli işlemci ve RAM ile de çalıştırır, yalnızca daha yavaştır. 16 GB RAM ile 7-8B'lik bir model kullanılabilir; görsel üretim için ise ekran kartı pratikte şarttır.

Ollama mı yoksa LM Studio mu kullanmalıyım?

Ollama terminal ve arka plan servisiyle çalışır; otomasyon ve diğer programlara bağlamak için daha uygundur. LM Studio tamamen grafik arayüzlüdür ve terminal kullanmak istemeyenler için idealdir. İkisi de OpenAI uyumlu yerel bir API sunar.

Yerel model ücretli Claude veya GPT'nin yerini tutar mı?

Tamamen değil. 7-8B'lik yerel bir model küçük kod parçaları, özet, çeviri ve hata mesajı yorumlamada iyidir; büyük projelerde ve karmaşık mimari kararlarda zorlanır. Rutin ve gizli işleri yerelde, zor işleri bulut modellerinde yapmak en verimli düzendir.

Evdeki yapay zekâ sistemine dışarıdan erişmek güvenli mi?

Ollama'yı modemden port yönlendirerek doğrudan internete açmak güvenli değildir, çünkü kendi parola koruması yoktur. Dışarıdan erişim için Tailscale gibi cihazlar arasında şifreli özel ağ kuran bir araç kullanılmalıdır.

İlgili terimler

İlgili yazılar