Kendi Bilgisayarında Ücretsiz Yapay Zekâ Sistemi Kur: Ekran Kartı, İşlemci ve RAM ile Adım Adım
Yayın: · Son güncelleme:
· 30 dk okumaKısaca
Kendi bilgisayarında ücretsiz ve limitsiz bir yapay zekâ sistemi kurmak mümkün: Ollama ya da LM Studio ile dil modeli, Continue ile kod asistanı, ComfyUI ya da Forge ile görsel üretim. Belirleyici olan ekran kartının belleğidir (VRAM); 8 GB'lık kartta 7-8B modeller rahat çalışır, kart yoksa işlemci ve RAM ile daha yavaş çalışır.

İçindekiler
- Ekran kartında belirleyici olan şey: VRAM
- Kartına göre ne çalışır: 4 GB'tan 24 GB'a
- NVIDIA dışındaki kartlar
- Ekran kartın yoksa ya da yetmiyorsa: işlemci ve RAM
- İşlemciyle çalıştırırken hızı ne belirler
- Karma kullanımı elle ayarlamak
- Terminali hiç kullanmadıysan: önce burayı oku
- Terminali açmak
- Bir komutu çalıştırmak
- Bilmen gereken altı şey
- Klasörler arasında gezinmek
- Dosya oluşturmak
- Hata alırsan
- Adım 0: Ön hazırlık
- Adım 1: Ollama ile dil modelini kur
- Günlük kullanımda işine yarayacak komutlar
- API olarak kullanmak
- Tarayıcıda sohbet arayüzü
- Alternatif: LM Studio
- Adım 2: İşe göre doğru modeli seç
- Modeli kendi işine göre ayarlamak
- Adım 3: VS Code içinde kod asistanı
- Terminalde kod ajanı: OpenCode
- Adım 4: Görsel üretim
- Seçenek A: ComfyUI
- Seçenek B: Forge
- Model dosyalarını indir ve yerleştir
- 8 GB için hangi model
- Adım 5: LoRA ile kendi tarzını öğret
- 1. Veri setini hazırla
- 2. Görselleri etiketle
- 3. Eğitim aracını kur
- 4. 8 GB için eğitim ayarları
- 5. Sonucu test et
- Adım 6: Kendi belgelerinle konuşan asistan
- Adım 7: Ses: konuşmayı yazıya, yazıyı sese
- Konuşmayı yazıya çevirmek
- Yazıyı sese çevirmek
- Adım 8: Otomasyon: modeli kendi kendine çalışan işlere bağla
- Adım 9: Evdeki sisteme telefondan ve dizüstünden eriş
- Yerel model nerede yeter, nerede yetmez
- Hibrit strateji: maliyeti düşüren kullanım
- Sık karşılaşılan sorunlar ve kurulum kontrol listesi
- Kontrol listesi
Masanın altındaki bilgisayar sandığından fazlasını yapıyor.
Yapay zekâ abonelikleri bir noktada can sıkmaya başlıyor. Biri sohbet için, biri kod için, biri görsel için derken her ay kartından sessizce bir tutar çıkıyor. Üstüne, sorduğun her sorunun ve yapıştırdığın her kod parçasının başkasının sunucusuna gittiğini de biliyorsun. Bu yazının sonunda elinde limiti olmayan ve verini dışarı göndermeyen, kendine ait bir yapay zekâ sistemi olacak.
Oysa oyun oynamak ya da video kurgulamak için aldığın bilgisayar bu işlerin önemli bir kısmını kendi başına yapabiliyor. Ekran kartın varsa hızlı, yoksa işlemci ve RAM ile daha yavaş ama yine de iş görür şekilde. Bu yazıda o bilgisayarı parça parça bir yapay zekâ istasyonuna çeviriyoruz.
Bir konuda baştan dürüst olalım. Burada bir modeli sıfırdan yaratmıyoruz; o iş veri merkezlerinin işi. Bizim yaptığımız, araştırma ekiplerinin eğitip herkese açık yayınladığı modelleri indirip kendi makinemizde koşturmak. Sonra da onları kendi belgelerimize, kendi tarzımıza ve kendi iş akışımıza göre şekillendirmek. Pratikte ihtiyacın olan da zaten bu.
Bu rehber, 8 GB VRAM'li bir kartı (örnek: RTX 3060 Ti) temel alıyor; ekran kartı olmayan ya da daha zayıf olan makineler için de ayrı bir bölüm var. Sırayla şunları kuracağız:
- Sohbet ve kod modeli: Ollama ya da LM Studio üzerinde çalışan yerel bir dil modeli.
- İşlemci ve RAM ile çalıştırma: Ekran kartı olmadan ya da kartın yetmediği büyük modellerde ne yapılır.
- Editör asistanı: VS Code içinde Continue ile kod tamamlama ve sohbet.
- Görsel üretim: ComfyUI ya da Forge ile SDXL ve Flux.
- Kişiselleştirme: 20-30 görselle LoRA eğitimi.
- Belge asistanı: Kendi PDF'lerine ve notlarına bakarak cevap veren sohbet.
- Ses: Konuşmayı yazıya, yazıyı sese çeviren yerel araçlar.
- Otomasyon: Modeli iş akışlarına bağlayıp kendi kendine çalışan görevler kurmak.
- Uzaktan erişim: Evdeki bilgisayarı telefondan ve dizüstünden kullanmak.
Bunların hiçbiri için para ödemiyorsun ve kullanım sınırı yok. Kurulum bittikten sonra internete de ihtiyacın kalmıyor; yazdığın, yüklediğin, ürettiğin her şey kendi diskinde duruyor.
Not: Buradaki komutlar ve model adları araçların resmî belgelerindeki yaygın kurulum yoluna dayanır. Bu araçlar sık güncellenir; bir komut hata verirse ilgili aracın resmî sayfasındaki güncel sürüme bak.
Ekran kartında belirleyici olan şey: VRAM
Yerel yapay zekâda hızı belirleyen şey işlemci ya da RAM değil, ekran kartının belleğidir (VRAM). Model VRAM'e tamamen sığarsa hızlı çalışır; sığmazsa bir kısmı sistem RAM'ine taşar ve hız 5-10 kat düşer.
İki kavramı bilmek yeterli:
- Parametre sayısı (7B, 8B): Modelin büyüklüğü. "7B" 7 milyar parametre demek. Büyük model daha akıllı ama daha çok bellek ister.
- Sıkıştırma (quantization, Q4): Modelin sayılarını 16 bit yerine 4 bit ile saklamak. Boyut yaklaşık dörtte bire iner, kalite kaybı küçüktür. 8 GB kartta standart tercih Q4'tür (dosya adlarında
Q4_K_Molarak geçer).
| Model boyutu | Q4 dosya boyutu (yaklaşık) | 8 GB VRAM'de durum |
|---|---|---|
| 1,5-3B | 1-2 GB | Çok hızlı; kod tamamlama için ideal |
| 7-8B | 4,5-5 GB | Rahat çalışır; bu kartın tatlı noktası |
| 12-14B | 7-9 GB | Sınırda; kısmen RAM'e taşar, yavaşlar |
| 30B ve üstü | 18 GB+ | Pratikte kullanılamaz |
Model dosyasının üzerine konuşma geçmişi (context) için de 1-2 GB pay bırakmak gerekir. Bu yüzden 8 GB kartta hedef 7-8 milyar parametreli modellerin Q4 sürümleridir.

Kartına göre ne çalışır: 4 GB'tan 24 GB'a
Rehberdeki adımlar her kartta aynıdır; değişen tek şey indireceğin modelin boyutudur. Kartının VRAM miktarını nvidia-smi çıktısından öğren ve aşağıdaki satırı bul. Değerler yaklaşıktır.
| VRAM | Örnek kartlar | Dil modeli (Q4) | Görsel üretim | LoRA eğitimi |
|---|---|---|---|---|
| 4 GB | GTX 1650, GTX 1050 Ti, RTX 3050 (dizüstü) | 3-4B rahat; 7B ancak RAM ile karma | SD 1.5 rahat; SDXL Forge ile çok yavaş | Yalnızca SD 1.5 |
| 6 GB | GTX 1660 Super/Ti, RTX 2060, RTX 3050 6 GB, RTX 4050 (dizüstü) | 4B rahat; 7B kısa bağlamla sınırda | SDXL çalışır; Flux GGUF Q3-Q4 yavaş | SD 1.5 rahat; SDXL zor |
| 8 GB | RTX 3060 Ti, RTX 3070, RTX 4060, RTX 4060 Ti 8 GB, RTX 5060 | 7-8B rahat | SDXL rahat; Flux GGUF Q4 | SDXL |
| 12 GB | RTX 3060 12 GB, RTX 4070, RTX 4070 Super, RTX 5070 | 12-14B rahat | Flux GGUF Q6-Q8 | SDXL rahat; Flux mümkün |
| 16 GB | RTX 4060 Ti 16 GB, RTX 4070 Ti Super, RTX 4080, RTX 5060 Ti 16 GB, RTX 5070 Ti | 14B geniş bağlamla; 20-22B sınırda | Flux'ın 8 bit tam sürümü | Flux rahat |
| 24 GB ve üstü | RTX 3090, RTX 4090, RTX 5090 | 30-32B rahat | Her şey, tam kalite | Her şey |
Kart seçerken ya da elindekini değerlendirirken üç şeyi bil:
- VRAM, kartın neslinden önemlidir. Yapay zekâ için 12 GB'lık RTX 3060, oyunlarda daha hızlı olan 8 GB'lık 3060 Ti'den daha fazla iş görür. Model karta sığmıyorsa kartın hızı bir şey ifade etmez.
- İkinci el RTX 3090 fiyat/bellek şampiyonudur. 24 GB VRAM'i en ucuza veren karttır ve 30B'lik modelleri açar.
- Dizüstü kartlarında VRAM'e bak, isme değil. Dizüstü RTX 4060 8 GB'tır ama dizüstü RTX 4050 6 GB'tır; aynı seri içinde bile değişir.
NVIDIA dışındaki kartlar
| Donanım | Dil modeli | Görsel üretim |
|---|---|---|
| AMD Radeon (RX 6000/7000/9000) | Ollama ve LM Studio destekler; kurulum NVIDIA kadar kolaydır | Linux'ta sorunsuz; Windows'ta ek kurulum (ZLUDA ya da DirectML) ister ve daha yavaştır |
| Intel Arc | LM Studio ile çalışır; destek daha sınırlıdır | Mümkün ama uğraştırır |
| Apple Silicon (M serisi Mac) | Çok iyi çalışır; bellek ortak olduğu için 16 GB'lık bir Mac kabaca 10 GB'lık kart gibi davranır | ComfyUI çalışır; aynı fiyattaki NVIDIA karttan yavaştır |
AMD kartlarda tablodaki VRAM satırları dil modelleri için aynen geçerlidir. Görsel üretim ve LoRA eğitimi tarafında ise araçların çoğu önce NVIDIA için yazıldığından, bu işler ağırlıktaysa NVIDIA belirgin biçimde daha az uğraştırır.
Ekran kartın yoksa ya da yetmiyorsa: işlemci ve RAM
Dil modelleri ekran kartı olmadan da çalışır; yalnızca yavaş çalışır. Ollama ve LM Studio'nun altındaki motor (llama.cpp) modeli nereye sığdırabiliyorsa oraya koyar: önce VRAM'e, kalanı sistem RAM'ine. Senin ayrıca bir şey yapman gerekmez.
Burada üç senaryo var:
- Yalnızca işlemci. Ekran kartı yok ya da çok eski. Model tamamen RAM'de durur, hesabı işlemci yapar.
- Karma (hibrit). Model VRAM'e sığmıyor. Katmanların bir kısmı kartta, kalanı işlemcide çalışır. 8 GB kartla 14B'lik bir modeli böyle açabilirsin.
- Tamamen ekran kartı. Model VRAM'e sığıyor. En hızlısı bu; rehberin geri kalanı bunu hedefliyor.
| Sistem RAM'i | İşlemciyle açılabilecek model (Q4) | Kullanım hissi |
|---|---|---|
| 8 GB | 1,5-4B | Akıcı; basit işler için yeterli |
| 16 GB | 7-8B | Yavaş ama kullanılır; cevap kelime kelime gelir |
| 32 GB | 12-14B, ya da kartla karma olarak 20B civarı | Sabır ister; toplu ve arka plan işlerine uygun |
| 64 GB | 30B civarı | Çok yavaş; yalnızca sürenin önemsiz olduğu işler için |
Hız farkını somutlaştırmak için: 7B'lik bir model 3060 Ti'de saniyede kabaca 40-60 kelime parçası (token) üretirken, güncel bir masaüstü işlemcide 5-10 civarında kalır. Bu sayılar yaklaşıktır; işlemciye ve RAM'e göre değişir.
İşlemciyle çalıştırırken hızı ne belirler
- RAM hızı ve çift kanal. İşlemcide darboğaz çekirdek sayısı değil, bellekten veri okuma hızıdır. Tek modül yerine iki modül (çift kanal) takılıysa hız belirgin biçimde artar. DDR5, DDR4'ten hızlıdır.
- Çekirdek sayısı. 6-8 fiziksel çekirdekten sonrası pek fark yaratmaz.
- Model boyutu. İşlemcide küçük model seçmek, büyük modeli beklemekten çoğu zaman daha verimlidir. 3-4B'lik güncel modeller özet, çeviri ve sınıflandırma gibi işleri rahat yapar.
Karma kullanımı elle ayarlamak
Ollama kaç katmanın karta yükleneceğini kendisi hesaplar. Elle ayarlamak istersen Modelfile içine şunu ekle:
FROM qwen2.5-coder:14b
PARAMETER num_gpu 24
num_gpu karta yüklenecek katman sayısıdır. nvidia-smi ile VRAM'i izleyerek sayıyı artır; VRAM 7,5 GB'a yaklaşınca dur. LM Studio'da aynı ayar "GPU Offload" kaydırıcısıdır. Yalnızca işlemciyle çalıştırmak için değeri 0 yap.
Görsel üretimde durum farklı: SDXL ve Flux işlemcide teorik olarak çalışır ama tek bir görsel dakikalar, hatta onlarca dakika sürer. Görsel tarafı için ekran kartı pratikte şarttır.
İşlemciyi ne zaman tercih edersin? Gece çalışan toplu işlerde (yüzlerce metni özetlemek, etiketlemek), ekran kartı görsel üretimle meşgulken ve kartsız bir sunucuda küçük bir modelle basit görevler yürütürken.
Terminali hiç kullanmadıysan: önce burayı oku
Bu rehberdeki gri kutuların içindeki satırlar komuttur ve terminal denen pencereye yazılır. Terminal, bilgisayara fareyle tıklamak yerine yazarak iş yaptırdığın bir penceredir. Korkulacak bir tarafı yok; buradaki komutların hepsini kopyalayıp yapıştıracaksın.

Terminali açmak
| Sistem | Nasıl açılır |
|---|---|
| Windows 10/11 | Başlat'a tıkla, PowerShell yaz, çıkan "Windows PowerShell" ya da "Terminal" uygulamasını aç |
| macOS | Cmd + Boşluk tuşlarına bas, Terminal yaz, Enter'a bas |
| Linux | Ctrl + Alt + T |
Açılan pencerede yanıp sönen bir imleç ve solunda bir yazı görürsün (örneğin PS C:\Users\Adın>). Bu yazı, terminalin komut beklediğini ve o an hangi klasörde olduğunu gösterir.
Bir komutu çalıştırmak
- Rehberdeki gri kutunun içindeki satırı fareyle seç ve kopyala (Ctrl + C).
- Terminal penceresine tıkla ve yapıştır. Windows'ta Ctrl + V ya da farenin sağ tuşu, macOS'ta Cmd + V, Linux'ta Ctrl + Shift + V.
- Enter'a bas. Komut ancak Enter'a basınca çalışır.
- Bekle. Soldaki yazı (
PS C:\...>) yeniden görününce komut bitmiştir. O yazı gelmeden yeni komut yazma.
Bir kutuda birden fazla satır varsa satırları tek tek, sırayla çalıştır. Her satır ayrı bir komuttur.
Bilmen gereken altı şey
- Komutu durdurmak: Ctrl + C. Takılan ya da kapatmak istediğin bir programı durdurur. Terminalde kopyalama kısayolu olarak çalışmaz.
- Önceki komutu geri getirmek: Yukarı ok tuşu. Aynı komutu yeniden yazmana gerek kalmaz.
- Uzun süren komutlar: Model indirirken ekranda ilerleme çubuğu görürsün. Birkaç GB'lık indirme dakikalar sürer; pencereyi kapatma.
- Kurulumdan sonra terminali kapatıp yeniden aç. Yeni kurduğun bir programı (Ollama, Git, Python) terminal ancak yeniden açılınca tanır.
- Açık kalması gereken programlar: ComfyUI ve Forge gibi araçlar çalıştıkları terminal penceresi açık kaldığı sürece çalışır. Pencereyi kapatırsan program da kapanır. Başka komut yazacaksan ikinci bir terminal penceresi aç.
- Linux ve macOS'ta
sudo: Komutsudoile başlıyorsa parola sorar. Parolayı yazarken ekranda hiçbir şey görünmez; bu normaldir. Yazıp Enter'a bas.
Klasörler arasında gezinmek
Bazı komutlar belirli bir klasörün içinde çalıştırılmalıdır. Rehberde cd ComfyUI gibi bir satır gördüğünde yapılan şey budur: "ComfyUI klasörünün içine gir."
| Komut | Ne yapar |
|---|---|
cd KlasorAdi |
O klasörün içine girer |
cd .. |
Bir üst klasöre çıkar |
dir (Windows) / ls (macOS, Linux) |
Bulunduğun klasördeki dosyaları listeler |
pwd |
Hangi klasörde olduğunu gösterir |
Windows'ta kestirme yol: Dosya Gezgini'nde istediğin klasörü aç, boş bir yere sağ tıkla ve "Terminalde aç" seçeneğine bas. Terminal doğrudan o klasörde açılır.
Kurulumları dağınık olmasın diye tek bir klasörde topla. Örneğin C:\yapayzeka adında bir klasör oluştur, terminali orada aç ve git clone ile başlayan komutları orada çalıştır.
Dosya oluşturmak (Modelfile, config, .py)
Rehber birkaç yerde "şu içerikle bir dosya oluştur" diyor. Bunun için terminal gerekmez:
- Not Defteri'ni (ya da VS Code'u) aç ve kutudaki içeriği yapıştır.
- "Farklı Kaydet" de. Kayıt türünü "Tüm dosyalar" yap.
- Dosya adını rehberde yazdığı gibi gir:
Modelfile,yaziya_dok.pygibi. Sonuna.txteklenmediğinden emin ol. - Dosyayı, komutu çalıştıracağın klasöre kaydet ve terminali o klasörde aç.
Hata alırsan
| Ekranda yazan | Anlamı | Ne yapmalı |
|---|---|---|
| "...is not recognized" ya da "command not found" | Program kurulu değil ya da terminal onu henüz tanımıyor | Programı kur; kuruluysa terminali kapatıp yeniden aç |
| "No such file or directory" | Yanlış klasördesin ya da dosya adı hatalı | dir ya da ls ile klasörü kontrol et, cd ile doğru klasöre gir |
| "Access denied" ya da "Permission denied" | Yetki gerekiyor | Windows'ta terminali sağ tıklayıp "Yönetici olarak çalıştır" ile aç; Linux'ta komutun başına sudo ekle |
| "docker: command not found" | Docker kurulu değil | docker.com adresinden Docker Desktop'ı kur ve çalıştır, sonra komutu yeniden dene |
Hata mesajını anlamadıysan mesajın tamamını kopyala ve kurduğun yerel modele ya da bir sohbet asistanına yapıştır. Hata mesajı yorumlamak bu modellerin iyi yaptığı işlerdendir.
Son bir not: rehberde curl ... | sh, source ... ve ./dosya.sh biçimindeki komutlar Linux ve macOS içindir. Windows'ta bunların yerine ne yapacağın (kurulum dosyasını indirmek ya da .bat dosyasını çalıştırmak) ilgili adımda ayrıca yazıyor.
Adım 0: Ön hazırlık
Kuruluma başlamadan önce üç şeyi kontrol et: sürücü, disk alanı ve temel araçlar.
-
NVIDIA sürücüsünü güncelle. nvidia.com üzerinden ya da NVIDIA App ile en güncel sürücüyü kur. Eski sürücü, modelin ekran kartı yerine işlemcide çalışmasının en sık sebebidir.
-
Kartın görüldüğünü doğrula. Terminali (Windows'ta PowerShell) aç ve şunu çalıştır:
nvidia-smiÇıktıda kart adını ve
8192MiBgibi bir bellek değerini görmelisin. Bu komutu ileride VRAM kullanımını izlemek için de kullanacaksın. -
Disk alanı ayır. Dil modelleri için 20 GB, görsel modelleri için 40-60 GB boş alan yeterli. SSD şart değil ama model yükleme süresini ciddi kısaltır.
-
Git ve Python kur (görsel üretim için). Windows'ta git-scm.com adresinden Git'i, python.org adresinden Python 3.10 ya da 3.11'i kur. Python kurulumunda "Add Python to PATH" kutusunu işaretle.
Sistem RAM'i için 16 GB yeterli, 32 GB rahat. İşletim sistemi olarak Windows 10/11 ve Linux'un ikisi de sorunsuz çalışır.
Adım 1: Ollama ile dil modelini kur
Ollama, modeli indirip çalıştırmayı tek komuta indiren en kolay yoldur; kurulumdan ilk cevaba kadar yaklaşık beş dakika sürer. Arka planda bir servis olarak çalışır ve diğer programların bağlanabileceği bir API açar.
-
Kurulum. Windows ve macOS için ollama.com adresinden kurulum dosyasını indirip çalıştır. Linux'ta tek satır yeterli:
curl -fsSL https://ollama.com/install.sh | sh -
Kurulumu doğrula.
ollama --version -
İlk modeli indir ve çalıştır. Aşağıdaki komut modeli indirir (yaklaşık 4,7 GB) ve sohbeti terminalde başlatır:
ollama run llama3.1:8bSoru yaz, Enter'a bas. Çıkmak için
/byeyaz. -
Kod modelini de indir.
ollama pull qwen2.5-coder:7b -
Modelin ekran kartında çalıştığını doğrula. Model açıkken ikinci bir terminalde:
ollama psPROCESSOR sütununda
100% GPUyazmalı. CPU ya da karışık bir oran görürsen model VRAM'e sığmamış demektir; daha küçük bir model seç ya da açık olan diğer GPU programlarını kapat.
Günlük kullanımda işine yarayacak komutlar
| Komut | Ne yapar |
|---|---|
ollama list |
İndirilmiş modelleri listeler |
ollama pull <model> |
Modeli indirir ya da günceller |
ollama run <model> |
Modelle sohbet başlatır |
ollama ps |
Bellekteki modelleri ve GPU kullanımını gösterir |
ollama stop <model> |
Modeli bellekten çıkarır, VRAM'i boşaltır |
ollama rm <model> |
Modeli diskten siler |
API olarak kullanmak
Ollama http://localhost:11434 adresinde bir API sunar ve OpenAI uyumlu bir uç noktası da vardır. Kendi yazılımından şöyle çağırabilirsin:
curl http://localhost:11434/api/generate -d '{
"model": "llama3.1:8b",
"prompt": "FastAPI ile basit bir health endpoint yaz",
"stream": false
}'
Bu curl örneği Linux ve macOS terminali içindir; Windows PowerShell'de tırnak işaretleri yüzünden hata verir. Windows'taysan aynı isteği Adım 8'deki Python örneğiyle gönder.
OpenAI kütüphanesi kullanan mevcut bir kodun varsa base_url değerini http://localhost:11434/v1 yapman yeterli; kodun geri kalanı aynı kalır.
Tarayıcıda sohbet arayüzü (isteğe bağlı)
Terminal yerine ChatGPT benzeri bir arayüz istersen Open WebUI kur. Docker yüklüyse tek komut:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Ardından tarayıcıda http://localhost:3000 adresini aç. Ollama'daki modeller otomatik listelenir.
Alternatif: LM Studio (terminal istemeyenler için)
LM Studio aynı işi tamamen grafik arayüzle yapar; terminal kullanmak istemiyorsan Ollama yerine bunu kur. İkisini aynı anda kurmanda da sakınca yok, yalnızca aynı anda model yükleme.
- lmstudio.ai adresinden kurulum dosyasını indir ve kur.
- Soldaki arama (Discover) bölümüne model adını yaz, örneğin
qwen2.5-coder 7b. - Sürüm listesinden
Q4_K_Molanı seç. LM Studio, kartına sığıp sığmayacağını her sürümün yanında gösterir. - İndirme bitince sohbet sekmesinde üstten modeli seç ve yükle.
- Model ayarlarında "GPU Offload" kaydırıcısını en sağa çek. Böylece tüm katmanlar ekran kartına yüklenir.
- Başka programlardan bağlanmak için Developer sekmesinden yerel sunucuyu başlat. Sunucu
http://localhost:1234/v1adresinde OpenAI uyumlu bir API açar.
| Ollama | LM Studio | |
|---|---|---|
| Arayüz | Terminal + arka plan servisi | Tam grafik arayüz |
| Model seçimi | Hazır etiketler (llama3.1:8b) |
Hugging Face'teki tüm GGUF dosyaları |
| Otomasyon ve sunucu kullanımı | Daha uygun | Mümkün ama masaüstü odaklı |
| Kime uygun | Geliştirici, script yazan | Deneyerek keşfetmek isteyen |
Adım 2: İşe göre doğru modeli seç
8 GB kartta tek bir "en iyi" model yok; işe göre 2-3 model indirip aralarında geçiş yapmak en verimli kullanım. Ollama bir modeli kullanmadığında bellekten kendisi çıkarır, o yüzden diskte birkaç model tutmanın bedeli yalnızca disk alanıdır.
| İş | Model | Ollama komutu | Yaklaşık boyut |
|---|---|---|---|
| Kod yazma, hata ayıklama | Qwen2.5-Coder 7B | ollama pull qwen2.5-coder:7b |
4,7 GB |
| Editörde anlık kod tamamlama | Qwen2.5-Coder 1.5B | ollama pull qwen2.5-coder:1.5b-base |
1 GB |
| Genel sohbet, metin, özet | Llama 3.1 8B | ollama pull llama3.1:8b |
4,9 GB |
| Genel sohbet, çok dilli metin | Gemma serisi | ollama pull gemma3:4b |
3,3 GB |
| Kod tabanında arama (embedding) | Nomic Embed | ollama pull nomic-embed-text |
0,3 GB |
Seçim için pratik kurallar:
- Kod işi için kod modeli kullan. Aynı boyuttaki genel bir model, kodda özelleşmiş modelin gerisinde kalır.
- Türkçe metin için Gemma ve Llama'yı kendi metninle dene. Küçük modellerin Türkçesi İngilizcesinden zayıftır; ikisini aynı soruyla karşılaştırıp iyi olanı tut.
- Yeni çıkanları takip et. Açık kaynak modeller birkaç ayda bir yenilenir. ollama.com/library sayfasında 7-8B aralığındaki güncel modellere bak; kurulum mantığı hiç değişmez, yalnızca model adı değişir.
Modeli kendi işine göre ayarlamak (Modelfile)
Modele kalıcı bir rol ve ayar vermek için bir Modelfile dosyası oluştur:
FROM qwen2.5-coder:7b
PARAMETER temperature 0.2
PARAMETER num_ctx 8192
SYSTEM """Sen kıdemli bir yazılım geliştiricisin. Kısa cevap ver, önce çalışan kodu yaz, açıklamayı sonra ekle."""
Sonra kendi adınla kaydet ve çalıştır:
ollama create kod-asistanim -f Modelfile
ollama run kod-asistanim
num_ctx modelin tek seferde görebildiği metin miktarıdır. Yükselttikçe VRAM kullanımı artar; 8 GB kartta 7B model için 8192 güvenli bir üst sınırdır.
Adım 3: VS Code içinde kod asistanı (Continue)
Continue eklentisini Ollama'ya bağladığında editörün içinde ücretsiz kod tamamlama ve sohbet elde edersin. Kodun hiçbir sunucuya gitmez; bu, gizli kalması gereken projeler için asıl kazançtır.
-
Eklentiyi kur. VS Code'da Extensions panelini aç (Ctrl+Shift+X), "Continue" ara ve kur. Sol kenarda Continue simgesi belirir.
-
Gerekli modelleri indir. Sohbet, tamamlama ve kod araması için üç ayrı model kullanılır:
ollama pull qwen2.5-coder:7b ollama pull qwen2.5-coder:1.5b-base ollama pull nomic-embed-text -
Yapılandırma dosyasını aç. Continue panelinde dişli simgesine tıkla ve yapılandırma dosyasını aç. Dosya kullanıcı klasöründe
.continue/config.yamlyolundadır. -
İçeriğini şununla değiştir:
name: Yerel Asistan version: 1.0.0 schema: v1 models: - name: Qwen Coder 7B provider: ollama model: qwen2.5-coder:7b roles: - chat - edit - apply - name: Qwen Coder 1.5B provider: ollama model: qwen2.5-coder:1.5b-base roles: - autocomplete - name: Nomic Embed provider: ollama model: nomic-embed-text roles: - embed -
Dene. Dosyayı kaydet, bir kod dosyası aç ve yazmaya başla. Gri renkte öneri gelir; Tab ile kabul edersin.
| Kısayol | Ne yapar |
|---|---|
| Tab | Gelen tamamlama önerisini kabul eder |
| Ctrl+L | Seçili kodu sohbet paneline gönderir |
| Ctrl+I | Seçili kodu verdiğin talimatla yerinde düzenler |
@codebase (sohbette) |
Soruyu tüm proje üzerinde arayarak cevaplar |
Tamamlama için neden ayrı ve küçük bir model? Tamamlama her tuş vuruşunda çalışır ve 300 milisaniyenin altında cevap vermelidir. 1.5B model bunu yapar; 7B model yapamaz. İki model birlikte yaklaşık 6 GB VRAM tutar ve 8 GB karta sığar.
Tamamlama gecikiyorsa görsel üretim araçlarının açık olup olmadığını kontrol et. ComfyUI ve Ollama aynı VRAM'i paylaşır; ikisi aynı anda çalışırsa biri RAM'e taşar.
Terminalde kod ajanı: OpenCode
Continue sana öneri verir; OpenCode ise işi kendisi yapar. Terminalde çalışan açık kaynak bir kod ajanıdır: proje dosyalarını okur, düzenler, komut çalıştırır ve sonucu görüp devam eder. Ollama'ya bağlanınca bu döngünün tamamı kendi makinende döner.
-
Kur.
curl -fsSL https://opencode.ai/install | bashNode.js kuruluysa
npm install -g opencode-aide aynı işi görür (Windows'ta bu yol daha rahattır). -
Modele geniş bir bağlam ver. Ajan, dosya içeriklerini ve araç çıktılarını modele gönderdiği için Ollama'nın varsayılan bağlam boyutu yetmez. Bir
Modelfileoluştur:FROM qwen2.5-coder:7b PARAMETER num_ctx 16384ollama create qwen-coder-16k -f Modelfile -
OpenCode'u Ollama'ya bağla. Güncel sürümler çalışan Ollama'yı ve modellerini kendisi bulur. Bulmazsa
~/.config/opencode/opencode.jsondosyasını (Windows'taC:\Users\<kullanıcı>\.config\opencode\opencode.json) şu içerikle oluştur:{ "$schema": "https://opencode.ai/config.json", "provider": { "ollama": { "npm": "@ai-sdk/openai-compatible", "name": "Ollama (yerel)", "options": { "baseURL": "http://localhost:11434/v1" }, "models": { "qwen-coder-16k": { "name": "Qwen Coder 7B (16k)" } } } }, "model": "ollama/qwen-coder-16k" }Adresin sonundaki
/v1şarttır; model adı daollama listçıktısındakiyle birebir aynı olmalıdır. -
Çalıştır. Proje klasöründe
opencodeyaz. İçeride/modelsile modeli seç, sonra işi tarif et: "Bu klasördeki testleri çalıştır, kırılanı düzelt."
8 GB kartta ne beklemeli
Ajan kullanımı, yerel modelin en çok zorlandığı iştir. Model yalnızca kod yazmaz; hangi aracı ne zaman çağıracağına da karar verir ve 7B'lik modeller bunu sık sık şaşırır. Araç çağırmak yerine ekrana ham JSON basması ya da aynı adımda takılıp kalması bilinen sorunlardır.
| İş | 7B yerel modelle sonuç |
|---|---|
| Tek dosyada küçük, net tarif edilmiş değişiklik | Çoğunlukla çalışır |
| Bir dosyayı okuyup açıklamak, test yazmak | Çalışır |
| Birkaç dosyaya yayılan değişiklik | Sık sık yarıda kalır |
| "Şu özelliği baştan sona ekle" türü açık uçlu görev | Güvenilmez |
Bu yüzden OpenCode'u iki modelle kullanmak mantıklıdır: küçük ve gizli işler için yerel model, büyük görevler için bir bulut modelinin ücretsiz katmanı. OpenCode onlarca sağlayıcıyı destekler ve /models ile sohbet ortasında geçiş yaparsın. Kartın 12 GB ya da üstüyse 14B'lik bir kod modeliyle ajan kullanımı belirgin biçimde daha tutarlı olur.
Adım 4: Görsel üretim (ComfyUI veya Forge)
SDXL ve Flux'ın hafif sürümleri 8 GB kartta çalışır: bulut servislerinden yavaş, ama ücretsiz ve limitsiz. İki arayüzden birini seç; ikisi de aynı model dosyalarını kullanır.
| ComfyUI | Forge | |
|---|---|---|
| Arayüz | Düğüm (node) tabanlı akış şeması | Klasik form: prompt yaz, üret |
| Öğrenme eğrisi | Daha dik | Dakikalar içinde |
| Esneklik ve otomasyon | Çok yüksek; akışlar kaydedilir, API ile tetiklenir | Orta |
| Kime uygun | Toplu üretim, otomasyon kuracak olan | Hızlıca görsel üretmek isteyen |

Seçenek A: ComfyUI
Windows (en kolay yol). ComfyUI'nin GitHub sayfasındaki Releases bölümünden NVIDIA için taşınabilir (portable) paketi indir. Arşivi 7-Zip ile bir klasöre aç ve run_nvidia_gpu.bat dosyasını çalıştır. Python dahil her şey paketin içindedir.
Linux ya da elle kurulum.
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
python -m venv venv
source venv/bin/activate
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121
pip install -r requirements.txt
python main.py
Tarayıcıda http://127.0.0.1:8188 adresi açılır. Windows'ta elle kurulum yapıyorsan source venv/bin/activate yerine venv\Scripts\activate yaz.
ComfyUI Manager'ı ekle. Eksik düğümleri tek tıkla kurmanı sağlar; pratikte zorunludur:
cd ComfyUI/custom_nodes
git clone https://github.com/ltdrdata/ComfyUI-Manager.git
ComfyUI'yi yeniden başlat; menüde Manager düğmesi görünür.
Seçenek B: Forge
git clone https://github.com/lllyasviel/stable-diffusion-webui-forge.git
cd stable-diffusion-webui-forge
Windows'ta webui-user.bat, Linux'ta ./webui.sh dosyasını çalıştır. İlk açılış bağımlılıkları indirdiği için 10-15 dakika sürer. Arayüz http://127.0.0.1:7860 adresinde açılır. Forge, VRAM yönetimini kendisi yapar; 8 GB kart için ek ayar gerekmez.
Model dosyalarını indir ve yerleştir
Model dosyalarını Hugging Face ya da Civitai'den indirirsin. Dosyanın doğru klasöre konması yeterlidir; arayüzü yenileyince listede görünür.
| Dosya türü | ComfyUI klasörü | Forge klasörü |
|---|---|---|
| SDXL ana model (checkpoint) | models/checkpoints |
models/Stable-diffusion |
| LoRA | models/loras |
models/Lora |
| VAE | models/vae |
models/VAE |
| Flux ana model (GGUF) | models/unet |
models/Stable-diffusion |
| Flux metin kodlayıcıları | models/clip |
models/text_encoder |
8 GB için hangi model
| Model | Sürüm | 1024×1024 görsel süresi (yaklaşık) | Güçlü yanı |
|---|---|---|---|
| SDXL | Standart .safetensors (6,9 GB) | 15-30 saniye | Hız, çok sayıda hazır stil ve LoRA |
| Flux schnell | GGUF Q4 | 30-60 saniye (4 adım) | Görsel içinde yazı, prompt'a sadakat |
| Flux dev | GGUF Q4 ya da NF4 | 1,5-3 dakika (20 adım) | En yüksek kalite |
Flux'ın tam sürümü 23 GB'tır ve bu karta sığmaz; bu yüzden sıkıştırılmış GGUF ya da NF4 sürümü şarttır. ComfyUI'de GGUF dosyalarını yüklemek için Manager'dan "ComfyUI-GGUF" düğüm paketini kur. Flux ana modelin yanında üç dosya daha ister: clip_l, t5xxl (bunun da sıkıştırılmış sürümünü seç) ve ae.safetensors adlı VAE.
Başlangıç için öneri: önce SDXL ile kurulumu doğrula, akışı öğren, sonra Flux'a geç. İlk görsel için ComfyUI'de hazır şablonlardan (Workflow menüsü, Templates) "SDXL" akışını aç, modeli seç, prompt'u yaz ve Run'a bas.
Adım 5: LoRA ile kendi tarzını öğret
Bir modele gerçekten kendi damganı vurmanın yolu LoRA eğitimidir: 20-30 görselle bir tarzı, bir ürünü ya da bir karakteri modele öğretirsin ve bu, 8 GB kartta yapılabilir. LoRA, ana modeli değiştirmez; üzerine takılan 50-200 MB'lık küçük bir ek dosyadır.
1. Veri setini hazırla
- 20-30 görsel topla. Az ama tutarlı görsel, çok ama dağınık görselden iyidir.
- Çeşitlilik sağla. Tarz öğretiyorsan farklı konular, ürün ya da karakter öğretiyorsan farklı açılar, ışıklar ve arka planlar kullan.
- Kaliteyi koru. Kısa kenarı en az 1024 piksel olsun. Bulanık, filigranlı ve yazılı görselleri çıkar.
- Tetikleyici kelime belirle. Başka hiçbir anlama gelmeyen bir kelime seç, örneğin
nzmstyle. Üretimde bu kelimeyi yazınca LoRA devreye girer.
2. Görselleri etiketle
Her görselin yanına aynı adla bir .txt dosyası koy ve görseli tek cümleyle tarif et. Tetikleyici kelime başta olsun:
nzmstyle, a red ceramic teapot on a wooden table, soft daylight
Kural: modelin öğrenmesini istediğin şeyi yazma, değişebilir olan her şeyi yaz. Tarz öğretiyorsan tarzı tarif etme, yalnızca görseldeki nesneleri tarif et. 30 görseli elle etiketlemek 15 dakika sürer; eğitim araçlarının içindeki otomatik etiketleyici (WD14 ya da BLIP) ile de yapılabilir.
3. Eğitim aracını kur
En yaygın araç Kohya_ss'tir:
git clone --recursive https://github.com/bmaltais/kohya_ss.git
cd kohya_ss
Windows'ta setup.bat, Linux'ta ./setup.sh çalıştır. Kurulum bitince gui.bat ya da ./gui.sh ile arayüzü aç. Flux için LoRA eğiteceksen, düşük VRAM'e göre hazırlanmış FluxGym daha sade bir alternatiftir.
4. 8 GB için eğitim ayarları (SDXL)
| Ayar | Değer | Neden |
|---|---|---|
| Çözünürlük | 1024×1024 (sığmazsa 768×768) | SDXL'in doğal çözünürlüğü |
| Batch size | 1 | VRAM sınırı |
| Network rank (dim) / alpha | 16 / 8 | Küçük dosya, yeterli kapasite |
| Öğrenme oranı | 1e-4 | Güvenli başlangıç değeri |
| Toplam adım | 1500-2500 | 25 görsel × 10 tekrar × 8 epoch ≈ 2000 |
| Optimizer | AdamW8bit ya da Adafactor | Daha az bellek |
| Mixed precision | fp16 | Belleği yarıya indirir |
| Gradient checkpointing | Açık | 8 GB'ta şart |
| Cache latents | Açık | VRAM ve süre tasarrufu |
| Text encoder eğitimi | Kapalı | Bellek tasarrufu |
| Kaydetme sıklığı | Her epoch | En iyi noktayı sonradan seçmek için |
Bu ayarlarla SDXL LoRA eğitimi 3060 Ti'de yaklaşık 1-2 saat sürer. Flux LoRA 8 GB'ta mümkündür ama birkaç saat alır; ilk denemeyi SDXL ile yap.
5. Sonucu test et
- Eğitim klasöründe her epoch için bir
.safetensorsdosyası oluşur. Hepsinimodels/lorasklasörüne kopyala. - ComfyUI'de akışa "Load LoRA" düğümü ekle, Forge'da prompt'a
<lora:dosya_adi:0.8>yaz. - Aynı prompt ve aynı seed ile her epoch'u dene. Tetikleyici kelimeyi prompt'a eklemeyi unutma.
- Tarzı yakalayan ama prompt'a hâlâ uyan en erken epoch'u seç.
| Belirti | Sebep | Çözüm |
|---|---|---|
| Tarz neredeyse hiç görünmüyor | Az eğitim | Adım sayısını artır ya da LoRA gücünü 1.0'a çıkar |
| Her görsel eğitim görsellerinin kopyası | Aşırı eğitim | Daha erken epoch'u kullan, gücü 0,6'ya indir |
| Eğitim "out of memory" ile duruyor | VRAM yetmiyor | Çözünürlüğü 768'e indir, diğer GPU programlarını kapat |
Adım 6: Kendi belgelerinle konuşan asistan (RAG)
Yerel modelin en çok işe yaradığı yer, senin dosyalarını bilen bir asistana dönüştüğü andır. Model sözleşmelerini, notlarını ya da proje dokümanlarını ezberlemez; soru sorduğunda ilgili sayfaları bulur ve cevabı onlara bakarak yazar. Bu yönteme RAG deniyor ve model eğitimi gerektirmiyor.
İki kolay yol var:
Open WebUI ile (Adım 1'de kurduysan hazır).
- Embedding modelini indir:
ollama pull nomic-embed-text - Open WebUI'de Workspace bölümünden Knowledge'ı aç ve yeni bir bilgi tabanı oluştur.
- PDF, Word, Markdown ya da metin dosyalarını sürükleyip bırak.
- Sohbette
#yazıp bilgi tabanını seç ve sorunu sor.
AnythingLLM ile (Docker istemeyenler için). anythingllm.com adresinden masaüstü uygulamasını kur, model sağlayıcısı olarak Ollama'yı seç, bir çalışma alanı aç ve belgelerini yükle. Kurulumu tek bir uygulamadan ibarettir.
İyi sonuç için üç kural:
- Belgeleri konuya göre ayır. Her şeyi tek bir bilgi tabanına atarsan model alakasız sayfaları getirir.
- Taranmış PDF kullanma. Metin seçilemiyorsa model de okuyamaz; önce OCR'dan geçir.
- Cevabın kaynağını kontrol et. İki araç da cevabın hangi sayfadan geldiğini gösterir. Küçük modeller bulamadığında uydurabilir; önemli işlerde kaynağa bak.
Adım 7: Ses: konuşmayı yazıya, yazıyı sese
Toplantı kaydı, sesli not, video altyazısı ve seslendirme işleri de tamamen yerelde yapılabilir. İkisi de hafif araçlardır; ekran kartını neredeyse hiç yormazlar.

Konuşmayı yazıya çevirmek (Whisper)
Whisper açık kaynak bir konuşma tanıma modelidir ve Türkçeyi iyi tanır. Hızlı sürümü olan faster-whisper'ı kur:
pip install faster-whisper
Bir ses dosyasını yazıya dökmek için şu betiği yaziya_dok.py adıyla kaydet:
from faster_whisper import WhisperModel
model = WhisperModel("medium", device="cuda", compute_type="int8_float16")
segments, info = model.transcribe("kayit.mp3", language="tr")
for s in segments:
print(f"[{s.start:.1f} - {s.end:.1f}] {s.text}")
python yaziya_dok.py ile çalıştır. medium model yaklaşık 2-3 GB VRAM kullanır ve bir saatlik kaydı birkaç dakikada çözer. Ekran kartın yoksa device="cpu" ve compute_type="int8" yaz, modeli small seç.
Yazıyı sese çevirmek (Piper)
Piper işlemcide bile gerçek zamandan hızlı çalışan bir seslendirme aracıdır:
pip install piper-tts
echo "Merhaba, bu ses bilgisayarımda üretildi." | piper --model tr_TR-dfki-medium.onnx --output_file cikti.wav
Türkçe ses dosyasını (.onnx ve yanındaki .json) Piper'ın ses listesinden indirip komutu çalıştırdığın klasöre koy. Ses doğal ama stüdyo kalitesinde değildir; video anlatımı ve bildirim sesleri için yeterlidir.
Bu ikisini dil modeliyle birleştirince sesli asistan zinciri ortaya çıkar: Whisper konuşmayı yazıya çevirir, Ollama cevabı üretir, Piper cevabı seslendirir.
Adım 8: Otomasyon: modeli kendi kendine çalışan işlere bağla
Sohbet penceresi işin yalnızca bir yüzü; asıl verim, modelin sen başında değilken çalışmasından gelir. Bunun için n8n adlı açık kaynak iş akışı aracını kullanabilirsin. Kutucukları birbirine bağlayarak akış kurarsın, kod yazman gerekmez.
-
n8n'i kur.
docker run -d --name n8n -p 5678:5678 -v n8n_data:/home/node/.n8n --add-host=host.docker.internal:host-gateway --restart always n8nio/n8n -
Arayüzü aç. Tarayıcıda
http://localhost:5678adresine git ve yerel hesabını oluştur. -
Ollama'yı bağla. Yeni bir akışta Ollama düğümü ekle ve kimlik bilgisi olarak adres alanına
http://host.docker.internal:11434yaz. Model listesinde indirdiğin modeller görünür.
Kurulabilecek akışlardan örnekler:
| Tetikleyici | Model ne yapar | Çıktı |
|---|---|---|
| Klasöre yeni PDF düşer | Belgeyi özetler, anahtar bilgileri çıkarır | Tabloya bir satır ekler |
| Her sabah 08:00 | RSS kaynaklarındaki haberleri okur, önemlileri seçer | Tek sayfalık günlük özet |
| Yeni destek e-postası gelir | Konuyu sınıflandırır, cevap taslağı yazar | Taslak klasörüne kaydeder |
| Yeni ürün satırı eklenir | Ürün açıklaması ve başlık yazar | Veritabanını günceller |
Bu tür işlerde 7B'lik model yeterlidir, çünkü her adım küçük ve tanımlıdır. Hız da önemli değildir; bu yüzden akışları geceleyin ya da işlemci üzerinde çalıştırabilirsin.
Kod yazmayı tercih ediyorsan aynı şeyi Python'la birkaç satırda yaparsın:
import requests
cevap = requests.post("http://localhost:11434/api/generate", json={
"model": "llama3.1:8b",
"prompt": "Şu metni üç maddede özetle: ...",
"stream": False,
})
print(cevap.json()["response"])
Adım 9: Evdeki sisteme telefondan ve dizüstünden eriş
Kurduğun sistemi yalnızca o bilgisayarın başında kullanmak zorunda değilsin. Masaüstünü sunucu gibi çalıştırıp telefondan ve dizüstünden aynı modellere bağlanabilirsin.
-
Ollama'yı ağa aç. Varsayılan olarak Ollama yalnızca kendi makinesinden gelen istekleri kabul eder. Windows'ta sistem ortam değişkenlerine
OLLAMA_HOSTadıyla0.0.0.0değerini ekle ve Ollama'yı yeniden başlat. Linux'ta:sudo systemctl edit ollamaAçılan dosyaya şunu yaz, kaydet ve servisi yeniden başlat:
[Service] Environment="OLLAMA_HOST=0.0.0.0"sudo systemctl restart ollama -
Ev ağından bağlan. Aynı Wi-Fi'daki cihazlardan
http://<bilgisayarın-yerel-IP'si>:3000adresiyle Open WebUI'ye girersin. Telefonda tarayıcıdan açıp ana ekrana eklersen uygulama gibi davranır. -
Ev dışından bağlan. Tailscale'i hem masaüstüne hem telefona kur ve aynı hesapla giriş yap. Cihazlar arasında şifreli özel bir ağ kurulur; masaüstüne Tailscale'in verdiği adresle dışarıdan da ulaşırsın.

Uyarı: Modemden port yönlendirerek Ollama'yı doğrudan internete açma. Ollama'nın kendi parola koruması yoktur; açık bırakılan sunucuları tarayan botlar kısa sürede bulur ve senin kartını kullanır.
Yerel model nerede yeter, nerede yetmez
7B'lik yerel bir model iyi bir yardımcıdır ama ücretli Claude ya da GPT seviyesinde değildir. Bunu baştan bilmek hayal kırıklığını önler.
| Yerel 7-8B model iyi yapar | Zorlanır ya da yapamaz |
|---|---|
| Tek bir fonksiyon ya da küçük script yazmak | Büyük bir projeyi baştan sona kurmak |
| Var olan kodu açıklamak | Onlarca dosyaya yayılan değişiklikleri tutarlı yapmak |
| Hata mesajını yorumlamak, hata ayıklamada yardım | Karmaşık mimari kararlar vermek |
| Regex, SQL sorgusu, birim testi, dokümantasyon | Uzun bağlamı (binlerce satır) akılda tutmak |
| Metin özetlemek, çevirmek, yeniden yazmak | Güncel bilgi gerektiren sorular (internete bakamaz) |
Hibrit strateji: maliyeti düşüren kullanım
En verimli düzen, işi zorluğuna ve gizliliğine göre bölmektir:
- Yerelde yap: Rutin işler (tekrarlayan kod, test, yorum satırı, format dönüşümü) ve dışarı çıkmaması gereken her şey (müşteri verisi, şirket içi kod, API anahtarı içeren dosyalar).
- Bulut modellerin ücretsiz katmanlarını dönüşümlü kullan: Mimari tasarım, zor hatalar, büyük yeniden yazımlar gibi yerel modelin yetmediği işler. Birinin limiti dolunca diğerine geç.
- Görseli tamamen yerelde üret: Görsel üretimde yerel kalite bulut servislerine çok daha yakındır ve adet sınırı yoktur.
Bu düzenle ücretli aboneliklere olan ihtiyaç ciddi biçimde azalır; aylık maliyet düşer, gizli veriler de makinenden çıkmamış olur.
Sık karşılaşılan sorunlar ve kurulum kontrol listesi
Sorunların çoğu tek bir sebebe dayanır: VRAM dolmuştur. İlk bakacağın yer her zaman nvidia-smi çıktısıdır.
| Sorun | Muhtemel sebep | Çözüm |
|---|---|---|
| Model çok yavaş cevap veriyor | Model işlemcide ya da kısmen RAM'de çalışıyor | ollama ps ile kontrol et; daha küçük model seç, diğer GPU programlarını kapat |
| "CUDA out of memory" hatası | VRAM yetmiyor | Dil modelini durdur (ollama stop), çözünürlüğü düşür, Q4 sürüm kullan |
nvidia-smi komutu bulunamıyor |
Sürücü kurulu değil | NVIDIA sürücüsünü yeniden kur, bilgisayarı yeniden başlat |
| Continue öneri vermiyor | Ollama çalışmıyor ya da model adı yanlış | ollama list ile adları doğrula, config.yaml içindeki adlarla eşleştir |
| ComfyUI'de kırmızı düğümler | Eksik düğüm paketi | Manager içinden "Install Missing Custom Nodes" |
| Görseller siyah ya da bozuk çıkıyor | Yanlış VAE ya da uyumsuz model | Modelle eşleşen VAE'yi seç; SDXL akışında SDXL modeli kullan |
| Model uzun konuşmada baştakileri unutuyor | Context sınırı doldu | Yeni sohbet aç ya da num_ctx değerini yükselt |
Altın kural: dil modeli ile görsel üretimi aynı anda çalıştırma. 8 GB ikisine birden yetmez; birini kullanırken diğerini kapat.
Kontrol listesi
- ☐ NVIDIA sürücüsü güncel,
nvidia-smikartı gösteriyor - ☐ Ollama kurulu,
ollama run llama3.1:8bcevap veriyor - ☐
ollama psçıktısında100% GPUyazıyor - ☐ Kod modeli (
qwen2.5-coder:7b) indirildi - ☐ VS Code'da Continue kurulu ve
config.yamlayarlandı - ☐ Tab ile kod tamamlama çalışıyor
- ☐ OpenCode kuruldu ve yerel modelle bir dosyada değişiklik yaptı
- ☐ ComfyUI ya da Forge açılıyor
- ☐ SDXL ile ilk görsel üretildi
- ☐ Flux'ın GGUF sürümü ile görsel üretildi
- ☐ 20-30 görsellik veri seti hazırlandı ve etiketlendi
- ☐ İlk LoRA eğitildi ve test edildi
- ☐ Open WebUI ya da AnythingLLM'de bir bilgi tabanı kuruldu ve belgeye soru soruldu
- ☐ Whisper ile bir ses kaydı yazıya döküldü
- ☐ n8n'de Ollama'ya bağlı ilk akış çalıştı
- ☐ Telefondan sisteme erişildi
İlk altı madde bir akşamda biter; tamamı için bir iki hafta sonu ayır. Sonunda elinde aylık ücreti olmayan, limiti olmayan ve verini dışarı göndermeyen bir yapay zekâ sistemi olur.
Sıkça Sorulan Sorular
Yerel yapay zekâ için en önemli donanım hangisi?
Ekran kartının belleği, yani VRAM. Model VRAM'e tamamen sığarsa hızlı çalışır; sığmazsa bir kısmı sistem RAM'ine taşar ve hız 5-10 kat düşer. 8 GB VRAM'li bir kartta hedef, 7-8 milyar parametreli modellerin Q4 sürümleridir.
Ekran kartı olmadan yapay zekâ modeli çalıştırılabilir mi?
Evet. Ollama ve LM Studio modeli işlemci ve RAM ile de çalıştırır, yalnızca daha yavaştır. 16 GB RAM ile 7-8B'lik bir model kullanılabilir; görsel üretim için ise ekran kartı pratikte şarttır.
Ollama mı yoksa LM Studio mu kullanmalıyım?
Ollama terminal ve arka plan servisiyle çalışır; otomasyon ve diğer programlara bağlamak için daha uygundur. LM Studio tamamen grafik arayüzlüdür ve terminal kullanmak istemeyenler için idealdir. İkisi de OpenAI uyumlu yerel bir API sunar.
Yerel model ücretli Claude veya GPT'nin yerini tutar mı?
Tamamen değil. 7-8B'lik yerel bir model küçük kod parçaları, özet, çeviri ve hata mesajı yorumlamada iyidir; büyük projelerde ve karmaşık mimari kararlarda zorlanır. Rutin ve gizli işleri yerelde, zor işleri bulut modellerinde yapmak en verimli düzendir.
Evdeki yapay zekâ sistemine dışarıdan erişmek güvenli mi?
Ollama'yı modemden port yönlendirerek doğrudan internete açmak güvenli değildir, çünkü kendi parola koruması yoktur. Dışarıdan erişim için Tailscale gibi cihazlar arasında şifreli özel ağ kuran bir araç kullanılmalıdır.
İlgili terimler
İlgili yazılar
Yapay Zeka ile Görsel Oluşturma: Adım Adım Rehber ve Prompt Örnekleri
Yapay zekâ ile görsel oluşturmak için ChatGPT, Gemini, Firefly veya Canva gibi bir araca istediğin görseli konu, ortam, ışık, kadraj ve stil belirterek tarif edersin. Çıktıyı birkaç turda düzeltir, ayrıntıları kontrol eder, kullanmadan önce telif ve platform kurallarına bakarsın.
Yapay Zeka ile Para Kazanmak Mümkün mü? Gerçekçi 8 Yol ve Riskleri
Yapay zekâ ile para kazanmak mümkündür, ama araç tek başına kazandırmaz. Metin, görsel, otomasyon veya eğitim gibi bir hizmeti yapay zekâyla hızlandırıp müşteriye değer sunduğunda gelir oluşur; emek, kalite kontrolü ve telif ile platform kurallarına dikkat gerekir.

