Eğitim

Ön Eğitim (Pre-Training)

Modelin dili sıfırdan öğrendiği, büyük ölçekli ilk eğitim aşaması.

Ön eğitim, modelin devasa metin yığınları üzerinde bir sonraki token'ı tahmin etmeyi öğrendiği aşamadır. Aylar süren ve milyonlarca dolarlık hesaplama gücü gerektiren kısım burasıdır. Bir modelin temel dünya bilgisi ve dil yeteneği bu aşamada oluşur; sonraki aşamalar bu temeli şekillendirir.

İlgili Terimler

Temel Model (Foundation Model)

Üzerine birçok farklı uygulama inşa edilen, büyük ölçekte ön eğitimden geçmiş model.

İnce Ayar (Fine-Tuning)

Ön eğitimden geçmiş bir modeli, alana özgü veriyle eğitmeye devam etme.

Talimat Ayarı (Instruction Tuning)

Modeli, talimat–ideal cevap çiftleriyle eğiterek yönergeleri takip eder hale getirme.

Parametre

Sinir ağındaki öğrenilebilir ağırlık; model boyutu milyarlarca parametreyle ölçülür.