Eğitim, bir makine öğrenimi modeline görevini nasıl yapacağını öğretme sürecidir; model tekrar tekrar verilere maruz bırakılır ve çıktılarının ne kadar doğru veya yanlış olduğuna göre iç parametreleri ayarlanır. Büyük bir dil modeli için bu, devasa miktarda metnin işlenmesi, modelin tahminlerinin gerçek bir sonraki kelimeyle karşılaştırılması ve her geçişte milyonlarca hatta milyarlarca iç ağırlığın biraz daha iyi tahminler üretmeye yaklaştırılması anlamına gelir.
Modern modeller için gereken ölçek oldukça büyüktür: eğitim süreçleri binlerce özel işlemcide haftalarca sürebilir ve büyük miktarda veri ile işlem gücü tüketir. Bu yüzden büyük bir modeli sıfırdan eğitmek maliyetlidir ve bunun yerine, zaten eğitilmiş bir modeli daha dar bir göreve uyarlayan ince ayar (fine-tuning) gibi teknikler her seferinde baştan başlamak yerine yaygın olarak tercih edilir.
