Hiperparametre, modelin ağırlıklarını öğrendiği şekilde verilerden kendiliğinden öğrendiği bir değer değil, eğitim başlamadan önce seçilen bir yapılandırma ayarıdır. Öğrenme oranı, grup boyutu (batch size), bir ağdaki katman sayısı ve kaç eğitim turunun (epoch) çalıştırılacağı gibi ayarların tümü hiperparametredir: modelin nasıl öğrendiğini şekillendirirler, ancak kendileri öğrenilmezler.
Hiperparametreleri doğru ayarlamak, bir modelin ne kadar iyi ve ne kadar verimli eğitileceği açısından büyük önem taşır. Çok yüksek ayarlanmış bir öğrenme oranı, eğitimin kararsız hale gelmesine ve iyi bir çözüme hiç yakınsamamasına neden olabilirken, çok düşük ayarlanmış bir öğrenme oranı eğitimi aşırı derecede yavaşlatabilir. Doğru değerler belirli modele, veri kümesine ve göreve bağlı olduğundan, ekipler genellikle hesaplama gücünü boşa harcamadan etkili bir şekilde eğitim yapan bir yapılandırma bulmak için, çoğu zaman otomatik ayarlama yöntemleri kullanarak, bir dizi hiperparametre kombinasyonunu tarar.
