Ortak olasılık, iki veya daha fazla olayın her birinin tek başına ele alınan olasılığı yerine, birlikte gerçekleşme olasılığıdır. İki olay A ve B için P(A ve B) şeklinde yazılır ve bir olayın gerçekleşmesinin diğerinin gerçekleşmesiyle nasıl ilişkili olduğunu -bağımsız mı, ilişkili mi, yoksa biri diğerini doğrudan mı etkiliyor- yakalar.
Dil modelleri, terim perde arkasında kalsa bile, ortak olasılığa sürekli olarak dayanır: bir cümledeki bir sonraki kelimeyi tahmin etmek, aslında o kelime dizisinin tamamının birlikte gerçekleşme olasılığıyla ilgili bir sorudur ve modelin eğitim sırasındaki görevi, hangi kelime dizilerinin ortaklaşa olası olduğunu ve hangilerinin neredeyse hiç görülmediğini öğrenmektir; bu da modelin, bireysel olarak makul kelimelerin rastgele bir dizisi yerine tutarlı okunan metinler üretmesini sağlayan şeydir.
