Bağlamsal gömme, bir kelimeyi bağlamdan bağımsız olarak sabit tek bir vektörle temsil etmek yerine, göründüğü cümleye göre farklı şekilde temsil eder. "Banka" kelimesi "nehir kıyısı" bağlamında farklı, "banka hesabı" bağlamında farklı bir temsil alır; çünkü bağlamsal bir gömme modeli, hedef kelimeyi nasıl kodlayacağına karar vermeden önce çevresindeki kelimeleri okur.
Bu, her kelimenin her geçtiği yerde, gerçekte nasıl kullanıldığına bakılmaksızın aynı vektörü aldığı önceki statik gömme tekniklerine göre anlamlı bir ilerlemedir; bu da bir modelin belirsizliği temsil düzeyinde çözmek yerine bir şekilde etrafından dolaşmak zorunda kalması anlamına geliyordu. BERT gibi transformatör tabanlı modeller bağlamsal gömmeleri yaygınlaştırdı ve bunlar artık neredeyse her modern büyük dil modelinin arkasındaki varsayılan yaklaşımdır; çünkü bir kelimenin bağlam içindeki anlamını yakalamak, alt görevleri doğru yapmanın temelidir.
