LLM'lerin Arama ve Öneri Sistemleri

— Herkese merhaba, ben Ahmet Kuzubaşlı. Udemy'de Staff Data Scientist olarak çalışıyorum; San Francisco ofisindeyim. Bugün sizlere LLM tabanlı arama ve tavsiye sistemlerinden bahsediyor olacağım. Yarın İngilizce yarı Türkçe kullanabilirim; lütfen bunu bu duruma mazur görün. İsterseniz hızlıca başlayalım; biliyorum günün son konuşması olacak bu, o yüzden sizi çok da fazla tutmak da istemiyorum. Sadece, LLM'lerin arama ve tavsiye sistemlerinde nasıl kullanımları var, bu alanı nasıl değiştirecek, size böyle bir anlatım yapmak istedim. Çok fazla teknik detaya da girmeyeceğim, çok fazla doyurucu olmaya çalışmayacağım; biliyorum günün son seansı ve kısa tutmaya çalışacağım. Her ne kadar sağ olsunlar 45 dakika vermiş olsalar da, ben 15-20 dakika gibi bir sürede bitirmeyi planlıyorum.

Yine son seans olduğu için ve online olduğu için, şimdilik soruları bugün alamıyor olacağım; ama her zaman sorularınızı bana sosyal medyadan, e-mail ile iletebilirsiniz. Çok kolay: ahmetkuzubasli@gmail.com ya da bütün sosyal medyada zaten bu isimle varım. Ajandaya bakacak olursak: kısa bir giriş yapacağım, landscape'ten bahsedeceğim, sonra LLM'lere giriş yapmayacağım; çünkü günün son seansı muhtemelen birçok kez bu LLM'lere giriş yapılmış olacak. Ben daha çok arama ve tavsiye sistemleri üzerine odaklanıyor olacağım. Yine, ne gibi sıkıntılar var, ne gibi limitler var, onlardan bahsediyor olacağım; future trend'lerden biraz bahsediyor olacağım. Ama bunlar tabii ki sürekli güncellenmesi gereken konular, güncellenmesi gereken alanlar. Ben şu an sizle konuşuyorken, bu hafta içerisinde yeni bir paper yayınlanmış olabilir, yeni bir blog yazısı yayınlanmış olabilir.

O yüzden şimdiden bu sunumun aslında out of date olduğunu söyleyebilirim. Dediğim gibi, bugün search ve recommendation sistemlerinden bahsediyor olacağım. Birçok ürün buna dayalı hizmet sunuyor, birçok firma buna dayalı hizmet sunuyor. Birçok firmanın asıl çıkış amacı, business model'ı tamamen recommendations üzerine dayanıyor; biliyorsunuz bu şirketleri. Yine bahsettiğim gibi, bugün asıl konuşmamın sebebi size biraz olsun tattırmak olacak: LLM ve arama motorları nasıl çalışıyor, ama özellikle arama ve recommendation systems nasıl çalışabilir. Arama biraz daha, zaten eminim duydunuz; yani bu alana olan dramatik etkisini zaten bildiğinizi tahmin ediyorum.

Ve yine konuşmama kendimi tanıtarak başlıyor olacağım. Şimdi, ODTÜ mezunuyum. Yine ODTÜ'de bilgisayar mühendisliğinde, deep learning üzerine bir başladığım ama bitirmediğim bir doktoram var; maalesef bırakmak zorunda kaldım, Amerika'ya taşınınca. Mezun olur olmaz ODTÜ'de araştırmacı asistan olarak çalıştım, daha sonra kendi şirketimi kurdum; 3-4 yıl, çok da güzel gitti. Daha sonra bu şirketteki hisselerimi ortaklarıma satıp bir çıkış yaptım. Tek başıma devam ettiğim danışmanlık yolculuğum oldu; TAIE ve başka diğer platformlarda, özellikle AI üzerine, data science üzerine consultancy danışmanlık verdiğim oldu. 5 yıldır da, çok uzun bir süre bence, Udemy'de data scientist olarak çalışıyorum. Önce Türkiye ofisindeydim, sonra 2 yıldır da Amerika'daki San Francisco ofisindeyim. Bir de diğer yandan, işte TRT Radyo 1'de 2015'ten beri sunduğum, konuk olduğum radyo programları oluyor; teknolojiyle ilgili, AI ile ilgili, özellikle de yapay zekâ ile ilgili.

Toplum bilincinin artırılması, veri bilimi üzerine kariyer yolculuğu gibi konularda sık sık programlara katılmaya çalışıyorum. Twitter, X, LinkedIn, Instagram; hepsi Ahmet Kuzubaşlı. Beni bulmak çok kolay. Sorularınız için, danışmak istediğiniz bir konu olursa, ya da Amerika'ya gelirseniz ve kahve içmek isterseniz. Şimdi landscape'e baktığımız zaman, yani artık ayrılmaz bir parçası oldu. Biz bunlara data products diyoruz aslında; işte search ve arama sistemleri. Ben de Udemy'de önce search üzerine 3 yıl, şimdi de recommendations üzerine 2 yıldır çalışıyorum. Yani işte Netflix, Spotify, Amazon gibi büyük mega şirketlerin aslında gelir modellerini çok ciddi biçimde etkileyen bir yer. Trafik %30-%40 civarlarında search'ten, %20-%30 civarlarında da bu recommendation sistemlerinden geliyor.

Yani o yüzden, burada yapacağınız en ufak bir değişiklik, %1'lik bir improvement bile, milyonlarca kullanıcı tarafından, hatta bazı durumlarda milyarlarca kullanıcı tarafından görüldüğü için, çok ciddi revenue'ya katkıda bulunuyor; çok ciddi kazançlar getiriyor size. Bunu bizzat tecrübe ettiğim için söyleyebilirim. Çünkü gerçekten bize ne aradığımızı çok iyi bir şekilde, hızlı bir şekilde getirmesi, diğer yandan bize hiç arama gereği bırakmadan ne istediğimizi tahmin edip, iyi bir model ile bize seçenekler sunabilmesi, sanıyorum bu işte 2000'ler sonrasındaki bu online tecrübenin, online experience'ın gelişmesiyle oldu. Yani kısaca böyle özetleyebilirim. Teknik detaylara çok fazla girmek istemedim. Sadece şu an söylemek istediğim şey: arama ve tavsiye sistemleri olmazsa olmaz, daha ilk günden başlanması gereken sistemler. Şimdi LLM'in search uygulamaları üzerine biraz konuşalım.

Her ne kadar eminim Zeo yeterli miktarda bugün bilgi sağlamış olduğunu tahmin etsem de, şimdi ilk önemli şeyi zaten query understanding dediğimiz, benim de bayağı bir ter döktüğüm, bunu da kendi şirketimde, kullanıcının query'sini anlayıp, gerektiği zaman expand edip, gerektiği zaman narrow down yapıp, daha accurate, daha doğru sonuçları daha üst sıralarda gösterebilmesi. Bu konuyla ilgili işte OpenAI'nin kurucusu Sam Altman'ın bir lafı var aslında; hani diyor ki, bu artık bir fact database'den bir şey çekmek için kullanılan bir şey değil, search sistemleri. Artık gerçekten bir reasoning engine, yani bir soru sorduğunda ona bir cevap veren ve bu cevabı kendisi üreten aslında.

Retrieval-augmented systems diyeceğimiz şeyler. Bu kavramla daha çok sık karşılaşırız diye tahmin ediyorum: Retrieval-augmented generation. Yani sonucu bulduğu gibi vermiyor, tam tersi kendi bilgisini de üzerine ekleyip, sonuç o şekilde, nihai sonucu o şekilde oluşturuyor. Yani o kadar çok uygulaması var ki, işte hani text match'ten semantic understanding'e kaydığımız, doğal dili anladığımız, işte ambiguity problemini çözdüğümüz; işte klasik örnek: Dog toy dog, oyuncak köpek mi istiyor yoksa köpek oyuncağı mı istiyor gibi problemleri LLM'ler ile çözmek çok mümkün. Tabii ki bunun getirdiği bazı sıkıntılar da var; onlardan da ilerleyen dönemlerde bahsederiz, ilerleyen slaytlarda. Ama sonuç olarak, search sistemlerindeki bu iyileşmelerin kullanıcı tecrübesini, ciddi miktarda kullanıcı deneyimini etkilemesini bekliyoruz.

Çünkü insanlar bir şey aradıklarında, bunu her zaman iyi bir şekilde ifade edemiyorlar. İlk başta initial search dediğimiz, böyle birkaç tane search atıp, birkaç tane query atıp, ne araması gerektiğini öğrenip, sonra o asıl query'i getiriyor. İşte bu da ortalama search sayısını artırıyor. Halbuki insanların bodoslama yazabilmesi lazım; yani bodoslama yazıp sonucu çok ciddi bir şekilde alabilmesi lazım. Bunun yanı sıra, işte in-video search, in-context search dediğimiz olaylar var. Yani hani, eminim denk gelmişsinizdir; yani siz o videoyu değil, aslında o videodaki belirli bir saniyeyi arıyorsunuz, belli bir anı arıyorsunuz. Onu size bulup getirebiliyor bazı durumlarda. Bu bir süredir üzerine denenen şeyler. Ama LLM'lerle birlikte asıl, bu semantic search'ün daha natural language query'lerine doğru kaydığı, daha böyle chat tabanlı bir arama sistemi hani tahmin ediyoruz.

Ve bunun üzerine de çok ciddi, işte product discovery'nin gelişmesini bekliyoruz. Ve bu beraberinde birçok problemi getiriyor. Yani normalde sizin text match gibi sistemlerde bir dataset oluşturup, bir performans benchmark'ı yapabilmeniz daha mümkün. Yine kolay demiyorum ama yine mümkün. Ama işin içine LLM'ler girdiği zaman, özellikle de sonuç augment edildiğinde, bunu değerlendirmek çok zor. Aynı problem summarization probleminde de var; yani hani, hatta bununla ilgili çok ciddi tartışmalar devam ediyor. Bazı kişilerin mesela human performance'ı geçtiği söyleniyor ya LLM'ler mesela, o human performance'ın aslında doğru kişilerden seçilmediğine dair tartışmalar bir yandan devam ediyor. Gerçekten benchmark yapabilmek kolay bir iş değil. Diğer tarafta, yani örneklerini görmeye başlıyoruz; işte hani LLM tabanlı sistemlerin.

LLM tabanlı sistemlerin en büyük hani öndeki problem şu anda, ben hani fiyat olarak görüyorum. Her query'de LLM'e sorduğunuz zaman, eğer kendi LLM sisteminiz yoksa, gerçekten maliyetli olmaya başlıyor. Ve hem zaman anlamında, hem response time anlamında, hem de gerçekten query başına ödediğiniz fiyat anlamında. Tabii bunlarla ilgili de bir sürü workaround'lar var; işte caching gibi. Biraz daha devam edelim. Bu konuyla ilgili aslında konuşabileceğim inanılmaz çok daha fazla şey var. Yani hani, e-commerce'daki uygulamaları farklı, streaming'deki uygulamaları farklı. Hani her alan, her vertical, kendi problemleriyle karşılaşıyor, kendi çözümlerini buluyor. Böyle bir hani 15-20 dakikalık bir konuşmada, bunların hepsinin detayına girmek mümkün değil. Ama eğer hani sohbet konuşmak isterseniz, başka bir konuşma olur ya da başka bir proje olur, tartışmak isterseniz, ben hep buradayım.

Devam edelim. Evet, recommendation'a gelelim. Şimdi recommendation, ben buraya bunu gıcıklığına koydum biraz. Hani very traditional recommendation algorithms. Bu gördüğümüz collaborative filtering dediğimiz, işte metrics factorization'a dayanan, bir kullanıcı item, kullanıcı ürün matrix'ini approximate etmeye yarayan. Siz burada factorize ettiğinizde, elinizde bir user vektörü ve bir ürün vektörü kalıyor. Ve siz daha önce birbiriyle karşılaşmamış, birbiri üzerine bir etki bırakmamış kullanıcı ve item'ları ya da item item gibi şeyleri vektörüze edebildiğiniz için, bunların birbirine olan etkisini hesaplayabiliyorsunuz. Çok da güzel çalışıyor, çok da iyi çalışıyor. Tabii ki eğer yeterince kullanıcınız ve yeterince ürününüz varsa. Çalışmadığı noktalar neler? Çok temel.

Eğer yeni bir kullanıcı geldiyse, siz çok hızlı büyüyen bir platformsanız ya da çok hızlı content ekleniyorsa, yani işte Medium gibi, medium.com gibi, ya da işte YouTube gibi, ya da TikTok gibi mesela, çok hızlı content ekleniyorsa, bu content'i sadece daha önceki geçmiş interaction'lara bakarak recommend etmek çok kolay bir iş değil. Buna da işte cold start problem deniyor zaten. Tam bu noktada da context'e ihtiyacımız oluyor. Yani bu kullanıcı kimdir, ne istiyor olabilir? Sadece daha önceki aksiyonları değil, demografik bilgileri, işte taste'i, daha önceki seçimleri. Diğer yanda, yeni bir film çıktıysa, yeni bir yazı yayınlandıysa, bu yazı neden bahsediyor?

Yani context'te ne var? Bunu anlamak tam olarak LLM'lerin üzerine oturduğu şey aslında. Bu noktada, yani personalization en büyük şey. Yani hem doğru sonucu getirip yine bir search'teki gibi bir ranking problemi var. Ama asıl buradaki altını çizmemiz gereken kelime personalization, yani kişiselleştirme. Bir sonuçlar geldi ama bu sonuçlar bana göre rank edildiğini benim bilmem lazım. Benim isteğime göre, benim kişisel zevkime göre bu sıralamanın yapıldığını çok iyi bilmem lazım. Eğer bu olursa, ben aradığım ve istediğim sonucu ilk 3'te bulurum. Diğer yanda, hiç aklıma gelmeyen ama bana iyi bir tavsiye verdiğinde, daha fazla platformla engage olurum ve hani retention'ım artar, sürem artar. Bu şekilde kişiselleştirmenin önemini zaten hani eminim biliyorsunuzdur. Yani ben vurgulamak istemiyorum.

Personalization son 3-4 yılda çok ciddi kârlar getirdi şirketlere. Diğer yandan, yani in-video etkileşimlerin artması, işte hani mesela bizim şirket şeye izin veriyor; yani bizim platform bir ders izlerken not almanıza izin veriyor. Mesela o notların alınması, o notlar üzerinden başka şeylerin tavsiye edilmesi gibi hani şeyler mümkün, aksiyonlar mümkün. Yine YouTube'da benzer, hani bookmark'ı edebildiğimiz durumlar var. Bu bookmark suggestion ayrı bir iş olabilir mesela. Bu yüzden yani kullanıcı deneyimini ve hani onun aldığı platformdan tatmini LLM'ler ile iyileştirmenin gerçekten şu anda böyle 9-10 minimum projesi var her şirkette. Bu 9-10 proje de böyle 100 küsur proje içinden seçilen hani 9-10 proje. Yani şu anda böyle bir şey olmuş, akıyor durumda.

Yani şu an product manager'lar ciddi ciddi ter döküyorlar; yani bunları hangisini önce yapmamız gerekiyor diye. Diğer tarafta hani farklı industrial'lerde, farklı şirketlerde farklı recommendation engine'leri kullanmak hani mümkün. Bunların etkileri birbirine aynı olmuyor. Yani mesela natural language feedback alabiliyorsanız siz eğer, yani ben mesela videoyu izlerken durdurup bir öneride bulunabiliyorsam, bir ürünün sayfasında review bırakırken, o bıraktığım review'un daha iyi anlaşılacağını, daha iyi kullanılacağını, yani sadece böyle 1'den 5'e kadar yıldız değil de kullanabiliyorsam. Diğer tarafta mesela benim hoşuma giden şey, benim için review generate etmesi. Mesela giriyorsun, bir restorana gittin, restoranla ilgili beğendiğin şeyler oldu, beğenmediğin şeyler oldu. Ama böyle oturup da review yazasım gelmiyor. Bu durumda mesela senin için bir review generate etmesi, senin tarzında, benim o çok benim hoşuma gidiyor yani.

Birkaç tık sonrası. Hani diğer yandan tabii ki böyle şeylerden uzaklaşmak mümkün. Yani böyle işte şu anki recommendation sistemleri hâlâ bazı şirketlerde şeye dayanıyor, popüler isme dayanıyor. Yani popüler item'ları sana gösteriyor. Ama belki sen hani senin popüler ürünlerle işin yok belki. Yani hani belki popüler kültüre çok da hani seven birisi değilsin. Bu durumda mesela senin tarzına gerçekten LLM'ler olmadan ulaşmak her zaman kolay olmuyor. İster istemez bir noktada popüler ürünler ön plana çıkmaya başlıyor. Ancak contextual recommendations dediğimiz, bu içindeki şeyi, içeriği anlayıp, seni anlayıp, ikisini birbirine match edebilen sistemler ön plana çıkıyor.

Ama buna tabii ki bir anda hadi her şeyi bırakalım, LLM'lere yüklenelim gibi bir şey söz konusu değil açıkçası. Aynı search'te olduğu gibi, vector database'de olduğu gibi, recommendations'ta da arka tarafta böyle bir yine bir collaborative filtering olması, bir content-based filtering olması. Çünkü hani multimillion user var, multimillion ürün var. Hepsini birbirine cross yapamazsın. Yani multimillion çarpı multimillion uçuyor gidiyor yani. O yüzden ilk başta senin böyle bir filtrelemen lazım ürünleri. Ondan sonra sorman lazım, ben bu ürünlerden hangisini önereyim diye. Bu noktada da mesela recommendation'larla ilgili bir şeyi, problemleri anladığınızı tahmin ediyorum. Yani hani buradaki en büyük problem zaten çok fazla kullanıcıya çok fazla ürün arasından seçmek. Böyle bodoslama LLM'e verebileceğiniz bir şey değil açıkçası.

Yine hâlâ eski yöntemleri kullanmanız gerekiyor. Diğer yandan LLM'lerle ilgili genel problemlerden bahsedebiliriz. Yani bunları aşırı fazla girmek istemiyorum bugün için. Çünkü başka konuşmalarda da bahsedilmiştir. Etik ve hani gizlilik problemleri çok ciddi yükselmeye başladı. İşte mesela recommendation istemiyorum seçeneğinin olması gerekiyor. LLM aşırı iyi recommendation yaptığı zaman, insanların platform olan güveni gerçekten azalıyor. Hani siz işte dinleniyor muyuz? Acaba bizi dinliyor mu? Nasıl bu kadar iyi recommendation yapabiliyor? Yani işte arkadaşımla seyahat, araba konuştum, akşam Instagram'da ilanını gördüm, reklamı çıktı önüme filan gibi mesela şeyler ortaya çıkmaya başlıyor. Hani paranoyak olmak takip edilmediğin anlamına gelmez. Ama hani bu kadar iyi recommendation'ların yapılması ve LLM'lerle personalize edildiğinde ve o recommendation'ın neden yapıldığı LLM'ler ile açıklanabildiğinde, gerçekten biraz şey olmaya başlıyor.

Böyle korkutucu olmaya başlıyor. Belki o noktada recommendation sistemlerine tekrar bir vurgu yapmak gerekiyor. Eski sistemler, traditional sistemler diyelim, şu anda recommendation'ın niye yapıldığını söylemiyor. Yani siz şu anda Netflix'e girdiğiniz zaman, her satırda bir şey görüyorsunuz. Size bir fikir vermeye çalışıyor işte. Çünkü daha önce bunu izledin, o yüzden sana bunu öneriyorum diye. Ama böyle tam olarak da niye önerdiğini bilmiyorsun. Ama LLM'ler gerekli reasoning'i yapabilirse eğer, ki bazı durumlarda yapabiliyorlar, o durumda mesela evet, ben sana bu Python kursunu önerdim. Çünkü sen data scientist olmak istiyorsun ileride. Bu Python kursunda sen pandas kütüphanesini öğreneceksin. O yüzden işte bu kursu almalısın gibi. Yani ya da bu videoyu şu yüzden izlemelisin, bu filmi bu yüzden senin için seçtik cevabını verebiliyor olması gerçekten güzel bir nokta.

Hem de bu şeyi de azaltıyor, concern'ü de biraz azaltıyor. Diğer tarafta computational ve resource gerçekten büyük bir problem. Yani her sorguda, her kullanıcı için, her ürün için bunu tek tek sormak çok ciddi maliyetli. Her anlamda. Hani bunların yanı sıra tabii bir de kullanılan GPU'ların iklim anlamında verdiği bir zarar bile hani söz konusu. Bu yüzden bunların çok ucuzlaması gerekiyor. Bu ucuzlama hem mali anlamda hem de computation, hesaplama anlamında bir düşmesi gerekiyor. Diğer taraftan bizim hani bugün highlight etmemiz gereken şey, yani fine tuning ve model selection olaylarının mesela daha aza iniyor olması.

LLM'leri yani siz OpenAI'ın geliştirdiği bir AI'ı siz kendi sisteminizde LLM tabanlı kullanabiliyorsunuz. Nasıl yapıyorsunuz bunu? Hani bir LLM'e P5 var bu arada, referansları ekledim. P5'da mesela kendin baştan sona eğitirken mesela, şimdi yeni sistemler mesela LLM'i core olarak kullanıp, LLM üzerine etrafına agent'lar koyup, o şekilde recommendation sistem yapıyor. Yani tutup da baştan sona bir recommendation için LLM eğitmiyorsun yani. O yüzden bu fine tuning etkisini de azaltıyor. Bu yüzden böyle model selection konusunda da bir iyileşme sağlıyor. Ama diğer tarafta dediğim gibi bu konuyla ilgili en büyük problemlerden birisi benchmarking.

Yani nasıl benchmark edeceksin? Özellikle personal şeyleri nasıl benchmark edeceksin? Yeni bir kullanıcı gelmiş, sen ona önerilerde bulunmuşsun. Ancak o tıklayacak ki sen ondan geri bildirim alacaksın. Hani biz buna şey diyoruz, hani negatif sonuç elde etmek zor. Yani çünkü görüyor, gördüğü zaman tıklıyor. Ama sen ona hiç göstermediğin zaman, olumlu mu olumsuz mu olacağını bilmiyorsun ürünler için. Ve hepsini de gösterme şansın yok. Yani bir kullanıcıya milyonlarca ürün gösterme şansın yok. Gösterdiklerin üzerinden yürüyebiliyorsun. Yani o noktada bunların ölçülmesi, yani benchmark yapılması, evaluate edilmesi gerçekten hâlâ şey problemler. Böyle hâlâ ciddi problemler. Ama bunların da workaround'ları var. Bunlarınla ilgili bazı assumption'lar yapıp, bazı limitasyonlarla yine ürettiğiniz sistemi deneyebiliyorsunuz.

En basitinden hiçbir şey yapamıyorsanız, offline'da götürüp A/B test'e girip mesela kullanıcıların yarısını bir algoritmaya, yarısını başka bir algoritmaya ya da modele verip, business metric'iniz neyse A/B test yapabiliyorsunuz üzerinde. Biraz hani gelecekle ilgili konuşacak olursak mesela, hani bu noktada GPT-4 ve sonrasının hani konuşmamız gerekiyor. Bu noktada reasoning daha iyi ortaya çıktığı için ve yani factuality dediğimiz ya da hallucination'ların azalmasından kaynaklı daha iyi kullanabiliyorsun ya da daha. Product'ta olarak çıkarabiliyorsun. Yani 3.5 bile halüsinasyonları yüksek olduğu için mesela recommendation'da prod'da kullanırken, production'da, canlıda kullanırken dikkat etmen gereken şeyler.

Çünkü 3.5'la ilgili problemler yaşandı biliyorsunuz. Bununla ilgili mesela bir yanlış recommendation yapıp, bunu da yanlış bir factuality'ye dayandırdığı zaman sıkıntı oluyor. Diğer tarafta bu çok aktif bir araştırma alanı. Hani bugün o yüzden çok da fazla uzun tutmak istemedim. Çünkü bugün ne söylersem söyleyeyim, önümüzdeki hafta çok daha iyisi ortaya çıkabilir. Ben sadece bugün böyle genel olarak bu alana olan etkisinden bahsetmek istedim. Buna dikkat çekmek istedim. Yani agent'ları, yani benim de gördüğüm, yani genel olarak LangChain olsun, Llama tarafında olsun, üzerine geliştirilen şeyler agent olarak kullanma yönünde.

Recommendation ve search sistemlerinde de LLM'e bir agent, yani LLM'i ortaya koyup etrafına böyle agent'lar koyuyorsun. İşte SQL query'si atabilecek şekilde bir database'e bağlıyorsun. Ya da senin collaborative filtering sistemine bağlıyorsun. Ve ortada LLM gerekli sorguları, işte chain of thought olabilir, tree of thought olabilir. Ya da işte mesela dün okudum, ne diyordu? Self-evaluating diyor mesela. Gibi böyle kendi düşüncesini tekrar gözden geçirdiği o hani düşünce sistemi, thought process diyelim yani bugün ona. O sistemler üzerine konulan böyle bir recommendation sistemleri oluşturulmaya çalışıyor. Bunlarla ilgili açıkçası çok fazla endüstriden böyle bir blog postu okuyamadım, bulamadım. Şu an herkes deniyor. Daha çok paper'ları üzerinde görüyorum.

İşte Amazon'un database'i üzerinde bunu çalıştırmış, public dataset üzerinde ve bunu yayınlıyor. Ama hani şu an böyle Netflix'ten ya da hani Spotify'dan LLM tabanlı henüz böyle iyi bir blog yazısı okuyamadım açıkçası. Belki bu konuşmayı, bu tarz hani sunumları 3-4 ayda bir yapmak gerekiyordur. Yiğit, bu da hani belki to-do olarak olabilir bize yani. QA session yazdım ama maalesef QA session yapamıyor olacağız bugün için. Yine de oraya bir tag bıraktım. Ahmet Uslu, başlığı. Gmail, X, Twitter, LinkedIn, hani Instagram eğer kullanıyorsanız. Hepsinde hemen hemen varım. Hepsinde elimden geldiğince ulaşılabilir olmaya çalışıyorum. Benim için LLM'lerin hani recommendation'daki kullanımları bu şekilde. Yani bugün aktif olarak üzerine çalıştığım projeler. Halka açık bir şirket olduğumuz için herhangi bir şekilde bunlardan detaylı bir şekilde paylaşmam doğru olmadığı için ve yasal olmadığı için bugün o tabanda çok özel bir şeyler söyleyemedim, paylaşamadım sizinle.

Ama genel olarak şirketlerin neler yapmaya çalıştığını az çok hani paylaşmak istedim. Daha fazla sorunuz olursa, paylaşmak istediğiniz öneri olursa, tavsiye ve şikayetleriniz için bana ulaşabilirsiniz. Herkese launch partide bol bol eğlence diliyorum.

— Teşekkür ederiz. Sağ ol Ahmetciğim.