Manifold Kısıtlı Hiper Bağlantılar (mHC)
5 Ocak 2026 • 13 dk 16 sn
Yapay zeka modellerinin mimari tasarımında, "residual connection" (artık bağlantı) paradigması on yılı aşkın bir süredir tahtını sarsılmaz bir şekilde koruyordu. Ancak yakın zamanda geliştirilen "Hyper-Connections" (HC) konsepti, bu köklü yapıyı bir adım öteye taşıma potansiyeli sundu. HC, modelin işlem birimlerindeki hesaplama yükünü (FLOPs) artırmadan, artık akışın genişliğini ve bağlantı karmaşıklığını artırarak topolojik yapıyı zenginleştirdi. Ne var ki bu parlak fikir, beraberinde ölümcül bir zayıflık getirdi: HC, artık bağlantıların doğasında bulunan ve büyük ölçekli eğitimlerde istikrarı sağlayan "identity mapping" (özdeşlik eşlemesi) özelliğini temelden bozuyordu. Bu durum, sinyallerin katmanlar arasında kontrolsüzce patlamasına veya sönümlenmesine neden olarak özellikle devasa modellerin eğitiminde ciddi istikrarsızlıklara ve ölçeklenebilirlik sorunlarına yol açtı.
İşte bu kritik soruna DeepSeek-AI'ın geliştirdiği "Manifold-Constrained Hyper-Connections" (mHC) adını verdikleri zarif çözüm sahneye çıkıyor. mHC, HC'nin yarattığı istikrarsızlığı, artık bağlantı uzayını "çift stokastik matrisler" adı verilen özel bir matematiksel manifolda yansıtarak aşıyor. Bu özel matrisleri, birden fazla ses kanalını birleştiren profesyonel bir mikser gibi düşünebilirsiniz. Bu mikser, kanalları ne kadar karmaşık bir şekilde harmanlarsa harmanlasın, toplam ses seviyesinin asla patlamamasını veya tamamen kısılmamasını garanti eder. Sinyalin ortalama enerjisini korur. Teknik olarak bu yaklaşım, sinyal aktarımını bir "dışbükey kombinasyona", yani özelliklerin ağırlıklı bir ortalamasına dönüştürür. Bu sayede, HC'nin bozduğu o kritik "özdeşlik eşlemesi" özelliği yeniden tesis edilerek sinyal patlaması veya sönümlenmesi riski matematiksel olarak ortadan kaldırılır. Sonuç olarak hem modelin eğitim sürecinde olağanüstü bir istikrar sağlanır hem de üstün bir ölçeklenebilirlik elde edilir. Yapılan kapsamlı deneyler, mHC'nin yalnızca standart modelleri değil, aynı zamanda istikrarsızlığa yatkın olan orijinal HC'yi de geride bıraktığını net bir şekilde ortaya koyuyor. Bu da mHC'yi, yapay zeka mimarilerinin geleceğini şekillendirecek temel bir yapı taşı adayı haline getiriyor ve yeni nesil temel modeller için heyecan verici bir ufuk açıyor.