Günümüzde yapay zeka modellerinin performansı genellikle GPU gücüyle ölçülse de, Liquid AI'nın yeni duyurduğu LFM2.5-Encoder-230M ve LFM2.5-Encoder-350M modelleri bu paradigmayı değiştiriyor. Hugging Face üzerinde yayınlanan bu yeni modeller, kendilerinden çok daha büyük modellerin kalitesine ulaşırken, özellikle uzun metinlerde (long-context) benzersiz bir hız sunuyor.

Neden Genel Amaçlı Bir Encoder Modeli?

Liquid AI, geçtiğimiz aylarda çok dilli arama için optimize edilmiş LFM2.5-Retrievers modellerini yayınlamıştı. Yeni LFM2.5-Encoders serisi ise aynı mimari aileden gelse de daha geniş bir amaca hizmet ediyor. Maskelenmiş dil modelleme (MLM) hedefiyle önceden eğitilen bu modeller; sınıflandırma, token düzeyinde görevler ve arama işlemleri için ince ayar (fine-tuning) yapılabilir hale getirildi.

Modern üretim NLP uygulamalarında encoder modelleri; niyet yönlendiriciler (intent routers), politika denetleyicileri ve PII (Kişisel Veri) tespit edicileri gibi kritik görevlerde kullanılıyor. Bu görevlerin en büyük zorluğu ise verilerin gün geçtikçe uzaması ve çıkarım maliyetlerinin artmasıdır. LFM2.5 mimarisi, girdi uzunluğu arttıkça maliyetin çok daha yavaş büyümesini sağlayarak bu sorunu kökten çözüyor.

Mimari ve Eğitim Süreci

Modeller, LFM2 dekoder (causal decoder) omurgası üzerinde temellendirilmiş ve ardından çift yönlü (bidirectional) bir encoder'a dönüştürülmüştür. Bu süreçte yapılan temel değişiklikler şunlardır:

• Çift Yönlü Dikkat Maskesi: Her token artık sadece kendinden öncekileri değil, her iki yanındaki token'ları da görebiliyor.
• Nedensel Olmayan Kısa Konvolüsyonlar: Token karışımlarının her iki yöndeki komşularla yapılabilmesi için simetrik dolgulama (padding) eklendi.
• Maskelenmiş Dil Modelleme: Eğitim sırasında token'ların %30'u maskelenerek modelin bağlamı anlama yeteneği pekiştirildi.

Eğitim süreci, önce kısa bağlamda genel dil yetkinliği kazanımı, ardından 8.192 token'lık uzun bağlam adaptasyonu olmak üzere iki aşamada tamamlanmıştır.

Performans: Küçük Boyut, Büyük Etki

LFM2.5-Encoder modelleri, GLUE, SuperGLUE ve çok dilli sınıflandırma görevlerinde kendilerinden kat kat büyük modelleri geride bırakmayı başardı:

1. LFM2.5-Encoder-350M: 14 farklı model arasında 4. sıraya yerleşti. Onu geçen modeller arasında, kendisinden 10 kat daha büyük olan 3.5B'lik devasa yapılar bulunuyor.
2. LFM2.5-Encoder-230M: ModernBERT-base ve tüm EuroBERT modellerini geride bırakırken, daha küçük parametre sayısıyla daha verimli bir profil çizdi.

CPU Üzerinde Rakipsiz Hız

Bu modellerin en çarpıcı özelliği CPU üzerindeki çıkarım (inference) hızıdır. Uzun metinlerde (8.192 token) LFM2.5-Encoder-230M, ModernBERT-base modelinden yaklaşık 3.7 kat daha hızlıdır.

• Laptop CPU'su: Tam bir sözleşme, transkript veya uzun bir destek talebi zinciri 30 saniyenin altında taranabilir veya sınıflandırılabilir.
• GPU Performansı: Apple GPU gibi donanımlarda, 2.000 token eşiğinden sonra LFM2.5 modelleri liderliği ele alıyor.

Kullanım Alanları ve Örnek Kod

LFM2.5-Encoders, sürekli çalışan ve maliyetin düşük tutulması gereken yüksek hacimli anlama görevleri için idealdir. Özellikle şu alanlarda öne çıkmaktadır:

• PII Tespiti: 16 dilde 40 farklı türde kişisel verinin anlık tespiti.
• Politika Denetimi (Policy Linting): Şirket kurallarının metinler üzerinde otomatik kontrolü.
• Niyet Yönlendirme: Kullanıcı komutlarının tek geçişte ilgili departmana yönlendirilmesi.

Modelleri transformers kütüphanesi ile hızlıca kullanmaya başlayabilirsiniz:

from transformers import AutoModelForMaskedLM, AutoTokenizer
import torch

model_id = "LiquidAI/LFM2.5-Encoder-230M"
tok = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
mlm = AutoModelForMaskedLM.from_pretrained(model_id, trust_remote_code=True)

text = f"Fransa'nın başkenti {tok.mask_token} şehridir."
enc = tok(text, return_tensors="pt")

with torch.no_grad():
    logits = mlm(**enc).logits
    pos = (enc["input_ids"][0] == tok.mask_token_id).nonzero()[0].item()
    print([tok.decode([t]).strip() for t in logits[0, pos].topk(5).indices.tolist()])

Sonuç

Liquid AI'nın yeni encoder modelleri, yapay zekanın demokratikleşmesi yolunda önemli bir adım. Pahalı GPU sistemlerine ihtiyaç duymadan, mevcut CPU donanımlarıyla uzun metinleri yüksek doğrulukla işleyebilmek, işletmeler için operasyonel maliyetleri ciddi oranda düşürecektir. Eğer hız, düşük maliyet ve uzun bağlam desteği sizin için kritikse, LFM2.5-Encoders modellerini mutlaka denemelisiniz.