A mesterséges intelligencia fejlődésében az elmúlt hónapokban látványos hangsúlyeltolódás ment végbe: a figyelem a modellek méretéről a működési sebességükre helyeződött át. Egy hétköznapi chatbotnál még elfogadható, ha néhány másodpercig gondolkodik egy válaszon, azonban a modern, önállóan dolgozó digitális munkatársak – az úgynevezett AI-ágensek – esetében a lassúság azonnal megakasztja a munkafolyamatot.
Ezek az ágensek komplex szoftverfejlesztési, adatelemzési és kutatási feladatokat végeznek: több tízezer soros kódbázisokat olvasnak át, folyamatosan visszatérnek a hosszú előzményekhez, külső eszközöket hívnak meg, és lépésről lépésre ellenőrzik saját munkájukat. Ha egy ilyen rendszernek minden részfeladatnál várnia kell, a felhasználó értékes perceket veszít.
Az AMD és a nyílt forráskódú közösség legújabb fejlesztése pontosan ezt a szűk keresztmetszetet célozza meg: az AMD Instinct MI355X gyorsítók és a TokenSpeed szoftvermotor segítségével sikerült áttörni a várakozási korlátokat a világ egyik legfejlettebb nyílt architektúrájú modelljén, a Kimi K3-on [source: 1].
A gépház mögött: Kimi K3 és a gigantikus szerverek
Hogy megértsük a bravúr nagyságát, érdemes megvizsgálni a felhasznált komponenseket:
- Kimi K3 modell: A Moonshot AI által megalkotott 2,8 billió paraméteres monstrum, amely úgynevezett Mixture-of-Experts (MoE, azaz szakértők keveréke) architektúrára épül [source: 3, 5]. Ez azt jelenti, hogy a teljes gigantikus hálózatból minden egyes szótöredék – szaknyelven token – feldolgozásához csupán a leginkább releváns szakértő alhálózatok (összesen 896-ból 16) aktiválódnak, drasztikusan javítva az energia- és számítási hatékonyságot [source: 5].
- AMD Instinct MI355X gyorsítók: Az AMD legújabb generációs adatközponti lapkája, amely kifejezetten a legnehezebb gépi tanulási feladatokra készült. Egyetlen GPU 288 gigabájt ultra-gyors HBM3E memóriával rendelkezik; a mérésekhez használt nyolckártyás szerver így együttesen több mint 2,3 terabájtnyi memóriaterületet kínál egyetlen csomópontban [source: 2, 5].
- A TokenSpeed motor: A független, nonprofit LightSeek Alapítvány által fejlesztett nyílt forráskódú kiszolgálóplatform (inference engine) [source: 11, 13]. A rendszer feladata, hogy a lehető legoptimálisabban adagolja az adatokat a processzor és a grafikus magok között, megelőzve az üresjáratokat [source: 1, 13].
Rekordsebesség: Mit mutattak a valós mérések?
A szakmai tesztek során egy valós fejlesztői munkamenetet szimuláltak: a modellnek egy 50 000 tokenes (nagyjából 100 oldalnyi forráskódnak megfelelő) bevezető környezetet kellett megértenie, majd 10–15 fordulón keresztül, egyenként 800 tokenes új információkat feldolgozva kellett 500 tokenes válaszokat adnia [source: 1].
Az eredmények magukért beszélnek:
- 216 token másodpercenként: Egyetlen aktív felhasználó mellett a rendszer elérte a 216 kiadott token/másodperc sebességet [source: 1, 5]. Ez azt jelenti, hogy egy-egy kiadott szótöredék generálása mindössze 4,62 ezredmásodpercet (ms) vett igénybe, az első válasz megérkezésére pedig alig 0,62 másodpercet kellett várni [source: 1]. Hétköznapi nyelvre lefordítva: a modell gyorsabban írja a kódot vagy elemzést, mint ahogy egy ember átfutni képes a szemével.
- 1,4-szeres gyorsulás: A TokenSpeed ezzel a teljesítménnyel mintegy 40%-kal múlta felül az AMD saját, korábbi ATOM nevű szoftveres megoldását egyfelhasználós környezetben [source: 1, 5].
- Spekulatív előrejelzés (EAGLE3): A sebesség kulcsa egy olyan intelligens technika, ahol egy kisebb, másodlagos modell néhány szót "megtippel" előre, a hatalmas Kimi K3 pedig egyetlen menetben ellenőrzi és jóváhagyja azokat [source: 1].
Globális és európai jelentőség: Érik a valódi verseny
Hosszú évek óta az adatközponti AI-piacot az Nvidia zöld óriása uralja, mind hardveres, mind szoftveres (CUDA) szinten. Ez a függőség komoly kockázatot jelentett a felhőszolgáltatóknak és a fejlesztőknek az elszálló árak és a hosszú szállítási idők miatt.
Az AMD MI355X és a nyílt forráskódú TokenSpeed sikere világos üzenet: létezik élet a zárt ökoszisztémákon kívül is.
Európai és hazai szempontból ez a fordulat különösen lényeges:
- Szoftveres függetlenség (No Vendor Lock-in): A nyílt forráskódú keretrendszerek megakadályozzák, hogy egyetlen hardvergyártó monopolhelyzetbe kerüljön az európai digitális infrastruktúrában.
- Adatszuverenitás és biztonság: Az európai uniós AI Act és a GDPR szigorú elvárásokat fogalmaz meg a kritikus adatok kezelésére vonatkozóan. Ha a csúcskategóriás nyílt modellek (mint a Kimi K3) hatékonyan és gyorsan futtathatók dedikált saját infrastruktúrán, a hazai és uniós vállalatoknak nem kell tengerentúli zárt felhőszolgáltatókra bízniuk üzleti titkaikat.
- Kiszámíthatóbb működési költségek: A hatékonyabb memóriahasználat és a gyorsabb válaszidő közvetlenül csökkenti az egyetlen válaszra jutó szerverbérleti és áramköltségeket.
Hol vannak a technológia határai?
Bár az egyéni munkameneteknél mért sebesség imponáló, a tesztek rámutattak a jelenlegi korlátokra is:
- Terhelés alatti visszaesés: Ahogy a párhuzamos felhasználók száma növekszik, a TokenSpeed előnye csökken [source: 5]. 16 egyidejű lekérdezésnél a sebesség 39 token/másodpercre mérséklődött felhasználónként, ahol a sűrűbb kötegelésre optimalizált motorok már jobban teljesítettek [source: 1, 5].
- Hardveres komplexitás: Bár a szoftver nyílt forráskódú, a nyolc darab MI355X GPU-t tartalmazó szervercsomópontok kiépítése és hűtése hatalmas tőkebefektetést és speciális adatközponti hátteret igényel.
Mit jelent ez a gyakorlatban?
A hétköznapi felhasználó és a hazai IT-szakember ebből azt fogja érzékelni, hogy az AI-alapú kódkiegészítők, virtuális kutatóasszisztensek és komplex ügyfélszolgálati rendszerek reakcióideje drasztikusan lecsökken. A gép nem „gondolkodik” perceken át egy komplex feladaton, hanem az emberi gondolkodással párhuzamos tempóban szolgáltatja a kész eredményeket.
Az AMD és a TokenSpeed demonstrációja bizonyítja: a hardveres innováció önmagában kevés; az intelligens szoftveres vezérlés az, ami valóban felszabadítja a modern AI-chipekben rejlő nyers erőt.
Források
- Advancing Kimi K3 inference on AMD Instinct MI355X GPUs with TokenSpeed - AMD Technical Articles [source: 1]
- LightSeek Foundation: TokenSpeed Inference Engine for Agentic Workloads [source: 3]
- Kimi K3 Is Here: Efficient Day-0 Support on vLLM [source: 7]
- AMD Instinct MI355X GPU Sets a New Bar for DeepSeek Inference [source: 4]