El mercado de aceleradores para inteligencia artificial ya no se mide solo por cifras en una tabla. Hoy, lo relevante es si un chip puede manejar grandes modelos de lenguaje sin perder rendimiento, mantener latencias aceptables y escalar eficientemente en clústeres. En ese contexto, el AMD Instinct MI355X ha dado un paso adelante en el benchmark MLPerf 6.0, demostrando que AMD ya no es solo un jugador secundario.
Más de un millón de tokens por segundo: ¿Otra cifra de marketing?
Bajo el lema «un millón de tokens por segundo» se esconde un dato oficial: el MI355X alcanzó 100.282 tokens/s en el escenario Server para Llama 2 70B en un solo nodo, y en una configuración de 11 nodos, escaló hasta 1.016.380 tokens/s. Pero lo más relevante no es el récord en sí, sino que estos resultados incluyen nuevos modelos como GPT-OSS 120B y Wan2.2-T2V, lo que demuestra que el hardware de AMD no solo mejora sus especificaciones (como los 288 GB de memoria HBM3E y un ancho de banda de 8 TB/s), sino que también está listo para cargas de trabajo reales.
Frente a los NVIDIA B200 y B300, el rendimiento del MI355X no es tan espectacular como sugiere el marketing, pero sí es más interesante. En algunos escenarios con Llama 2 70B, el chip de AMD alcanza paridad e incluso supera a la competencia. Sin embargo, MLPerf mide no solo el rendimiento bruto, sino también latencias, límites de carga y stacks de software optimizados. Aquí, el verdadero cambio está en otro lugar: ROCm (el ecosistema de software de AMD) ha madurado lo suficiente como para no depender exclusivamente de especificaciones técnicas. Además, la mayor memoria disponible permite a los clientes de centros de datos manejar modelos más grandes y con cuantización agresiva.
Para el usuario final, esto no significa una nueva tarjeta gráfica para PC, sino servicios de IA en la nube más rápidos y económicos. MLCommons ya ha destacado el aumento de solicitudes a gran escala en sus pruebas, una tendencia que apunta hacia la escalabilidad. Si AMD logra mantener el ritmo en el desarrollo de software, el MI355X podría ayudar a romper el dominio de NVIDIA en inferencia. Si no, el récord seguirá siendo solo un titular llamativo. El hardware ya es serio; ahora, el ecosistema debe estar a la altura.
Fuente: MD Blog, AMD ROCm Blog, MLCommons, AMD
