Ejecutar agentes de IA en hardware propio solo compensa economicamente frente a modelos frontera caros, y solo por encima de unos 5 millones de tokens al dia. Frente a las APIs de modelos de pesos abiertos, que se situan entre 0,14 y 0,50 dolares por millon de tokens, el punto de equilibrio se desplaza a miles de millones de tokens al mes y la mayoria de las organizaciones nunca llegara ahi. La conclusion es simple: si el coste es la unica consideracion, la respuesta suele ser no. Los argumentos que si se sostienen son soberania del dato, fijacion de version y latencia, y hay que ponerles precio con honestidad.
La pregunta que hace casi todo el mundo es la pregunta equivocada
La conversacion casi siempre arranca con cuanto vamos a ahorrar si lo ejecutamos nosotros. Es una pregunta calculable, y eso la hace sentir segura, pero casi nunca es la razon real por la que una organizacion acaba ejecutando un modelo por su cuenta.
Hay tres argumentos que aguantan, y ninguno es el ahorro directo. El primero es la soberania del dato: cuando la informacion que entra en el prompt no puede salir de la organizacion, la pregunta economica queda por detras de la pregunta de permiso. El segundo es la fijacion de version: un proveedor que actualiza un modelo cambia el comportamiento de un agente calibrado sobre la version anterior, y un modelo que corre en tu hardware no cambia hasta que tu lo decides. El tercero es la latencia estable a volumen alto, sobre todo en tareas de clasificacion y extraccion que se ejecutan cientos de veces por minuto.
Si ninguno de esos tres aplica en tu caso, la aritmetica que viene a continuacion casi siempre te devolvera a la API.
La aritmetica, sin magia
A mediados de 2026, alquilar una sola H100 va desde unos 2 dolares por hora en proveedores dedicados de GPU hasta unos 14 dolares por hora en los hiperescalares, con un acceso bajo demanda que promedia cerca de 3 dolares por hora. Comprar la tarjeta cuesta entre 30.000 y 40.000 dolares, o mas. Tomemos un precio reservado de 2 dolares por hora: unos 1.460 dolares al mes por una tarjeta funcionando de forma continua.
| Contra que comparas | Precio por millon de tokens | Volumen mensual en el equilibrio | Equivalente diario |
|---|---|---|---|
| Modelo frontera caro | 10 USD | ~146 millones | ~5 millones |
| Modelo frontera economico | 2,50 USD | ~584 millones | ~19 millones |
| API de modelo de pesos abiertos | 0,25 USD | ~5.800 millones | ~195 millones |
La tabla sale de una division directa: 1.460 dolares al mes divididos por el precio por millon de tokens. La tercera fila es la que cierra la discusion en la mayoria de las organizaciones: 195 millones de tokens al dia es el volumen de un producto a escala, no el de un agente interno.
La utilizacion lo explica casi todo
Una API cobra por token. Una tarjeta cobra por hora, incluidas las horas en las que nadie le manda nada. Esa diferencia es la razon por la que la mayoria de los calculos de ROI de autoalojamiento estan mal.
Un modelo cuantizado de la clase de 70.000 millones de parametros, sobre una sola H100 con batching eficiente, alcanza el orden de 3.000 tokens por segundo. A 2 dolares por hora, eso se traduce asi.
| Utilizacion media | Coste efectivo por millon de tokens | Frente a una API de pesos abiertos |
|---|---|---|
| 100% | ~0,19 USD | Competitivo |
| 50% | ~0,37 USD | Igual o mas caro |
| 25% | ~0,74 USD | Tres veces mas caro |
| 10% | ~1,85 USD | Siete veces mas caro |
La utilizacion del 100% no existe en el mundo real. La carga de negocio es ciclica (horario laboral, dias de semana, cierre de mes), de modo que una utilizacion media del 50 al 60 por ciento se considera muy buena para una carga interna. Por debajo de eso, el autoalojamiento pierde tanto contra las APIs de pesos abiertos como contra parte de la frontera.
De ahi sale una regla practica simple: si no puedes senalar una carga de trabajo continua que llene la tarjeta al menos la mitad del tiempo, estas pagando por aire.
Lo que el calculo deja fuera
El precio de la tarjeta es el unico componente facil de cotizar, y por eso es el unico que se cotiza. El coste completo del autoalojamiento en produccion suele salir entre tres y cinco veces mas alto.
Redundancia. Una tarjeta es un punto unico de fallo. Un agente que atiende clientes necesita al menos dos, o una ruta de respaldo hacia una API.
Operacion. Un servidor de inferencia, monitorizacion, gestion de colas, actualizaciones de drivers y recuantizacion en cada cambio de modelo.
Guardia. Alguien tiene que responder cuando la GPU se cae a las dos de la madrugada. Una API tiene un SLA; tu tarjeta te tiene a ti.
Infraestructura de pruebas. Cada cambio de modelo o de cuantizacion obliga a una pasada completa del set de pruebas, como se detalla en la guia de evaluaciones.
Coste de oportunidad. Un modelo que fijaste hace un ano se queda donde esta mientras la frontera avanza.
La arquitectura que si funciona: enrutar por tarea
La eleccion no es binaria. Un agente de negocio tipico ejecuta una mezcla de tareas de caracter muy distinto, y la logica economica cambia en cada una.
| Tipo de tarea | Caracteristicas | Donde ejecutarla |
|---|---|---|
| Clasificacion, etiquetado, extraccion de campos | Volumen alto, salida corta, exige consistencia | Modelo pequeno en hardware propio |
| Resumen y reescritura | Volumen medio, calidad media suficiente | API de modelo de pesos abiertos |
| Planificacion, razonamiento, decisiones | Volumen bajo, alta sensibilidad a la calidad | Modelo frontera via API |
| Datos sensibles que no pueden salir | Restriccion regulatoria | Hardware propio, sea cual sea el volumen |
Este enrutado entrega la mayor parte del ahorro sin la mayor parte del riesgo: las tareas de volumen alto, que ademas son las mas simples, bajan a un modelo local barato, mientras que las decisiones dificiles se quedan con el mejor modelo disponible. La ultima fila de la tabla deberia derivarse de la clasificacion de informacion de tu organizacion, no de una preferencia tecnica.
Seis preguntas antes de comprar una tarjeta
1. Cual es tu volumen diario de tokens hoy, medido y no estimado, y cual es su tasa de crecimiento.
2. Contra que precio alternativo comparas: frontera o pesos abiertos. Las dos respuestas apuntan en direcciones opuestas.
3. Que utilizacion esperas a lo largo de un dia y de una semana, incluidas las horas sin trafico.
4. Quien del equipo mantiene el servidor de inferencia, y que pasa cuando esa persona esta de vacaciones.
5. Hay una ruta de respaldo hacia una API cuando el hardware falla, y quien decide cambiar a ella.
6. Existe un argumento que no sea el coste. Si no lo hay, la decision casi siempre se queda con la API.
Preguntas frecuentes
Sale mas barato ejecutar un modelo de IA en nuestro propio servidor?
Solo bajo condiciones especificas. Frente a un modelo frontera de unos 10 dolares por millon de tokens, el punto de equilibrio de una H100 reservada esta en torno a 5 millones de tokens al dia. Frente a una API de pesos abiertos de unos 0,25 dolares por millon, el equilibrio salta a unos 195 millones de tokens al dia, un volumen al que la mayoria de las organizaciones nunca llega.
Cual es el punto de equilibrio entre autoalojamiento y API?
Sale de una division simple: el coste mensual del hardware dividido por el precio alternativo por millon de tokens. Una tarjeta de unos 1.460 dolares al mes frente a una API de 10 dolares por millon se equilibra en torno a 146 millones de tokens al mes. Multiplica el resultado por tres o cinco para reflejar el coste operativo completo.
Por que importa tanto la utilizacion de la GPU?
Porque una API cobra por token mientras que una tarjeta cobra por hora, incluidas las horas ociosas. La carga de negocio ciclica produce una utilizacion media del 50 al 60 por ciento en el mejor caso, asi que el coste efectivo por millon de tokens casi siempre es al menos el doble del calculo teorico.
Cuales son los argumentos no economicos para autoalojar?
Tres principales: soberania del dato cuando la informacion no puede salir de la organizacion, fijacion de la version del modelo para que un agente calibrado no se desplace porque el proveedor publico una actualizacion, y latencia estable en tareas de volumen alto. Cuando uno de estos aplica, la pregunta economica pasa a segundo plano.
Se pueden combinar los dos?
Suele ser la arquitectura correcta. La clasificacion y extraccion de volumen alto corren en un modelo local pequeno, el resumen en una API de pesos abiertos, y las decisiones y el razonamiento en un modelo frontera. Este enrutado elimina la mayor parte del coste sin renunciar a la calidad alli donde decide el resultado.