Para poder trabajar a nivel profesional con una Inteligencia Artificial es muy importante entender qué es la ventana de contexto de una Inteligencia Artificial y cuáles son sus límites
¿Por qué una IA parece olvidar cosas?
Una de las dudas que más me preguntan cuando los estudiantes empiezan a usar herramientas como ChatGPT, Claude, Gemini o Copilot es la siguiente: «Estamos teniendo una conversación larga con una IA y, después de un rato, parece que se olvida de instrucciones o datos que le hemos dado».
Suelen pasar cosas como que deja de respetar el formato que habíamos establecido, se olvida de datos como nombres, o incluso empieza a decir cosas que contradicen lo que había dicho antes en la conversación.
La impresión que nos causa es que la IA se ha olvidado de la conversación, pero lo que ha ocurrido en realidad es que ha alcanzado el límite de lo que puede tener en cuenta para generar una respuesta.
Al límite de la información que puede tener en cuenta se le llama la ventana de contexto, también llamada context window.
Como vimos en nuestro artículo sobre el contexto en IA, la inteligencia artificial utiliza toda la información que tiene disponible en el momento de responder:
- El prompt actual
- Parte de la conversación anterior (o toda si no es demasiado larga)
- Archivos adjuntos como documentos o imágenes
- Instrucciones personalizadas que hemos configurado en la memoria
- Información procedente de herramientas externas como Slack o Teams.
Todo eso puede acumularse en una cantidad de información que supera el límite de lo que puede tener en cuenta.
Cuando se alcanza ese límite, tiene que decidir qué información va a seguir teniendo en cuenta y qué información va a dejar fuera.
Por eso la IA va a tener en cuenta toda la conversación mientras no sea muy extensa y, llegado a un punto, va a dejar de tener en cuenta parte de la conversación.
¿Qué es la ventana de contexto en IA?
La ventana de contexto es la cantidad máxima de información que un modelo de inteligencia artificial puede tener en cuenta al mismo tiempo para generar una respuesta.
Es importante entender que la ventana de contexto no mide el número de mensajes de la conversación, sino la cantidad total de información que contienen.
Además, este límite no es fijo, depende de factores como el tamaño de documentos que hayamos añadido, la cantidad de imágenes que hayamos compartido, si usamos búsquedas web…
Por todo esto, no hay un tamaño máximo estándar universal que podamos establecer a partir del cual se empiece a olvidar de cosas. Simplemente, lo vamos a notar cuando suceda.
En mi artículo sobre cómo recuerda una IA una conversación vimos que una IA no recuerda igual que una persona.
Una IA construye una respuesta utilizando solo la información que tiene disponible en ese instante. La ventana de contexto define precisamente cuál va a ser la información que utilice.
¿Qué información cabe dentro de la ventana de contexto?
Cuando hablamos de ventana de contexto, muchas personas imaginan que únicamente incluye la conversación del chat. Sin embargo, el contexto disponible suele estar formado por muchas más fuentes de información.
Dependiendo de la herramienta que utilicemos, la ventana de contexto puede contener:
- El prompt actual.
- Parte de la conversación anterior dentro del mismo chat (o toda, según la extensión).
- Documentos PDF, Word, Excel o PowerPoint.
- Imágenes.
- Búsquedas web.
- Información obtenida desde aplicaciones conectadas, como Google Drive, Slack, Teams o Microsoft 365.
- Instrucciones personalizadas y la información establecida en la Memoria, si la herramienta dispone de ella y está activada y configurada.
Al generar una respuesta, va a tratar de tener en cuenta toda la información posible. Si un documento tiene 150 páginas va a reducir el espacio para que pueda tener en cuenta mensajes u otros documentos e imágenes.
Del mismo modo, una conversación larga puede hacer que deje de tener en cuenta un documento que hemos compartido al principio de la conversación.
Un truco muy bueno si queremos que tenga algo en cuenta es volver a compartir documentos o repetir texto en los prompts, aunque ya se lo hayamos compartido anteriormente.
Muy importante es tener en cuenta que NO va a tener en cuenta otros chats que hayamos tenido con esa misma IA.
Es un error muy común pensar que va a tener en cuenta todas las conversaciones que hayamos tenido con esa misma IA.
Algunas IAs, en el mejor de los casos, pueden sintetizar alguna información de otros chats y añadirlas a la memoria (si se encuentra activada y configurada).
¿Qué ocurre cuando la ventana de contexto se llena?
La ventana de contexto tiene un límite.
Si el chat es largo o se comparten muchos documentos, se llega al límite y la IA ya no puede usar toda la información para generar una nueva respuesta.
Para decidir qué información tener en cuenta no existe una regla única, pero en general:
- Los mensajes más recientes suelen tratar de incluirlos en la ventana de contexto.
- La información repetida varias veces tiende a conservarse durante más tiempo. Repetir una información varias veces es una forma muy buena de indicarle a la IA “esto es importante”.
- Las instrucciones que la IA considere relevantes para la tarea actual suelen priorizarse.
- Parte del contenido más antiguo (la parte inicial del chat) puede dejar de tenerse en cuenta.
Cuando la ventana de contexto se llena, suelen aparecer comportamientos que se suelen interpretar como un error:
- La IA vuelve a preguntar algo que ya conocía.
- Pierde el formato que estaba utilizando.
- Olvida nombres o datos mencionados al principio del chat.
- Deja de respetar determinadas instrucciones.
- Comienza a generar respuestas menos coherentes con el resto de la conversación.
Todos estos “errores” solo tienen una causa: esa información ya no forma parte de la ventana de contexto utilizada para generar una respuesta.
Por este motivo, cuando trabajamos en conversaciones largas resulta recomendable resumir o repetir periódicamente la información importante, como texto, documentos o instrucciones que queremos que la IA siga respetando.
¿La IA borra información o simplemente deja de tenerla en cuenta?
Una duda que me parece que ocurre muchas veces es: “Cuando la ventana de contexto se llena, ¿la IA elimina parte de la conversación?”
La respuesta es no. La conversación sigue existiendo, nos podemos desplazar dentro de la conversación y los mensajes no se han borrado, aunque internamente la IA ha dejado de tenerlos en cuenta.
Un ejemplo visual es una mesa de trabajo donde colocamos todos los documentos que necesitamos consultar para hacer una tarea. Si necesitamos añadir documentos nuevos, tendremos que sacar otros de la mesa. Los documentos no desaparecen: simplemente ya no están encima de la mesa.
La ventana de contexto funciona igual: una vez se quedan fuera de la ventana de contexto, los mensajes persisten en el chat (puedo desplazarme y leerlos), pero la IA ya no los va a tener en cuenta.
¿Qué son los tokens y por qué importan?
Cuando se habla de la ventana de contexto es muy habitual encontrar cifras como 32.000 tokens, 128.000 tokens o incluso 1 millón de tokens. Pero ¿qué significa exactamente un token?
Un token IA es la unidad básica con la que trabaja un modelo de inteligencia artificial para procesar texto.
No tiene que ser una palabra completa. Un token puede ser:
- Una palabra completa.
- Parte de una palabra.
- Un signo de puntuación.
- Un número.
- Un símbolo.
Por ejemplo, hay casos donde una palabra larga puede ocupar varios tokens, mientras que una palabra corta puede ocupar solo uno.
Por este motivo, la ventana de contexto no se mide en páginas, letras o palabras, sino en tokens.
Cada vez que hablamos con una IA, convierte ese texto en tokens, que utiliza para generar una nueva respuesta.
Con lo que sabemos ahora, podemos definir la ventana de contexto como el número máximo de tokens que el modelo puede tener en cuenta para generar una respuesta.
Esto significa que todo se representa internamente con tokens en IA:
- El prompt que acabas de escribir, y cada pregunta y respuesta: el texto se divide en tokens
- Los documentos adjuntos: el texto o las imágenes contenidos en el documento se dividen en tokens para procesarse y utilizarlos.
- Las imágenes: también se representan internamente mediante tokens o mecanismos equivalentes, dependiendo del modelo.
Importante: Cuanto mayor sea la cantidad de información, mayor será el número de tokens IA utilizados.
En general no es importante cuántos tokens usamos. Hay tareas como escribir un email que consume pocos tokens en IA y hay otras como programar que consumen muchos tokens.
Normalmente los modelos cobran un precio fijo independientemente del número de tokens que se utilice mensualmente.
Recientemente han aparecido modelos de Anthropic (los que crean Claude) que en vez de cobrar una tarifa plana (como Netflix), han empezado a cobrar por consumo de tokens (como la factura de la luz), por lo que en ciertos casos tendremos que preocuparnos.
¿Todas las IAs tienen la misma ventana de contexto?
No, cada una de las IAs como Claude, ChatGPT, Gemini o Copilot tienen diferentes ventanas de contexto.
Además, dentro de una misma IA, la ventana de contexto puede cambiar con las nuevas versiones. Normalmente, cada vez tienen más capacidad.
¿Cuándo debemos tener en cuenta el límite de contexto?
Hay que tener en cuenta el límite de la ventana de contexto cuando trabajamos con:
- Libros.
- Informes técnicos.
- Contratos.
- Código.
- Bases documentales.
- Conversaciones muy largas.
Cuanto mayor sea el tamaño de los documentos, más va a limitar qué otra información puede tener en cuenta la IA al generar una respuesta.
Para estos casos, que la IA tenga una ventana de contexto amplia reduce la necesidad de resumir continuamente la conversación o de volver a adjuntar los documentos constantemente.
En cualquier caso, la ventana de contexto siempre está limitada. Ninguna IA va a poder tener en cuenta hoy en día una conversación muy extensa o en la que hayamos añadido muchos documentos.
Hay que señalar que el límite de contexto no es el único factor que determina la calidad de una respuesta. El prompt, la configuración de la memoria y el resto de datos que aparecen en el contexto siguen siendo importantes.
Trucos para aprovechar mejor la ventana de contexto
Hay algunos trucos que nos van a permitir usar mejor la ventana de contexto y obtener así mejores resultados en conversaciones largas.
Mantén un único tema por conversación
Si en un mismo chat hablamos de ejercicios de gimnasio, después de recetas de cocina y finalmente de una estrategia de marketing, toda esa información competirá por ocupar espacio dentro de la ventana de contexto.
Son temas diferentes, y la IA va a tener esa información en la ventana de contexto, aunque no sirve de nada para generar una respuesta sobre un tema nuevo.
El mejor truco es simple: Cada tema nuevo lo tenemos que tratar en un nuevo chat.
Continúa los trabajos en el mismo chat
Si queremos seguir trabajando sobre un tema iniciado anteriormente, lo más eficiente es reutilizar el contexto que ya tenemos, por eso no es recomendable empezar un nuevo chat, ya que no sabrá lo que hemos hablado anteriormente.
Un truco muy simple es buscar y volver a recuperar un chat antiguo, y continuar la conversación donde la dejamos.
De esa forma recuperará el contexto anterior para generar una respuesta. Es decir, tendrá en cuenta todo o una parte de lo que ya habéis hablado.
Repite la información importante
Como hemos visto, cuando una conversación es muy larga, no cabrá todo en la ventana de contexto.
Un truco muy bueno es repetir información, volver a pasarle documentos o imágenes o resumir datos importantes.
La repetición es como a la IA se le indica que algo es importante.
Evita añadir información innecesaria
No todo lo que escribimos ayuda. Cuanta más información irrelevante haya dentro de la conversación, más espacio ocupará dentro de la ventana de contexto y menor será el disponible para los datos realmente importantes.
Un truco muy útil es siempre usar un chat para un único tema y tratar los temas nuevos en un nuevo chat.
Errores habituales
En muchos casos los problemas que me comentan los estudiantes que tienen no son realmente errores, sino ideas incorrectas sobre el funcionamiento de la ventana de contexto.
Algunos de los errores más frecuentes son:
- Pensar que la IA recuerda absolutamente todo lo hablado desde el principio del chat.
- Pensar que la IA recuerda todos los chats anteriores que hemos tenido al generar una respuesta.
- Creer que una conversación puede crecer indefinidamente sin problema.
- Mezclar varios temas diferentes dentro de un mismo chat.
- Dar por hecho que una instrucción antigua dentro de un chat va a seguir teniéndose en cuenta.
- Asumir que una ventana de contexto es ilimitada.
- Dar por hecho que una ventana de contexto muy grande elimina la necesidad de hacer un buen prompt.
Si tenemos en cuenta todo esto, vamos a poder usar de forma avanzada herramientas como ChatGPT, Claude, Gemini o Copilot.
Relación entre ventana de contexto, contexto y memoria
Uno de los conceptos que más se confunden al empezar a utilizar inteligencia artificial es la diferencia entre contexto, ventana de contexto y memoria.
Aunque están relacionados, no significan lo mismo.
El contexto es toda la información que la IA utiliza para generar una respuesta. Incluye el prompt actual, parte de la conversación, archivos, imágenes, instrucciones personalizadas en la memoria y, en algunos casos, información extraída de herramientas externas.
La ventana de contexto es el límite máximo de información que el modelo puede tener en cuenta simultáneamente. Es decir, determina cuánto del contexto cabe realmente en cada respuesta.
La memoria, por su parte, es una función que incorporan algunas herramientas para conservar cierta información entre diferentes conversaciones.
Por ejemplo, una IA puede recordar que prefieres recibir respuestas en español o que trabajas en marketing. Esa información puede incorporarse automáticamente al contexto cuando inicias un nuevo chat.
Conclusión
El límite de contexto de la ventana de contexto es uno de los conceptos más importantes para comprender cómo funciona realmente una inteligencia artificial.
Al entender el funcionamiento de la ventana de contexto, entendemos por qué una IA deja de seguir instrucciones, olvida información o genera respuestas en formatos distintos cuando una conversación es muy larga.
Un resumen de lo que hemos aprendido:
- La ventana de contexto es la cantidad máxima de información que una IA puede utilizar para generar una respuesta.
- Se mide en tokens, no en palabras ni en mensajes.
- Incluye el prompt, parte del historial del chat, archivos, imágenes, instrucciones personalizadas en la Memoria y datos que extrae de aplicaciones conectadas.
- Cuando se alcanza su límite, la IA deja de tener en cuenta parte de la información, normalmente la parte inicial (aunque esta siga apareciendo en el chat).
- Cada modelo dispone de un límite de contexto de diferentes tamaños, pero está limitada en todos ellos.
- Organizar mejor las conversaciones, resumir la información importante y evitar mezclar temas distintos ayuda a obtener respuestas más precisas.
