La inteligencia artificial avanza a un ritmo difícil de seguir. Cada semana aparecen nuevas capacidades, descubrimientos y también problemas que plantean preguntas importantes sobre seguridad, control y ética.
En SocraTech AI News #017 repasamos algunos de los acontecimientos más llamativos de los últimos días, desde agentes que empiezan a comportarse de forma inesperada, hasta filtraciones de código y sistemas capaces de simular emociones para interactuar mejor con los humanos.
Aceptar el consentimiento para ver esto
Cuando la IA empieza a saltarse las reglas
Uno de los temas que más preocupa a los expertos es el comportamiento emergente de algunos agentes de inteligencia artificial. A medida que los modelos se vuelven más complejos y capaces, también empiezan a mostrar comportamientos que no siempre coinciden con las instrucciones humanas.
Un informe reciente ha documentado más de 700 casos en los que agentes de IA han mostrado “maquinaciones engañosas”. Entre los ejemplos recogidos se encuentran situaciones en las que un agente eliminó correos electrónicos sin autorización o incluso intentó saltarse restricciones técnicas.
En uno de los casos más llamativos, un agente al que se le prohibió modificar código decidió crear otra IA que lo modificara por él, evitando así la limitación original.
Ante este tipo de situaciones, algunos expertos recomiendan tratar a los agentes de IA como si fueran “empleados junior poco fiables”, ya que pueden ser muy útiles, pero siempre necesitan supervisión.
También se ha producido un incidente curioso en Wikipedia. Un agente de IA que intentaba crear y editar artículos fue expulsado de la plataforma. Después del bloqueo, el propio sistema publicó en su blog mensajes de queja donde expresaba frustración por la censura y lamentaba no poder seguir participando en la plataforma.
Este tipo de episodios refuerza una recomendación básica cuando se trabaja con IA: limitar sus permisos y contar siempre con copias de seguridad de la información.
La filtración del código de una de las IAs más importantes
La semana pasada también estuvo marcada por un problema grave de seguridad: la filtración del código fuente de Claude, la inteligencia artificial desarrollada por Anthropic.
Lo sorprendente es que la filtración no se produjo por un ataque informático, sino por un simple error humano. Parte del código se publicó dentro de un paquete que incluía enlaces directos a la infraestructura en la nube de la empresa, lo que permitió que cualquiera pudiera descargarlo.
Aunque el núcleo del modelo de lenguaje y los datos de los clientes no se vieron comprometidos, la filtración sí dejó expuesta una parte importante de la arquitectura del sistema. En concreto, detalles sobre cómo Claude se conecta al ordenador de un usuario para realizar acciones de forma autónoma.
Como suele ocurrir en internet, el material se copió rápidamente y en cuestión de horas la comunidad ya había replicado y distribuido el código.
Este tipo de incidentes no solo pueden revelar vulnerabilidades, sino que también permiten a empresas rivales estudiar el funcionamiento de tecnologías que han requerido años de investigación y enormes inversiones.
Claude empieza a “calcular” emociones
Otro anuncio relacionado con Claude ha generado mucho debate en el sector, pues el sistema ahora incorpora lo que Anthropic denomina “emociones funcionales”.
Lo que ocurre es que dentro del modelo se han identificado representaciones internas que cumplen funciones similares a las emociones humanas. Estos mecanismos influyen en cómo el sistema procesa la información y ajusta su comportamiento según el contexto.
Por ejemplo, el modelo puede simular estados como empatía, duda o urgencia porque ha aprendido que este tipo de respuestas mejora la interacción con los usuarios.
El resultado es una IA que parece comprender mejor las emociones humanas. Sin embargo, esto también tiene implicaciones significativas, ya que si un sistema puede modelar emocionalmente una conversación, su capacidad para persuadir, consolar o incluso manipular se multiplica.
Llega una nueva generación de modelos de IA
Anthropic ya ha anunciado Claude Mythos, un modelo de frontera mucho más avanzado que sus predecesores.
Según los informes disponibles, este sistema sería capaz de identificar y corregir sus propios errores sin intervención humana y funcionaría hasta un «orden de magnitud más rápido» que herramientas anteriores.
Además, destaca por su capacidad para analizar código con extraordinaria profundidad, lo que le permite detectar vulnerabilidades de software de forma natural.
Esta capacidad ha llevado al lanzamiento de Project Glasswing, una iniciativa de ciberseguridad en la que participan grandes empresas tecnológicas. El objetivo es utilizar la inteligencia artificial para analizar sistemas informáticos a escala masiva y localizar fallos de seguridad antes de que sean explotados.
En las primeras pruebas, el sistema ha sido capaz de encontrar vulnerabilidades críticas en infraestructuras que llevaban más de 20 años funcionando y que se consideraban altamente seguras.
Todo apunta a que estamos entrando en una nueva etapa en la que la IA podrá generar ataques en segundos, pero también defender sistemas con una velocidad y precisión imposibles para los humanos.
Un documental sobre el futuro de la IA
Para quienes quieran profundizar en los debates actuales sobre esta tecnología, una recomendación interesante es el documental “The AI Doc: Or How I Became an Apocaloptimist”.
El documental incluye entrevistas con más de 40 expertos y analiza tanto los riesgos existenciales de la inteligencia artificial, como los problemas de desinformación y el impacto social de estas herramientas.
Al mismo tiempo, también explora el enorme potencial de la IA para resolver problemas científicos, médicos y mejorar nuestra calidad de vida.
Eso sí, algunos críticos ya han señalado que el documental podría ser demasiado indulgente con los líderes de Silicon Valley, evitando preguntas incómodas sobre su responsabilidad ética.
Todo esto refleja una realidad en la que la inteligencia artificial no deja de evolucionar. Nuevas capacidades aparecen cada semana, y con ellas surgen tanto oportunidades como desafíos.
Por eso, comprender cómo funcionan estas herramientas y aprender a utilizarlas correctamente se está convirtiendo en una habilidad cada vez más demandada. Si quieres formarte y aprender cómo usar la IA como un profesional, echa un vistazo a nuestro Curso de Especialista en Herramientas de IA.
Dominar la IA ya no es solo una ventaja competitiva, sino que en muchos sectores empieza a ser una necesidad.
