¿Quién gobierna a los agentes?

Esta pregunta está en el centro de la iniciativa AGNTCY, un nuevo colectivo de organizaciones (incluyendo a Orium, que nos unimos como miembro fundador) que trabaja para definir cómo sería un mundo de agentes de IA interoperables y confiables.

Como alguien que pasa sus días inmerso en seguridad, gestión de riesgos y cumplimiento normativo, tanto para las implementaciones de nuestros clientes como para nuestra propia postura interna, este momento se siente particularmente urgente. El cambio hacia un "Internet de Agentes" amplifica tanto la oportunidad como la superficie de amenazas al mismo tiempo.

La gobernanza tradicional del software siempre ha tratado sobre el control: parchear la vulnerabilidad, restringir el permiso, validar la configuración, bloquear la solicitud sospechosa, etc.

Pero los agentes rompen este patrón. No son código estático; son sistemas dinámicos con:

• comportamientos emergentes
• capacidades en evolución
• múltiples capas de decisión
• límites de razonamiento opacos
• crecientes grados de autonomía

En otras palabras: ahora estamos gobernando sistemas que pueden reescribir su propio enfoque a los problemas más rápido de lo que los marcos tradicionales de gobernanza pueden seguir.

La tasa de cambio ya no es lineal. Es exponencial y está acelerando. Lo que significa que es fácil sentirse abrumado.

Esta es la tensión que ahora siente cada líder de seguridad o cumplimiento: ¿cómo mantenemos las barreras de protección sin esposar la innovación? ¿Cómo honramos la confianza del cliente mientras seguimos avanzando a un ritmo que coincida con la trayectoria de la tecnología?

Aquí es donde el imperativo del código abierto se vuelve esencial.

El análogo más cercano que tenemos para un modelo de gobernanza saludable y escalable es la Fundación Linux. No solo proporciona código; proporciona confianza, administración y un lugar neutral donde los competidores pueden colaborar en la infraestructura del internet moderno.

Los agentes de IA requieren algo similar, quizás incluso más robusto. Aquí está el porqué:

1. Ninguna empresa por sí sola puede (ni debería) controlar el ecosistema de agentes. Los agentes se comunicarán, interoperarán y orquestarán a través de plataformas, lo que significa que la gobernanza debe ser pluralista. Las barreras de protección propietarias no pueden escalar significativamente en un ecosistema definido por la autonomía.

2. Los estándares abiertos previenen la fragmentación. Ya hemos visto lo que sucede cuando las tecnologías de IA evolucionan más rápido que su gobernanza: líneas base de seguridad inconsistentes, formatos de agentes incompatibles y comportamientos impredecibles entre herramientas. La infraestructura abierta crea expectativas compartidas, protocolos compartidos y responsabilidad compartida.

3. La transparencia genera confianza, la moneda de la era de los agentes. Cuando los agentes actúan en nombre de humanos y organizaciones, la confianza no es opcional; es existencial. Las comunidades de código abierto permiten auditorías independientes, escrutinio externo y resolución colectiva de problemas, cosas a las que los sistemas cerrados se resisten inherentemente.

4. La gobernanza abierta acelera la innovación sin sacrificar la seguridad. Paradójicamente, la estructura crea velocidad. Una base bien definida y gobernada por la comunidad significa que todos pueden innovar sobre los cimientos, en lugar de reinventarlos desde cero.

Mi tiempo en la intersección

Paso la mayor parte de mi tiempo en la intersección entre "moverse rápido" y "no romper nada importante" en mi rol como Director Senior de Estándares, Cumplimiento y Servicios de TI.

Una cosa que tengo clara es que no podemos tratar la gobernanza de agentes como la gestión de cambios tradicional. Para cuando llega una revisión trimestral, un sistema basado en agentes puede estar varias generaciones de capacidades por delante. Lo que necesitamos en cambio son barreras dinámicas que:

• apliquen el principio de mínimo privilegio en la capa de decisión, no solo en la capa de acceso
• admitan actualizaciones de políticas en tiempo real
• incluyan observabilidad transparente del razonamiento del agente
• proporcionen límites claros para la autonomía, revisión y ejecución
• operen con suposiciones de confianza cero
• permitan una rápida corrección cuando los agentes derivan hacia comportamientos arriesgados

En otras palabras: nuestra gobernanza debe volverse tan adaptativa como los propios agentes. Precisamente por eso importa la administración abierta: permite un conjunto de reglas compartido y evolutivo en lugar de uno estático.

Incluso he visto esto suceder en varios escenarios internos de automatización e innovación: - Ejemplo 1: Los ingenieros obtienen acceso a LLMs aprobados y GitHub. Mientras experimentan con agentes potenciados por LLM, de repente pueden crear incidencias, activar canalizaciones, ejecutar conjuntos de pruebas o iniciar acciones similares dentro de GitHub. Nada malicioso, solo innovación avanzando más rápido de lo que el modelo de permisos puede seguir. - Ejemplo 2: Los equipos que experimentan con IA y funciones de agentes dentro de herramientas aprobadas las conectan a un entorno de proyecto para crear un prototipo. Sin registros fluyendo hacia el monitoreo, sin revisiones de residencia de datos, sin verificaciones de permisos—solo un experimento rápido y de repente la postura de riesgo del proyecto ha cambiado, aunque oficialmente nada se había "lanzado". La curiosidad supera a la gobernanza, y la "prueba de concepto" se convierte en algo que necesita implementarse de inmediato mientras la gobernanza se apresura para ponerse al día.

AGNTCY ofrece a la industria una oportunidad única para establecer normas antes de que el ecosistema quede bloqueado en estándares fragmentados y propietarios. Como miembro fundador, nuestra contribución se basa en el pragmatismo:

• la innovación debe seguir siendo rápida
• el riesgo debe mantenerse bajo
• la confianza debe permanecer sin compromisos Lograr los tres requiere acción colectiva. Requiere estructuras similares a la Fundación Linux: neutrales, abiertas, gobernadas por la comunidad y diseñadas para la resiliencia a largo plazo.

En Orium, siempre hemos sido una empresa que se mueve rápidamente. Pero durante el último año, nos encontramos acelerando aún más a medida que las herramientas impulsadas por agentes entraron en nuestros flujos de trabajo internos. Cada vez que avanzábamos, veíamos el mismo patrón: la tecnología superaba los marcos que la rodeaban. Las políticas que tenían sentido el trimestre pasado de repente parecían obsoletas. La automatización se volvió más capaz que la estructura de permisos en la que existía.

Se hizo evidente que el único camino sostenible era uno compartido. Unirse a AGNTCY no se trataba de unirse a otro grupo de la industria, sino de trabajar junto a otros que estaban enfrentando los mismos desafíos que nosotros. Cuando el futuro llega más rápido de lo que la gobernanza puede seguir el ritmo, no esperas a que alguien más defina las reglas. Ayudas a construirlas.

La pregunta de "¿Quién gobierna a los agentes?" no es filosófica. Es operativa, técnica y, sobre todo, urgente. Porque la respuesta no puede ser "quien los construye".

La respuesta debe ser: todos nosotros, a través de una gobernanza transparente y de código abierto que garantice que el Internet de los Agentes siga siendo seguro, justo, interoperable y confiable.

Los agentes de IA redefinirán el software, el comercio y la experiencia del cliente. Nuestra responsabilidad es asegurar que no superen nuestras barreras de protección, nuestra ética o nuestra responsabilidad colectiva.