La compañía impulsa un sistema de seguridad para agentes autónomos respaldado por más de cien empresas, entre ellas Microsoft y Anthropic. OpenAI, Google, Amazon y Meta no figuran entre los firmantes.
Nvidia da un paso para controlar los riesgos de la inteligencia artificial
La expansión de los agentes autónomos de inteligencia artificial ha abierto un nuevo frente en el sector tecnológico: cómo impedir que estos sistemas realicen acciones no autorizadas o se salten las instrucciones que reciben.
En medio de este debate, Nvidia ha presentado Open Agent Safety Platform, una plataforma diseñada para limitar y supervisar las acciones de los agentes de IA. La propuesta combina herramientas de software con mecanismos de vigilancia desde el hardware para detectar comportamientos que puedan incumplir las reglas establecidas.
La iniciativa cuenta con el respaldo de más de cien empresas, entre ellas Microsoft, Anthropic, Accenture y JPMorgan. El proyecto pretende establecer mecanismos de protección para los agentes autónomos, cada vez más utilizados para ejecutar tareas sin intervención humana constante.
El anuncio llega después de varias polémicas relacionadas con los riesgos de la inteligencia artificial y de informaciones sobre agentes que habrían accedido a bases de datos de organismos públicos sin autorización.
La propuesta de Nvidia busca responder a una cuestión central: cómo permitir que los agentes realicen tareas complejas sin perder el control sobre sus acciones.
OpenShield y Sentry: las dos barreras de seguridad de Nvidia
La plataforma de Nvidia se apoya en dos herramientas principales: OpenShield y Sentry. Ambas cumplen funciones diferentes, pero complementarias, para limitar la actividad de los agentes autónomos.
OpenShield establece el espacio operativo en el que puede trabajar el agente. Su función es delimitar las acciones que tiene permitidas y restringir su actividad a las condiciones previamente definidas.
Por su parte, Sentry actúa como un mecanismo de vigilancia externo. Supervisa el comportamiento del agente y puede aislarlo si detecta que intenta incumplir las reglas establecidas.
La combinación de ambos sistemas pretende crear una doble protección: una primera barrera que limita las acciones autorizadas y otra que vigila al agente desde fuera.
Según la explicación de Nvidia, el sistema puede intervenir en cuestión de milisegundos. La rapidez de respuesta es especialmente relevante en entornos donde los agentes ejecutan tareas de forma automatizada y pueden realizar varias operaciones consecutivas.
La compañía plantea así un modelo en el que la seguridad no depende únicamente de las instrucciones que recibe la inteligencia artificial, sino también de mecanismos externos capaces de restringir su comportamiento.
Más de cien empresas respaldan la iniciativa
La plataforma ha recibido el apoyo de más de cien compañías y organizaciones tecnológicas y financieras. Entre las firmas citadas por Nvidia se encuentran Microsoft, Anthropic, Accenture y JPMorgan.
También participan empresas vinculadas a la ciberseguridad y al desarrollo de infraestructuras tecnológicas, como CrowdStrike y Dell Technologies.
El respaldo de estas compañías refleja el interés del sector por establecer mecanismos comunes para controlar los agentes autónomos. A medida que estas herramientas asumen tareas más complejas, las empresas necesitan sistemas que permitan supervisar sus operaciones y limitar los accesos.
Sin embargo, el listado de colaboradores también ha llamado la atención por algunas ausencias destacadas.
OpenAI, Google, Amazon y Meta no aparecen entre los firmantes
Una de las cuestiones que más destaca del anuncio es que OpenAI no figura entre las empresas que respaldan públicamente la iniciativa. Tampoco aparecen en la lista Google, Amazon y Meta.
La ausencia de OpenAI resulta especialmente llamativa porque su consejero delegado, Sam Altman, había reclamado días antes una mayor cooperación internacional para mantener la inteligencia artificial bajo control humano.
El 23 de septiembre, Altman intervino ante el Consejo de Seguridad de Naciones Unidas y advirtió sobre los riesgos de perder el control del futuro de esta tecnología.
No obstante, que una empresa no figure entre los firmantes no significa necesariamente que rechace la plataforma. La ausencia en la lista no permite determinar por sí sola su posición sobre el proyecto.
Además, Nvidia ha indicado que Open Agent Safety Platform admite Codex, el sistema de OpenAI. Esto muestra que la plataforma puede utilizarse con esa tecnología, aunque no implica que OpenAI participe formalmente en la iniciativa.
La diferencia entre compatibilidad técnica y respaldo institucional es importante para interpretar el alcance del anuncio.
Jensen Huang defiende que la seguridad es esencial para la confianza
El fundador y director ejecutivo de Nvidia, Jensen Huang, ha defendido que la seguridad debe formar parte del desarrollo de la inteligencia artificial.
«La confianza y la innovación no están reñidas», afirmó Huang en una publicación en X. El empresario también sostuvo que la seguridad es la forma de ganarse la confianza de los usuarios y de las empresas.
Su planteamiento parte de que la inteligencia artificial solo podrá desarrollar todo su potencial si las personas confían en que se construye y utiliza de forma responsable.
Huang también se ha mostrado crítico con los mensajes que presentan escenarios catastróficos sobre el futuro de la IA. En semanas anteriores, cuestionó las advertencias de algunos expertos y las propuestas de limitar temporalmente la investigación de modelos más avanzados.
Entre ellas se encuentra la postura defendida por Dario Amodei, consejero delegado de Anthropic, sobre la necesidad de reforzar las medidas de seguridad y regulación.
El debate refleja dos enfoques dentro del sector: quienes priorizan la prevención mediante límites y controles más estrictos y quienes defienden que el desarrollo tecnológico debe avanzar acompañado de mecanismos de seguridad.
La industria tecnológica respalda los controles, aunque persisten las dudas
El anuncio de Nvidia ha generado reacciones favorables entre distintos representantes del sector tecnológico y financiero.
Bill Gurley, inversor de Silicon Valley, valoró la iniciativa como un ejemplo de cómo las empresas pueden abordar los problemas de seguridad. También criticó a quienes, en su opinión, contribuyen a extender el miedo sobre la inteligencia artificial.
Por su parte, Christian Catalini, economista e investigador del Instituto Tecnológico de Massachusetts (MIT), defendió la importancia de mejorar la medición, la supervisión y la aplicación de mecanismos de seguridad.
Su respuesta pone el acento en la necesidad de desarrollar herramientas concretas para controlar los sistemas, en lugar de centrar el debate exclusivamente en escenarios extremos sobre el futuro de la humanidad.
Desde el ámbito de la ciberseguridad, el fundador de CrowdStrike también elogió el liderazgo de Nvidia en la protección de los agentes de inteligencia artificial.
Michael Dell, fundador de Dell Technologies, comparó los controles digitales con las medidas de seguridad que se aplican en una empresa. Según su planteamiento, no tendría sentido permitir que una persona accediera sin restricciones a todos los sistemas de una compañía; los agentes digitales también necesitan límites y supervisión.
Estas reacciones muestran el respaldo que ha recibido la idea de reforzar los controles, aunque no eliminan las preguntas sobre la eficacia real de las herramientas.
Las barreras de seguridad no resuelven todos los problemas de la IA
No todas las valoraciones han sido completamente favorables. Un antiguo directivo de Qualcomm considera que la plataforma de Nvidia es una noticia positiva, pero advierte de que contener los riesgos no soluciona la falta de fiabilidad de los agentes.
La distinción es relevante. Un sistema puede limitar las acciones que tiene permitido realizar y, aun así, cometer errores al ejecutar una tarea autorizada.
Por ejemplo, un agente podría respetar sus permisos y, pese a ello, ofrecer información incorrecta o completar de forma inadecuada una operación. Los mecanismos de supervisión no garantizan por sí solos que las respuestas o decisiones del sistema sean fiables.
Por tanto, la seguridad operativa y la fiabilidad son dos desafíos relacionados, pero diferentes. La plataforma de Nvidia se centra en establecer límites y detectar posibles incumplimientos, mientras que la calidad de las decisiones de los agentes requiere otras medidas.
El debate sobre la inteligencia artificial seguirá incluyendo cuestiones como la supervisión humana, la transparencia, la responsabilidad ante los errores y la capacidad de los sistemas para actuar de manera previsible.
Nvidia amplía su influencia más allá de los procesadores
El lanzamiento de Open Agent Safety Platform también tiene una dimensión empresarial. Nvidia es uno de los principales proveedores de procesadores utilizados para desarrollar y ejecutar sistemas de inteligencia artificial.
Con esta iniciativa, la compañía amplía su presencia en un ámbito que va más allá del hardware: la seguridad de los agentes autónomos.
Si la plataforma consigue una adopción amplia, Nvidia podría desempeñar un papel relevante en la definición de los mecanismos que utilizan las empresas para supervisar sus agentes digitales.
El respaldo de compañías de distintos sectores supone un punto de partida para esa estrategia. Sin embargo, la ausencia de algunos de los principales actores del mercado muestra que todavía no existe una participación universal en la iniciativa.
La expansión de los agentes autónomos plantea desafíos técnicos y empresariales que afectan a fabricantes de procesadores, desarrolladores de modelos y organizaciones que incorporan estas herramientas a sus operaciones.
El control humano, en el centro del debate sobre los agentes autónomos
La propuesta de Nvidia llega en un momento en el que la industria busca fórmulas para aprovechar las capacidades de los agentes sin renunciar a la supervisión.
OpenShield y Sentry representan una apuesta por combinar restricciones previas y vigilancia externa. Su objetivo es reducir el margen de actuación de los sistemas cuando intentan operar fuera de las condiciones autorizadas.
La plataforma cuenta con el respaldo de más de cien organizaciones, pero su presentación no demuestra por sí sola que todos los riesgos de los agentes autónomos estén resueltos. La eficacia de estos mecanismos y su aplicación en entornos reales serán aspectos esenciales para valorar su alcance.
La iniciativa vuelve a situar una cuestión fundamental en el desarrollo de la inteligencia artificial: cómo aprovechar la autonomía de las máquinas sin renunciar al control humano.
Ahora mismo no se pueden mostrar productos de esta tienda.