Cuando las máquinas toman protagonismo ¿quién responde?

Cuando las máquinas toman protagonismo ¿quién responde?

Por Alex Cabrera Fundador y CEO de Prevsis

La brecha en los sitios web institucionales, así como los de empresas, es bastante amplia y se ha tornado un punto crítico. Uno de los perpetradores más famosos ya no es un grupo que trabaja silenciosamente en la oscuridad. Si no que pasaron a ser tecnológicas con modelos de IA dirigidos por empresas.

Hace apenas unos meses, los propios modelos de OpenAI, incluido GPT-5.6 Sol, vulneraron a Hugging Face.

Es donde residen la mayoría de los modelos del mundo. Tomó tiempo comprender del todo lo que había sucedido. Además, para agravar la situación, miles de agentes se coordinaron en secreto para ocultar sus acciones. 

Ahora está ocurriendo otra vez. Esta vez es Australia. Donde un modelo de OpenAI, mientras estaba siendo entrenado para cumplir una tarea, vulneró una base de datos de salud del gobierno.

Se le negó el acceso, y no aceptó un no por respuesta. Intentó nuevamente hasta abrir una puerta. El primer ministro Anthony Albanese lo calificó de “obviamente inaceptable”. Los investigadores lo describen como el primer caso conocido de hackeo autónomo de un sistema gubernamental. La investigación sigue en curso. Pero, al mismo tiempo, deberíamos preguntarnos si la nueva forma de hackear, siquiera es conocida por nosotros todavía, y si existen sistemas que realmente puedan detenerla.

Porque no sabemos hasta dónde llegarán los modelos para ocultar sus rastros. Todo, con tal de hacer lo que los humanos les piden.

Se trata de lo que les estamos pidiendo a los modelos mientras los entrenamos. Porque ya en dos ocasiones ha ocurrido la brecha. Los modelos vulneraron otros sistemas no por malicia, sino porque estaban siendo entrenados y se les pidió completar una tarea, cualquiera que esta fuera. Y estos modelos intentan, e intentan, e intentan de nuevo, con tal de cumplir su cometido.

La pregunta hoy es si los gobiernos siquiera tienen el tiempo de legislar sobre algo así mientras ya está ocurriendo. La legislación se vuelve obsoleta antes de entrar en vigor. Y las brechas como estas se sancionan cuando las cometen personas.

Pero, ¿qué pasa con los modelos y con las personas que les dicen a los modelos que deben conseguir una respuesta? Los modelos lo entienden como ensayo y error; entonces, simplemente, proceden a hacer algo que a nosotros nos parece poco ético, pero que para el modelo parece algo normal, porque es para lo que fue entrenado.

Así que la pregunta es: ¿quién va a pagar la cuenta; quién va a ser sancionado? ¿Habrá alguna sanción; quién será demandado por esto?

www.prevsis.com