Sin pega y sin crédito: ¿quién responde cuando el algoritmo te dice que no?

Un currículum descartado antes de una entrevista o una evaluación financiera basada en datos equivocados.

Las decisiones automatizadas pueden cerrar oportunidades sin explicar por qué. Cristina Fritz, experta en tecnología, plantea cómo detectar estos errores. Y con ello, evitar que “lo decidió el sistema” se convierta en una excusa.

Postulas a un trabajo y quedas fuera sin hablar con nadie.

Solicitas un crédito y recibes un rechazo que no entiendes. Detrás de ambas situaciones puede existir una decisión automatizada. Con el riesgo de que un error se convierta en una barrera para conseguir trabajo o financiamiento. Pero ¿qué ocurre cuando el sistema utiliza información incorrecta o aplica un criterio discriminatorio? ¿Quién explica el rechazo y quién puede corregirlo?

“‘Lo decidió el sistema’ no puede convertirse en la nueva forma de lavarse las manos. Si una empresa automatiza una decisión que afecta las oportunidades de una persona. Necesita poder explicar qué información utilizó, cómo llegó a ese resultado y quién puede revisarlo”, plantea Cristina Fritz. Es cofundadora de Digital eXp, consultora especializada en preparar la arquitectura tecnológica para la implementación de agentes de IA en las empresas.

En el empleo, el problema va más allá de buscar palabras clave en un currículum.

Una investigación publicada en 2024 en la Revista Chilena de Derecho y Tecnología es clara. Es de los académicos Alberto Coddou y Roberto Padilla.

Analiza cómo el diseño y la implementación de procesos automatizados de reclutamiento pueden generar discriminación. Además de dificultar que los postulantes la detecten o cuestionen.

“Un filtro mal diseñado puede confundir una trayectoria distinta con una falta de capacidad. Si nadie revisa a quienes quedan fuera, la empresa puede estar descartando talento sin siquiera advertirlo. Automatizar un criterio no lo vuelve justo por defecto”, sostiene Fritz.

En el ámbito financiero, la calidad de la información también está bajo revisión. El 21 de octubre, la Comisión para el Mercado Financiero abrió una consulta para ajustar las normas del Registro de Deuda Consolidada, incluyendo la gestión de solicitudes de actualización, rectificación, complementación y cancelación. El proceso recibe comentarios hasta el 18 de noviembre. Aunque no demuestra errores generalizados, abre una discusión sobre cómo se gestionan y corrigen estos antecedentes.

Desde el punto de vista tecnológico, corregir un dato en su origen puede resultar insuficiente si los sistemas que lo utilizan siguen trabajando con información desactualizada o aislada. Así, una persona podría continuar siendo evaluada con información que ya fue rectificada.

“No basta con decir ‘ya corregimos su dato’ si el sistema que evalúa a esa persona sigue usando la versión anterior. La corrección tiene que llegar a los procesos que consumen esa información. De lo contrario, el trámite termina, pero el problema puede continuar”, explica la cofundadora.

Para abordar este riesgo, Digital eXp propone conectar las fuentes de información.

Esto, para que las rectificaciones se reflejen en los sistemas que las utilizan. Además de registrar los antecedentes y criterios que originan cada resultado. Junto con habilitar una revisión humana con capacidad de modificarlo.

En reclutamiento, plantea probar los filtros con perfiles ficticios para detectar si descartan candidatos idóneos por condiciones ajenas a los requisitos del cargo.

“Desde nuestra experiencia, el diseño de la arquitectura tecnológica y el modelo de datos son la base para implementar procesos automatizados con IA. Actualmente, estamos trabajando con las empresas para integrar esos sistemas y establecer controles para detectar el error, corregir la información y volver a evaluar. La persona que recibe el reclamo tiene que poder hacer algo más que leer lo que aparece en la pantalla”, señala Fritz.

La ejecutiva plantea que el debate debe llegar a quienes deciden implementar estas herramientas y se benefician de su eficiencia: “Si una empresa quiere ahorrar tiempo y costos automatizando decisiones, también tiene que hacerse cargo cuando se equivoca. Porque el algoritmo no pierde la oportunidad de trabajo ni se queda sin financiamiento: la persona, sí. Y la empresa no puede desaparecer detrás de una pantalla”.