Los avances tecnológicos en los últimos siglos han permitido que los seres humanos aumentemos nuestra productividad, así como nuestra esperanza y condiciones de vida. Sin embargo, dado el desarrollo exponencial de sistemas inteligentes y la posibilidad de desarrollar una inteligencia artificial general (IAG), esta tecnología representa nuevos desafíos éticos y riesgos para la sociedad que se deben considerar.

Dada la naturaleza compleja de la IA y el potencial para que actúe de manera inesperada puede ser complicado desarrollar relaciones de confianza, requerido para el avance y la adopción de estos sistemas.

Se ha discutido sobre los problemas de desplazamiento laboral en los mercados de servicios y sobre los riesgos éticos en la toma de decisiones sesgadas. No obstante, las crecientes capacidades de la tecnología en la toma de decisiones hacen cuestionar si podemos confiar en las decisiones tomadas por los sistemas y si en última instancia beneficiarán a la humanidad.

Los sistemas inteligentes deben tener objetivos claros y acotados, ya que los riesgos asociados con objetivos desalineados son demasiado significativos para ignorar, un problema que surge al establecer un objetivo particular es la sobreoptimización, un sistema de IA podría optimizar para una métrica en detrimento de otros factores no considerados, además objetivos sin restricciones adecuadas podrían llevar a los sistemas de IA a tomar decisiones que terminen perjudicando a los seres humanos.

El balance entre objetivos y restricciones se vuelve clave. Por ejemplo, un sistema para reducir el tráfico o para optimizar el tiempo de viaje de un vehículo autónomo puede tomar decisiones que pongan en peligro la vida de sus pasajeros u otros conductores o peatones, mientras que uno que se ha optimizado para seguridad, podría quedarse inmóvil para prevenir cualquier peligro.

La posibilidad de desarrollar una superinteligencia plantea cuestiones éticas fundamentales sobre el papel de la Inteligencia Artificial en la sociedad y destaca la necesidad de un marco más sólido para guiar el desarrollo y la implementación de sus sistemas.

La dificultad de establecer objetivos claros para los sistemas de IA se ve agravada por la posibilidad de que una IAG desarrolle objetivos propios que pueden no ser consistentes con los valores y objetivos humanos. En el peor de los casos, los objetivos desalineados podrían resultar en que los sistemas de IA se vuelvan en contra de los seres humanos.

Esta preocupación ha llevado a un llamado por parte de desarrolladores y expertos para detener temporalmente el desarrollo de sistemas de IA, resaltando la necesidad de tener un marco regulador a nivel institucional, que sea más sólido junto con directrices éticas que garanticen que los beneficios del desarrollo de la IA se materialicen sin sacrificar los valores e intereses humanos y facilitar así la formación de confianza en los sistemas.