THE SECRET BOX OF ARTIFICIAL INTELLIGENCE: BIAS, RACISM AND ALGORITHMIC DISCRIMINATION
DOI:
https://doi.org/10.14210/nej.v31n2.p235-259Keywords:
Law, Artificial Intelligence, Discrimination, RacismAbstract
Contextualization: Artificial Intelligence increasingly affects people's lives. Under an apparent neutrality, their systems are capable of producing biased and stereotyped results, apt to generate racism and discrimination.
Objectives: This research aims to highlight the bias, racism and algorithmic discrimination produced by Artificial Intelligence and to indicate ways for the Law to safeguard equality.
Method: It is proposed, as a method, the bibliographic survey in the specialized literature, the documentary analysis of national and international legal texts, a research in an intelligent system to identify biases, and the analysis of their answers.
Results: As a result, the existence of bias was confirmed, potentially capable of generating racism and algorithmic discrimination in an Artificial Intelligence system and guidelines were pointed out to safeguard equality, particularly with the integration of ethical principles, with sufficient normative density, to enable the development and use of a reliable, safe, fair and egalitarian Artificial Intelligence.
Downloads
References
AUGUSTA, Nísia F. B. Direito das Mulheres e injustiça dos homens. São Paulo: Cortez Editores, 1989 (original de 1832)
BARROS, Alice M. de. Curso de Direito do Trabalho. 6. ed. São Paulo: LTr, 2010.
BRANCO, Paulo G. G. Aspectos de teoria geral dos direitos fundamentais. In: MENDES, Gilmar et al. Hermenêutica constitucional e direitos fundamentais. Brasília: Brasília Jurídica, 2000.
BRASIL. Presidência da República. Lei n. 12.965/2014: estabelece princípios, garantias, direitos e deveres para o uso da Internet no Brasil. Disponível em: https://www.planalto.gov.br/ccivil_03/_Ato2011-2014/2014/Lei/L12965.htm. Acesso em: 1º maio 2024.
BRASIL. Presidência da República. Lei n. 13.709/2018: Lei Geral de Proteção de Dados Pessoais. Disponível em: https://www.planalto.gov.br/ccivil_03/_ato2015-2018/2018/lei/l13709.htm. Acesso em: 1º maio 2024.
CAMBI, Eduardo. Neoconstitucionalismo e Neoprocessualismo: direitos fundamentais, políticas públicas e protagonismo judiciário. São Paulo: Revista dos Tribunais, 2009.
CAMPOI, Isabela C. O livro “O Direito das mulheres e a injustiça dos homens” de Nísia Floresta: literatura, mulheres e o Brasil do século XIX. Revista História, São Paulo, v. 30, n. 2, 2011.
CASTRO, Catarina S. e. Direito à autodeterminação informativa e os novos desafios gerados pelo direito à liberdade e à segurança no pós 11 de setembro. Coimbra, s/d. Disponível em: http://www.estig.ipbeja.pt/~ac_direito/CatarinaCastro.pdf. Acesso em: 1º maio. 2024.
CHEHAB, Gustavo C. O princípio da não discriminação e o ônus da prova. Revista do Tribunal Superior do Trabalho. São Paulo, v. 76, n. 3, jul./set. 2010.
CHEHAB, Gustavo C. A dificuldade probatória de práticas antidiscriminatórias e a ameaça ao efetivo e adequado acesso à Justiça. Revista Juris Poiesis. Rio de Janeiro, v. 25, n. 37, 2022.
CORREIA, Pedro; GARCIA, Bruno C. Inteligência Artificial e Políticas Públicas. In: PEDRO, Ricardo; CALIENDO, Paulo (Orgs.). Inteligência Artificial no contexto do Direito Público: Portugal e Brasil. Coimbra: Almedina, 2023.
CORTE INTERAMERICANA DE DIREITOS HUMANOS. Informe n. 66/2006. Caso n. 12.001: Simone André Diniz vs. Brasil. San José, 21 out. 2006. Disponível em: http://www.cidh.org/annualrep/2006port/brasil.12001port.htm. Acesso em: 4 maio 2024.
CORTEZ, Paulo. Inteligência Artificial e Business Analytics. Boletim SPE. Lisboa, n. 30, out. 2021.
COSTA, Inês da S. A proteção da pessoa na era dos big data: a opacidade do algoritmo e as decisões automatizadas. Revista Electrónica de Direito. Porto, v. 24, n. 1, fev. 2021.
CRUZ, Álvaro R. de S. Direito à diferença: as ações afirmativas como mecanismo de inclusão social de mulheres, negros, homossexuais e pessoas portadoras de deficiência. 3. ed. Belo Horizonte: Arraes Editores, 2009.
DE LA CUEVA, Pablo Lucas Murillo. El derecho a la autodeterminación informativa y la protección de los datos personales. Azpilcueta: cuadernos de Derecho. Donostia, n. 20, 2008.
DUARTE, Alan; NEGÓCIO, Ramon de V. Todos são iguais perante o algoritmo? Uma resposta cultural do Direito à discriminação algorítmica. Revista Direito Público. Brasília, v. 18, n. 100, out./dez. 2021.
DUQUE, João M. Utopias neognósticas do pós-humano na cibercultura para uma leitura filosófica-teológica. Perspectiva teológica. Belo Horizonte, v. 48, n. 1, jan./abr. 2016.
ESTADOS UNIDOS. The White House. Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence. Washington, 30 out. 2023. Disponível em: https://www.whitehouse.gov/briefing-room/presidential-actions/2023/10/30/executive-order-on-the-safe-secure-and-trustworthy-development-and-use-of-artificial-intelligence/. Acesso em: 2 maio 2024.
FUENTE, Eloy B. de la. La revolución antropológica: ¿más allá del humanismo…? Burgos: Editorial Fonte, 2020.
GAMARRA, Adriana R. M. La protección de datos personales como núcleo del derecho fundamental a la autodeterminación informativa: una mirada desde el derecho español y europeo. In: PARAGUAI. Corte Suprema de Justicia. Protección de datos personales. Assunção: CSJ, 2010.
GONZÁLEZ, Ariel et al. Ethics in Artificial Intelligence: an approach to Cybersecutity. Inteligencia Artificial. Valencia, v. 27, n. 73, 2024.
HÄBERLE, Peter. Pluralismo y constitución: estudios de la teoría constitucional de la sociedad abierta. Madrid: Tecnos, 2002.
HASSAN, Ihab. Promethes as performer: toward a posthumanist culture? The Georgia Review. Atlanta, v. 31, n. 4, 1977.
HEIKKILÄ, Melissa. These new tools let you see for yourself how biased AI image models are. MIT Technology Review. mar. 2023. Disponível em: https://www.technologyreview.com/2023/03/22/1070167/these-news-tool-let-you-see-for-yourself-how-biased-ai-image-models-are/. Acesso em: 11 maio. 2024.
LA BARRE, François P. de. De l´egalité des deux sexes. Paris: 1673.
LEAL, Mônia C. H.; PAULO, Lucas M. Algoritmos discriminatórios e jurisdição constitucional: os riscos jurídicos e sociais do impacto dos vieses nas plataformas de Inteligência Artificial de amplo acesso. Revista de Direitos e Garantias Fundamentais. Vitória, v. 24, n. 3, set./dez. 2023.
LÉVY, Pierre. Cibercultura. São Paulo: Editora 34, 1999.
LINS, Liana C. A judiciabilidade dos direitos fundamentais sociais: uma avaliação crítica do tripé denegatório de sua exigibilidade e da concretização constitucional seletiva. Revista de Informação Legislativa. Brasília, a. 46, n. 189, abr./jun. 2009.
MACKINNON, Catharine A. Toward a feminist theory of the State. Cambridge: Harvard University Press, 1989.
MACKINNON, Catharine A. Substantive equality: a perspective. Minnesota Law Review. Minneapolis, v. 96, 2011.
MANNING, Christopher. Artificial Intelligence Definitions: human-centered Artificial Intelligence of Stanford University. Stanford, 2020. Disponível em: https://hai.stanford.edu/sites/default/files/2020-09/AI-Definitions-HAI.pdf. Acesso em: 29 abr. 2024.
MENDES, Laura S.; MATTIUZZO, Marcela. Discriminação algorítmica: conceito, fundamento legal e tipologia. Revista Direito Público. Porto Alegre, v. 16, n. 90, nov./dez. 2019.
MESSA, Ana F. Reflexões éticas da Inteligência Artificial. In: SILVA, Eva S. M. da; FREITAS, Pedro M. (Coords.). Inteligência Artificial e robótica: desafios para o Direito do século XXI. Coimbra: Gestlegal, 2022.
MICROSOFT. Copilot AI. Disponível em: https://copilot.microsoft.com/images/create. Acesso em: 11 maio 2024.
MORAIS, José L. B.; MAFRA, Lígia K. Inteligência artificial em decisões judiciais: opacidade versus garantias processuais. Novos Estudos Jurídicos. Itajaí, v. 28, n. 3, 2023.
MOREIRA, Adilson. Racismo recreativo. São Paulo: Pólen, 2019.
MÜLLER, Friedrich. Métodos de trabalho do direito constitucional. 3. ed. Rio de Janeiro: Renovar, 2005.
OLIVEIRA, Inês; DIAS, José L. Inteligência Artificial e proteção de dados. In: PEDRO, Ricardo; CALIENDO, Paulo (Orgs.). Inteligência Artificial no contexto do Direito Público: Portugal e Brasil. Coimbra: Almedina, 2023.
OLIVEIRA, Viviane. Inteligência Artificial: como ampliar sua adoção. Revista Inteligência competitiva. Guarulhos, v. 8, n. 3, jul./set. 2018.
ORGANIZAÇÃO DAS NAÇÕES UNIDAS. Agenda 2030: objetivos de desenvolvimento sustentável. Disponível em: https://brasil.un.org/pt-br/. 2015. Acesso em: 10 maio 2024.
PEDRO, Rute. Breves reflexões sobre a reparação de danos causados na prestação de cuidados de saúde com utilização de robots. In: SILVA, Eva S. M. da; FREITAS, Pedro M. (Coords.). Inteligência Artificial e robótica: desafios para o Direito do século XXI. Coimbra: Gestlegal, 2022.
PEREIRA, Fernando S. A prova resultante de “software de aprendizagem automática”. In: MAGALHÃES, Maria R.; MOREIRA, Luísa E.; ROCHA, Tiago M. (Orgs.). Direito e Inteligência Artificial. Coimbra: Almedina, 2023.
PEREIRA, Rosângela S. Abordagem teórica sobre a questão de gênero e desenvolvimento rural: dos projetos assistenciais ao planejamento de gênero. In: STADUTO, Jefferson A. R.; SOUZA, Marcelino de, NASCIMENTO. Carlos A. do. Desenvolvimento Rural e Gênero: abordagens analíticas, estratégias e políticas públicas. Porto Alegre: UFRGS, 2015.
PORTUGAL. Diário da República. Lei n. 27/2021: Carta Portuguesa de Direitos Humanos na Era Digital. 17 maio 2021. Disponível em: https://diariodarepublica.pt/dr/legislacao-consolidada/lei/2021-164870244. Acesso em: 1º maio 2024.
RAMOS, Anatália S. Martins. Inteligência Artificial Generativa baseada em grandes modelos de linguagem: ferramentas de uso na pesquisa acadêmica. Natal, 2023. Disponível em: https://doi.org/10.1590/SciELOPreprints.6105. Acesso em: 24 maio 2024.
RENAISSANSE FOUNDATION. Rome call for AI Ethics. Vatican: Pontifical Academy for Life, 2020.
RIOS, Roger R. Direito da antidiscriminação: discriminação direta, indireta e ações afirmativas. Porto Alegre: Livraria do Advogado, 2008.
RUSSELL, Stuart; NORVIG, Peter. Artificial Intelligence: a modern approach. 4. ed., London: Pearson. 2021.
SANCHES, Vanessa K. de C. Divisão sexual do trabalho: a repetição dos paradigmas na era da revolução digital. In: ASSOCIAÇÃO NACIONAL DOS MAGISTRADOS DA JUSTIÇA DO TRABALHO. Comissão Anamatra mulheres. Ações institucionalizadas: questões de gênero e discriminação no âmbito da magistratura e do mercado de trabalho. Brasília: Anamatra, 2021.
SCHAUER, Frederick. Profiles, Probabilities, and Stereotypes. Cambridge: Harvard University Press, 2006.
SIMÕES, Marcelo G.; SHAW, Ian S. Controle e modelagem Fuzzy. 2. ed. São Paulo: Blucher/Fapesp, 2014.
SILVA, Adriana M.; RODRIGUES, Joana R. A perspectiva de gênero como ferramenta à serviço da efetivação da igualdade no âmbito da atuação jurisdicional: In: LA CRUZ, Maíra G. de; HERMES, Manuela; VALE, Silvia T. do (Orgs). Direito antidiscriminatório do trabalho: aspectos materiais e processuais. Salvador: Escola Judicial/TRT 5ª Região, 2021.
SILVA, Jorge P. da S. Direito fundamentais para o universo digital. Lisboa: Fundação Francisco Manuel dos Santos, 2024.
SILVA, Tarcízio. Racismo algorítmico em plataformas digitais: microagressões e discriminação em código. In: SILVA, Tarcízio (Org.). Comunidades, algoritmos e ativismos digitais: olhares afrodiaspóricos. São Paulo: Litera Rua, 2020.
SCHWAB, Klaus. The Fourth Industrial Revolution. Genebra: Fórum Econômico Social, 2016.
TATEOKI, Victor A. O uso da Inteligência Artificial no processo seletivo para contratação de empregados e suas repercussões no Direito do Trabalho. In: ARAÚJO, Adriana R. et al. (Coords.) O uso de dados pessoais e de Inteligência Artificial na relação de trabalho: proteção, discriminação, violência e assédio digital. Brasília: MPT, 2022.
TESSARINI JUNIOR, Geraldo; SALTORATO, Patrícia. Impactos da Revolução 4.0 na Organização do trabalho: uma revisão sistemática da literatura. Revista Científica Eletrônica de Engenharia de Produção: produção online. Florianópolis, v. 18, n. 2, 2018.
UNIÃO EUROPEIA. Comissão Europeia. Grupo de peritos de alto nível sobre a inteligência artificial. Orientações éticas para uma IA de confiança. Bruxelas, 2019. Disponível em: https://op.europa.eu/en/publication-detail/-/publication/d3988569-0434-11ea-8c1f-01aa75ed71a1. Acesso em: 1º maio 2024.
UNIÃO EUROPEIA. Parlamento Europeu. Declaração Europeia sobre os direitos e princípios para a década digital. Bruxelas, 2022. Disponível em: https://eur-lex.europa.eu/legal-content/PT/TXT/HTML/?uri=CELEX:32023C0123(01). Acesso em: 24 fev. 2024.
UNIÃO EUROPEIA. Parlamento Europeu. Regulamento de Inteligência Artificial: texto aprovado. Bruxelas, 2024. Disponível em: https://www.europarl.europa.eu/doceo/document/TA-9-2024-0138_PT.html. Acesso em: 10 maio 2024.
VALE, André Rufino do. Eficácia dos direitos fundamentais nas relações privadas. Porto Alegre: Sérgio Antonio Fabris Editor, 2004.
WOLLSTONECRAFT, Mary G. A Vindication of the rights of woman. Londres: 1792.
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2026 Gustavo Carvalho Chehab
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
Na qualidade de autor(es) da colaboração, original e inédita, sobre o qual me(nos) responsabilizo(amos) civil e penalmente pelo seu conteúdo, após ter lido as diretrizes para autores, concordado(amos) plenamente com as Políticas Editorias da Revista Novos Estudos Jurídicos - NEJ e autorizo(amos) a publicação na rede mundial de computadores (Internet), permitindo, também, que sua linguagem possa ser reformulada, caso seja necessário, sem que me(nos) seja devido qualquer pagamento a título de direitos autorais, podendo qualquer interessado acessá-lo e/ou reproduzi-lo mediante download, desde que a reprodução e/ou publicação obedeçam as normas da ABNT e tenham a finalidade exclusiva de uso por quem a consulta a título de divulgação da produção acadêmico científico.
