Responsabilidade por viés algorítmico segundo a legislação holandesa e da UE

A responsabilidade por viés algorítmico é a responsabilidade legal que uma organização assume quando um sistema automatizado produz resultados discriminatórios. Nos Países Baixos, essa responsabilidade se baseia em três fundamentos que já se aplicam atualmente: a disposição geral sobre responsabilidade civil extracontratual do artigo 6:162 do Código Civil neerlandês, a legislação sobre igualdade de tratamento supervisionada pelo Instituto Neerlandês para os Direitos Humanos e as normas do RGPD sobre imparcialidade e tomada de decisões automatizada. A Lei da UE sobre IA acrescenta uma camada adicional, parte da qual já está em vigor e parte entrará em vigor ainda nesta década.

A consequência prática é direta. Uma empresa que implementa um filtro de recrutamento, um modelo de crédito ou uma pontuação de detecção de fraudes é responsável pelo que esse sistema faz, independentemente de ter desenvolvido o modelo ou não, e independentemente de alguém ter tido a intenção de obter esse resultado. Na legislação holandesa sobre discriminação, o que importa é o efeito de uma decisão, não a motivação por trás dela.

O que a responsabilidade por viés algorítmico realmente abrange

O viés algorítmico surge quando um sistema automatizado trata pessoas comparáveis ​​de forma diferente com base em critérios protegidos por lei ou em critérios que os substituem. Raramente se manifesta de forma explícita. Um modelo treinado com base em uma década de decisões da própria empresa reproduzirá qualquer padrão contido nessas decisões, e o fará de forma consistente, rápida e em todos os arquivos que analisar. Essa consistência é o que transforma uma falha técnica em uma vulnerabilidade legal: uma única decisão humana tendenciosa é um incidente, enquanto um modelo tendencioso configura uma política.

A responsabilidade decorre de três fontes distintas, e todas podem ser acionadas simultaneamente pela mesma decisão. A responsabilidade civil indeniza a pessoa que sofreu o prejuízo. A lei da igualdade de tratamento dá a essa pessoa o direito de recorrer ao Instituto Holandês de Direitos Humanos (College voor de Rechten van de Mens) ou ao tribunal civil, sendo o ônus da prova transferido para a organização assim que se presume a discriminação. A lei de proteção de dados confere à Autoridade Holandesa de Proteção de Dados (Autoriteit Persoonsgegevens) poderes de fiscalização que não dependem de qualquer ação individual.

Nada disso exige uma legislação específica para IA. As regras que regem esses casos foram escritas antes da existência da tecnologia e se aplicam a ela sem alterações.

Onde o viés entra em um sistema automatizado

O viés não é uma falha isolada que pode ser eliminada com um único teste. Ele se manifesta em pontos identificáveis ​​do ciclo de vida, e cada ponto corresponde a uma alegação diferente de negligência.

• Os dados de treinamento. Decisões históricas carregam consigo padrões históricos. Um modelo treinado com base nelas aprende esses padrões como a norma, em vez de um problema a ser corrigido.
• A escolha das variáveis. Uma característica aparentemente neutra pode estar intimamente relacionada a uma característica protegida. O código postal usado como substituto da etnia é o exemplo clássico, e produz discriminação indireta mesmo quando a característica protegida em si nunca foi registrada.
• A forma como a saída é utilizada. Um modelo que apresenta desempenho desigual entre grupos pode ser defensável como ferramenta de pesquisa, mas indefensável como único fundamento para rejeitar uma candidatura. A mesma pontuação, usada de forma diferente, produz um resultado jurídico diferente.
• A ausência de monitoramento. Um sistema que estava equilibrado no lançamento sofre deriva à medida que os dados ao seu redor mudam. A própria omissão em verificar isso constitui negligência em muitos casos.

A distinção que importa juridicamente é entre discriminação direta, onde um motivo protegido é usado abertamente, e discriminação indireta, onde um critério neutro desfavorece um grupo protegido. A discriminação indireta pode ser justificada se o objetivo for legítimo e os meios forem apropriados e necessários, mas essa justificativa precisa ser comprovada, e uma organização que não consegue explicar por que seu modelo utiliza uma determinada variável não conseguirá obtê-la.

A fundação holandesa: direito civil e direito da igualdade de tratamento

Em uma ação judicial por discriminação, dois ramos do direito holandês são fundamentais, cada um respondendo a questões diferentes. O direito da responsabilidade civil questiona se a organização agiu com negligência e qual o valor do prejuízo. Já o direito da igualdade de tratamento questiona se o resultado foi discriminatório, e o faz com um ônus da prova deliberadamente favorável ao demandante.

Implantação negligente como ato ilícito

O artigo 6:162 do Código Civil holandês responsabiliza uma pessoa por um ato ilícito (onrechtmatige daad) que lhe seja imputável e que cause danos. A implementação de um sistema automatizado que a organização não testou, validou ou monitorou pode constituir conduta ilícita por si só, independentemente do resultado discriminatório. O demandante deve demonstrar o ato, a imputação, o dano e o nexo causal entre eles; o padrão aplicado é o que uma organização cuidadosa na mesma situação deveria ter feito.

Nos casos em que o sistema foi fornecido por um fornecedor, a organização que o implementou não fica isenta dessa responsabilidade. Ela pode ter direito a uma indenização contratual contra o fornecedor, nos termos do artigo 6:74 do Código Civil, por defeito de execução, mas trata-se de uma ação distinta entre duas partes comerciais. Essa ação não responde à reclamação do requerente que teve seu pedido indeferido.

Lei da igualdade de tratamento e a inversão do ônus da prova

A Lei Geral sobre Discriminação Racial (Algemene wet gelijke behandeling) e as leis setoriais que a acompanham, incluindo a Lei de Discriminação por Idade (WGBL) e a Lei sobre Deficiência e Doenças Crônicas (WGBH/CZ), proíbem a discriminação direta e indireta por motivos protegidos. No âmbito do emprego, o artigo 7:646 do Código Civil acrescenta as disposições relativas ao gênero.

A regra processual é a que decide a maioria dos casos. Uma vez que o reclamante apresenta fatos que dão origem a uma presunção de discriminação, o ônus da prova se inverte: a organização deve então provar que não violou a proibição. Uma organização que não consegue demonstrar qual era o peso do seu modelo, com base em quais dados e com quais testes, não tem como se eximir desse ônus. É nesse ponto que a documentação inadequada deixa de ser um problema interno e se torna o motivo da perda da reclamação.

As queixas também podem ser apresentadas ao Instituto Holandês para os Direitos Humanos, cujas opiniões não são vinculativas, mas são amplamente seguidas e frequentemente utilizadas como prova em processos cíveis subsequentes.

O que o RGPD exige das decisões automatizadas

O RGPD rege os mesmos sistemas no que diz respeito à proteção de dados. O artigo 22.º confere a qualquer pessoa o direito de não ser sujeita a uma decisão baseada exclusivamente no tratamento automatizado, incluindo a definição de perfis, quando essa decisão produza efeitos jurídicos ou a afete significativamente de forma semelhante. As decisões relativas a recrutamento, crédito e benefícios enquadram-se normalmente nessa descrição.

A palavra que carrega o peso é "exclusivamente" . A intervenção humana só leva uma decisão para fora do âmbito do artigo 22 se for significativa: uma pessoa com autoridade e informação para chegar a uma conclusão diferente, não um operador que confirma tudo o que aparece na tela. A aprovação automática é tratada como tomada de decisão automatizada.

Duas outras obrigações aplicam-se independentemente do artigo 22.º. O princípio da equidade, previsto no artigo 5.º, n.º 1, alínea a), é um requisito autónomo que um modelo discriminatório viola por definição, e o artigo 35.º exige uma avaliação de impacto sobre a proteção de dados antes do tratamento de dados que possa resultar num elevado risco para os titulares dos dados, o que geralmente se verifica na criação sistemática de perfis de candidatos ou clientes. A multa máxima por infrações a estas disposições é fixada pelo artigo 83.º, n.º 5, do RGPD, sendo fixada no valor mais elevado entre vinte milhões de euros ou quatro por cento do volume de negócios anual mundial.

Nossa visão geral sobre privacidade de dados, GDPR, IA e big data detalha como essas obrigações interagem com o uso de dados em larga escala.

O que a Lei de IA já exige e o que entra em vigor mais tarde

O Regulamento (UE) 2024/1689, a Lei da IA, deixou de ser uma proposta. Entrou em vigor em 1 de agosto de 2024 e aplica-se por fases. Desde 2 de fevereiro de 2025, aplicam-se as proibições do artigo 5.º, juntamente com a obrigação, prevista no artigo 4.º, de garantir que o pessoal que trabalha com sistemas de IA tenha um nível adequado de literacia em IA. As obrigações relativas aos modelos de IA de uso geral aplicam-se desde 2 de agosto de 2025, assim como as disposições relativas à governação e às sanções.

O regime de alto risco é a parte que diz respeito mais diretamente ao viés, e também a parte que foi adiada. Os sistemas de IA listados no Anexo III, que incluem sistemas usados ​​para recrutamento e seleção, para decisões sobre promoção e demissão, para avaliação de solvência e para avaliação de risco em seguros, agora estarão sujeitos às obrigações de alto risco em 2 de dezembro de 2027. Os sistemas de alto risco que são componentes de segurança de produtos regulamentados pelo Anexo I entrarão em vigor em 2 de agosto de 2028.

Quando essas obrigações se tornam efetivas, elas codificam grande parte do que a boa prática já envolve: governança de dados voltada para conjuntos de dados representativos e livres de erros, documentação técnica, registro automático, transparência para as pessoas afetadas, supervisão humana integrada ao sistema em vez de adicionada posteriormente, e uma avaliação de conformidade antes que o sistema seja colocado no mercado ou em operação. Os responsáveis ​​pela implementação, e não apenas os fornecedores, têm suas próprias responsabilidades, incluindo manter registros e designar a supervisão a pessoas competentes.

Dois pontos são frequentemente deturpados. Os limites máximos das penalidades são escalonados, em vez de uniformes: até trinta e cinco milhões de euros ou sete por cento do faturamento mundial se aplicam à violação das práticas proibidas no artigo 5, enquanto o descumprimento das obrigações de alto risco acarreta um limite máximo inferior de quinze milhões de euros ou três por cento. Além disso, a proposta de Diretiva de Responsabilidade por IA, que teria facilitado o processo de comprovação para pessoas prejudicadas por sistemas de IA em toda a UE, foi retirada. Não existe um regime europeu harmonizado de responsabilidade por danos causados ​​por IA; uma ação judicial na Holanda é regida pela lei holandesa.

A implementação nacional ainda está em desenvolvimento. Os Países Baixos ainda não concluíram a lei de implementação que designa as suas autoridades de fiscalização de mercado ao abrigo do Regulamento, embora a Autoridade Holandesa para a Proteção de Dados e a Autoridade Holandesa para as Infraestruturas Digitais tenham assumido papéis de coordenação nos trabalhos preparatórios. Discutimos o quadro com mais detalhes no nosso guia sobre o aspeto jurídico da inteligência artificial e a Lei da IA ​​da UE.

Como se comparam as três estruturas

Os quadros regulamentares se sobrepõem em vez de competirem entre si. Uma candidatura rejeitada pode gerar uma ação cível, uma queixa ao Instituto, uma investigação regulatória e, oportunamente, uma violação do cumprimento da Lei de Inteligência Artificial, com base nos mesmos factos.

O que os casos holandeses estabeleceram

Dois episódios moldam a forma como os tribunais e reguladores holandeses abordam as decisões automatizadas, e ambos se referem à mesma falha: um sistema opaco aplicado a pessoas que não conseguiam entender como ele funcionava.

Em fevereiro de 2020, o Tribunal Distrital de Haia suspendeu o SyRI, o sistema de indicação de risco que permitia aos órgãos públicos combinar dados de diversas fontes para detectar fraudes fiscais e de benefícios sociais. O tribunal considerou que a legislação que sustentava o sistema não atendia ao critério de equilíbrio justo previsto no artigo 8.º da Convenção Europeia dos Direitos Humanos. O fator determinante não foi a utilização da análise de dados em si, mas a ausência de transparência e verificabilidade: nem o modelo de risco nem os indicadores foram divulgados, de modo que nem o cidadão afetado nem o tribunal puderam verificar a existência de efeitos discriminatórios. A lição para as organizações privadas é que um sistema inexplicável não pode ser defendido, pois cabe à entidade que o implementa o ônus de justificá-lo.

O escândalo dos benefícios de assistência infantil (toeslagenaffaire) ilustrou essa ideia por meio de suas consequências. A administração tributária utilizou um sistema automatizado de seleção de risco que interpretava indicadores como dupla nacionalidade como sinal de fraude, e dezenas de milhares de pais foram erroneamente classificados e processados ​​para restituição dos valores. A Autoridade Holandesa de Proteção de Dados considerou o processamento subjacente ilegal e discriminatório e impôs medidas coercitivas. Confirmou também o princípio mais importante neste caso: a alegação de que o sistema produziu o resultado não tem peso, pois a própria decisão de utilizar o sistema é o ato que está sendo julgado.

Onde a responsabilidade surge no uso comercial normal

A maioria das situações de exposição nunca chega a uma decisão judicial histórica. Ela surge em decisões operacionais comuns.

Um filtro de recrutamento treinado com base no histórico de contratações da própria organização aprenderá qualquer preferência contida nesse histórico e a aplicará a todos os candidatos subsequentes. Como as ferramentas de recrutamento se enquadram diretamente no Anexo III da Lei de Inteligência Artificial e, ao mesmo tempo, no artigo 22 do RGPD, elas atraem a atenção das três estruturas simultaneamente. Um modelo de crédito ou seguro que utiliza código postal, uma lacuna no histórico de emprego ou um indicador de caráter semelhante pode gerar discriminação indireta, mesmo quando o conjunto de dados não contém nenhuma característica protegida. Um sistema de gestão de força de trabalho que aloca turnos, monitora o desempenho ou influencia decisões de demissão se enquadra na mesma categoria, com a complicação adicional de que o conselho de trabalhadores pode ter o direito de consentir, nos termos da Lei dos Conselhos de Trabalhadores, antes da implementação de tal sistema.

Em todos os casos, a pergunta que um tribunal holandês faz é a mesma: o que a organização sabia sobre o comportamento do sistema, o que fez para descobrir e o que fez quando o padrão se tornou visível?

Fornecedor e implementador: quem responde por quê?

A compra de um sistema não transfere o risco. De acordo com a Lei de Inteligência Artificial, o fornecedor e o implementador têm responsabilidades distintas e, segundo o direito civil holandês, a pessoa prejudicada processa quem tomou a decisão que a afetou, que quase sempre é a organização responsável pela implementação.

O que os contratos podem fazer é alocar as consequências financeiras e garantir as informações necessárias para a defesa em caso de reclamação. Um contrato de aquisição que valha a pena ter especifica as métricas de desempenho e imparcialidade que o sistema deve atender, garante o acesso à documentação, aos resultados dos testes e aos registros, concede o direito de auditoria, exige que o fornecedor notifique alterações significativas no modelo e define como a responsabilidade e os custos de defesa serão compartilhados caso surja uma reclamação. O que os contratos não podem fazer é eliminar uma multa regulatória ou uma obrigação legal. Nosso artigo sobre quem é responsável por erros cometidos por inteligência artificial aborda essa alocação com mais detalhes.

Controlar o risco antes que uma reclamação seja feita.

A posição defensiva em uma alegação de preconceito é construída muito antes da própria alegação ser feita, e consiste quase inteiramente em registros. Como o ônus da prova se inverte uma vez estabelecida a presunção de discriminação, a organização que pode demonstrar o que testou, quando e o que fez com o resultado encontra-se em uma posição fundamentalmente diferente daquela que não pode.

Um programa viável possui quatro elementos. Teste antes da implementação, comparando as taxas de sucesso entre os grupos protegidos por lei e examinando os dados de treinamento e as variáveis ​​escolhidas como indicadores. Continue testando após a implementação, pois um modelo que estava equilibrado no lançamento não permanecerá assim. Atribua a uma pessoa ou comissão específica a autoridade para revisar os resultados e suspender um sistema, de modo que a decisão de mantê-lo em execução seja uma decisão tomada por alguém, e não uma decisão padrão sem responsabilidade. E registre tudo, incluindo as fontes de dados, a validação, as conclusões da auditoria e as medidas corretivas, em um formato que possa ser entregue a um órgão regulador ou apresentado em processos judiciais.

Além disso, mantenha a tomada de decisão humana genuinamente humana, quando aplicável o artigo 22; conclua a avaliação de impacto sobre a proteção de dados antes da entrada em operação do sistema, em vez de depois; verifique se o conselho de trabalhadores tem alguma participação; e seja capaz de explicar à pessoa afetada, em linguagem clara, o motivo da decisão. Nenhuma dessas etapas é incomum, e o regime de alto risco da Lei de IA tornará a maioria delas obrigatória para sistemas de recrutamento, crédito e seguros a partir de dezembro de 2027. As organizações que as implementarem agora estão simplesmente chegando com antecedência.

O que fazer se uma decisão for contestada

Quando um candidato, cliente ou funcionário questiona uma decisão automatizada, a primeira tarefa é factual: estabelecer o que o sistema realmente fez naquele caso, quais entradas utilizou, se houve julgamento humano e se o resultado se encaixa em um padrão mais amplo. Faça isso antes de responder, pois uma primeira resposta imprecisa é difícil de corrigir posteriormente e será interpretada negativamente pela organização.

Preserve os registros e a versão do modelo envolvida. Avalie a reclamação considerando as três estruturas legais, e não apenas aquela invocada pelo reclamante, visto que uma reclamação de proteção de dados e uma alegação de discriminação podem derivar do mesmo arquivo. Se o padrão for real, corrigi-lo e remediar as decisões afetadas limita os danos de forma muito mais eficaz do que defendê-lo.

Law & More Assessoramos empresas nos aspectos jurídicos da tomada de decisões automatizada: avaliando a exposição à legislação holandesa sobre responsabilidade civil e igualdade de tratamento, revisando a conformidade com o GDPR para criação de perfis e decisões automatizadas, preparando-as para as obrigações da Lei de Inteligência Artificial aplicáveis ​​a sistemas de recrutamento, crédito e seguros, negociando contratos com fornecedores e defendendo-as em processos judiciais e investigações regulatórias. advogados de TI Teremos todo o prazer em discutir como as regras se aplicam aos sistemas que você utiliza.

Perguntas frequentes sobre a responsabilidade por viés algorítmico

À medida que as empresas se aprofundam na IA, muitos líderes se deparam com perguntas muito específicas sobre responsabilidade. Abaixo, abordamos algumas das dúvidas mais comuns e complexas, oferecendo respostas claras para ajudá-lo a navegar por essa área jurídica complexa.