TL;DR: A Ordem dos Advogados da Califórnia admitiu o uso de inteligência artificial e questões recicladas de exames de primeiro ano na elaboração do Exame da Ordem, sem o conhecimento da Suprema Corte estadual. Esta revelação gerou indignação entre candidatos e especialistas, levantando sérias dúvidas sobre a validade e integridade do processo de certificação profissional.

Takeaways:

• A decisão de usar IA e reciclar questões foi motivada por cortes de custos, em resposta a um déficit de US$ 22 milhões da Ordem dos Advogados da Califórnia.
• Especialistas criticam o conflito de interesses no processo, onde a mesma empresa contratada (Kaplan) criava e validava as próprias questões.
• A Suprema Corte da Califórnia não foi informada sobre o uso de IA na elaboração das questões, revelando problemas de transparência e governança.
• Além dos problemas com as questões, o exame sofreu com falhas técnicas que prejudicaram candidatos, gerando inclusive uma ação judicial federal.
• O caso levanta questões fundamentais sobre os limites éticos do uso de IA em avaliações profissionais críticas e pode influenciar como outras jurisdições abordarão tecnologias semelhantes.

Polêmica sobre IA no Exame da Ordem da Califórnia: Quando a Tecnologia Compromete a Credibilidade

Quase dois meses após centenas de candidatos à advocacia na Califórnia denunciarem problemas técnicos e irregularidades no exame da Ordem, uma nova controvérsia emerge. A entidade responsável pelo licenciamento jurídico do estado admitiu que utilizou inteligência artificial para desenvolver parte das questões de múltipla escolha do exame, gerando indignação entre especialistas e candidatos.

Esta revelação levanta sérias questões sobre a validade do processo de certificação, a transparência institucional e os limites éticos do uso de IA em avaliações profissionais tão críticas. Afinal, quem está realmente avaliando os futuros advogados da Califórnia?

A Confissão que Abalou o Sistema Jurídico

A Ordem dos Advogados da Califórnia finalmente reconheceu o uso de inteligência artificial na elaboração de questões do exame após semanas de reclamações sobre problemas técnicos. Além disso, a entidade revelou que parte das questões foi reciclada de exames destinados a estudantes do primeiro ano de Direito, uma prática altamente questionável.

Diante da crescente pressão, a Ordem anunciou que solicitará à Suprema Corte da Califórnia ajustes nas notas do exame realizado em fevereiro. No entanto, a instituição continua relutante em reconhecer a gravidade dos problemas identificados, limitando-se a admitir parcialmente o uso de IA e a reutilização de questões.

Esta situação levanta uma pergunta crucial: como garantir a qualidade e a integridade de um exame profissional quando a tecnologia substitui o julgamento humano especializado?

Críticas Severas de Especialistas em Educação Jurídica

Mary Basick e Katie Moran, especialistas em educação jurídica, expressaram profunda preocupação com as práticas adotadas pela Ordem dos Advogados da Califórnia. Elas questionam não apenas o uso de IA por não-advogados na elaboração das questões, mas também o evidente conflito de interesses no processo.

“A Ordem dos Advogados admitiu que contratou uma empresa para que não-advogados usassem IA para elaborar questões do exame real”, afirmou Moran. “Depois, pagaram à mesma empresa para avaliar e aprovar as questões do exame, incluindo aquelas que a própria empresa havia criado.”

Este ciclo fechado de criação e validação representa um sério problema de governança e levanta dúvidas sobre:

• A validade das questões elaboradas sem supervisão adequada de especialistas jurídicos
• A confiabilidade de um processo de validação realizado pela mesma entidade que criou as questões
• A adequação de questões recicladas de exames de primeiro ano para avaliar a competência profissional de advogados

A Defesa da Ordem dos Advogados

Diante das críticas, a Ordem dos Advogados da Califórnia, que funciona como braço administrativo da Suprema Corte estadual, apresentou sua defesa. Segundo a instituição, a maioria das questões de múltipla escolha foi desenvolvida pela Kaplan Exam Services, empresa contratada no ano passado como parte de uma estratégia de redução de custos.

De acordo com uma apresentação recente da Ordem, das 171 questões de múltipla escolha pontuadas, 100 foram elaboradas pela Kaplan e 48 foram retiradas de um exame para estudantes do primeiro ano de Direito. Um subconjunto menor foi desenvolvido com auxílio de IA pela empresa ACS Ventures.

Leah Wilson, diretora executiva da Ordem, manifestou confiança na validade das questões, incluindo aquelas desenvolvidas com IA. Um porta-voz da instituição acrescentou que todas as questões passaram por painéis de validação de conteúdo e foram revisadas por especialistas no assunto quanto à precisão e viés, apresentando desempenho acima da meta psicométrica de 0,80 para confiabilidade.

Alex Chan, presidente do Comitê de Examinadores da Ordem, esclareceu que a IA foi usada para verificar, não necessariamente criar questões, seguindo a orientação da Suprema Corte da Califórnia para considerar o uso de IA como inovação nos testes.

A Suprema Corte Estava no Escuro

Um aspecto particularmente alarmante desta controvérsia é que a própria Suprema Corte da Califórnia, órgão máximo ao qual a Ordem dos Advogados está subordinada, não tinha conhecimento do uso de IA na elaboração das questões do exame.

Um porta-voz do tribunal superior afirmou que a corte só tomou conhecimento do uso de inteligência artificial para elaborar questões de múltipla escolha após o comunicado à imprensa da Ordem dos Advogados. Esta falta de comunicação levanta sérias questões sobre a transparência e a governança da entidade responsável pelo licenciamento de advogados no estado.

“O Comitê nunca foi informado sobre o uso de IA antes da realização do exame”, afirmou um representante, “portanto, não poderia ter considerado, muito menos endossado, seu uso.”

Cortes de Custos e Problemas Técnicos

A raiz do problema parece estar em decisões financeiras. Enfrentando um déficit de US$ 22 milhões, a Ordem dos Advogados da Califórnia optou por reduzir custos, migrando para um novo modelo híbrido de testes e contratando a Kaplan Exam Services.

Esta mudança resultou em múltiplos problemas e até mesmo em uma ação judicial federal. As dificuldades incluíram:

• Candidatos sendo excluídos do sistema durante o exame
• Erros técnicos que comprometeram a experiência de teste
• Questões de qualidade duvidosa, algumas com erros evidentes
• Falta de supervisão adequada por especialistas jurídicos

O senador Thomas J. Umberg, presidente do Comitê Judiciário do Senado da Califórnia, chegou a solicitar uma auditoria da Ordem dos Advogados, enquanto a Suprema Corte determinou que a agência voltasse à administração tradicional presencial dos exames de julho.

Problemas de Qualidade nas Questões da Kaplan

A rapidez com que as questões foram desenvolvidas pela Kaplan Exam Services levanta sérias dúvidas sobre sua qualidade. Especialistas acadêmicos identificaram erros nas questões práticas divulgadas pela Ordem dos Advogados, mesmo após supostas edições e revisões.

Mary Basick, especialista em educação jurídica, expressou preocupação quando a Ordem removeu especialistas acadêmicos dos painéis de avaliação de questões, substituindo-os por não-advogados que utilizavam IA. Ela sugeriu que estes poderiam estar obtendo informações de questões do National Conference of Bar Examiners (NCBE), o que levantaria problemas adicionais de propriedade intelectual e validade.

Além disso, a utilização de questões de provas de primeiro ano não é considerada adequada para a certificação profissional de advogados, que exige um nível muito mais elevado de conhecimento e raciocínio jurídico.

Demandas por Transparência e Mudanças

Críticos têm acusado a Ordem dos Advogados de transferir a culpa para a empresa Meazure Learning, responsável pela aplicação do exame, enquanto falha em reconhecer a seriedade dos problemas relacionados às questões de múltipla escolha.

Katie Moran defende uma total transparência e o retorno ao exame multiestadual da Ordem (Multistate Bar Examination – MBE). Por outro lado, Alex Chan indicou que o Comitê de Examinadores da Ordem discutirá ajustes, mas é improvável que divulgue todas as questões ou retorne aos exames do NCBE devido às preferências por testes remotos e preocupações com segurança por parte do NCBE.

O Comitê de Examinadores da Ordem está programado para se reunir em 5 de maio para discutir possíveis ajustes e soluções para a crise atual.

O Futuro da Certificação Jurídica na Era da IA

Esta controvérsia na Califórnia serve como um importante caso de estudo sobre os limites e riscos do uso de inteligência artificial em processos de certificação profissional. Embora a IA ofereça potenciais benefícios em termos de eficiência e redução de custos, sua implementação sem a devida transparência, supervisão e validação humana especializada pode comprometer seriamente a integridade de todo o processo.

Para recuperar a confiança no sistema de certificação, a Ordem dos Advogados da Califórnia precisará:

1. Estabelecer protocolos claros e transparentes sobre o uso de IA
2. Garantir que especialistas jurídicos supervisionem todo o processo de elaboração e validação de questões
3. Comunicar adequadamente todas as mudanças metodológicas à Suprema Corte e aos candidatos
4. Implementar mecanismos de controle de qualidade mais rigorosos
5. Reconsiderar a prática de reciclar questões de exames de primeiro ano

O caso da Califórnia provavelmente influenciará como outras jurisdições abordarão o uso de IA em seus próprios processos de certificação profissional, não apenas no campo jurídico, mas em todas as áreas onde a competência profissional precisa ser avaliada com rigor e confiabilidade.

A lição mais importante talvez seja que, mesmo na era da inteligência artificial, a supervisão humana especializada continua sendo indispensável, especialmente quando o que está em jogo é a integridade de uma profissão inteira.

Fonte: Informações baseadas em relatórios e declarações da Ordem dos Advogados da Califórnia, especialistas jurídicos e representantes da Suprema Corte da Califórnia.