TL;DR: A Ordem dos Advogados da Califórnia admitiu o uso de Inteligência Artificial (IA) para criar parte das questões de seu exame, gerando intensa polêmica sobre a validade, justiça e transparência do processo. A decisão, somada a problemas técnicos, reciclagem de questões e terceirização para empresas não especializadas, resultou em críticas de especialistas, pedidos de auditoria e ações judiciais. Apesar da defesa da Ordem baseada em processos de validação, a controvérsia levanta debates sobre o equilíbrio entre inovação tecnológica e a integridade da avaliação jurídica.

Takeaways:

• A Ordem dos Advogados da Califórnia utilizou IA e reciclou questões de provas anteriores para elaborar uma parte do exame de advogados.
• Críticos questionam a validade, justiça, transparência do processo e a terceirização da criação das questões para entidades sem especialização jurídica.
• A Ordem defende a prática alegando processos rigorosos de validação, revisão por especialistas e o objetivo de modernizar a avaliação conforme solicitado pela Suprema Corte estadual.
• O exame de fevereiro apresentou graves problemas técnicos e erros nas questões, resultando em ações judiciais, pedidos de auditoria e demandas por maior transparência e retorno ao exame tradicional (MBE).
• Apesar das controvérsias e falhas, a Ordem planeja manter o novo sistema de questões, citando a preferência dos candidatos por testes remotos e limitações de segurança dos métodos tradicionais.

Polêmica sobre o uso de IA na elaboração do exame da Ordem dos Advogados da Califórnia

Introdução

A crescente incorporação de tecnologias de inteligência artificial (IA) em processos tradicionalmente realizados por humanos vem provocando debates intensos no meio jurídico. Recentemente, a Ordem dos Advogados da Califórnia admitiu ter utilizado ferramentas de IA para desenvolver parte das questões do exame, o que despertou críticas sobre a validade, a justiça e a imparcialidade do processo avaliativo. Essa inovação, embora tecnicamente promissora, suscita dúvidas acerca dos padrões de qualidade e da transparência adotados na elaboração dos testes.

O caso ganhou destaque após reclamações de candidatos e especialistas, que apontaram problemas técnicos e discrepâncias na forma de criação das perguntas. A combinação entre o uso de tecnologia avançada e a reciclagem de questões de exames realizados por estudantes do primeiro ano tem alimentado a controvérsia. Dessa forma, o debate perpassa tanto a esfera tecnológica quanto a necessidade de manter um rigor avaliativo compatível com a complexidade do exercício da advocacia.

Além disso, a discussão se intensifica frente à exigência de ajustes pelas instâncias superiores, como a Suprema Corte da Califórnia, e à pressão de representantes e especialistas que questionam a terceirização da elaboração das questões. Assim, o cenário atual revela um desafio para equilibrar inovação tecnológica com a integridade e a credibilidade dos exames jurídicos. O presente artigo buscará esclarecer os principais pontos dessa polêmica, demonstrando as implicações e os desdobramentos futuros dessa prática.

Admissão do uso de IA na criação de questões do exame da OAB

A Ordem dos Advogados da Califórnia confirmou que utilizou inteligência artificial para desenvolver um subconjunto das questões de múltipla escolha do exame. Essa medida foi adotada em meio a críticas e reclamações referentes a problemas técnicos e falhas na plataforma de aplicação. O reconhecimento do uso de IA vem logo após relatos de irregularidades, o que contribuiu para o aumento da indignação entre candidatos e especialistas.

Parte das questões utilizadas no exame foi reciclada de provas aplicadas a estudantes do primeiro ano, enquanto outras foram elaboradas com auxílio da IA. Tal combinação gerou um debate acalorado sobre a competência e a imparcialidade na criação dos itens avaliativos. A decisão de recorrer à tecnologia reforça, por um lado, uma tentativa de modernização, mas, por outro, levanta questionamentos quanto à consistência dos critérios adotados.

Ademais, a Ordem dos Advogados da Califórnia informou que solicitará à Suprema Corte do estado ajustes nas notas do exame de fevereiro, evidenciando a gravidade das preocupações com a avaliação dos candidatos. Empresas especializadas, como a ACS Ventures, desempenharam papel crucial ao utilizar IA na redação de 23 questões, o que intensificou o debate sobre os métodos empregados. Essa situação ressalta a necessidade de um equilíbrio entre inovação e a manutenção dos padrões de avaliação tradicionalmente aceitos.

Críticas à utilização de IA e à terceirização da criação de questões

Especialistas do meio jurídico têm expressado preocupações e descrença com a decisão de utilizar inteligência artificial e terceirizar a elaboração das questões para empresas sem especialização jurídica. A Decana Assistente de Habilidades Acadêmicas da UC Irvine Law School, Mary Basick, trouxe à tona seu espanto diante da notícia, reforçando a urgência de repensar os métodos empregados. A utilização de IA por profissionais não formados em Direito é vista como um potencial conflito de interesses que pode comprometer a qualidade dos exames.

Além disso, professores e acadêmicos questionam a competência dos responsáveis pela criação das questões, argumentando que a falta de experiência jurídica pode afetar negativamente a avaliação dos candidatos. A terceirização de etapas tão críticas eleva o risco de que erros e inconsistências passem despercebidos durante o processo de validação. Essa postura levanta a dúvida sobre a capacidade de garantir a precisão e a objetividade necessárias em um exame tão relevante para o ingresso na profissão.

Como dados relevantes, destaca-se que a Kaplan Exam Services foi contratada para elaborar a maioria das questões, sendo 100 das 171 formuladas por essa empresa. Outros 48 itens foram extraídos de exames aplicados a estudantes do primeiro ano de Direito, reforçando a preocupação com a adequação do conteúdo avaliado. Tais fatos reforçam o argumento de que a terceirização e o uso de IA podem comprometer a consistência e a justiça do exame, exigindo uma análise criteriosa das práticas adotadas.

Justificativas da Ordem dos Advogados da Califórnia

A Ordem dos Advogados da Califórnia defende a utilização de inteligência artificial ao afirmar que todas as questões foram submetidas a rigorosos painéis de validação de conteúdo e revisão por especialistas. Para a instituição, o processo de validação é objetivo e fundamentado em parâmetros estatísticos que garantem a precisão e a confiabilidade dos itens avaliativos. Esse argumento busca demonstrar que, mesmo com o uso da IA, os padrões essenciais para a avaliação da competência jurídica foram mantidos.

Segundo a Ordem, a adoção de IA ocorreu em uma pequena parcela das questões, com o intuito de aprimorar e não criar integralmente os itens. O Comitê de Examinadores da instituição ressalta que o uso dessa tecnologia passou por uma análise detalhada, confiando na integridade dos resultados obtidos. Assim, a Defesa enfatiza que as inovações tecnológicas não afetaram a preparação nem a competência dos candidatos para exercer a advocacia.

A direção da Ordem também destaca que a Suprema Corte da Califórnia havia solicitado uma revisão do uso de novas tecnologias, como a IA, para melhorar a confiabilidade e o custo-benefício dos testes. De acordo com a instituição, a utilização da tecnologia não teve impacto negativo na performance dos examinados e o processo de criação das questões seguiu critérios preestabelecidos. Dessa forma, a justificativa central é a manutenção de um padrão de avaliação objetivo e aprimorado, mesmo diante da utilização de métodos inovadores.

Reação da Suprema Corte da Califórnia e pedido de auditoria

A Suprema Corte da Califórnia manifestou surpresa ao tomar conhecimento do uso de inteligência artificial na elaboração das questões, alegando desconhecer tal procedimento antes do comunicado oficial. Esse posicionamento revela uma desconexão entre a instituição reguladora e os métodos aplicados pela Ordem dos Advogados. A revelação do uso da IA durante o exame intensificou a pressão sobre a Ordem para que reveja e ajuste seus processos de avaliação.

Em paralelo, o Senador Thomas J. Umberg apresentou um pedido formal de auditoria à Ordem dos Advogados da Califórnia. Essa solicitação reflete a crescente demanda por transparência e a necessidade de identificar possíveis falhas ou conflitos de interesse na criação das questões. A auditoria pretendida busca, assim, garantir que os procedimentos adotados estejam alinhados aos padrões exigidos para a avaliação justa e precisa dos candidatos.

Além disso, dados financeiros revelam que a Ordem enfrentou um déficit de US$ 22 milhões em seu fundo geral no ano anterior, o que pode ter influenciado a decisão de adotar métodos alternativos para a elaboração das questões. Um acordo de US$ 8,25 milhões com a Kaplan Exam Services para a criação do teste também evidencia pressões econômicas no processo. Esses elementos combinados contribuem para um cenário de contestação e exigência por maior clareza e responsabilidade na condução do exame.

Problemas técnicos e ações judiciais

O exame realizado em fevereiro apresentou inúmeros problemas técnicos que afetaram tanto o desempenho dos candidatos quanto a confiabilidade dos resultados. Muitos participantes relataram terem sido desconectados das plataformas online ou enfrentado lentidão e mensagens de erro durante a aplicação do teste. Tais falhas evidenciam a fragilidade dos sistemas utilizados, comprometendo a experiência e a avaliação dos examinados.

Além dos problemas operacionais, as questões de múltipla escolha também sofreram com erros de digitação, perguntas sem sentido e informações incompletas. Essas inconsistências ampliaram a insatisfação dos candidatos e levantaram críticas sobre a qualidade do conteúdo elaborado. A situação demonstrou que, além das inovações tecnológicas, a execução dos exames precisa ser acompanhada de um rigor técnico que garanta a clareza e a precisão das perguntas.

Como consequência direta dos problemas evidenciados, uma ação judicial federal foi instaurada contra a Meazure Learning, empresa responsável pela aplicação do exame. Críticos ressaltaram que a State Bar estaria transferindo a culpa para terceiros, enquanto negligenciava os problemas estruturais na elaboração das questões. Dessa forma, além dos desafios tecnológicos e de metodologia, o caso levanta sérias questões jurídicas que podem impactar futuras edições do exame.

Demandas por transparência e retorno ao modelo anterior

A necessidade por maior transparência tornou-se central para os críticos que acompanham o processo de elaboração do exame. Segundo os especialistas, a divulgação completa das 200 questões permitiria uma análise mais minuciosa da qualidade e da validade dos itens avaliativos. Este movimento seria fundamental para restaurar a confiança dos candidatos e do meio jurídico no sistema de avaliação.

Outra demanda importante é o retorno ao modelo tradicional de exame, especificamente ao Multistate Bar Examination (MBE). Essa mudança é vista como uma forma de assegurar um padrão de avaliação amplamente reconhecido e adotado em diversos estados, o que proporcionaria mais consistência e segurança aos candidatos. A contraposição entre o modelo novo e o tradicional reflete a tensão entre inovação e a manutenção de práticas consolidadas.

Dados recentes indicam que o Comitê de Examinadores da Ordem se reunirá em 5 de maio para discutir ajustes e soluções para o processo, embora existam dúvidas quanto à divulgação de todas as 200 questões ou o retorno imediato aos exames tradicionais. Alex Chan, representante do Comitê, expressou ceticismo quanto a tais medidas, ressaltando desafios na implementação de mudanças que atendam às demandas de todos os envolvidos. Essa situação evidencia que, para restaurar a credibilidade do exame, será preciso conciliar transparência, qualidade e experiência avaliativa.

Continuidade do novo sistema de questões de múltipla escolha

Apesar das críticas intensas e das controvérsias envolvendo o uso de inteligência artificial, a Ordem dos Advogados da Califórnia opta por manter o novo sistema de questões de múltipla escolha. A decisão foi, em parte, motivada pelas pesquisas que indicam que quase 50% dos candidatos preferem a opção de teste remoto. Essa escolha reflete uma tentativa de atender às demandas de um público cada vez mais conectado e em busca de alternativas práticas para a realização do exame.

Outro fator relevante para a manutenção do sistema inovador é a restrição de segurança imposta pelos métodos tradicionais, como os da National Conference of Bar Examiners, que não permitem a adoção do teste remoto. A Ordem argumenta que a nova abordagem representa uma forma de contornar limitações logísticas e de segurança, mesmo que isso gere incertezas quanto à validade das questões. Assim, a continuidade do novo modelo visa equilibrar as necessidades de modernização com os desafios inerentes à proteção dos processos avaliativos.

No entanto, a decisão de manter o sistema atual também gera preocupações, visto que pode aumentar a insatisfação dos candidatos e o questionamento sobre a integridade do exame. Os debates sobre a eficácia das tecnologias utilizadas e a real capacidade do método em avaliar de forma justa os conhecimentos dos candidatos permanecem abertos. Dessa forma, a questão segue sendo controversa, apontando para a necessidade de revisões contínuas e de um diálogo transparente entre a Ordem e os demais atores do meio jurídico.

Conclusão

A polêmica decorrente do uso de inteligência artificial na elaboração do exame da Ordem dos Advogados da Califórnia evidencia a complexidade de se integrar inovações tecnológicas a processos avaliativos tradicionalmente humanos. As adversidades enfrentadas, que vão desde problemas técnicos até críticas relativas à terceirização da criação das questões, impõem um repensar dos métodos adotados para garantir a justiça e a integridade do exame. O caso destaca a tensão entre a modernização e a manutenção dos padrões convencionais de avaliação.

As justificativas apresentadas pela Ordem, baseadas em rigorosos processos de validação e na promessa de aprimoramento do conteúdo, são contrapostas pelas críticas de especialistas e representantes jurídicos que questionam a falta de experiência e a insuficiência da transparência. Esse cenário evidencia a necessidade de um equilíbrio que permita a inovação tecnológica sem comprometer a qualidade e a confiabilidade do exame. A demanda por auditorias e pelo retorno ao tradicional MBE reforça o desejo do setor por práticas mais abertas e seguras.

Por fim, as implicações desta polêmica se estenderão além do exame em si, podendo influenciar os padrões de avaliação adotados em outros estados e impactar a confiança na profissão jurídica. As decisões tomadas a partir desse contexto poderão estabelecer precedentes importantes na forma como a tecnologia é incorporada aos processos críticos de certificação. Assim, a busca por soluções que combinem transparência, qualidade e segurança permanece essencial para o futuro da avaliação na área do Direito.

Fonte: The State Bar of California. “Controvérsia sobre o uso de inteligência artificial na elaboração do exame”. Disponível em: https://www.calbar.ca.gov