ChatGPT é Notoriamente Ineficaz em Pesquisa Jurídica. Então, Vamos Usá-lo para Ensinar Pesquisa Jurídica

Enquanto muitos estudantes de Direito veem o ChatGPT e outras ferramentas de IA (inteligência artificial) generativa como atalhos que economizam tempo para suas necessidades de elaboração, resumo e análise, muitos estudantes (e a maioria dos educadores) são rápidos em condenar o ChatGPT como uma ferramenta altamente ineficaz e imprecisa para pesquisa jurídica. Ele é conhecido por cometer erros na interpretação da lei, por “inventar” casos que não existem e por ser completamente incapaz de discutir qualquer coisa mais recente do que seus dados de treinamento, que vão até setembro de 2021. Mesmo os defensores mais fervorosos do uso do ChatGPT nas faculdades de Direito (dentro os quais me incluo) prontamente admitem que o ChatGPT geralmente deixa a desejar como ferramenta de pesquisa jurídica (embora um usuário habilidoso que esteja ciente das limitações do ChatGPT ainda possa usá-lo eficazmente para complementar outras ferramentas de pesquisa).

No entanto, essa deficiência, que pode ser fatal para sua utilidade atual na prática jurídica, pode servir como uma rica ferramenta pedagógica na Faculdade de Direito.

Os estudantes de Direito frequentemente reclamam da inadequação da instrução em pesquisa jurídica, descobrindo que só “realmente” aprendem a fazer pesquisa no trabalho. Da mesma forma, instrutores de pesquisa e redação jurídica muitas vezes se sentem sobrecarregados com a (cada vez maior) amplitude e profundidade das habilidades que se espera que ensinem aos alunos durante o primeiro ano da faculdade de Direito. O ChatGPT certamente não é a panaceia que alguns imaginam, mas talvez ele apresente uma solução para esse dilema.

Instruindo os estudantes de Direito a usar o ChatGPT para gerar texto que certamente conterá imprecisões, os educadores podem ensinar aos alunos como verificar as informações usando recursos mais convencionais e confiáveis, como Westlaw e LexisNexis.

Por exemplo, vamos lançar mão da seguinte situação hipotética:

Se uma empresa de marketing na web de Nova Jersey se recusa a oferecer seus serviços a uma pessoa com base na orientação sexual dessa pessoa, em violação da lei de Nova Jersey, mas a empresa alega estar envolvida em conduta expressiva protegida pela Primeira Emenda da Constituição dos EUA, qual é o provável resultado se a pessoa judicializar a questão com base na lei de Nova Jersey? Cite jurisprudência na resposta.

Esta situação apresentada ao ChatGPT provavelmente elicitará uma resposta substancialmente incorreta por várias razões. Primeiro, refere-se à lei de um Estado específico. Devido à maneira como o ChatGPT foi treinado, ele tende a confundir as leis de vários Estados e a ignorar diferenças sutis. Segundo, exige uma compreensão do instituto do “supremacy clause” do Direito americano. Terceiro, e talvez o mais importante, uma resposta correta exige conhecimento da decisão da Suprema Corte dos EUA em 303 Creative LLC v. Elenis, de 2023.

Compreendendo que até tal situação produzirá resultados ligeiramente diferentes, aqui está o que o ChatGPT me deu como resposta:

Não sou um especialista em Direito, mas com base nos quadros legais existentes, a lei de Nova Jersey proíbe explicitamente a discriminação com base na orientação sexual em lugares abertos ao público, como empresas abertas ao público. A Lei de Nova Jersey contra a Discriminação (NJLAD) é o estatuto estadual relevante nessa situação. Uma empresa de marketing na web provavelmente seria considerada um local aberto ao público de acordo com essa lei.

A alegação da empresa de que seus serviços constituem uma conduta protegida pela Primeira Emenda poderia trazer à tona uma linha de casos que consideram a tensão entre leis antidiscriminação e direitos de liberdade de expressão. Um caso notável é o Masterpiece Cakeshop, Ltd. v. Colorado Civil Rights Commission, 584 U.S. ___ (2018). Nesse caso, a Suprema Corte dos EUA enfatizou a importância de tratar objeções religiosas de maneira imparcial, sugerindo que leis antidiscriminação podem coexistir com certos direitos de liberdade de expressão se aplicadas de maneira imparcial.

Outro caso a ser considerado é Hurley v. Irish-American Gay, Lesbian and Bisexual Group of Boston, 515 U.S. 557 (1995), em que o Tribunal decidiu que um organizador privado de desfiles não poderia ser compelido a incluir grupos que apresentassem mensagens que o organizador não desejava endossar. No entanto, os fatos em Hurley eram únicos e podem não se aplicar totalmente a uma operação comercial padrão, como uma empresa de marketing na web.

Com base na jurisprudência e na lei estatutária, o provável resultado de uma ação judicial em Nova Jersey pareceria favorecer a pessoa que está processando a empresa. Os tribunais de Nova Jersey provavelmente considerariam que a empresa de marketing na web não pode recusar serviços com base na orientação sexual, pois isso seria uma violação direta da NJLAD. A alegação da Primeira Emenda da empresa seria ponderada em relação ao interesse legítimo do Estado em erradicar a discriminação e, com base na jurisprudência atual, provavelmente não anularia o estatuto antidiscriminação.

Essa situação, é claro, pode variar dependendo dos detalhes do caso, mas, até a minha última atualização em setembro de 2021, esse seria o cenário legal provável.”

Esta resposta está repleta de alegações substanciais que podem ser facilmente verificadas ou refutadas.

Um estudante de primeiro ano de Direito com treinamento mínimo em pesquisa pode verificar se os casos citados na resposta existem nesses bancos de dados. O estudante precisará ler esses casos (ou os resumos escritos por editores) para determinar se eles sustentam a proposição apresentada pelo ChatGPT. Além disso, o estudante precisará garantir que os casos ainda estejam em vigor; durante essa etapa, é provável que o estudante descubra a existência do caso 303 Creative. Agora, munido de um entendimento básico dos casos relevantes e da linguagem que os tribunais usam para discutir essa questão, o estudante pode analisar mais amplamente o conteúdo da resposta do ChatGPT e avaliar quais partes são precisas e quais não são. Outros aspectos dessa atribuição envolveriam a verificação da precisão das referências à lei estadual, o que pode ser feito via Google e/ou sites governamentais ou por meio de bancos de dados de assinatura.

Um instrutor (ou assistente de ensino) pode preparar uma chave de respostas com antecedência, minimizando a necessidade de supervisão ou feedback demorado. O conteúdo é atual, a natureza da tarefa é interativa e os estudantes começam a aprender os pontos fortes e fracos do ChatGPT à medida que desenvolvem suas habilidades de pesquisa jurídica. Esse tipo de tarefa também é um excelente treinamento para revistas de Direito, onde editores estudantis devem verificar as alegações dos autores cujos artigos estão editando para publicação.

Como ilustrado por este exemplo, as deficiências da IA na pesquisa jurídica não devem impedir os educadores de aproveitar essas ferramentas para melhorar sua pedagogia. Em vez de esperar que a IA substitua métodos tradicionais, educadores e estudantes podem e devem usar essas ferramentas para facilitar uma compreensão mais profunda e uma pesquisa jurídica mais rigorosa. As deficiências das ferramentas são ricas oportunidades pedagógicas.

Ao aprender a examinar e verificar informações geradas pela IA, os estudantes de Direito não apenas se tornam pesquisadores hábeis, mas também consumidores conscientes de informações. Como educadores jurídicos, devemos pensar de forma criativa, especialmente nesta era de avanços tecnológicos rápidos, para formar advogados meticulosos, críticos e éticos em suas pesquisas.

Talvez haja alguma verdade no ditado de que “quem pode, faz, e quem não pode, ensina”. Enquanto o ChatGPT não consegue efetivamente realizar pesquisas jurídicas, ele pode servir como uma ferramenta inovadora para ensiná-las.