Como a FGV elabora a prova do Exame de Ordem?

O site Atualidades do Direito publico há alguns meses uma entrevista com a Drª Vivian Raunheitti, gestora de projetos da FGV e o Dr. Clóvis de Bitencourt, Coordenador Acadêmico do Exame de Ordem da FGV, representando o presidente da OAB.

A abordagem, bem interessante, foi feita para tratar dos problemas que ocorreram na edição do VII Exame de Ordem. Vários questionamentos foram feitos, e, para respondê-los, o Dr. Clóvis explicou, em detalhes, a forma como a Fundação Getúlio Vargas cria as provas do Exame de Ordem.

Trata-se de um processo complexo que levou, segundo a Dr. Vivian, várias edições para chegar a este formato. Vamos ver, passo a passo, como a FGV, em conjunto com a OAB, criam as provas da 1ª e da 2ª fase:

Como se processa a elaboração da prova objetiva da OAB

1 - A prova do VII Exame de Ordem foi constituída por 18 questões difíceis, 39 de média dificuldade e 23 consideradas fáceis, sob o ponto de vista dos professores responsáveis pela prova. Os membros da organização do Exame que previamente leram a prova a considerou muito fácil. Naquela edição tivemos 110 mil inscritos e 32 mil aprovados na 1ª etapa, o que dá uma boa dose de subjetivismo ao conceito de fácil.

No VII Exame de Ordem tivemos 111.909 candidatos inscritos, sendo que 32.137 examinandos foram aprovados na etapa preliminar da 1ª fase, representando um percentual de 28,71%.

Com a anulação das 4 questões tivemos a inclusão de mais 13.767 candidatos, totalizando 45.904 aprovados, ou,41,01% de aprovação ou 58,99% de reprovação na 1ª fase.

2 - Existe uma média de 5 a 10 professores elaboradores de questões por especialidade. Uma questão é formulada e os professores daquela especialidade avaliam se ela está bem constituída, aprovando-a ou não.

3 - Após a elaboração a questão passa por uma revisão técnica: língua portuguesa e logicidade da questão.

4 - Após a revisão técnica a questão vai para um "banco de questões". Para cada disciplina a FGV arquiva algo em torno de 300 a 400 questões.

5 - Quando as questões estão prontas, acontece uma primeira reunião com especialistas da OAB responsáveis por avaliar as questões feitas pela FGV, aceitando-as integralmente, aceitando com restrições, recusando-as ou propondo alternativas.

6 - Após a reunião, a FGV remodela as questões em razão das sugestões feitas pelos especialistas da OAB.

7 - Feita essa revisão, o banco de questões é considerado pronto e então inicia-se o processo de escolha das questões que comporão a prova.

8 - Outros professores, não envolvidos na criação das questões, irão selecionar as questões que irão compor a prova.

9 - Essa primeira seleção de questões passa mais uma vez por uma revisão de língua portuguesa, há uma busca em um banco de dados para verificar se a questão não foi usada em um outro concurso, garantindo a sua originalidade.

10 - A FGV não aceita questões que representem uma transcrição literal do código para evitar repetições com outras questões de concursos. Hoje em dia é muito difícil elaborar um enunciado sem repetir problemas semelhantes já usados em outros certames.

11 - Dificilmente a FGV trabalha com questões que envolvam prazo, em função da facilidade da consulta. Ela tenta priorizar questões que exijam mais logicidade e criatividade.

12 - Após a definição das 80 questões que irão compor a prova, uma pessoa, alheia a todo o processo de elaboração da prova, faz uma última leitura de revisão.

Sobre o gabarito da 2ª fase do Exame de Ordem

1 - A banca que elaborou a prova sugere um gabarito

2 - De 3 a 4 professores envolvidos

3 - Direito do Trabalho tem de 25 a 30 professores, que discutem com a banca o padrão de resposta proposto.

4 - Após a discussão, tem-se um primeiro projeto de padrão ajustado

5 - Após a definição do primeiro projeto, vem 1 coordenador geral e mais dois especialista por áreas. O debate agora é entre os membros da OAB e os professores da FGV envolvidos na correção.

6 - Somente após demoradas discussões sai o projeto de correção da prova.

Sobre o processo de correção das provas subjetivas

1 - A massa de provas é dividida em blocos de 50 provas. Um programa de computação divide as provas aleatoriamente entre os corretores

2 - A FGV tem algumas dificuldades: o avaliador analisa a prova toda ou ele só examina a questão 1, por exemplo? Isso geraria um problema de saturação na percepção, pois o avaliador poderia ficar "anestesiado" ao ver e rever tantas questões idênticas. Por isso, a solução encontrada está no sorteio, dentre cada lote de cinquenta provas, duas para a releitura obrigatória do coordenador daquela disciplina. Caso o coordenador veja que o professor corretor esteja divergindo do padrão (e a correção tem de ser EXATAMENTE como definido no padrão).

3 - O ideal seria que o examinando tivesse o direito a 5 correções (da mesma prova), e a média das 5 notas seria sua nota final. Mas não há tempo hábil e nem recursos para a implementação deste modelo. Logo, só uma correção é feita.

4 - A solução para mitigar este problema é a implementação de um controle feito de um a três coordenadores por especialidade, se um dos avaliadores não aplica o critério determinado, há uma intervenção.

5 - São 120 professores envolvidos no processo de correção.

-------------------

Todo o processo é bastante interessante e intrincado, mas, mesmo assim, toda edição do Exame nós temos problemas.

Eu sinceramente não consigo ver, de plano, uma forma mais elaborada do que esta para se fazer prova e que, ao mesmo tempo, assegure uma construção de qualidade, sem NENHUM problema.

Aliás, prova sem problema está chegando ao ponto de se tornar uma utopia. Ao menos espera-se provas sem GRANDES problemas, o que já seria uma grande conquista.

Ademais, um ponto interessante destacado na matéria foi a rigidez do processo de correção das provas e a obediência quase cega ao padrão de resposta. Em regra, quem não segue o padrão perde os pontos.

O Dr. Clóvis de Bitencourt deu uma ideia interessante, que o ideal seria que cada prova fosse corrigida 5 vezes, por 5 corretores diferentes, e que a média das notas fosse a nota final do candidato. Mas isto não é possível em função dos prazos e do custo para ser implementado.

Talvez, se os candidatos quisessem mais qualidade, teriam de pagar uma inscrição mais cara, apta a sustentar uma estrutura mais consistente para a FGV. Mas propor isto seria o mesmo que pedir para tomar pedradas em praça pública. Candidato algum aceitaria um aumento da inscrição (caríssima, por sinal). Então do jeito que está, continuará.