Por que comparar rankings importa

Um ranking pós-prova faz uma coisa simples na superfície: compara o gabarito que o candidato marcou com o gabarito oficial e mostra em que posição ele está entre os demais. A tela que faz isso é fácil de construir, e as ferramentas de inteligência artificial tornaram esse trabalho ainda mais rápido. Por isso, dois rankings com a mesma aparência podem ser muito diferentes por dentro.

A diferença está no que não aparece na tela: quantos candidatos compõem a posição, de quantas provas anteriores a estimativa aprendeu, o que acontece quando o gabarito muda, se a nota de corte prevista já foi comparada com a real. Esses pontos decidem se a posição que você vê é uma boa estimativa ou apenas um número bem apresentado. Os critérios abaixo servem para qualquer ranking, inclusive o do olhonavaga, e cada um deles pode ser conferido por quem usa.

Os sete critérios

1. Tamanho e representatividade da amostra

O que é. A posição de um candidato só tem sentido em relação aos outros que participaram. Com poucos participantes, a posição oscila muito a cada novo gabarito. E, como a participação é voluntária, o ranking nunca é uma amostra aleatória de todos os inscritos: tende a reunir candidatos mais engajados.

Como conferir. O ranking informa quantos candidatos participam e quantos já cadastraram o gabarito? Esse número muda a posição ao longo do tempo? O ranking diz que a amostra é voluntária?

No olhonavaga. Cada ranking mostra o número de participantes, e a posição e a nota de corte provável são recalculadas a cada novo gabarito. O viés de participação voluntária existe e é declarado nas páginas de método.

2. Profundidade histórica dos dados

O que é. Estimar a nota de corte, a dificuldade de uma prova ou o desempenho esperado numa matéria depende de ter visto muitas provas parecidas antes: da mesma banca, do mesmo cargo, do mesmo formato. Quanto maior o histórico, mais comparações são possíveis. Este é o critério em que a diferença entre rankings mais cresce com o tempo, e é tratado em detalhe mais abaixo.

Como conferir. Desde quando o site existe? Quantos concursos e quantos registros já acumulou? Esses dados são de verdade acumulados ao longo do tempo ou foram importados de uma só vez?

No olhonavaga. O site está no ar desde janeiro de 2014, e cada prova desde então ficou registrada na base.

3. Cobertura e atualização do gabarito

O que é. O gabarito oficial muda: há o preliminar, o definitivo, as anulações e as alterações depois dos recursos. Um ranking que não acompanha essas mudanças mostra uma posição que deixa de existir. A mudança é grande o bastante para alterar quem passa e quem não passa.

Como conferir. O ranking atualiza a posição quando o gabarito oficial muda? Permite simular o efeito de uma anulação? Diz de qual versão do gabarito é a posição que mostra?

No olhonavaga. A posição é recalculada a cada novo gabarito oficial, e a simulação de anulações mostra como a nota de corte mudaria. Veja quanto isso muda a posição em quanto o ranking muda quando o gabarito é atualizado.

4. Comparabilidade entre provas

O que é. Uma nota de 70 numa prova fácil e uma de 70 numa prova difícil não valem o mesmo. Para comparar candidatos e provas diferentes, é preciso uma medida padronizada, que leve em conta a dificuldade de cada prova.

Como conferir. O ranking permite comparar o seu desempenho em provas de bancas e anos diferentes? Como a dificuldade entra no cálculo?

No olhonavaga. O Score ONV padroniza o desempenho entre provas. A explicação completa está em Score ONV: como comparar candidatos de provas diferentes.

5. Precisão medida

O que é. Uma estimativa só é confiável se o erro dela for medido. Um ranking que mostra uma nota de corte provável deveria, no mínimo, comparar essa estimativa com a nota de corte real depois que o resultado sai e publicar o tamanho do erro.

Como conferir. O ranking publica quanto a estimativa errou nos concursos passados? O número é geral ou por banca? Os piores casos aparecem?

No olhonavaga. Nos rankings com segunda etapa dos últimos 12 meses, a última nota de corte estimada antes do resultado oficial ficou, em média, a 0,55 ponto da real. Em 90,6% dos registros a diferença foi de até 1 ponto e, em 100%, de até 2 pontos. Hoje cada estimativa parte de milhões de dados, analisados por modelos próprios de aprendizado de máquina. Os resultados completos estão em quão precisa é a nota de corte estimada.

6. Tratamento das regras do concurso

O que é. Cada concurso tem as suas regras, e elas são muitas e variadas: o que vale para um edital não vale para o outro. Um ranking que ignora essas regras compara candidatos que não disputam a mesma vaga.

Como conferir. O ranking aplica as regras do edital de cada concurso, ou trata todos os candidatos como uma única lista?

No olhonavaga. As regras previstas no edital de cada concurso entram no cálculo, quaisquer que sejam. As cotas, explicadas em cotas em concursos: como funciona a classificação, são um exemplo. O edital é sempre a referência final.

7. Transparência sobre os limites

O que é. Todo ranking pós-prova é uma estimativa. Um método confiável diz o que não consegue fazer: onde erra mais, quais vieses tem, o que ainda não foi medido. A falta dessa informação é, por si só, um sinal de alerta.

Como conferir. Existe uma página explicando o método? Ela fala dos limites e das bancas em que a estimativa é menos precisa?

No olhonavaga. A página de metodologia e dados descreve a origem dos dados, o processamento e os limites, e os artigos de dados publicam os números com os casos em que a estimativa errou mais.

Checklist para qualquer ranking

O histórico de dados: o critério que não se copia

Dos sete critérios, o histórico é o que não se obtém por desenvolvimento nem por investimento: ele se forma uma prova de cada vez, e as razões são técnicas:

• O dado só existe no momento da prova. O gabarito que cada candidato marcou, questão a questão, só pode ser coletado nos dias seguintes à prova, enquanto o candidato se lembra do que marcou e o gabarito oficial ainda é novidade. Depois disso, não há como reconstruir o que cada candidato respondeu. Quem começa a coletar hoje não consegue recuperar as provas dos anos anteriores.
• Estimativas melhores pedem muitas provas parecidas. A nota de corte de uma prova da mesma banca, para o mesmo cargo, é mais bem estimada quando existem muitos concursos anteriores com características semelhantes para servir de comparação. O histórico transforma cada novo concurso numa comparação entre iguais, e não em uma estimativa isolada.
• A dificuldade de cada questão precisa de muitos respondentes. O percentual de acerto de uma questão só é estável quando muitos candidatos a responderam. É esse volume que permite dizer, com base em dados, quais matérias e quais bancas costumam ser mais difíceis.
• O efeito se acumula. Cada concurso novo entra na base e melhora as comparações dos seguintes. Por isso a vantagem de quem coleta desde 2014 aumenta a cada prova.
• A tela se reproduz, o histórico não. A inteligência artificial generativa torna a construção de interfaces muito mais barata, mas não produz a série de provas, candidatos e respostas que o olhonavaga coleta desde 2014: esse dado só existe no momento em que é coletado.

O que essa base permite medir

Com mais de 450 milhões de registros acumulados em 12 anos, é possível cruzar banca, órgão, cargo, matéria, etapa e ano e medir o que só aparece em escala. Cada estatística depende de volume e de tempo: só fica estável com muitos candidatos em cada recorte, e só existe porque a coleta acontece a cada prova há 12 anos. A lista das provas mais difíceis, por exemplo, pode ser filtrada por banca, órgão e cargo, e o aproveitamento é calculado matéria a matéria: cada combinação só tem números confiáveis porque há muitos candidatos em cada uma. Estas são as estatísticas que o olhonavaga já publica, todas calculadas sobre esses dados:

• Precisão da nota de corte estimada. Diferença média de 0,55 ponto em relação à nota de corte real nos últimos 12 meses, com 100% dos registros a até 2 pontos. Ver o resultado.
• Dificuldade por banca. A nota média dos candidatos fica entre 57% e 71% da prova objetiva, e a nota de corte da segunda etapa entre 68% e 82%, conforme a banca. Ver por banca.
• Provas mais difíceis. A lista das provas pelo desempenho médio dos candidatos, que pode ser filtrada por banca, órgão e cargo. Ver a lista.
• Matérias em que mais se erra. O aproveitamento médio de cada matéria nos últimos 3 anos. Ver as matérias.
• Anulações por banca. A proporção de questões anuladas nos gabaritos definitivos de cada banca. Ver as bancas.
• Distribuição das letras do gabarito. Quanto cada alternativa aparece nas provas de quatro e de cinco alternativas, no geral e por banca. Ver as letras.
• Movimento do ranking a cada gabarito. Quantos candidatos sobem, descem ou se mantêm quando o gabarito muda, e quantos se movem 10 posições ou mais. Ver o movimento.
• Prazos das bancas. A mediana de dias entre a prova e o gabarito preliminar, e entre o preliminar e o definitivo, por banca. Ver os prazos.
• Score ONV. O desempenho padronizado entre provas, que permite comparar candidatos de provas diferentes. Ver o Score ONV.

Boa parte dessas estatísticas se atualiza sozinha a cada prova registrada, e cada uma só pôde ser calculada porque o dado foi coletado no momento da prova.

O olhonavaga em números

A descrição de como os dados são coletados e tratados está na página de metodologia e dados.

Limites

• Participação voluntária. Os rankings reúnem candidatos que escolheram participar, que não são uma amostra aleatória de todos os inscritos. Um grande volume de dados reduz a oscilação, mas não elimina esse viés.
• Estimativa não é resultado. A nota de corte provável é uma estimativa, com diferença média de 0,55 ponto em relação à real nos últimos 12 meses. O detalhe está no artigo de precisão.
• As regras de cada concurso vêm do edital. O ranking estima a posição, e o resultado oficial é o da banca.
• Os critérios deste artigo não são uma norma. São o conjunto de perguntas que consideramos úteis para comparar rankings, e outras pessoas podem acrescentar ou ponderar os critérios de outra forma.

Perguntas frequentes