Metodologia e dados dos rankings pós-prova
Equipe olhonavaga
O olhonavaga coleta, desde 14 de janeiro de 2014, o gabarito que cada candidato marcou em cada prova de concurso, e o compara com o gabarito oficial. Esse histórico reúne cerca de 4.6 milhões de usuários cadastrados e mais de 450 milhões de registros, ao longo de 12 anos de concursos. Esse volume e esse tempo de coleta permitem publicar estatísticas por banca, matéria, cargo e etapa, que só ficam estáveis com muitos candidatos em cada recorte. É dele que saem a posição de cada candidato, a nota de corte provável, a dificuldade de cada questão e o Score ONV. Esta página explica de onde vêm os dados, como são tratados, como a qualidade é medida e quais são os limites.
Origem dos dados
- Gabaritos dos candidatos. Cada participante cadastra o gabarito que marcou na prova. É o dado central: quem respondeu o quê, em cada questão, de cada concurso. Ele só pode ser coletado nos dias seguintes à prova, não existe como recuperar depois.
- Gabaritos oficiais. O preliminar, o definitivo e as alterações depois dos recursos, incluindo anulações, conforme a banca divulga.
- Dados do edital e do resultado. Número de vagas, etapas e regras do concurso, e, quando o resultado oficial sai, a nota de corte real. É a comparação com essa nota de corte que permite medir a precisão das estimativas.
- Questões. O banco de questões das provas, com o gabarito oficial, a banca, a matéria e o assunto de cada uma.
Histórico e volume
O valor de um ranking pós-prova cresce com o histórico: a nota de corte de um concurso é melhor estimada quando existem muitos concursos anteriores parecidos, e a dificuldade de uma questão só é estável quando muitos candidatos a responderam. Como o gabarito dos candidatos só se forma no momento de cada prova, esse histórico não pode ser reconstruído depois, e cada concurso novo se soma aos anteriores.
| Indicador | Valor |
|---|---|
| Site no ar desde | 14 de janeiro de 2014 (12 anos) |
| Usuários cadastrados | cerca de 4.6 milhões |
| Concursos cadastrados | 64.299 |
| Registros no banco de dados | mais de 450 milhões |
| Questões no banco, com gabarito oficial | 1.435.192 |
| Simulados criados | 26.023 |
O que a base permite medir
Com mais de 450 milhões de registros acumulados em 12 anos, é possível cruzar banca, órgão, cargo, matéria, etapa e ano e medir o que só aparece em escala. Cada estatística depende de volume e de tempo: só fica estável com muitos candidatos em cada recorte, e só existe porque a coleta acontece a cada prova há 12 anos. A lista das provas mais difíceis, por exemplo, pode ser filtrada por banca, órgão e cargo, e o aproveitamento é calculado matéria a matéria: cada combinação só tem números confiáveis porque há muitos candidatos em cada uma. Cada estatística abaixo é calculada sobre esses dados, e boa parte delas se atualiza sozinha a cada prova registrada.
| Estatística | O que mostra | Onde aprofundar |
|---|---|---|
| Precisão da nota de corte estimada | Diferença média de 0,55 ponto em relação à nota de corte real nos últimos 12 meses, com 100% dos registros a até 2 pontos | Precisão da nota de corte |
| Dificuldade por banca | Nota média entre 57% e 71% da prova objetiva e nota de corte da 2ª etapa entre 68% e 82%, conforme a banca | Dificuldade por banca |
| Provas mais difíceis | Lista das provas pelo desempenho médio dos candidatos, filtrável por banca, órgão e cargo | Provas mais difíceis |
| Matérias em que mais se erra | Aproveitamento médio de cada matéria nos últimos 3 anos | Matérias em que mais se erra |
| Anulações por banca | Proporção de questões anuladas nos gabaritos definitivos de cada banca | Bancas que mais anulam |
| Letras do gabarito | Quanto cada alternativa aparece nas provas de quatro e de cinco alternativas, no geral e por banca | Letra do gabarito |
| Movimento do ranking | Quantos candidatos sobem, descem ou se mantêm quando o gabarito muda, e quantos se movem 10 posições ou mais | Quanto o ranking muda |
| Prazos das bancas | Mediana de dias da prova ao gabarito preliminar e do preliminar ao definitivo, por banca | Prazo do gabarito |
| Acerto da nota de corte, concurso a concurso | Diferença entre a nota de corte estimada e a real em cada concurso medido | Estatísticas de acerto |
O que é calculado e como
| Medida | De onde vem | Onde aprofundar |
|---|---|---|
| Posição do candidato | Comparação do gabarito marcado com o oficial e com o dos demais participantes. É recalculada a cada novo gabarito oficial e a cada novo participante | Ranking pós-prova: como funciona |
| Nota de corte provável | Estimativa feita com os dados do próprio ranking e com o histórico de concursos anteriores, recalculada conforme o ranking recebe candidatos e gabaritos | Nota de corte em concursos |
| Dificuldade das questões e das provas | Percentual de acerto de cada questão entre os candidatos que a responderam, agregado por matéria e por banca | Dificuldade das provas por banca |
| Score ONV | Medida de desempenho padronizada entre provas, que permite comparar candidatos de provas diferentes | Score ONV |
| Classificação conforme o edital | Todas as regras previstas no edital de cada concurso, aplicadas ao ranking | Exemplo: Cotas em concursos |
Para as estimativas e as análises de desempenho, o olhonavaga usa métodos estatísticos e modelos de aprendizado de máquina treinados sobre esse histórico.
Como medimos a qualidade
A principal medida de qualidade é a comparação da nota de corte estimada com a real, depois que o resultado oficial sai. Nos rankings com segunda etapa dos últimos 12 meses, a última nota de corte estimada antes do resultado oficial ficou, em média, a 0,55 ponto da real. Em 90,6% dos registros a diferença foi de até 1 ponto e, em 100%, de até 2 pontos. Hoje cada estimativa parte de milhões de dados, analisados por modelos próprios de aprendizado de máquina. Os resultados completos estão em quão precisa é a nota de corte estimada, e concurso a concurso na página de estatísticas de acerto da nota de corte.
Também publicamos quanto a posição muda quando o gabarito é atualizado, que mede o efeito das anulações e das alterações sobre os candidatos.
Limites e o que ainda não medimos
- Participação voluntária. Os rankings reúnem candidatos que escolheram participar. Eles não são uma amostra aleatória de todos os inscritos, e tendem a incluir candidatos mais engajados. O volume de dados reduz a oscilação das estimativas, mas não elimina esse viés.
- Estimativa não é resultado. A nota de corte provável e a posição são estimativas. O resultado oficial é sempre o da banca.
- Só medimos onde há resultado. A precisão só pode ser calculada para concursos em que a nota de corte real foi registrada.
- O edital é a referência final. O ranking aplica as regras de cada concurso, e quem decide é o edital.
- É a última estimativa, não a do primeiro dia. A precisão publicada é a da estimativa final, antes do resultado oficial. A feita logo depois da prova, com poucos participantes, tende a ser menos precisa e não é medida nesta página.
Como citar e onde aprofundar
Ao citar números desta página, indique a página e a data de atualização (10 de novembro de 2026). Os artigos abaixo detalham cada ponto: