Lê-se hoje no DN que mais de 82% das escolas de uma lista do DN chegaram pelo menos aos 9,5 valores, e depois indaga-se sobre “facilitismo” e “trabalho” (também no JN, uma notícia semelhante com o título “Privadas dominam ranking das escolas” e já agora no Público).
O que esta notícia faz, assim como oficial e perigosamente o faz o Ministério da Educação com este tipo de abordagens às classificações em exames e com este tipo de rankings, é pegar nas notas de exames a 20 disciplinas dos alunos de uma escola e, muito simplesmente, calcular uma média.
O problema é que a média é fortemente afectada por valores extremos e aqui existem duas razões para que isso aconteça:
(1) Porque se agregam numa mesma medida alunos com notas muito diferentes e (2) porque se agregam nessa mesma medida disciplinas cuja natureza do saber que representam e grau de dificuldade são pacificamente aceites como muito diferentes. Ou seja, esconde-se, isto é, perde-se a heterogeneidade ao nível de aluno e ao nível de disciplina.
Portanto, o que significa dizer que uma escola teve (média) positiva em 2008 e uma outra teve (média) negativa?
Estas são questões quanto ao uso exclusivo de uma medida de localização – a média – para caracterizar uma distribuição – notas de alunos em 20 exames – que se sabe à partida ter grande variabilidade, quer entre alunos, quer entre disciplinas, para depois fazer comparações agregadas entre escolas.
E o segundo problema, relacionado e mais grave, é que as limitações do uso exclusivo da média não são as mesmas entre tipos de escolas, nomeadamente entre públicas e privadas. Porque existe auto-selecção entre alunos (ou pais de alunos) na escolha da escola a frequentar, as escolas privadas têm em geral uma população estudantil menos heterogénea que as escolas públicas, nomeadamente no que diz respeito à representação de (muito) maus alunos.
Assim, o uso da média é particularmente penalizador para as escolas públicas.
Analizemos então a componente dinâmica desta questão, isto é, estes resultados comparados com anos anteriores. A notícia alerta que considerar exclusivamente os exames não pode responder à questão se foi o “facilitismo nos exames” ou se foi o “trabalho do Ministério da Educação”. Pois bem, o problema, como explico em cima, não está tanto em olhar apenas para os exames, mas para o modo como se olha para eles.
O facilitismo nas provas faz com que não só os alunos menos bons possam vir a ter positiva nos exames, como os alunos intrinsecamente bons têm agora oportunidade de ter positivas excepcionalmente altas. Assim, no caso de facilitismo, o uso exclusivo da média actua em duas frentes: (1) consegue que haja mais positivas e (2) que as positivas subam para valores mais extremos e transformem assim parte das negativas em positivas.
Isto é, por forma a não exacerbar o efeito do facilitismo, caso este tenha ocorrido, é de todo desaconselhável usar rankings, especialmente estes rankings.
Notas:
- Sobre se as provas foram facilitadas, já aqui (ponto 5.c) sugeri que a melhor forma de o averiguar e de estabelecer termos de comparação da dificuldade dos exames é perguntar aos próprios alunos ou pedir-lhes (a parte deles) que realizem exames de anos anteriores.
- Em 2007 existiam no país 917 escolas secundárias, pelo que na lista do DN faltam cerca de 300 escolas. Ou seja, cerca de um terço das escolas não foi incluído (não existem razões para pensar que o número de escolas em 2008 é substancialmente diferente/menor). Ora, se as escolas que faltam não forem idênticas às que estão na lista em termos da distribuição de notas nos exames, os resultados apresentados podem ser diferentes.
- Assim, quantos alunos, da população total de alunos no país, estão representados pelos dois terços de escolas usados?
- Uma vez que não foram incluídas todas as escolas, qual a distribuição de escolas públicas e privadas neste estudo? Existem diferenças quanto ao universo que representam?