Quarta-feira, 29 de Outubro de 2008

Rankings com alhos e bugalhos (e cebolas no topo)

 

Lê-se hoje no DN que mais de 82% das escolas de uma lista do DN chegaram pelo menos aos 9,5 valores, e depois indaga-se sobre “facilitismo” e “trabalho” (também no JN, uma notícia semelhante com o título “Privadas dominam ranking das escolas” e já agora no Público).
 
O que esta notícia faz, assim como oficial e perigosamente o faz o Ministério da Educação com este tipo de abordagens às classificações em exames e com este tipo de rankings, é pegar nas notas de exames a 20 disciplinas dos alunos de uma escola e, muito simplesmente, calcular uma média.
 
O problema é que a média é fortemente afectada por valores extremos e aqui existem duas razões para que isso aconteça:
 
(1) Porque se agregam numa mesma medida alunos com notas muito diferentes e (2) porque se agregam nessa mesma medida disciplinas cuja natureza do saber que representam e grau de dificuldade são pacificamente aceites como muito diferentes. Ou seja, esconde-se, isto é, perde-se a heterogeneidade ao nível de aluno e ao nível de disciplina.
 
Portanto, o que significa dizer que uma escola teve (média) positiva em 2008 e uma outra teve (média) negativa?
 
Estas são questões quanto ao uso exclusivo de uma medida de localização – a média – para caracterizar uma distribuição – notas de alunos em 20 exames – que se sabe à partida ter grande variabilidade, quer entre alunos, quer entre disciplinas, para depois fazer comparações agregadas entre escolas.
 
E o segundo problema, relacionado e mais grave, é que as limitações do uso exclusivo da média não são as mesmas entre tipos de escolas, nomeadamente entre públicas e privadas. Porque existe auto-selecção entre alunos (ou pais de alunos) na escolha da escola a frequentar, as escolas privadas têm em geral uma população estudantil menos heterogénea que as escolas públicas, nomeadamente no que diz respeito à representação de (muito) maus alunos.
 
Assim, o uso da média é particularmente penalizador para as escolas públicas.
 
Analizemos então a componente dinâmica desta questão, isto é, estes resultados comparados com anos anteriores. A notícia alerta que considerar exclusivamente os exames não pode responder à questão se foi o “facilitismo nos exames” ou se foi o “trabalho do Ministério da Educação”. Pois bem, o problema, como explico em cima, não está tanto em olhar apenas para os exames, mas para o modo como se olha para eles.
 
O facilitismo nas provas faz com que não só os alunos menos bons possam vir a ter positiva nos exames, como os alunos intrinsecamente bons têm agora oportunidade de ter positivas excepcionalmente altas. Assim, no caso de facilitismo, o uso exclusivo da média actua em duas frentes: (1) consegue que haja mais positivas e (2) que as positivas subam para valores mais extremos e transformem assim parte das negativas em positivas.
 
Isto é, por forma a não exacerbar o efeito do facilitismo, caso este tenha ocorrido, é de todo desaconselhável usar rankings, especialmente estes rankings.
 
 
 
Notas:
 
- Sobre se as provas foram facilitadas, já aqui (ponto 5.c) sugeri que a melhor forma de o averiguar e de estabelecer termos de comparação da dificuldade dos exames é perguntar aos próprios alunos ou pedir-lhes (a parte deles) que realizem exames de anos anteriores.
  
- Em 2007 existiam no país 917 escolas secundárias, pelo que na lista do DN faltam cerca de 300 escolas. Ou seja, cerca de um terço das escolas não foi incluído (não existem razões para pensar que o número de escolas em 2008 é substancialmente diferente/menor). Ora, se as escolas que faltam não forem idênticas às que estão na lista em termos da distribuição de notas nos exames, os resultados apresentados podem ser diferentes.
 
- Assim, quantos alunos, da população total de alunos no país, estão representados pelos dois terços de escolas usados?
 
- Uma vez que não foram incluídas todas as escolas, qual a distribuição de escolas públicas e privadas neste estudo? Existem diferenças quanto ao universo que representam?

 

 

 

publicado por Carlos Lourenço às 11:13
link do post | comentar | favorito
2 comentários:
De José Farinha a 29 de Outubro de 2008 às 13:37
Pois é... o problema da média é sempre o mesmo: - se tu tiveres dois frangos e eu não tiver nenhum, temos em média um frango cada um. Tudo bem portanto.
De Carlos Lourenço a 29 de Outubro de 2008 às 17:27
E se tiver 100 frangos e eu nenhum, temos, em média, 50 frangos cada um. E se tiver 1000 e eu nenhum...

Comentar post

Autores

Pesquisa no blog

 

Janeiro 2017

Dom
Seg
Ter
Qua
Qui
Sex
Sab
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

Posts Recentes

O DN a começar o ano em p...

Os conhecimentos mais bás...

Que nome bué da louco, "h...

Para bom observador, meia...

O Luís Reis Ribeiro preju...

Um título, dois erros

Bomba Atómica: o Dinheiro...

O Público anda com a cabe...

Uma pequena história

Verificar fontes é para i...

Arquivo

Janeiro 2017

Dezembro 2016

Março 2015

Fevereiro 2015

Dezembro 2014

Novembro 2014

Fevereiro 2013

Janeiro 2013

Setembro 2009

Agosto 2009

Julho 2009

Junho 2009

Maio 2009

Abril 2009

Março 2009

Fevereiro 2009

Janeiro 2009

Dezembro 2008

Novembro 2008

Outubro 2008

Setembro 2008

Agosto 2008

Julho 2008

Junho 2008

Maio 2008

Abril 2008

Março 2008

Fevereiro 2008

Janeiro 2008

Dezembro 2007

Novembro 2007

Outubro 2007

Setembro 2007

Principais Tags

correio da manhã(13)

desemprego(15)

diário digital(24)

diário económico(9)

dn(82)

economia(65)

estatísticas(22)

expresso(26)

inflação(13)

lusa(15)

matemática(12)

percentagens(26)

público(102)

publico(9)

rigor(9)

rtp(20)

rudolfo(16)

salários(10)

sensacionalismo(135)

sic(11)

todas as tags

Contacto do Blogue

apentefino@sapo.pt

Outros Blogs

subscrever feeds