Quarta-feira, 29 de Outubro de 2008

Rankings com alhos e bugalhos (e cebolas no topo)

 

Lê-se hoje no DN que mais de 82% das escolas de uma lista do DN chegaram pelo menos aos 9,5 valores, e depois indaga-se sobre “facilitismo” e “trabalho” (também no JN, uma notícia semelhante com o título “Privadas dominam ranking das escolas” e já agora no Público).
 
O que esta notícia faz, assim como oficial e perigosamente o faz o Ministério da Educação com este tipo de abordagens às classificações em exames e com este tipo de rankings, é pegar nas notas de exames a 20 disciplinas dos alunos de uma escola e, muito simplesmente, calcular uma média.
 
O problema é que a média é fortemente afectada por valores extremos e aqui existem duas razões para que isso aconteça:
 
(1) Porque se agregam numa mesma medida alunos com notas muito diferentes e (2) porque se agregam nessa mesma medida disciplinas cuja natureza do saber que representam e grau de dificuldade são pacificamente aceites como muito diferentes. Ou seja, esconde-se, isto é, perde-se a heterogeneidade ao nível de aluno e ao nível de disciplina.
 
Portanto, o que significa dizer que uma escola teve (média) positiva em 2008 e uma outra teve (média) negativa?
 
Estas são questões quanto ao uso exclusivo de uma medida de localização – a média – para caracterizar uma distribuição – notas de alunos em 20 exames – que se sabe à partida ter grande variabilidade, quer entre alunos, quer entre disciplinas, para depois fazer comparações agregadas entre escolas.
 
E o segundo problema, relacionado e mais grave, é que as limitações do uso exclusivo da média não são as mesmas entre tipos de escolas, nomeadamente entre públicas e privadas. Porque existe auto-selecção entre alunos (ou pais de alunos) na escolha da escola a frequentar, as escolas privadas têm em geral uma população estudantil menos heterogénea que as escolas públicas, nomeadamente no que diz respeito à representação de (muito) maus alunos.
 
Assim, o uso da média é particularmente penalizador para as escolas públicas.
 
Analizemos então a componente dinâmica desta questão, isto é, estes resultados comparados com anos anteriores. A notícia alerta que considerar exclusivamente os exames não pode responder à questão se foi o “facilitismo nos exames” ou se foi o “trabalho do Ministério da Educação”. Pois bem, o problema, como explico em cima, não está tanto em olhar apenas para os exames, mas para o modo como se olha para eles.
 
O facilitismo nas provas faz com que não só os alunos menos bons possam vir a ter positiva nos exames, como os alunos intrinsecamente bons têm agora oportunidade de ter positivas excepcionalmente altas. Assim, no caso de facilitismo, o uso exclusivo da média actua em duas frentes: (1) consegue que haja mais positivas e (2) que as positivas subam para valores mais extremos e transformem assim parte das negativas em positivas.
 
Isto é, por forma a não exacerbar o efeito do facilitismo, caso este tenha ocorrido, é de todo desaconselhável usar rankings, especialmente estes rankings.
 
 
 
Notas:
 
- Sobre se as provas foram facilitadas, já aqui (ponto 5.c) sugeri que a melhor forma de o averiguar e de estabelecer termos de comparação da dificuldade dos exames é perguntar aos próprios alunos ou pedir-lhes (a parte deles) que realizem exames de anos anteriores.
  
- Em 2007 existiam no país 917 escolas secundárias, pelo que na lista do DN faltam cerca de 300 escolas. Ou seja, cerca de um terço das escolas não foi incluído (não existem razões para pensar que o número de escolas em 2008 é substancialmente diferente/menor). Ora, se as escolas que faltam não forem idênticas às que estão na lista em termos da distribuição de notas nos exames, os resultados apresentados podem ser diferentes.
 
- Assim, quantos alunos, da população total de alunos no país, estão representados pelos dois terços de escolas usados?
 
- Uma vez que não foram incluídas todas as escolas, qual a distribuição de escolas públicas e privadas neste estudo? Existem diferenças quanto ao universo que representam?

 

 

 

publicado por Carlos Lourenço às 11:13
link | comentar | ver comentários (2) | favorito
Sexta-feira, 11 de Julho de 2008

Negativas a Matemática

O Ministério da Educação divulgou ontem que 55.1% [44.9%] dos alunos do 9º ano que fizeram a prova de Matemática obtiveram nota positiva [negativa], o que, segundo o Público, contrasta com os 27.2% de positivas e 72.8% de negativas do ano passado. Lá que contrasta, contrasta. Mas isto não legitima o Público a escrever "Negativas na prova de Matemática do nono ano caem quase 40 por cento num ano". Nem dá o direito ao DN de escrever "Positivas na Matemática do 9º duplicam face a 2007". O Público e o DN referem-se à queda percentual da percentagem de negativas de 38.3% e à subida percentual da percentagem de positivas de 102.6%, respectivamente. Mas isto nada diz sobre a variação de positivas/negativas em termos absolutos, como implícito nos títulos. Para isso, teríamos de ter em conta a variação de alunos inscritos. Claro, no caso de não ter havido alteração do número de examinandos, as variações percentuais absolutas e relativas são equivalentes. Mas houve certamente alteração. A SIC, por exemplo, dizia há algumas semanas que haveria este ano menos 7.201 alunos inscritos para as duas fases, em comparação com o ano passado.

Principais Tags: , ,
publicado por Pedro Bom às 11:15
link | comentar | favorito
Domingo, 28 de Outubro de 2007

'Rankings' (reis em fuga?)

O DN de ontem, sob o título Privados garantem que ensinam melhor por menos, dá voz a alguns responsáveis de associações ligadas ao ensino particular e cooperativo (vá lá, ficou de fora o concordatário...) que argumentam dever o Estado dar “liberdade de escolha” às familias quanto aos estabelecimentos de ensino que os filhos frequentam, sejam estes públicos ou privados, “assegurando depois o financiamento integral das aprendizagens”. Vamos por partes: primeiro o verdadeiro ‘pedido’ ao Estado e depois os argumentos usados para o justificarem.
 
A escola pública, ao que parece, ensina mal e ensina mal por mais caro. E, portanto, o Estado deve dar liberdade de escolha às familias. Mas esperem lá, então quem já tem actualmente os filhos em escolas privadas está a desobedecer ao Estado porque tomou a liberdade de não escolher escolas públicas? E quem escolheu escolas públicas (se é que ‘escolheu’), está a obedecer ao Estado? As respostas são óbvias para estar a gastar caracteres. A verdade é que se usa o estandarte da “liberdade de escolha” para pedir... dinheiro ao Estado!
 
Note-se, o meu ponto nada tem que ver com ideologias político-económicas (nenhuma me interessa aqui). Simplesmente, é dada voz num jornal ‘de referência’ sem haver lugar a qualquer contraditório, isto é, sem que passe pela cabeça de alguns jornalistas uma perguntazinha sequer a rebater o que é dito. Bom, se não passa, e acredito que não passe, então vamos aos argumentos, que esses é que são bons.
 
O ponto de partida está nos rankings das escolas, os quais se baseiam, ao que parece, pelo que é dado a entender no artigo, na média dos resultados dos exames a Português e a Matemática. “De acordo com cálculos feitos pelo DN”, as privadas obtiveram, em média, 3,45 a Português, contra os 3,21 das públicas. Mas “a diferença foi ainda mais significativa” a Matemática: em média, 2,59 para as privadas contra 2,11 para as públicas. Eu pergunto:
 
1. Quando se diz que estas diferenças foram (são?) significativas, está a usar-se o termo estatisticamente ou de forma literária? É que se é estatisticamente, então cabe informar para que nível de confiança são essas diferenças significativas? Para 1%? Para 5%? Para 10%? É que as diferenças, entre usar uns ou outros níveis de confiança, são significativas (forma literária!). Se o termo está a ser usado de forma literária, então a comparação pode ser oca e não servir para nada se as diferenças forem estatisticamente não significativas. (Dado que a dimensão das duas amostras – número de alunos nas públicas e privadas – é provavelmente grande, não surpreende se as diferenças forem, de facto, estatisticamente significativas; mesmo assim...)
 
2. Então, focando-nos na média, como tanto se gosta de fazer e é o que se faz no artigo, a Português, tanto as privadas como as públicas conseguem a mesma positiva (média de três, já que a média das privadas não chega para arredondar para o quatro, mas nem queria entrar por aí). E, ainda focando-nos na média, a Matemática, tanto o privado como o público, ‘conseguem’ ter negativa (embora, arrendondado, o privado consiga três). Como se sabe, nas pautas aparece um 3 ou um 2, sem casas decimais, e é isso que interessa aos alunos e é isso que interessa para passar ou chumbar (oops, ‘reprovar’; oops, ‘ficar retido’) a uma disciplina (depois de, com a nota interna, calcular a média ponderada). Estamos então a falar de casas decimais para sustentar o argumento da liberdade de escolha e o financiamento integral das aprendizagens por parte do Estado? É que, ao que parece, às unidades, privado e público estão a fazer igualmente bem e a fazer igualmente mal.
 
3. Por favor, há alguém em Portugal que pegue em dados da performance das escolas (privadas e públicas) com um horizonte temporal razoável, e estude de uma vez por todas o efeito-escola sobre o efeito-aluno, controlando para factores socio-económicos, culturais, etc? Como é sabido, a população estudantil nas privadas é, apesar dos esforços para o contradizer, muito mais homogénea que a população estudantil nas públicas, a qual se caracterizará, porventura bem, por uma perfeita ‘salganhada’. Ou seja, indirectamente, estou a dizer que interessa não só olhar para a média (já estamos habituados a falar dela e quase toda a gente a sabe calcular), mas também para a variância dos resultados nas escolas. Estou em crer que essa variância é (significativamente?) maior nas públicas do que nas privadas. Ora, a média é uma medida de tendência central que é afectada por extremos. Ah, então... Pois.
 
A educação é uma paixão em Portugal e por isso vende. Votos e jornais. E onde está um projecto de investigação global sobre a educação em Portugal? Ah, espera, isso não dá votos e não vende jornais... (e as universidades, onde andam?) Haja, ao menos, (mais) rigor.
Principais Tags: , , , ,
publicado por Carlos Lourenço às 18:07
link | comentar | ver comentários (1) | favorito
Terça-feira, 9 de Outubro de 2007

Uma questão de Português e Matemática

(artigo publicado a 5 de Setembro de 2006 no então 'Economia' do DN pelo mesmo autor, aqui republicado a fazer jus à génese do 'A Pente-Fino')

 

Na passada sexta-feira, a primeira página do DN tinha a seguinte manchete: "Exames fazem disparar reprovações no 9.º ano", referindo-se ao ano lectivo 2004/05 em comparação com 2003/04. Vejamos se assim é.

Desde o ano passado, os alunos do 9.º ano têm de fazer exame nacional a Língua Portuguesa e a Matemática, a nota do qual (de 0 a 100%) é convertida para uma escala de 1 a 5 segundo uma tabela definida pela tutela. É esta classificação do exame (de 1 a 5) que em 2004/05 teve um peso de 25% na nota final daquelas duas disciplinas e que este ano pesa 30% (o restante é a nota do 3.º período). Assim, um aluno reprova no 9.º ano se tiver a) nota final inferior a 3 a Língua Portuguesa e Matemática, ou b) nota final inferior a 3 em três disciplinas, ou c) em duas disciplinas (que não aquelas duas em simultâneo) e Não satisfaz na área de projecto.

Ora, acontece que em 2004/05 os exames do 9.º ano, a valerem 25%, não podem ter reprovado ninguém, simplesmente porque ninguém com positiva no 3.º período (3 a 5) passa a negativa por causa do exame. Quem tem um 3 no 3.º período, mesmo que tenha 1 no exame, fica com 2,5 como nota final, o que arrendondado dá 3 e o aluno não reprova.

Para os melhores alunos, de 4 e 5, o máximo que lhes poderá acontecer é descer um valor. Segundo o relatório do Gave sobre os resultados da 1.ª chamada do exame de Matemática, p. ex., em 2005, a grande maioria dos alunos com 4 e 5 no 3.º período obteve 3 ou mais no exame, conservando assim a sua nota interna. Raros foram os alunos com 4 que obtiveram 1 no exame (nenhum aluno com 5 obteve 1), descendo assim a sua nota final para 3.

Os exames, a valerem 25% (ou 30%), eventualmente até ajudam a passar de ano. Aos alunos com 2 no 3.º período (em vias de reprovarem), os exames permitem chegar ao 3 caso obtenham 4 ou 5 no exame, o que em 2005 não aconteceu. Por fim, os alunos com 1 no 3.º período estão fatalmente reprovados à disciplina, com ou sem exame. Finalmente, em 2006, mesmo com exames a valerem 3o% da nota final, só se um aluno tiver 3 no 3.º período e 1 no exame é que reprova à disciplina (em 2005 aconteceu a cerca de 15% desses alunos).

Conclusão: os exames do 9.º ano de 2005 a valerem 25% não terão causado uma única reprovação adicional em relação a 2004. E se, como refere a notícia, a taxa de retenção e desistência do 3.º ciclo em 2004/05, de 19,3%, foi a mais alta desde há nove anos, mesmo assim apenas dois pontos percentuais acima da taxa em 2003/04 e um ponto percentual acima da média dos nove anos (em 2001 e 2002 a taxa esteve acima dos 19%), não foi devido aos exames.

Parece então que estamos mais uma vez perante um problema de informação, com a agravante de se notarem, da parte de vários intervenientes, interpretações menos correctas e erros de aritmética elementar, que a serem cometidos por um aluno o levariam a reprovar.

publicado por Carlos Lourenço às 13:28
link | comentar | favorito

Autores

Pesquisa no blog

 

Janeiro 2017

Dom
Seg
Ter
Qua
Qui
Sex
Sab
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

Posts Recentes

Rankings com alhos e buga...

Negativas a Matemática

'Rankings' (reis em fuga?...

Uma questão de Português ...

Arquivo

Janeiro 2017

Dezembro 2016

Março 2015

Fevereiro 2015

Dezembro 2014

Novembro 2014

Fevereiro 2013

Janeiro 2013

Setembro 2009

Agosto 2009

Julho 2009

Junho 2009

Maio 2009

Abril 2009

Março 2009

Fevereiro 2009

Janeiro 2009

Dezembro 2008

Novembro 2008

Outubro 2008

Setembro 2008

Agosto 2008

Julho 2008

Junho 2008

Maio 2008

Abril 2008

Março 2008

Fevereiro 2008

Janeiro 2008

Dezembro 2007

Novembro 2007

Outubro 2007

Setembro 2007

Principais Tags

correio da manhã(13)

desemprego(15)

diário digital(24)

diário económico(9)

dn(82)

economia(65)

estatísticas(22)

expresso(26)

inflação(13)

lusa(15)

matemática(12)

percentagens(26)

público(102)

publico(9)

rigor(9)

rtp(20)

rudolfo(16)

salários(10)

sensacionalismo(135)

sic(11)

todas as tags

Contacto do Blogue

apentefino@sapo.pt

Outros Blogs

subscrever feeds