A Pente-Fino
O Blog Cata-Disparates
Quarta-feira, 29 de Outubro de 2008
Rankings com alhos e bugalhos (e cebolas no topo)
Lê-se hoje no DN que mais de 82% das escolas de uma lista do DN chegaram pelo menos aos 9,5 valores, e depois indaga-se sobre “facilitismo” e “trabalho” (também no JN, uma notícia semelhante com o título “Privadas dominam ranking das escolas” e já agora no Público).
O que esta notícia faz, assim como oficial e perigosamente o faz o Ministério da Educação com este tipo de abordagens às classificações em exames e com este tipo de rankings, é pegar nas notas de exames a 20 disciplinas dos alunos de uma escola e, muito simplesmente, calcular uma média.
O problema é que a média é fortemente afectada por valores extremos e aqui existem duas razões para que isso aconteça:
(1) Porque se agregam numa mesma medida alunos com notas muito diferentes e (2) porque se agregam nessa mesma medida disciplinas cuja natureza do saber que representam e grau de dificuldade são pacificamente aceites como muito diferentes. Ou seja, esconde-se, isto é, perde-se a heterogeneidade ao nível de aluno e ao nível de disciplina.
Portanto, o que significa dizer que uma escola teve (média) positiva em 2008 e uma outra teve (média) negativa?
Estas são questões quanto ao uso exclusivo de uma medida de localização – a média – para caracterizar uma distribuição – notas de alunos em 20 exames – que se sabe à partida ter grande variabilidade, quer entre alunos, quer entre disciplinas, para depois fazer comparações agregadas entre escolas.
E o segundo problema, relacionado e mais grave, é que as limitações do uso exclusivo da média não são as mesmas entre tipos de escolas, nomeadamente entre públicas e privadas. Porque existe auto-selecção entre alunos (ou pais de alunos) na escolha da escola a frequentar, as escolas privadas têm em geral uma população estudantil menos heterogénea que as escolas públicas, nomeadamente no que diz respeito à representação de (muito) maus alunos.
Assim, o uso da média é particularmente penalizador para as escolas públicas.
Analizemos então a componente dinâmica desta questão, isto é, estes resultados comparados com anos anteriores. A notícia alerta que considerar exclusivamente os exames não pode responder à questão se foi o “facilitismo nos exames” ou se foi o “trabalho do Ministério da Educação”. Pois bem, o problema, como explico em cima, não está tanto em olhar apenas para os exames, mas para o modo como se olha para eles.
O facilitismo nas provas faz com que não só os alunos menos bons possam vir a ter positiva nos exames, como os alunos intrinsecamente bons têm agora oportunidade de ter positivas excepcionalmente altas. Assim, no caso de facilitismo, o uso exclusivo da média actua em duas frentes: (1) consegue que haja mais positivas e (2) que as positivas subam para valores mais extremos e transformem assim parte das negativas em positivas.
Isto é, por forma a não exacerbar o efeito do facilitismo, caso este tenha ocorrido, é de todo desaconselhável usar rankings, especialmente estes rankings.
Notas:
- Sobre se as provas foram facilitadas, já aqui (ponto 5.c) sugeri que a melhor forma de o averiguar e de estabelecer termos de comparação da dificuldade dos exames é perguntar aos próprios alunos ou pedir-lhes (a parte deles) que realizem exames de anos anteriores.
- Em 2007 existiam no país 917 escolas secundárias, pelo que na lista do DN faltam cerca de 300 escolas. Ou seja, cerca de um terço das escolas não foi incluído (não existem razões para pensar que o número de escolas em 2008 é substancialmente diferente/menor). Ora, se as escolas que faltam não forem idênticas às que estão na lista em termos da distribuição de notas nos exames, os resultados apresentados podem ser diferentes.
- Assim, quantos alunos, da população total de alunos no país, estão representados pelos dois terços de escolas usados?
- Uma vez que não foram incluídas todas as escolas, qual a distribuição de escolas públicas e privadas neste estudo? Existem diferenças quanto ao universo que representam?
Terça-feira, 20 de Novembro de 2007
Quando podia ser ainda mais sensacional!
Dois erros em um só texto de informação num jornal “de referência” (Público) ou numa agência informativa “de referência” (Lusa) é obra:
1) Confundir a infecção com o vírus HIV com ter SIDA.
Pode estar-se infectado com o vírus HIV e não necessariamente “ter SIDA” (a que corresponde a fase final da infecção em que o sistema imunitário do indivíduo já não consegue lutar contra infecções que de outro modo conseguiria).
2) Confundir o número total de infecções com o HIV com o número de NOVAS infecções.
Considerando o número de infecções com o HIV acumulado, Portugal não é o quarto país “mais infectado”, mas sim o SEGUNDO mais infectado (além de bem à frente da França estar a Suiça e ainda a Bélgica, dependendo do número de novas infecções em 2006).
Mais ainda, considerando uma medida relativa, por exemplo o número de infectados por milhão de habitantes, Portugal é o “MAIS infectado” de toda a Europa Ocidental.
Domingo, 28 de Outubro de 2007
'Rankings' (reis em fuga?)
O DN de ontem, sob o título “Privados garantem que ensinam melhor por menos”, dá voz a alguns responsáveis de associações ligadas ao ensino particular e cooperativo (vá lá, ficou de fora o concordatário...) que argumentam dever o Estado dar “liberdade de escolha” às familias quanto aos estabelecimentos de ensino que os filhos frequentam, sejam estes públicos ou privados, “assegurando depois o financiamento integral das aprendizagens”. Vamos por partes: primeiro o verdadeiro ‘pedido’ ao Estado e depois os argumentos usados para o justificarem.
A escola pública, ao que parece, ensina mal e ensina mal por mais caro. E, portanto, o Estado deve dar liberdade de escolha às familias. Mas esperem lá, então quem já tem actualmente os filhos em escolas privadas está a desobedecer ao Estado porque tomou a liberdade de não escolher escolas públicas? E quem escolheu escolas públicas (se é que ‘escolheu’), está a obedecer ao Estado? As respostas são óbvias para estar a gastar caracteres. A verdade é que se usa o estandarte da “liberdade de escolha” para pedir... dinheiro ao Estado!
Note-se, o meu ponto nada tem que ver com ideologias político-económicas (nenhuma me interessa aqui). Simplesmente, é dada voz num jornal ‘de referência’ sem haver lugar a qualquer contraditório, isto é, sem que passe pela cabeça de alguns jornalistas uma perguntazinha sequer a rebater o que é dito. Bom, se não passa, e acredito que não passe, então vamos aos argumentos, que esses é que são bons.
O ponto de partida está nos rankings das escolas, os quais se baseiam, ao que parece, pelo que é dado a entender no artigo, na média dos resultados dos exames a Português e a Matemática. “De acordo com cálculos feitos pelo DN”, as privadas obtiveram, em média, 3,45 a Português, contra os 3,21 das públicas. Mas “a diferença foi ainda mais significativa” a Matemática: em média, 2,59 para as privadas contra 2,11 para as públicas. Eu pergunto:
1. Quando se diz que estas diferenças foram (são?) significativas, está a usar-se o termo estatisticamente ou de forma literária? É que se é estatisticamente, então cabe informar para que nível de confiança são essas diferenças significativas? Para 1%? Para 5%? Para 10%? É que as diferenças, entre usar uns ou outros níveis de confiança, são significativas (forma literária!). Se o termo está a ser usado de forma literária, então a comparação pode ser oca e não servir para nada se as diferenças forem estatisticamente não significativas. (Dado que a dimensão das duas amostras – número de alunos nas públicas e privadas – é provavelmente grande, não surpreende se as diferenças forem, de facto, estatisticamente significativas; mesmo assim...)
2. Então, focando-nos na média, como tanto se gosta de fazer e é o que se faz no artigo, a Português, tanto as privadas como as públicas conseguem a mesma positiva (média de três, já que a média das privadas não chega para arredondar para o quatro, mas nem queria entrar por aí). E, ainda focando-nos na média, a Matemática, tanto o privado como o público, ‘conseguem’ ter negativa (embora, arrendondado, o privado consiga três). Como se sabe, nas pautas aparece um 3 ou um 2, sem casas decimais, e é isso que interessa aos alunos e é isso que interessa para passar ou chumbar (oops, ‘reprovar’; oops, ‘ficar retido’) a uma disciplina (depois de, com a nota interna, calcular a média ponderada). Estamos então a falar de casas decimais para sustentar o argumento da liberdade de escolha e o financiamento integral das aprendizagens por parte do Estado? É que, ao que parece, às unidades, privado e público estão a fazer igualmente bem e a fazer igualmente mal.
3. Por favor, há alguém em Portugal que pegue em dados da performance das escolas (privadas e públicas) com um horizonte temporal razoável, e estude de uma vez por todas o efeito-escola sobre o efeito-aluno, controlando para factores socio-económicos, culturais, etc? Como é sabido, a população estudantil nas privadas é, apesar dos esforços para o contradizer, muito mais homogénea que a população estudantil nas públicas, a qual se caracterizará, porventura bem, por uma perfeita ‘salganhada’. Ou seja, indirectamente, estou a dizer que interessa não só olhar para a média (já estamos habituados a falar dela e quase toda a gente a sabe calcular), mas também para a variância dos resultados nas escolas. Estou em crer que essa variância é (significativamente?) maior nas públicas do que nas privadas. Ora, a média é uma medida de tendência central que é afectada por extremos. Ah, então... Pois.
Quinta-feira, 4 de Outubro de 2007
Descer no ranking da corrupção significa descer no ranking da corrupção
António José Teixeira na SIC disse há instantes na SIC que Portugal tinha descido algumas "posições no nível da transparência (sic)" (referindo-se provavelmente ao ranking de corupção feito pela Transparency International), o que "quer dizer que o fenómeno se agravou".
Este simplismo com que são tiradas estas conclusões é revoltante. Por exemplo, em termos de PIB per capita sabemos que Portugal desceu algumas posições no ranking nos últimos 10 anos. Passa pela cabeça de alguém concluir que o PIB per capita desceu neste período??
Este simplismo com que são tiradas estas conclusões é revoltante. Por exemplo, em termos de PIB per capita sabemos que Portugal desceu algumas posições no ranking nos últimos 10 anos. Passa pela cabeça de alguém concluir que o PIB per capita desceu neste período??
Autores
Pesquisa no blog
Janeiro 2017
Dom
Seg
Ter
Qua
Qui
Sex
Sab
1
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
Posts Recentes
Arquivo
Principais Tags
correio da manhã(13)
desemprego(15)
diário digital(24)
dn(82)
economia(65)
estatísticas(22)
expresso(26)
inflação(13)
lusa(15)
matemática(12)
percentagens(26)
público(102)
publico(9)
rigor(9)
rtp(20)
rudolfo(16)
salários(10)
sensacionalismo(135)
sic(11)
Contacto do Blogue
apentefino@sapo.ptOutros Blogs
Blogs catadores
Médico explica medicina a intelectuais
Blogs sobre Jornalismo
Blogs sobre Economia
Blogs sobre Sondagens
Fontes Fidedignas
