Domingo, 1 de Fevereiro de 2009
Fala-se de precipitação e logo alguém do DN se precipita a escrever títulos precipitados: "Este Janeiro foi o mais chuvoso dos últimos 30 anos", lê-se na edição de hoje. Num país de secas em tempos de secas, não há leitor que fique indiferente a um título destes. Em que se baseiam as jornalistas Diana Mendes e Natacha Cardoso para escrever tal coisa? Eis o que encontrei:
1. "(...) o primeiro mês do ano registou chuva intensa, batendo a média das três últimas décadas"
2. "Choveu mais este Janeiro do que no mesmo mês nos últimos 30 anos, em termos médios, disse ontem ao DN fonte do Instituto de Meteorologia (IM)".
3. Citando alguém do Instituto de Meteorologia: "o valor de Janeiro excede claramente os valores normais (...)"; ao que as jornalistas acrescentam: "(...) medidos através de uma média dos vários anos".
4. "Os registos da chuva nas 24 estações meteorológicas do IM (...) ultrapassaram a média".
Será precipitação minha ou a comparação está a ser feita unicamente em relação à média dos últimos trinta anos? É que, se for este o caso, estaremos em presença de um caso muito grave de falta de conceitos básicos, em que as jornalistas não percebem a diferença entre "superior à média" e "superior a todos". Se não for este o caso e se for mesmo verdade que Janeiro deste ano foi o mais chuvoso dos últimos 30 anos, então o mínimo que se exige é que as jornalistas saibam explicá-lo decentemente no corpo da notícia e, sobretudo, saibam escolher uma afirmação do Instituto de Meteorologia que adequadamente o sustente.
Adenda (graças ao leitor Filipe Moura): Parece que não foi precipitação minha. De acordo com o Instituto de Meteorologia, Janeiro de 2009 não foi sequer o mais chuvoso deste século, quanto mais dos últimos 30 anos... Mais, fica até "pouco acima do valor da média climatológica de 1971-2000"!
Quarta-feira, 29 de Outubro de 2008
Lê-se hoje no DN que mais de 82% das escolas de uma lista do DN chegaram pelo menos aos 9,5 valores, e depois indaga-se sobre “facilitismo” e “trabalho” (também no JN, uma notícia semelhante com o título “Privadas dominam ranking das escolas” e já agora no Público).
O que esta notícia faz, assim como oficial e perigosamente o faz o Ministério da Educação com este tipo de abordagens às classificações em exames e com este tipo de rankings, é pegar nas notas de exames a 20 disciplinas dos alunos de uma escola e, muito simplesmente, calcular uma média.
O problema é que a média é fortemente afectada por valores extremos e aqui existem duas razões para que isso aconteça:
(1) Porque se agregam numa mesma medida alunos com notas muito diferentes e (2) porque se agregam nessa mesma medida disciplinas cuja natureza do saber que representam e grau de dificuldade são pacificamente aceites como muito diferentes. Ou seja, esconde-se, isto é, perde-se a heterogeneidade ao nível de aluno e ao nível de disciplina.
Portanto, o que significa dizer que uma escola teve (média) positiva em 2008 e uma outra teve (média) negativa?
Estas são questões quanto ao uso exclusivo de uma medida de localização – a média – para caracterizar uma distribuição – notas de alunos em 20 exames – que se sabe à partida ter grande variabilidade, quer entre alunos, quer entre disciplinas, para depois fazer comparações agregadas entre escolas.
E o segundo problema, relacionado e mais grave, é que as limitações do uso exclusivo da média não são as mesmas entre tipos de escolas, nomeadamente entre públicas e privadas. Porque existe auto-selecção entre alunos (ou pais de alunos) na escolha da escola a frequentar, as escolas privadas têm em geral uma população estudantil menos heterogénea que as escolas públicas, nomeadamente no que diz respeito à representação de (muito) maus alunos.
Assim, o uso da média é particularmente penalizador para as escolas públicas.
Analizemos então a componente dinâmica desta questão, isto é, estes resultados comparados com anos anteriores. A notícia alerta que considerar exclusivamente os exames não pode responder à questão se foi o “facilitismo nos exames” ou se foi o “trabalho do Ministério da Educação”. Pois bem, o problema, como explico em cima, não está tanto em olhar apenas para os exames, mas para o modo como se olha para eles.
O facilitismo nas provas faz com que não só os alunos menos bons possam vir a ter positiva nos exames, como os alunos intrinsecamente bons têm agora oportunidade de ter positivas excepcionalmente altas. Assim, no caso de facilitismo, o uso exclusivo da média actua em duas frentes: (1) consegue que haja mais positivas e (2) que as positivas subam para valores mais extremos e transformem assim parte das negativas em positivas.
Isto é, por forma a não exacerbar o efeito do facilitismo, caso este tenha ocorrido, é de todo desaconselhável usar rankings, especialmente estes rankings.
Notas:
- Sobre se as provas foram facilitadas, já aqui (ponto 5.c) sugeri que a melhor forma de o averiguar e de estabelecer termos de comparação da dificuldade dos exames é perguntar aos próprios alunos ou pedir-lhes (a parte deles) que realizem exames de anos anteriores.
- Em 2007 existiam no país 917 escolas secundárias, pelo que na lista do DN faltam cerca de 300 escolas. Ou seja, cerca de um terço das escolas não foi incluído (não existem razões para pensar que o número de escolas em 2008 é substancialmente diferente/menor). Ora, se as escolas que faltam não forem idênticas às que estão na lista em termos da distribuição de notas nos exames, os resultados apresentados podem ser diferentes.
- Assim, quantos alunos, da população total de alunos no país, estão representados pelos dois terços de escolas usados?
- Uma vez que não foram incluídas todas as escolas, qual a distribuição de escolas públicas e privadas neste estudo? Existem diferenças quanto ao universo que representam?
Quarta-feira, 4 de Junho de 2008
Para os lados da Marechal Gomes da Costa, as saudades do calor são tantas que Alexandre Brito resolveu alterar "ligeiramente" as informações que lhe foram dadas pelo Instituto de Meteorologia. O Presidente do Instituto de Meteorologia disse à Antena 1 que "Temos efectivamente uma probabilidade de o Verão ser ligeiramente superior, em termos de temperatura, à média dos últimos 25 anos". E o que é a RTP resolve escrever no título? "Este Verão poderá ser o mais quente dos últimos 25 anos". Eu diria que sim, é verdade. Pode ser que sim. Mas, sendo que a informação que lhe foi prestada era que a temperatura deste Verão poderia ser LIGEIRAMENTE superior à Média dos últimos anos, eu não teria muitas esperanças.
Domingo, 28 de Outubro de 2007
O DN de ontem, sob o título “Privados garantem que ensinam melhor por menos”, dá voz a alguns responsáveis de associações ligadas ao ensino particular e cooperativo (vá lá, ficou de fora o concordatário...) que argumentam dever o Estado dar “liberdade de escolha” às familias quanto aos estabelecimentos de ensino que os filhos frequentam, sejam estes públicos ou privados, “assegurando depois o financiamento integral das aprendizagens”. Vamos por partes: primeiro o verdadeiro ‘pedido’ ao Estado e depois os argumentos usados para o justificarem.
A escola pública, ao que parece, ensina mal e ensina mal por mais caro. E, portanto, o Estado deve dar liberdade de escolha às familias. Mas esperem lá, então quem já tem actualmente os filhos em escolas privadas está a desobedecer ao Estado porque tomou a liberdade de não escolher escolas públicas? E quem escolheu escolas públicas (se é que ‘escolheu’), está a obedecer ao Estado? As respostas são óbvias para estar a gastar caracteres. A verdade é que se usa o estandarte da “liberdade de escolha” para pedir... dinheiro ao Estado!
Note-se, o meu ponto nada tem que ver com ideologias político-económicas (nenhuma me interessa aqui). Simplesmente, é dada voz num jornal ‘de referência’ sem haver lugar a qualquer contraditório, isto é, sem que passe pela cabeça de alguns jornalistas uma perguntazinha sequer a rebater o que é dito. Bom, se não passa, e acredito que não passe, então vamos aos argumentos, que esses é que são bons.
O ponto de partida está nos rankings das escolas, os quais se baseiam, ao que parece, pelo que é dado a entender no artigo, na média dos resultados dos exames a Português e a Matemática. “De acordo com cálculos feitos pelo DN”, as privadas obtiveram, em média, 3,45 a Português, contra os 3,21 das públicas. Mas “a diferença foi ainda mais significativa” a Matemática: em média, 2,59 para as privadas contra 2,11 para as públicas. Eu pergunto:
1. Quando se diz que estas diferenças foram (são?) significativas, está a usar-se o termo estatisticamente ou de forma literária? É que se é estatisticamente, então cabe informar para que nível de confiança são essas diferenças significativas? Para 1%? Para 5%? Para 10%? É que as diferenças, entre usar uns ou outros níveis de confiança, são significativas (forma literária!). Se o termo está a ser usado de forma literária, então a comparação pode ser oca e não servir para nada se as diferenças forem estatisticamente não significativas. (Dado que a dimensão das duas amostras – número de alunos nas públicas e privadas – é provavelmente grande, não surpreende se as diferenças forem, de facto, estatisticamente significativas; mesmo assim...)
2. Então, focando-nos na média, como tanto se gosta de fazer e é o que se faz no artigo, a Português, tanto as privadas como as públicas conseguem a mesma positiva (média de três, já que a média das privadas não chega para arredondar para o quatro, mas nem queria entrar por aí). E, ainda focando-nos na média, a Matemática, tanto o privado como o público, ‘conseguem’ ter negativa (embora, arrendondado, o privado consiga três). Como se sabe, nas pautas aparece um 3 ou um 2, sem casas decimais, e é isso que interessa aos alunos e é isso que interessa para passar ou chumbar (oops, ‘reprovar’; oops, ‘ficar retido’) a uma disciplina (depois de, com a nota interna, calcular a média ponderada). Estamos então a falar de casas decimais para sustentar o argumento da liberdade de escolha e o financiamento integral das aprendizagens por parte do Estado? É que, ao que parece, às unidades, privado e público estão a fazer igualmente bem e a fazer igualmente mal.
3. Por favor, há alguém em Portugal que pegue em dados da performance das escolas (privadas e públicas) com um horizonte temporal razoável, e estude de uma vez por todas o efeito-escola sobre o efeito-aluno, controlando para factores socio-económicos, culturais, etc? Como é sabido, a população estudantil nas privadas é, apesar dos esforços para o contradizer, muito mais homogénea que a população estudantil nas públicas, a qual se caracterizará, porventura bem, por uma perfeita ‘salganhada’. Ou seja, indirectamente, estou a dizer que interessa não só olhar para a média (já estamos habituados a falar dela e quase toda a gente a sabe calcular), mas também para a variância dos resultados nas escolas. Estou em crer que essa variância é (significativamente?) maior nas públicas do que nas privadas. Ora, a média é uma medida de tendência central que é afectada por extremos. Ah, então... Pois.
A educação é uma paixão em Portugal e por isso vende. Votos e jornais. E onde está um projecto de investigação global sobre a educação em Portugal? Ah, espera, isso não dá votos e não vende jornais... (e as universidades, onde andam?) Haja, ao menos, (mais) rigor.
