Eu *acho* que descobri a maior parte do que Horvath fez para obter os resultados que ele não explicou. Vou explicar usando as suas notas de Matemática do 4º ano. Eu peguei no seu gráfico e digitalizei-o, o que introduz uma pequena quantidade de erro porque a resolução do gráfico dele era um pouco baixa. A quantidade de erro aqui é pequena. Depois, procurei programaticamente pela sua especificação. Cheguei bastante perto ao passar por possibilidades. Eu igualei a inclinação e meu RMSE nos pontos era pequeno antes do alegado ponto de inflexão digital. Depois, foi um pouco maior, porque não está tão claro o que ele fez exatamente. Mas para chegar tão perto quanto consegui, tive que: - Agrupar as notas por tempo de evento de 2 anos em relação aos anos de inflexão que ele declarou - Excluir 2022 (que ele apenas teoricamente, mas não estatisticamente justificou) - Cortar os grupos mais externos da Flórida - Usar o tempo de evento como x em vez do ponto médio do grupo Isso entrega sua inclinação exata: 1.08 antes da inflexão digital e -0.28 depois. Mas e se desfizermos todas as decisões arbitrárias que tivemos que usar para chegar aqui? Se usarmos os pontos médios dos grupos em vez do tempo médio de evento, passamos para 1.06/-0.27. Não é um grande efeito. Se incluirmos os grupos pós-Flórida na inclinação, vamos para +1.08/-0.33. Se incluirmos 2022, vamos para +1.08/-0.76. Se incluirmos a Flórida de 1992/1996, obtemos +1.08/-0.28. Se mantivermos grupos N = 1 em vez de descartá-los (o que não devemos fazer, porque são confiáveis, já que são estados inteiros!), chegamos a +1.05/-0.25. E se agrupamos os pontos médios e todos os grupos pós, obtemos +1.06/-0.33. Se combinarmos essas coisas e realizarmos a análise mais sensata disponível para nós, dados os dados, obtemos +1.04/+0.10, uma redução na inclinação com certeza, mas o que estávamos esperando de qualquer forma? Se a pré-tendência tivesse se mantido, a extrapolação seria para 256.3 pontos, que é mais alto do que qualquer estado individual já marcou. A pré-tendência de +1.08/ano não é um contra-factual plausível. Em vez disso, é uma tendência de recuperação dos anos 1990-2000 que já estava desacelerando (basta olhar!) antes de qualquer estado ter adotado o ensino digital. Extrapolar isso para frente e tratar isso como evidência real de uma lacuna ou uma 'perda' é atribuir um efeito de teto ao EdTech. Além disso, a verdadeira chave para o erro de Horvath é esta: Ele mexeu com seus dados até encontrar um design que apenas recapitula as tendências nacionais, independentemente da causalidade! 76% dos estados têm anos de inflexão entre 2014-16, e ele cortou as entradas mais distantes (FL/TX), então centrar no ano de inflexão e fazer a média entre os estados é quase idêntico a centrar em 2015 e fazer a média. A pré-tendência é a melhoria nacional do NAEP dos anos 1990 até meados da década de 2010, e a pós-tendência é a estagnação e declínio nacional, e os testes de permutação confirmam isso: embaralhar aleatoriamente os anos de inflexão entre os estados dá o mesmo padrão! Na verdade, Horvath tomou decisões que garantiram efetivamente que seu resultado acabaria sendo apenas uma replotagem das tendências nacionais ao reduzir seu poder com a exclusão de FL e TX, e a consequente eliminação de 36% da variância nas datas de inflexão. Esta não é uma análise credível de forma alguma. A única análise realmente credível é o estudo de controle sintético da Flórida. É a única análise com variação identificadora porque a Flórida adotou em 2011, quatro anos antes da maior parte da nação. E a Flórida *superou* seu controle sintético após a adoção!...