Ik *denk* dat ik het meeste heb uitgevogeld van wat Horvath deed om zijn resultaten te krijgen die hij niet uitlegde. Ik zal het uitleggen aan de hand van zijn cijfers voor Wiskunde in groep 4. Ik nam zijn grafiek en digitaliseerde deze, wat een kleine hoeveelheid fout introduceert omdat de resolutie van zijn grafiek een beetje laag was. De hoeveelheid fout hier is klein. Vervolgens zocht ik programmatig naar zijn specificatie. Ik kwam vrij dichtbij door mogelijkheden te doorlopen. Ik matchte de helling en mijn RMSE op de punten was klein voor het vermeende digitale inflectiepunt. Daarna was het iets groter, omdat het minder duidelijk was wat hij precies deed. Maar om zo dicht bij te komen als ik deed, moest ik: - Scores indelen op basis van 2-jarige gebeurtenistijd ten opzichte van zijn aangegeven inflectie-jaren - 2022 uitsluiten (wat hij alleen theoretisch, maar niet statistisch rechtvaardigde) - De uiterste bins van Florida uitsluiten - Gebeurtenistijd als x gebruiken in plaats van het bin-middenpunt Dit levert zijn exacte helling op: 1.08 voor de digitale inflectie en -0.28 erna. Maar wat als we al deze willekeurige beslissingen die we moesten nemen om hier te komen ongedaan maken? Als we bin-middenpunten gebruiken in plaats van gemiddelde gebeurtenistijd, komen we uit op 1.06/-0.27. Geen grote invloed. Als we Florida na de bins in de helling opnemen, komen we uit op +1.08/-0.33. Als we 2022 opnemen, komen we uit op +1.08/-0.76. Als we Florida 1992/1996 opnemen, krijgen we +1.08/-0.28. Als we N = 1 bins behouden in plaats van ze te laten vallen (wat we niet zouden moeten doen, omdat ze betrouwbaar zijn aangezien het hele staten zijn!), komen we uit op +1.05/-0.25. En als we bin-middenpunten en alle post-bins combineren, krijgen we +1.06/-0.33. Als we deze dingen combineren en de meest redelijke analyse uitvoeren die we kunnen doen gegeven de data, krijgen we +1.04/+0.10, een vermindering van de helling, maar wat verwachtten we eigenlijk? Als de pre-trend had standgehouden, zou de extrapolatie uitkomen op 256.3 punten, wat hoger is dan wat een individuele staat ooit heeft gescoord. De pre-trend van +1.08/jaar is geen plausibel tegenfeit. Het is eerder een inhaaltend trend van de jaren '90 tot 2000 die al aan het afnemen was (kijk maar!) voordat een staat digitale lesmethoden had aangenomen. Het naar voren extrapoleren en dat behandelen als echt bewijs van een kloof of een 'verlies' is het toeschrijven van een plafondeffect aan EdTech. Bovendien is de echte sleutel tot Horvath's fout dit: Hij rommelde met zijn data totdat hij een ontwerp vond dat gewoon de nationale trends herhaalt, ongeacht de causaliteit! 76% van de staten hebben inflectie-jaren in 2014-16, en hij sloot de verste invoer (FL/TX) uit, dus centreren op het inflectiejaar en gemiddeld over de staten is bijna identiek aan centreren op 2015 en gemiddeld. De pre-trend is de nationale NAEP-verbetering van de jaren '90 tot het midden van de jaren 2010, en de post-trend is de nationale stagnatie en achteruitgang, en de permutatietests bevestigen dit: willekeurig inflectie-jaren door staten schudden geeft hetzelfde patroon! In feite maakte Horvath beslissingen die effectief garandeerden dat zijn resultaat gewoon een herplotting van de nationale trends zou zijn door zijn kracht te verminderen met de uitsluiting van FL en TX, en de daaruit voortvloeiende eliminatie van 36% van de variantie in inflectiedata. Dit is op geen enkele manier een geloofwaardige analyse. De enige echt geloofwaardige analyse is de synthetische controle studie van Florida. Het is de enige analyse met identificerende variatie omdat Florida in 2011 aannam, vier jaar voordat de bulk van de natie dat deed. En Florida *scoorde* hoger dan zijn synthetische controle na de adoptie!...