ホルヴァスが説明しなかった結果を得るために何をしたのか、ほとんどは*理解できたと思う*。 彼の4年生の数学スコアを使って説明します。 彼のグラフをデジタル化しましたが、グラフの解像度が少し低かったため、少し誤差が生じました。誤差の量は小さいです。それから、プログラムで彼の仕様を検索しました。可能性を巡ってかなり近づきました。 傾斜を合わせたところ、ポイントのRMSEはデジタルの屈折点より小さくなっていました。その後は少し大きめになりました。なぜなら、彼が正確に何をしたのかはっきりしなかったからです。しかし、私がここまで近づくためには、次のことをしなければなりませんでした: - ビンは、自身の述べた変化年に対して2年のイベント時間で得点します - 2022年を除外(理論的には、統計的には正当化していない) - フロリダ州の最外端のビンをカット - ビンの中間点ではなく、イベント時間をxとして使用 これにより、デジタルインフレクション前は1.08、後は-0.28という正確な傾きが得られます。 しかし、ここに至るまでに使わなければならなかったすべての恣意的な決定を元に戻したらどうでしょうか? 平均イベント時間の代わりにビンの中間点を使うと、1.06/-0.27に移動します。大きな影響はありません。フロリダの郵便箱を傾斜に含めると、+1.08/-0.33になります。2022年を含めると、+1.08/-0.76になります。フロリダ州1992/1996年を含めると、+1.08/-0.28となります。N = 1ビンを落とさずに保持すると(本来は削除すべきではありません。なぜなら、ビンは整状態なので信頼性が高いからです!)、+1.05/-0.25になります。そして、中間点とすべてのポストビンをビン分けすると、+1.06/-0.33となります。 これらの要素を組み合わせて、データに基づいて得られる最も合理的な分析を行うと、+1.04/+0.10という傾きの減少は確実に得られますが、そもそも私たちは何を期待していたのでしょうか?もしこの傾向が維持されていたら、外挿は256.3ポイントとなり、これはどの州よりも高い数字です。 +1.08/年という前トレンドは、現実的な反事実ではありません。むしろ、これは1990年代から2000年代にかけての追いつきの傾向であり、どの州もデジタル教育を導入する前からすでに減速していました(見てください!)。それを将来的に推測し、それをギャップや「損失」の実際の証拠として扱うのは、EdTechに天井効果を帰しているということです。 さらに、ホルヴァートの誤りの本当の鍵はこれです。 彼はデータを手探りで探り、因果関係に関係なく国の傾向を再現するデザインを見つけたのです!2014-16年に76%の州が変換年を設けており、最も遠いフロリダ/テキサスの記録は除外されているため、転換年を中心に州を横断して平均することは、2015年に中心を置いて平均化するのとほぼ同じです。前傾向は1990年代から2010年代半ばまでの全国的なNAEPの改善であり、後傾向は全国的な停滞と衰退であり、置換検定がこれを裏付けています。州ごとに変折年をランダムに入れ替えても同じパターンが現れます! 実際、ホルヴァスはフロリダとテキサスを除外し、その影響の変動の36%を排除することで、自身の結果が全国的な傾向の繰り返しになることを事実上確実にした。 これは決して信頼できる分析ではありません。唯一本当に信頼できる分析はフロリダの合成対照研究です。フロリダ州が2011年に採用したため、全国の大多数より4年早く採用したため、この分析は唯一差異を特定しています。そしてフロリダは採用後、合成制御を*上回る*スコアを得ました!...