Nhà vật lý vĩ đại Richard Feynman từng kể một câu chuyện minh họa cho vấn đề p-hacking. Đây là một nguyên tắc cơ bản mà mọi người nên hiểu. Nó luôn ám ảnh tôi. Tôi đã dán nó ở dưới đây. ⬇️ Bây giờ tôi chuyển sang một loại nguyên tắc hoặc ý tưởng khác, đó là không có ý nghĩa gì trong việc tính toán xác suất hoặc khả năng mà một điều gì đó xảy ra sau khi nó đã xảy ra. Nhiều nhà khoa học thậm chí không nhận ra điều này. Thực tế, lần đầu tiên tôi tranh cãi về điều này là khi tôi là sinh viên sau đại học tại Princeton, và có một người trong khoa tâm lý học đang tổ chức các cuộc đua chuột. Ý tôi là, anh ta có một cái hình chữ T, và những con chuột đi, và chúng đi sang bên phải, bên trái, và cứ như vậy. Và đó là một nguyên tắc chung của các nhà tâm lý học rằng trong những bài kiểm tra này, họ sắp xếp sao cho xác suất mà những điều xảy ra là do ngẫu nhiên là nhỏ, thực tế, ít hơn một trên hai mươi. Điều đó có nghĩa là một trong hai mươi quy luật của họ có thể sai. Nhưng các phương pháp thống kê để tính toán xác suất, như lật đồng xu nếu những con chuột đi ngẫu nhiên sang bên phải và bên trái, thì dễ dàng tính toán. Người đàn ông này đã thiết kế một thí nghiệm sẽ cho thấy điều gì đó mà tôi không nhớ, nếu những con chuột luôn đi sang bên phải, giả sử. Tôi không thể nhớ chính xác. Anh ta phải thực hiện một số lượng lớn các bài kiểm tra, vì, tất nhiên, chúng có thể đi sang bên phải một cách tình cờ, vì vậy để giảm xuống còn một trên hai mươi theo xác suất, anh ta phải thực hiện một số lượng lớn. Và điều đó rất khó, và anh ta đã làm số của mình. Sau đó, anh ta phát hiện ra rằng nó không hoạt động. Chúng đi sang bên phải, và chúng đi sang bên trái, và cứ như vậy. Và sau đó anh ta nhận thấy, một cách đáng chú ý, rằng chúng xen kẽ, trước bên phải, sau bên trái, rồi lại bên phải, rồi lại bên trái. Và sau đó anh ta chạy đến tôi, và anh ta nói, "Tính xác suất cho tôi rằng chúng nên xen kẽ, để tôi có thể xem liệu nó có ít hơn một trên hai mươi không." Tôi nói, "Có lẽ nó ít hơn một trên hai mươi, nhưng nó không có giá trị." Anh ta nói, "Tại sao?" Tôi nói, "Bởi vì không có ý nghĩa gì trong việc tính toán sau sự kiện. Bạn thấy đấy, bạn đã tìm ra sự kỳ lạ, và vì vậy bạn đã chọn trường hợp kỳ lạ." Ví dụ, tôi đã có một trải nghiệm đáng chú ý nhất tối nay. Khi vào đây, tôi đã thấy biển số xe ANZ 912. Tính cho tôi, xin vui lòng, xác suất rằng trong tất cả các biển số xe ở bang Washington, tôi lại tình cờ thấy ANZ 912. Chà, đó là một điều vô lý. Và, theo cách tương tự, điều mà anh ta phải làm là: Thực tế rằng hướng đi của chuột xen kẽ gợi ý khả năng rằng chuột xen kẽ. Nếu anh ta muốn kiểm tra giả thuyết này, một trên hai mươi, anh ta không thể làm điều đó từ cùng một dữ liệu đã cho anh ta manh mối. Anh ta phải thực hiện một thí nghiệm khác hoàn toàn và sau đó xem liệu chúng có xen kẽ hay không. Anh ta đã làm, và nó không hoạt động.

Ví dụ về biển số xe là 💋🤌