Cieszę się, że mogę podzielić się KernelFactory Szelka, którą zbudowałem, aby rozwiązać test wydajnościowy, który został udostępniony przez @AnthropicAI kilka tygodni temu

Krótko mówiąc, wyzwaniem było zoptymalizowanie niestandardowego jądra, które napisali. Można się całkiem daleko posunąć rozmawiając o tym z Claude Code. Zamiast tego chciałem zbudować system, aby zobaczyć, jak daleko można dojść bez człowieka w pętli.

To zabawne wyzwanie, ponieważ jest dobrze określone i ma wyraźny punkt odniesienia. A jeśli chcesz wyjść z pętli, musisz nauczyć się nowego zestawu narzędzi. Zbudowałem ewolucyjny system, który próbował zrównoważyć eksplorację różnorodnych pomysłów i wykorzystanie istniejących.

Na koniec uprząż dostarczyła rdzeń cyklu 1297, który przewyższa początkowe benchmarki ustalone przez zespół w ich repozytorium git. Znalazła również kilka ciekawych exploitów, które mogłyby obniżyć tę wartość jeszcze bardziej, na przykład usunięcie funkcji haszującej z rdzenia referencyjnego, aby nie musiał jej obliczać.

W poście na blogu znajdziesz więcej szczegółów, jeśli jesteś ciekawy. Ogólnie rzecz biorąc, myślę, że moim największym wnioskiem jest to, jak wiele można osiągnąć dzięki dobrej pętli feedbackowej i benchmarkowi.

Planuję dalej eksperymentować z uprzężami, więc śmiało się ze mną skontaktuj, jeśli masz interesujący problem z potężną pętlą sprzężenia zwrotnego.

@trishume dziękuję za udostępnienie tego problemu jako open source, możesz uznać powyższy harness za interesujący!