적중률 통계, 기대했던 것과 달랐다
수십만 개의 수식을 회차별로 적용해 분석했을 때, 초기에는 분명히 “잘 맞는 것처럼 보이는 수식”들이 있었습니다. 특정 수식은 1000회 중 300회 이상 1개 이상 적중하는 경우도 있었죠.
하지만 문제는 그 수식이 다음 회차에도 적중할 수 있느냐였습니다. 고정수로 뽑아서 다음 회차 예측에 사용하면, 대부분의 수식이 아무것도 맞추지 못했습니다.
고정수 실험: 실패의 연속
가장 기대했던 전략은 이거였습니다:
- 적중률이 높은 수식을 추려낸다
- 다음 회차에 해당 수식으로 나온 숫자들을 고정수로 사용한다
이 전략은 단순하고 명확했지만, 결과는 처참했습니다. 고정수 5개 중 당첨번호가 2개 이상 포함된 경우는 거의 없었고, 4개 이상 적중은 사실상 단 한 번도 없었습니다.
왜 그랬을까?
이유는 명확했습니다. 이전 회차 데이터로 추려낸 수식의 ‘좋은 성능’은 대부분 과거에만 통했습니다. 즉, 훈련 데이터에 과적합된 수식들이었고, 실제 미래 회차 예측엔 거의 적용되지 않았던 것입니다.
말 그대로 “과거에만 잘 맞는 수식”들이었던 것이죠. 로또처럼 철저히 무작위에 가까운 시스템에서는 데이터 기반 전략도 쉽게 무력화될 수 있다는 걸 체감했습니다.
그래도 남은 것
이번 실험은 예측 정확도를 올리는 데는 실패했지만, 분석 구조를 만들고, 자동화하고, 통계를 읽어내는 기술은 확실히 쌓였습니다.
실패를 통해, 어떤 분석이 왜 통하지 않는지를 알게 된 것도 일종의 수확이었습니다.
데이터는 거짓말하지 않는다, 다만 우리는 기대했다
GPT와 함께한 자동 분석 실험은 정교하게 실패하는 방법을 보여주었고, 그 실패는 곧 다음 도약의 발판이 되었습니다.
단지 ‘못 맞췄다’는 결론이 아니라, ‘왜 맞추지 못했는가’를 기록한 과정이 중요했던 겁니다.
다음 이야기 예고
👉 4편. 실패지만, 얻은 것은 많았다에서는 이 실험을 통해 얻게 된 기술, 사고력, 자동화 도구로서의 GPT 활용법 등 ‘실패를 자산화’한 방법을 공유합니다.
by Lopick 실험기록팀