A/B 테스트 계산기 - 통계적 유의성

통계적 유의성은 변형 간의 차이가 우연에 의한 것일 가능성이 낮다는 것을 의미합니다. 일반적으로 95% 신뢰 수준에서 결과가 유의미한 것으로 간주되며, 이는 차이가 우연일 확률이 5%에 불과하다는 뜻입니다.

일반적으로 의미 있는 결과를 얻으려면 변형당 최소 1,000명의 방문자가 필요합니다. 정확한 숫자는 기준 전환율과 최소 감지 효과에 따라 달라집니다. 더 작은 차이를 감지하려면 더 많은 데이터가 필요합니다.

더 일찍 유의성에 도달하더라도 최소 1-2개의 전체 비즈니스 주기(일반적으로 2-4주) 동안 테스트를 실행하세요. 이는 요일 효과와 트래픽 변동을 고려하기 위함입니다. 예비 결과에 따라 테스트를 조기에 중단하지 마세요.