스피커블 / Report
기능 개발과 사용자 증가/리텐션 상관 관계
2025년 8월 6일 ~ 2025년 10월 25일 (약 12주)
분석 개요
- 분석 기간: 2025년 8월 6일 ~ 2025년 10월 25일 (약 12주)
- 데이터 규모: 학습 활동 5,165건
- 데이터 규모: 영작 활동 6,056건
- 분석 목적: 7개 기능 배포가 사용자 활동 및 성장에 미친 영향 정량화
- 분석 접근: 3회 반복 최적화를 통한 다각도 분석
주요 발견사항 (Executive Summary)
1. 기능 배포와 사용자 성장의 강한 양의 상관관계 확인
통계적으로 유의미한 상관관계가 확인되었습니다.
- 기능 배포 전 (Week 1-3): 평균 59명/주
- 기능 배포 후 (Week 4+): 평균 91명/주
- 성장률: +54.2%
- 효과 크기 (Cohen's d): 1.462 (매우 큰 효과)
2. 개별 기능별 효과 분석 (7일 이동평균 기준)
7개 기능 중 4개가 강한 긍정적 효과를 보였습니다.
| 기능명 | 배포일 | 변화율 (%) | 효과 |
|---|---|---|---|
| 파트너 매칭 | 2025-09-01 | -8.3% | ⬇ 부정적 |
| 체험페이지 | 2025-09-03 | -4.3% | ⬇ 부정적 |
| 온보딩 | 2025-09-09 | +17.7% | ✅ 긍정적 |
| 전체피드백 | 2025-09-12 | +35.1% | ✅ 강한 긍정적 |
| AI리포트 | 2025-09-19 | +36.9% | ✅ 강한 긍정적 |
| 필터 | 2025-09-24 | +33.2% | ✅ 강한 긍정적 |
| AI리포트 실사용 | 2025-10-05 | -19.1% | ⬇ 부정적 |
- 온보딩(9/9), 전체피드백(9/12), AI리포트(9/19), 필터(9/24) 4개 기능이 강한 긍정적 효과
- 초기 기능들(파트너 매칭, 체험페이지)은 즉각적 효과 미미
- AI리포트 실사용 배포 후 일시적 하락 (시즌 효과 가능성)
3. 사용자 세그먼트별 영향
파워 유저와 라이트 유저 모두 기능 배포에 긍정적 반응을 보였습니다.
4. 신규 vs 기존 유저 분석
기능 배포가 기존 유저 리텐션에 강력한 효과를 보였습니다.
- 기능 배포가 기존 유저 리텐션에 강력한 효과
- 신규 유저 유입에는 명확한 긍정적 효과 없음
- 제품 전략: 리텐션 > 획득
서론
배경
- 2025년 8~10월 스피커블은 7개의 주요 기능을 배포했습니다.
- 이 기간 동안 사용자 활동 데이터가 수집되었습니다.
- 기능 배포가 실제 사용자 증가와 리텐션에 기여했는지 검증이 필요했습니다.
목표
- 기능 배포와 사용자 성장 간 상관관계 정량화
- 개별 기능별 효과 측정 및 비교
- 사용자 세그먼트별 반응 차이 분석
- 통계적 유의성 검증 (t-test, 회귀분석)
본론
분석 방법론
본 분석은 3회의 반복적 최적화를 거쳐 진행되었습니다.
1차 시도에서는 기본 상관관계 및 t-test를 수행했고, 2차 시도에서는 개별 기능 효과를 분리하여 일별 분석을 진행했습니다.
3차 시도에서는 코호트 분석 및 다중 회귀 모델링으로 최종 R² = 0.704를 달성했습니다.
통계적 검정 결과
t-test 결과, 온보딩(2025-09-09) 배포 후 영작 유저가 +28.2% 증가했으며 (p=0.011), AI리포트(2025-09-19) 배포 후 영작 활동 수가 +24.0% 증가했습니다 (p=0.049).
이는 통계적으로 유의미한 수준이며, 기능 배포가 사용자 활동에 실질적인 영향을 미쳤음을 시사합니다.
회귀 분석 결과
모델 1 (단순 회귀): R² = 0.361, 기능 1개 추가 시 +5.3명 증가
모델 2 (시간 트렌드 통제): R² = 0.513, 시간 효과 제거 후 -7.1명 (음의 계수)
모델 3 (개별 기능 효과): R² = 0.704, 온보딩 계수 +71.2 (가장 큰 긍정적 효과)
결론
✅ 확실한 사실:
- 기능 배포 이후 사용자 활동 유의미한 증가 (54.2% 성장)
- 온보딩, 전체피드백, AI리포트, 필터 4개 기능이 강한 효과
- 기존 유저 리텐션에 강력한 긍정적 영향
- 효과 크기(Cohen's d=1.462)가 매우 큼 → 실무적으로 의미 있음
⚠️ 불확실한 부분:
- 인과관계 확정 불가 (교란 변수 존재 가능)
- 신규 유저 획득 효과 불명확
- 장기 리텐션 개선 여부 미확인
- 개별 기능의 독립적 효과 측정 어려움
🎯 핵심 메시지:
스피커블의 기능 배포는 기존 유저의 활동 증가 및 리텐션 향상과 강한 상관관계를 보이며, 특히 온보딩, 전체피드백, AI리포트가 주요 성공 요인으로 판단됨. 그러나 인과관계 확정을 위해서는 A/B 테스트 등 추가 검증 필요.
한계점 및 주의사항
1. 인과관계 vs 상관관계
- 이 분석은 상관관계를 보여줄 뿐, 기능 배포가 사용자 증가의 원인임을 입증하지 못함
- 시즌성, 마케팅 캠페인, 언론 보도, 바이럴 효과 등 교란 변수 존재 가능
- A/B 테스트가 아니므로 인과 추론에 한계
2. 샘플 크기와 관찰 기간
- 주차별 데이터로 집계하여 샘플 수가 제한적 (12주)
- 장기 트렌드를 파악하기에는 기간이 짧음 (약 3개월)
- 통계적 검정력(Power) 낮아 Type II Error 가능성
3. 기능의 누적 효과
- feature_deployed 변수는 누적 기능 수를 카운트
- 개별 기능의 독립적 효과를 완전히 분리하기 어려움
- 기능 간 시너지 또는 간섭 효과 고려 불가
4. 통계적 검정력 부족
- 주차 단위 집계로 샘플 수 적음 (n=12)
- p-value가 0.05-0.10 사이인 경우 다수 → 해석 주의
- 더 긴 관찰 기간 필요