박태영
AI 에이전트를 팀처럼 쓰는 프로덕트 빌더

문제

설문·인터뷰는 표본을 모으는 데만 1~2주와 수십만 원이 들고, 지인 피드백은 부정적 신호를 걸러냅니다. 그래서 대부분 검증 없이 개발부터 하고, 출시 후에야 수요가 없다는 걸 압니다.

만든 것

Reddit·Hacker News·GitHub·Product Hunt 등 11종 소스에서 근거를 모으고, AI 페르소나가 라운드별로 토론합니다. 리포트가 사실처럼 보이지 않도록 "아직 모르는 것"과 "다음 실험"을 함께 보여 줍니다. 출시 나흘 만에 첫 결제가 났습니다.

AI 활용

• 제품 안에서 — 소스 수집 → 관련성 필터 → 페르소나 생성 → 라운드 토론 → 점수화. 페르소나 다양성(엔트로피) 0.72 → 0.96, 중복 발언 3~4건 → 0~1건(A/B 3회).
• 일하는 방식 — 서브에이전트 10개로 기존 리포트를 병렬 번역한 뒤, 결과를 그대로 믿지 않고 구조를 직접 비교해 재검증한 다음 반영했습니다.

시작과 피벗

경쟁 앱 영상을 1초 단위 13프레임으로 쪼개 분석하고 이틀 만에 네컷 카메라를 만들었습니다. 직접 써 본 뒤 "진짜 폴라로이드처럼 한 장씩"으로 피벗해 2026-06-11 출시했습니다. 11개 언어, 12번 이상 업데이트.

마케팅

• 첫 유료 광고 ₩139,990 (9/7–12) — 설치 66~76건. 광고 전 9일 설치 0건 → 광고 기간 하루 11~26건.
• 사후 분석 — "광고는 잘 샀고, 문제는 측정과 로그인 단계(신규 설치자 25% 이탈)." 예산을 늘리지 않고 로그인 실패 계측과 광고 귀속 복구부터 했습니다.
• 다국어 숏폼 — 3초 훅 7개 × 4개 언어 = 28편, 4개 채널에 112건 예약 발행. 인스타그램 9,035뷰·유튜브 10,183뷰. 한국어 훅 평균 857뷰로 다른 언어의 4~5배.

AI 활용

개발은 명세 → 계획 → 테스트 우선 구현 → 적대적 리뷰 흐름으로 에이전트에게 맡겼습니다. 분석도 에이전트가 PostHog·Meta·AppsFlyer를 교차 조회해 리포트를 쓰고, 앞선 리포트의 틀린 결론은 다음 리포트에서 명시적으로 정정했습니다.

광고 소재는 AI로 대량 생산했지만, 앱 화면을 AI로 만들려던 시도가 6번 연속 실패한 뒤 "AI로는 사람과 장면만, 앱 화면은 반드시 실제 녹화"라는 원칙을 세웠습니다.

가설부터 세웠습니다

광고 없이 뜬 것처럼 보이던 경쟁 계정을 검증해 보니 광고는 정말 안 썼지만 팔로워가 1,397명뿐이었고, 매출이 보이는 경쟁사는 모두 광고를 돌리고 있었습니다. 그래서 "광고비로 사는 도달을 콘텐츠 물량으로 대체할 수 있는가"를 검증할 질문으로 삼았습니다.

광고 전에 측정부터

Meta 픽셀과 서버 전환 API, UTM 기준 유입 귀속, 같은 브랜드 안에서 50:50으로 나눈 가격 A/B를 먼저 붙였습니다. 구매 신호가 적을 것이라 광고는 앞단 신호인 생년월일 제출로 학습시켰습니다.

AI 활용

• 계산과 생성을 분리 — 만세력은 결정론 코드로 계산하고 AI는 해석 문장만 씁니다.
• AI 출력을 분포로 교정 — 무료 해석 158건 중 56%가 같은 계열 헤드라인이었습니다. 명식의 특정 자리를 근거로 반드시 넣게 하고, 누구에게나 맞는 말은 후처리로 걸러 다시 쓰게 했습니다.
• 경쟁 광고를 데이터로 — 경쟁 광고 라이브러리를 자동 수집해 가장 많이 재사용된 포맷을 복제했습니다. 결제 시작 24건이 모두 이 소재에서 나왔습니다.

만든 것

11단계 체크포인트 파이프라인입니다. 뉴스 수집 → AI 의미 판단으로 3~5건 선정 → 원문 크롤 → 팩트체크 → 작성 → 리뷰어 루프(문체·사실·출처·주제 점수로 통과/경고/수정/차단) → 이미지 생성과 검수 → 조립 → 예약 발행 → 발송 → SNS 파생 콘텐츠까지. 매일 06:00(한국어), 22:00(영어) 발송합니다.

AI를 다루는 방식

• AI는 HTML을 만들지 않고 구조화된 데이터만 만듭니다. 디자인은 템플릿이 책임집니다.
• "혁신적인", "주목할 만한", 기계적인 3개 나열 같은 AI 문체를 금지 목록으로 걸러내고 다시 쓰게 합니다.
• 매일 23:40 감시 작업이 산출물을 검사하고, 한 번 재시도한 뒤 Codex가 원인을 분류해 복구합니다.
• 완료는 화면이 아니라 서버 체크포인트와 예약 상태로 판정합니다.

사고에서 배운 것 — 레터 #98

리뷰어 점수가 96점이었는데 "(검증 부족)" 꼭지가 그대로 발행됐습니다. 원인을 추적해 보니 원문 앞 8,000자 중 실제 기사 본문이 101자뿐이었습니다. 점수 관문은 전부 통과했지만 입력 자체가 비어 있었던 겁니다.

AI 점수가 높다고 품질이 보장되지 않습니다. 입력이 존재하는지부터 기계적으로 검사하도록 크롤·작성·조립 3단계에 방어를 넣고, 사람이 읽는 문구 대신 기계가 판별하는 플래그로 약속을 바꿨습니다.

새 관문은 바로 배포하지 않고, 지난 1주 초안 27건으로 이전 관문과 비교해 잘못 막는 경우 0건을 확인한 뒤 배포했습니다. 원문 본문은 101자 → 5,536자로 복구됐습니다.

문제

반려동물은 카메라를 보지 않고, 혼자서는 소리를 내면서 셔터를 누를 수 없습니다. 기존 펫 카메라 앱 6종은 "소리 + 셔터"에서 끝납니다.

뺀 것

로그인, 일일 촬영 제한, 필터, 리워드 광고를 빼고 출시했습니다.

AI 결과를 믿지 않았습니다

• 사람이 두 장 중 SNS에 올릴 쪽을 고르는 라벨링 도구를 만들고, 26세트·390쌍으로 AI 점수와 사람 선호를 비교했습니다.
• 실기기 결과: 동물 검출은 정상(0.85~0.88)이었지만 사람 선호와의 일치도는 0.262, 1위 적중률은 0.077.
• 그럴듯한 개선안이던 미학 점수도 넣어 봤지만 효과가 없어(τ 0.025) 기각했습니다.
• 연속 촬영 컷이 서로 너무 비슷하다는 관찰로 "5초 동안 25장, 0.4초 이상 떨어진 컷만 10장"으로 바꿨습니다.