A/Bテストは、結果だけでなく
判断まで残す。
マーケ知見ベースを自作した
A/Bテストは、勝った案と数値だけを残しても、しばらくすると「なぜ試したのか」「どの条件で有効だったのか」「次に何をするのか」が分からなくなる。そこで、仮説、比較条件、観測事実、統計、結論、人の判断を同じ記録へ残すローカルアプリを試作した。
A/Bテストの価値は、有意差の判定だけでは残らない
数値判定だけを切り出すと、試験の背景や前提が失われやすい。実務では、計画前の仮説、対象商品と媒体、比較案、成功条件、実施後の観測事実、そこから導いた結論、採用・保留・再検証といった判断までが一続きである。今回のツールでは、この流れを一つの記録IDへ積み上げる形にした。
結果の数字だけを保存する
- 仮説と成功条件が後から分からない
- 観測事実と解釈が混ざる
- 別媒体でも使える知見か判断しにくい
- 同じ検証を繰り返しやすい
計画から次の判断まで保存する
- 実施前の仮説と条件を固定する
- 事実、結論、判断を分けて残す
- 商品・媒体・チャネルで横断検索する
- 次回のテスト計画へ再利用する
A/Bテストの出口は、勝ち案を決めることではない。
次の施策で使える判断基準を残すことである。
計画、結果、一覧、知見化を一つのローカルアプリへまとめた
アプリ名は「マーケ知見ベース」とした。A/Bテストだけでなく、単独施策、広告改善、LP改善、SNS投稿結果、レビュー分析、競合観察なども同じ考え方で記録できる。保存先はCSVと添付ファイルであり、外部APIやクラウドDBを使わない。
計画登録
- 仮説、目的、方法、主指標を保存
- 比較案と成功条件を事前に固定
- 過去記録をひな形として再利用
結果登録
- 同じ記録へ結果と根拠を追記
- 観測事実、結論、判断を分離
- 画像、CSV、XLSX、PDFなどを添付
記録一覧
- 商品、媒体、状態、期間で検索
- 現在の絞り込み条件でCSV出力
- 条件を保存して繰り返し利用
知見化
- 完了記録から判断ルールを抽出
- 根拠記録と適用条件をひも付け
- AI用JSONLは確認後に手動出力
今どの試験を扱うべきか、記録がどこまで進んだかを見えるようにした
公開用スクリーンショットには、実データではなく架空の商品・媒体・試験記録だけを使っている。
数値を出すことより、出してよい条件を限定する方を重視した
A/B・A/B/Cの比率差では、同時期の無作為割付と観測単位の独立性を確認した場合だけ推測統計を表示する。小標本では率と差だけを示し、p値や信頼区間を出さない。A/B/Cでは対照案との比較にHolm法を使い、割付比率異常も確認する。前後比較、期間比較、媒体比較、地域比較は記述比較に限定した。
- 「差を確認できない」を「同じ」「同等」とは扱わない
- 統計結果から採用・棄却を自動決定しない
- 観測事実、結論、人の判断を別の欄へ保存する
- 事前計画済みの試験と事後登録を区別する
Windows上で起動し、ブラウザからローカルアプリとして使う
Python 3.11以上を用意し、ZIPを展開して必要パッケージを入れれば起動できる。管理者権限は不要である。
ZIPを展開する
任意のローカルフォルダへ展開する。実データを入れたフォルダをそのまま共有しない。
必要パッケージを入れる
PowerShellで展開先を開き、python -m pip install -r requirements.txt を初回だけ実行する。
アプリを起動する
マーケ知見蓄積_run_app.bat をダブルクリックするか、python start_app.py を実行する。
ブラウザで使う
http://127.0.0.1:8501 が開く。初期設定後、計画登録から最初の試験を作成する。
マーケ知見ベース v0.9.0
アプリ本体、起動ファイル、必要ライブラリ一覧、説明書、検証コードを含む公開用ZIP。実データ、添付、バックアップ、Git履歴、ローカル専用ルールは含めていない。
Windows版ZIPをダウンロード外部API、クラウドDB、CDNへの固定送信先は持たず、Streamlitは127.0.0.1だけで待ち受ける設定である。ただし、顧客氏名、メール、電話、住所、注文番号、会員IDなどの個人情報は保存しない。画像・動画・スキャンPDFの写り込みやメタデータは自動検知を保証できないため、入力前に人が匿名化と確認を行う必要がある。
テスト結果を蓄積するのではなく、判断の再利用条件を蓄積する
マーケティング施策は、同じ勝ち案をそのまま横展開できるとは限らない。商品、媒体、流入、季節、対象者が変われば結果も変わる。だからこそ、結果と一緒に「どの条件で」「何を観測し」「なぜこの判断をしたか」を残す必要がある。今回のツールは、A/Bテストを単発の判定から、次の仮説を作るための知見へ変える試作である。