こんな方におすすめ

  • ユーザーインタビューを業務で実施している事業責任者・PdM
  • AIによるリサーチ自動化に興味がある

Anthropicからインタビューの依頼が来た

2ヶ月ほど前に、AnthropicからClaudeのある機能に関するユーザーインタビューへの招待メールが届いた。

日頃ヘビーユースするClaudeの開発元から直接フィードバックを求められる機会は単純に嬉しい。それに、AIプロダクトを作っている会社が自社プロダクトの改善のためにどんなリサーチをしているのかも、純粋に見てみたかった。

同意して進めると、画面の下端に小さく「runs on listen labs」と書いてあるのに気づいた。これがいま話題のAIインタビュープラットフォームか、と思った。

Listen Labsは、AIがインタビュー設計・実施・分析を支援するリサーチプラットフォームだ。公式サイトではMicrosoftなどの導入事例が紹介されており、Sequoia Capitalも出資している。要するに、ユーザーリサーチの一部をAIでスケールさせようとしている会社である。

つまり私は、AIに30分インタビューされる。インタビュアーは人間ではなく、AIである。

AIだから受けたいタイミングでインタビューがはじまる。AIに日程調整などという概念はないのである。

どんな質問が来て、どう深掘りされるか、まずはざっと振りかえってみる。

音声で話すこと自体の効能

オープンクエスチョンが順番に提示される。マイクボタンを押すと録音が始まり、話し終わってボタンを離す。画面には文字起こしがリアルタイムで表示される。

普段のアンケートだと選択肢をぽちぽち選んで終わり、自由記述があっても書くのは億劫で空欄で提出してしまいがちだ。音声だと、頭で考えながらしゃべれる。話している間に思考が整理されて、書き言葉では出てこない言葉が口から出てきやすい。微妙なニュアンスや、ふと口をついて出る比喩。AIインタビューの面白さは、こういう書き言葉では拾えない情報が取れる点にある、と話しながら感じていた。

質問が動的に変わる

普通のアンケートツールは、事前に決められた質問を順番に投げていくことしかできないが、Listen Labsの場合、少なくとも体験上は、私の回答をリアルタイムで解析し、それを踏まえて次の質問を生成しているように見えた。

体験していて気づいたのは、これは単なる深掘り(「もう少し詳しく教えてください」)ではなく、仮説検証型のインタビューになっているということだ。リサーチを発注する側に「この機能はユーザーの認識をこう変えているのではないか」という仮説のリストがあり、私の発言からどの仮説を検証できるかを判定して、検証用の追加質問を組み立てている。

途中で「あなたはさっき○○と言っていましたが、もし△△だったら、その判断は変わりますか?」という形の質問が入ったときは、ちょっと唸った。前半の発言を覚えていて、後半の質問にちゃんとつないでくる。人間のインタビュアーがいい仕事をしているときの「お、ちゃんと聞いてくれてる」という感覚に、結構近い。

回答内容そのものより質問の組み立て方自体に上手さがあることの方が、観察していて面白かった。AIが裏で勝手に頭のいい質問を作っているというより、Anthropic側が事前にリサーチ目的・仮説・検証観点をかなり丁寧に設計しており、それをAIが私の回答に応じて取り出している。そんな構造に近いと感じた。

せっかくなので、印象に残った設計パターンを記載しておく。

「4と5の差」を直接聞く

満足度を5段階で聞かれて「4」と答えたら、次の質問で、

「4と回答されましたが、5にするには何が必要だったでしょうか」

ときた。「なぜ4ですか」と聞くのがやりがちである。それだと、「便利だから」みたいな良い点の説明に終始しがちである。「5にするには何が足りないか」と聞かれると、頭が完璧との差分を探し始める。脳の動き方が少し変わる。改善提案が直接出てくる。

「なくなったらどう思う?」

「もし明日からこの機能が使えなくなったら、どれくらいがっかりしますか?」

「便利ですか?」より遥かに本心が出やすい。「Extremely disappointed」と答える人がある割合(40%が目安)を超えると、その機能はPMFしている、という有名な指標だ。

理想状態 → 一つだけ変えるなら

「もしこのプロダクトが完璧に動くとしたら、どうなっていてほしいですか?」「そのうち一つだけ変えられるとしたら、どれを選びますか?」

ビジョンを描かせて、そこから優先順位を付けさせる二段構え。「何が欲しいですか」と直接聞くと思いつくものを羅列して終わるが、「理想状態」を描かせると今ない機能や体験が出てくる。そして「一つだけ」と縛ることで、本当に効く改善が浮かび上がる。

他にも、複数ツールの使い分けの判断軸を聞くもの、「あると思った」と答えた瞬間に「なぜそう思ったのか」とメンタルモデルを掘ってくるもの、印象的な設計が随所にあった。紋切りのアンケート調査ではなく、実際のリサーチャーの意図を汲んでリアリティのある質問をAIが使い分けてくるのは新鮮だしさすがだった。

AIインタビューの限界

ここまで設計の上手さを書いてきたが、受けながら同時に「これは厳しいな」と感じた部分もある。

一番強く感じたのは、自分の回答が劣化していく感覚だった。

音声で話したことがテキスト化されて、それがAIに咀嚼されて次の質問になる、という流れ自体は良くできている。ただ回答する側の自分の中では妙なことが起きていた。

どこかで言語化を諦めて「まあこんなもんでいいか」と送ってしまう。テキストでは伝えきれないニュアンスがあって、本来なら「ここはちょっと違うんだよな」という重み付けをしたいのに、それができないまま回答が確定していく。逆に、人間相手ならもっと曖昧なまま話すところを、AI相手だと妙に論理付けして「問答として成立する形」を作ろうとする自分もいた。「これを送れば一応質問に答えたことになるから、これでいいか」という感覚である。

人間のインタビュアーが相手だと、こうはなりにくい。

たとえば「いま明らかに本心じゃなく、適当に整えて話してるな」と自分でわかった瞬間、インタビュアーが「いまの、もう少しだけ聞いていいですか」と入ってきたり、表情や声のトーンから「この人ちょっと熟成させた方がいいな」と察して、聞き方を変えてくれたりする。優秀なリサーチャーになるほど、この違和感を違和感として保持して、あの手この手で深掘る動きが上手いと思う。

AIインタビューでは、こういう場面は流石にほぼ起きなかった。回答に対して新しい角度の質問は来るが、私の発言のうちどれが本気でどれが惰性かの判別はできていないように感じた。全部が同じ重みで扱われる。「適当に答えた回答」と「考え抜いて出した回答」が、フラットに「1つの回答」として記録されていってしまう。

たぶん声のトーンや言い淀みは技術的には拾えるはずだが、それを次の質問に反映している実感は薄かった。

もう一つは、文脈理解の弱さだ。個別の発言は覚えていて引用してくれるのだが、私という人間全体の文脈、経歴や立場や業界、そういう背景を踏まえた角度の質問は出てこない。人間相手なら「あなたの立場だとこういう使い方もしそうですが」と切り込んでくる場面で、AIは一段抽象的な質問に留まる。

「会話している」というより「順番に質問されている」という感覚が、最後まで抜けなかった。

受けてみて思ったこと

体験全体を通して、AIインタビューが何に強みがあって、どこに限界があるかが、自分の中でかなり整理された。

まず、AIインタビューは量を回したいユースケースには確実に強い。100人、1000人のユーザーから一斉に話を聞きたい、というニーズには圧倒的に向いている。地理的に分散していても、24時間どこからでも受けてもらえる。これは人間のインタビュアーでは絶対に再現できない。

一方で、ユーザーインタビューという行為そのものを考えると、質が量より大事な業務だと私は思っている。

仮説をもとに絞り込んだセグメントの任意の5人のユーザーに1.5時間ずつかけて深く話を聞いた方が、100人に30分ずつ表層的に話を聞くより、圧倒的に意思決定に直結するインサイトが取れる。ユーザーインタビューの肝は数ではなく深さだ、というのが普段の仕事を通じての実感として存在する。

そう考えると、AIインタビューで量をこなすことに、どれくらいの意味があるんだろう、とも思ってしまう。質の方を高めて人間がやった方が、結果的に得られるインサイトは多いんじゃないか。これは私がAIに対して抱くある種のルサンチマンなのだろうか?

加えて、もうひとつ気になる構造がある。

AIインタビューを発注する側は、解釈もAIにやらせる可能性が高い

そもそもインタビュー実施をAIに任せようとしている時点で、社内にリサーチャーがいなかったり、いてもインタビューやリサーチに物理的に時間をかけられない状態のはずだ。だとすると、出てきた大量のトランスクリプトを誰が読むか、というと、これもAIに要約させて済ますケースが大半になる。

問題は、このとき違和感がさらに薄まってしまうことだ。

インタビュー実施の段階で、回答者の中の「本気度の差」「言い淀み」「適当さ」が一律に扱われる。その時点で平板になった情報を、さらにAIが要約すると、全部が同じ重みで圧縮される。「ユーザーが言っていたこと」のリストが出てくるが、その中で何が本気で何が惰性なのかの判別は、バイブスになってしまう。

人間のリサーチャーが優秀なときにやっているのは、主観を出しながら重み付けすることだと思う。

「この人のこの発言は重い」「これは口先で言ってるだけ」「これは本人も気づいてない本質的な不満」と、自分の主観を入れて評価していく。表面的にはフラットであろうとしながら、内側では明確に重み付けをしている。これがインサイトを引き出すための作業の本体だ、と私は思っている。

AIインタビューの結果を見るとき、この主観的な重み付けが抜け落ちる。すべての発言が「ユーザーの声」として等価に扱われる。これは便利な反面、構造的にもったいない。もったいないどころか、違和感が漂白された美しいAIレポートを見て、わかった気になってしまうのは怖さしかない。

人間がリサーチで提供している価値は、結局ここに尽きるのかもしれない。

違和感を検知すること。検知した違和感を、あの手この手で深掘ること。深掘った結果を、主観を出しながら重み付けすること。

このアドリブ力こそが、優秀なリサーチャーと普通のリサーチャーを分けている。AIインタビューを受けて、自分が普段意識していたものが明確に言語化できた、というのが収穫だった。

ただ、ここまで書いた上で正直に言うと、「これで十分」になる場面も世の中には多いと思う。

リサーチャーの仕事の質、リサーチャーが提供している価値そのものを正確に理解している人が組織にいない限り、ぶっちゃけAIインタビューで事足りる。改善のためにリソースも仮説も八方塞がりの状況で、何もやらないよりはやった方がいいに決まっているからだ。インタビュー実施のハードルが高くて結局やらないまま終わるくらいなら、仮説をもってAIに任せてでもユーザーの声を集めた方が、プロダクトは前に進む可能性が高い。

加えてコストパフォーマンスの問題もある。少人数に対して質の高いインタビューをやってもらうにはそれなりの単価が必要だし、そもそも質の高いリサーチャーは希少だ。AIインタビューならそのコストが大きく下がる。そう考えると、ほぼ定量アンケート調査の延長として定性調査を使うような用途であれば、十分に合理的な選択肢だと思う。

おそらく今は過渡期で、AIインタビューが量と低コストで埋めにいく層と、人間の上位リサーチャーが質で残る層に二極化していくんだろう。私の感覚としては、高いレベルの人間のリサーチャーの仕事は残る。むしろListen Labsのようなツールが普及するほど、本物のリサーチャーの希少価値は上がっていく気がする。

自社で使うとしたら

体験を一通り終えて、では自分が事業者側として、自社の顧客理解にこういうツールを使うとしたら、と考えてみる。

使えそうなケース

  • ユーザー数が多くて、1on1インタビューが物理的に無理な場合(数百〜数千規模)
  • 地理的に分散したユーザーへのリサーチ(特に海外含む)
  • 定量サーベイの後追いで「なぜ」を聞きたいとき
  • A/Bテスト等で出た仮説を、複数のユーザーに当てて検証したいとき

使いにくそうなケース

  • ユーザー数が少なく、一人ひとりの解像度を上げたい場合
  • 新規事業の初期、まだ仮説そのものが固まっていないフェーズ
  • 顧客の状況や業界文脈が複雑で、文脈理解が必要なインタビュー
  • 「想定外の発見」がほしいフェーズ

つまり、仮説がある程度立った後の「検証」フェーズで、規模が必要な場合に強い。逆に「そもそも何を聞くべきか」が固まっていない探索フェーズでは、AIインタビューに丸投げできない。

ここがListen Labsを含むAIインタビューツールの構造的な特徴で、設計(リサーチ目的・仮説・質問骨子)は人間がやることが前提になっている。実際のUIも「テンプレートから選ぶ」か「ディスカッションガイドをアップロード」かのどちらかで、ゼロから設計してくれるわけではない。

Kumonoでもクライアントのユーザーリサーチを設計から実施まで人間が担当しているが、設計部分はやっぱり(AIを使いこなすにせよ)人間が深く入る必要がある領域だと改めて思った。AIインタビュー実施のところは、いずれ案件に応じてこういうツールを組み込むことも今後はあるかもしれない。

まとめ

Listen Labsを受けて感じたのは、AIインタビューが「人間のインタビューを置き換えるもの」というよりは、人間がやっていた業務の一部を切り出して、スケールできる形に変換するものだということである。

特に動的フォローアップの仕組みは想像以上に良くできていて、書き言葉のサーベイより圧倒的に深いインサイトが取れる。一方で、リサーチ全体で一番難しい「正しい問いを立てる」「文脈を理解する」部分は、まだ人間の領域に残っている。

AIインタビューを受けてみて、AIがリサーチ業務をどこまで置き換えるかよりも、人間がリサーチで何をしていたのかの方が、むしろはっきり見えた。

問いを立てること。文脈を読むこと。違和感に引っかかること。そして、集まった声に重みをつけること。

AIインタビューが広がるほど、このあたりを担える人間の価値は、むしろ上がっていくのだと強くおもった。


Kumonoに相談するhttps://kumono-inc.com/contact

Newsletter

事業を伸ばすための顧客理解、AI活用や組織実装について、現場で得た知見を不定期でお届けします。

お問い合わせ

Kumonoでは、スタートアップの支援に関するご相談を承っております。
お気軽にお問い合わせください。

無料相談を予約する