Flyleでは22年度に続き、23年度もプロダクトマネジメント動向に関する調査レポート「Japan Product Management Insights 2023 」を公開しました。当記事は、調査レポート内でも掲載している、「プロダクトマネジメントのすべて」や「ソフトウェアファースト」を執筆された、Tably及川卓也氏に、生成AIのパラダイムシフトとプロダクトマネジメントの変化についてインタビューしたものとなります。
調査レポートはこちら：https://biz.flyle.io/resources/pm-insights-report-2023
奥村 純 氏
株式会社エウレカ Data Director
2014年、京都大学大学院理学研究科で博士号（宇宙物理学）を取得。その後、大手インターネット関連事業会社にてデータアナリスト・AIプロダクトマネージャーを歴任し、モバイルゲーム事業で複数タイトルのV字回復に貢献した他、世界初となるゲームAI導入事例のプロジェクトをリード。国内外カンファレンスでの多数の登壇や執筆・翻訳活動、AIコミュニティ運営を行っている。2019年株式会社エウレカに入社し、グロース戦略の策定に従事。2020年3月より、執行役員Data Directorに就任。意思決定やAI活用に関わるデータ戦略を推進している。ー世界トップVCが、生成AI技術の登場は、クラウド化、スマホシフト以上のインパクトだと語っています。長年、AIに関わられてきた奥村さんはどう思われますか？
まさに、不可逆で大きな変化が進んでいくのではないかと捉えています。AI技術やそこから派生するエコシステムによってこれまでできなかったことが可能になり、多方面で社会実装も進んでいくと考えています。
変化の本質は、圧倒的な精度の向上とAI活用の敷居の低下
従来から具体的に変わったところとして、大きく2つがあげられます。
まず、1つ目が自然言語処理における圧倒的な精度の向上です。これまでも、翻訳や要約といったタスクは従来の機械学習技術で実現されていました。ただ、GPTに代表される大規模言語モデル（LLM）は、データや計算資源、パラメータ数を上げていけば精度が向上し続けるというスケーリング則に従って、これまで未知だった領域にまで精度が向上しました。それにより、複雑な言語処理や意味の理解ができるようになり、さまざまなユースケースに耐えうる水準にまで到達しています。自然言語だけでなく、画像や音声を組み合わせたマルチモーダルな技術が発展していることも注目すべきトレンドです。
そして、2つ目が、機械学習を使ってアプリケーションや機能を開発することの敷居が大きく下がったことが挙げられます。これまでは、専門の機械学習エンジニアを採用し、大量のデータを集めて教師データを作成し、モデルを開発・運用するなど、多大な工数をかけてプロジェクトを進める
ことが必要でした。それがGPTなどのLLMの登場により、機械学習の専門家でなくとも、APIをたたくだけで一定のレベルのものが作れるようになりました。
また、機能開発だけでなく、手前の企画や価値検証（PoC）においても、その敷居は下がっていると思います。機械学習エンジニアや外部のコンサルティング会社の協力がないという状況でも、簡単なPoCであれば手元ですぐに行うことが可能になってきており、より広い層で機械学習の活用検討が進められるようになったのは大きなパラダイムシフトではないかと思います。
ーAI技術のブレイクスルーによって、プロダクト開発の現場ではどのような変化が起こっていますか？
AIの社会実装の加速とそれに伴う競争の激化
まずポジティブな変化として、多くの企業や個人が少ないリソースでAI機能のプロトタイピングが進んでいることが挙げられます。前述の通り、機械学習を製品に組み込むことの敷居が下がったことで、以前からAIを利用した機能開発をすすめていた企業はもちろん、それ以外の企業や個人でも、さまざまなユースケースが生まれ始めています。形になるアイディアの数が増える分、AIの社会実装が加速します。
一方で、これは競争環境が激しくなるということの裏返しになります。今後はAIを活用した機能が入っていること自体が当たり前の水準になるかもしれませんし、参加プレイヤーが増えるだけ、競争リスクが高まります。
特に、GPTなどの汎用モデルを活用し続けている限りでは、どれだけ新規性のあるアイディアでも模倣が容易になり、差別化戦略が難しくなるでしょう。技術的な差別化要因だけに限るのであれば、以下のような方向性が考えられそうです。
1.汎用モデルをファインチューニングし、独自のモデルを運用する(※1)
2.独自データを活用し自前の言語モデルを作る(※2)
3.汎用モデルに従来の機械学習プロセスを組み合わせる(※3)
いずれにも共通していることは、汎用モデルに独自の価値を加えることができるかがポイントです。
ー今後、AIを活用して顧客価値を生む上で、プロダクトマネージャーやプロダクト開発者が意識すべきことはありますか？
AIをプロダクト価値につなげる上での3つのポイント
まず、過去も未来も変わらずに重要なのは、ユーザーに本当に必要とされているのかを見極めることです。GPTなどの汎用モデルは精度が高く、活用の用途は多岐にわたるため、試す中でさまざまな新機能のアイディアが考えられると思います。一方、その真新しさやキャッチーさばかりに着目し、「できるからやってみる」と「ユーザーが求めている」の違いを見失うと、本質的な顧客価値に繋がりません。プロダクトマネージャーは、これまでと変わらず、常にユーザーに使われるかどうかを見極めることが必要です。
そして2つ目は、AIが万能ツールでないことを認識したうえで、許容できるサービスレベルの閾値を決めることです。製品を利用するユーザーの属性や使用環境などは多岐にわたるため、常にニーズにマッチしたアウトプットを出せるとは限りません。PoCで検証した環境ではうまくいっているように見えても、他のユーザーセグメントでは致命的な誤出力があるかもしれません。どのようなエッジケースが想定されていて、どこまでの誤りを許容するのか、といった許容ラインを決めていくこと、ユーザー体験を個別・全体でモニタリングできていることが必要になります。
そして3つ目が、機械学習エンジニアなどの専門家を巻き込むことです。従来と比較してAI活用の敷居は下がったことは事実です。しかしその一方で、実際に製品として一定の品質のものを作るにあたっては、依然として機械学習に理解のある人の存在が必要になってくるケースが多いと考えています。もちろん技術も進化を続けているため、いずれは状況が変わる可能性は考えられますが、少なくとも現時点では、従来型の機械学習エンジニアが製品化に関与することが必須と考えています。
ーAI技術を製品に組み込むにあたり、どのような観点で機械学習エンジニアが必要になるか教えていただけますか？
機械学習エンジニアの存在が重要になる4つの理由
様々ありますが、現時点では大きく4つが挙げられます。
1.アウトプットの精度の評価・問題検知・改善が必要
AIは100%の正解を返してくれるものでは有りません。特に汎用モデルを活用した機能を、製品・サービスとして顧客に届けるためには、アウトプットの精度を評価し、問題を検知して改善をすることが必要になります。このような、100%に到達しない確率的なアウトプットの精度の評価・問題検知・改善といったプロセスは、まさに機械学習エンジニアが得意とするところになるため、その知見が活きることは間違いありません。
2.プロンプトエンジニアリングにおいて、LLMのしくみが理解が必要
プロンプトエンジニアリングについては、具体的なノウハウが出回り始めています。その一方で、汎用モデルがどのような仕組みで動いているのかを知らない限り、うまくいくプロンプトについて本質的な理解ができません。一時的に紹介されているTipsが、モデルのアップデートに伴い意味のないものになってしまう可能性もあります。結果、LLMの特性を理解しているかどうかが、プロンプトエンジニアリングの能力の差にもつながると考えています。
もちろん、今後ノウハウが充実してくることで、次第に解消されてくる問題になるかもしれませんが、現時点では、機械学習を理解している人の関与が、スピーディな改善と精度の向上において有利であると考えています。
3.汎用モデルに従来の機械学習を組み合わせるケースが多い
GPTを活用した製品化にあたり、モデルのアウトプットだけでは、製品の期待品質に満たないケースが多いという話をよく聞きます。そのようなケースでは、汎用モデル活用の前後で従来型の機械学習技術を組み合わせてデータの加工をすることが有効になりえます。このように、複雑な課題に出会った時には、さまざまな対処法を理解している機械学習エンジニアの存在が問題解決のためには必要になります。
前述した競合との差別化の観点でも、従来の機械学習と組み合わせは真似されにくい競争資源になりやすいでしょう。
4.今後の生成AIや汎用モデルの進化の見通しができる
GPTをはじめとする汎用モデルは日々進化をしているため、今後の変化を見通すことも必要になります。一方、例えば、「GPT5がどうなるのか」や「日本語の独自モデルではどのようなことが可能になるのか」といったことについては、ニュース等から得られる情報だけでは見通すことが困難で、機械学習の発展を見てきている人の知見の有無が大きく影響します。そのような観点からも、まだまだ機械学習の専門家の存在が重要なフェーズなのではないでしょうか。同時に、そう遠くない将来に、より多くの（機械学習を専門としない）人たちに可能性が開かれていくことを期待しながら日々のアップデートを眺めています。
ー最後に生成AI技術の今後の可能性と限界についてご意見を聞かせてください
生成AI自体も常に改善の途上
生成AIについて、過大評価されている点と、過小評価されている点があると感じています。
まず、過大評価されている点については、「ホワイトカラーの仕事がなくなる」「人間は働かなくてよくなる」といったレベルの社会的インパクトがあるかというと、そうではないと考えています。たしかにAIの精度は格段に向上はしているものの、確率的なアウトプットをどう正しく判断し向き合い方っていくかは専門性を持った人間の仕事になります。さまざまな統計データが誰でも手にできる現代で、数値の読み解き方には依然として技術やリテラシーが必要になっている状況に近いかもしれません。この状態は将来的にもしばらくは変わらないと考えています。ですので、単純な意思決定やワークフローはどんどんAIによる置き換えが進む一方で、各領域で専門性を持った人たちの仕事はなくならず、むしろそういった方々の生産性はAIによってさらに向上していくことになると思います。
過小評価されている点については、現時点のLLMの性能だけをみて、限界が判断されてしまっているところはあると思います。例えば、現在の汎用モデルには、文脈とは無関係な情報や事実と異なる情報（実在しない人物や歴史への言及など）を出力してしまう「幻覚（hallucination: ハルシネーション）」と呼ばれる現象があり問題視されています。また、数学のような複雑な推論や外部知識の活用が苦手であるという事例も報告されており、GPTがまだ実用レベルには到達していないと言われる根拠になっています。しかし、機械学習の歴史を俯瞰してみると、顕在化している課題というのは何らかの方法で回避され、克服するための手法が常に提案されてきました。ハルシネーションは学習データや人間によるフィードバックを使った学習プロセスにも起因している根深い問題ですが、とはいえ徐々に問題にならないレベルまで改善できるアプローチの提案は続くでしょう。
LLMも常に改善の途上にあるため、現段階の性能だけで評価をするのではなく、その背景と今後の変化にまで見通した上で判断をすることが必要になります。
※1.この手法ではファインチューニングのコストを上回るほど精度が向上しない場合もあり、ドメインやユースケースを選ぶのではないかという意見もあります
※2.この領域で差別化ができるプレイヤーは限られているでしょうし、開発・運用コストを上回る嬉しさがあるかも議論になるところです
※3.プロンプトの改善運用や性能評価システムの導入を含む
奥村純氏のNote：https://note.com/pacocat/
奥村純氏のMedium：https://medium.com/@pacocat
(2023年8月インタビュー)
76ページにわたる調査レポート「Japan Product Management Insights 2023」は以下の画像をクリック
