AmiVoice APIと生成AIを活用した学習日誌アプリ「Manabi Voice」開発事例

どんな事例か

「Manabi Voice」は、学んだことを自身の言葉で説明することにより、AIがその内容を点検し、日誌として記録できる個人開発のアプリケーションです。このアプリは、音声入力またはテキスト入力を通じてユーザーが説明した内容を分析します。

一般的な「音声入力から要約を作成する」アプリとは異なり、ユーザーの理解状態を精査し、そのレベルに応じたフィードバックを返す点に最大の特徴があります。この設計は、学習者が「自分の言葉で説明する」という行為自体に学習効果があるという研究知見に基づいています。内容を思い出し、構造化し、言葉にする過程で、自身の理解が曖昧な部分に気づくことを促し、学習の深化を支援することを目的としています。

使われた技術・ツール

「Manabi Voice」の開発には、以下の技術スタックが採用されています。

• フレームワーク: Next.js (App Router), React
• 言語: TypeScript
• データベース: Prisma, SQLite
• スタイリング: Tailwind CSS
• 音声文字起こし: AmiVoice API
• 理解状態の点検: Gemini API

音声認識には専門性の高いAmiVoice APIを、その後のテキスト解釈とフィードバック生成には汎用的な生成AIであるGemini APIを、というように役割を分担して活用しています。

得られた成果

この開発事例では、単にツールを組み合わせるだけでなく、学習体験を向上させるための具体的な仕組みが構築されました。主な成果は以下の通りです。

音声認識と生成AIによる新しい学習体験の実現

ユーザーの説明を単に文字起こしして要約するのではなく、生成AIが内容を分析し、「主張」「曖昧さ」「説明不足」「正誤確認候補」といった要素を識別します。これにより、学習者がどこまで理解し、どこに課題があるのかを可視化する仕組みが実現されました。

理解度に応じた動的なフィードバック

AIはユーザーの理解度を「大きな誤解がある」「大筋は合っているが不足あり」「よく理解できている」「判断材料が足りない」といった複数の段階で評価します。この評価に基づき、アプリの応答が動的に変化します。例えば、大きな誤解がある場合は先に解説を提示し、理解が不十分な場合はまず確認質問を投げかけるなど、学習効果を最大化するための介入方法が自動で選択されます。

開発効率を高めるための工夫

開発プロセスにおいては、AmiVoice APIの呼び出し部分に「mockモード」が実装されました。これにより、APIの無料利用枠を消費することなく、UIの調整やアプリケーションの基本動作の確認が可能となり、効率的な開発が実現されました。

同じ規模の組織が真似できるポイント

この個人開発事例には、他の開発者や小規模チームが参考にできるポイントがいくつか含まれています。

APIの戦略的な役割分担

音声認識という特定のタスクには専門の「AmiVoice API」を、その後の複雑な文脈理解や応答生成には汎用的な「Gemini API」を、というように、それぞれの技術の強みを活かした使い分けは、効率的で質の高いアプリケーション開発において重要です。

生成AIへの具体的な指示と検証

生成AIに対しては、「要約して」といった曖昧な指示ではなく、「ユーザーの理解状態を判定し、指定したJSON構造で結果を返す」という明確な役割と出力形式を定義しています。さらに、AIからの応答が期待通りの構造であるかをZodのようなスキーマバリデーションツールで検証することで、システムの安定性を高めています。

体験設計の重視

技術の利用そのものを目的とせず、「なぜ音声入力なのか」「なぜ要約ではないのか」といった学習効果の観点から体験を設計し、アプリケーションの核となる価値を明確にすることが、ユーザーにとって真に価値のあるプロダクトを生み出す鍵となります。

まとめ

「Manabi Voice」は、AmiVoice APIによる高精度な音声認識と、Gemini APIによる高度なテキスト解釈を組み合わせることで、新しい形の学習支援を実現した優れた活用事例です。技術の適切な役割分担、生成AIへの具体的な指示、そして学習効果に基づいた体験設計は、今後のAI活用アプリケーション開発において大いに参考になるでしょう。この事例は、個人開発においても外部APIを効果的に活用することで、ユニークで価値のあるアプリケーションを構築できることを示しています。

出典: https://zenn.dev/fullbon777/articles/23172f0962a7a2