スキルパフォーマンスメトリクスの理解とトラブルシューティング
このページでは、スキルパフォーマンスレポートについて説明し、スキルパフォーマンスを改善するための方法を提案します。スキルメトリクスの詳細については、スキルのレポートについてを参照してください。
Alexaスキルのレポートダッシュボードへのアクセス
レポートダッシュボードにアクセスして利用可能なレポートを生成する方法については、スキルの使用状況のレポートを参照してください。
スキルパフォーマンスメトリクスを理解する
スキルのパフォーマンスメトリクスを使用して、スキルのパフォーマンスを確認します。パフォーマンスメトリクスでは、エンドポイントのレイテンシー、エンドポイントのレスポンス、インテントの信頼度を測定します。
エンドポイントのレイテンシー
エンドポイントのレイテンシーページでは、ユーザーの発話に対してスキルがどれだけ速く応答しているかを確認できます。エンドポイントのレイテンシーが高いスキルは応答が遅く、ユーザーがもどかしさを感じる可能性があります。エンドポイントのレイテンシーの詳細については、スキルのレポートについてを参照してください。
以下は、過去30日間で選択したユーザー発話に対するレイテンシーが90%（青い線）、50%（緑の線）の応答を示したレポートの例です。
エンドポイントのレイテンシーのパフォーマンスを改善するには、次のベストプラクティスを試してみてください。
-
関数の実行を高速化するには、AWS Lambda関数の設定でメモリの量を増やします。Lambda関数は、関数に割り当てられたメモリに応じてCPUの割り当てを行います。プロビジョニングするメモリが1.8ギガバイト（GB）を超える場合、Lambda関数は複数のCPUを割り当てます。
-
スキルが複数のロケールをサポートしている場合は、リージョンにまたがる呼び出しを避けるため、リージョンごとにLambda関数を作成します。Lambda関数に最適なリージョンを選択する方法の詳細については、AWS Lambda関数に最適なリージョンを選択するを参照してください。
-
コールドスタートに対応するには、全SDKではなく、すぐに必要な特定のモジュールまたはSDKを選択して、Lambdaパッケージファイルを小さくします。SDKなどの共通コードやライブラリを複数のスキルで共有している場合、AWS Lambdaレイヤーに移動して、デプロイメントパッケージからこれらを実行するようにしてください。
-
スキルのファイルをホストしている場合、Lambda関数と同じAWSリージョンでAmazon S3バケットをホストします。リージョンにまたがってレプリケーションを行うことにより、複数のリージョンでコピーを保持します。
- スキルがデータを保存する場合、Amazon DynamoDBのキャパシティモードを選択します。
- 一貫したトラフィックがある場合は、プロビジョニングモードを選択する必要があります。
- トラフィックの予測が難しい場合は、オンデマンドバックアップキャパシティを使用します。
- Amazon RDSのベストプラクティスに従います。Amazon RDSを使ってデータを保存することで、データベース接続の切断やデータベース呼び出しの遅延を防ぐことができます。
エンドポイントのレスポンス
エンドポイントのレスポンスレポートでは、一定の期間ごとにスキルの成功または失敗した応答の数を確認できます。スキルの応答がない場合、ユーザーは困惑し、満足度の低下につながります。Alexaがスキルでユーザーの応答がないことを検出した場合、エンドポイントのレスポンスメトリクスのスコアが下がります。エンドポイントのレスポンスの詳細については、スキルのレポートについてを参照してください。
以下は、過去30日間のスキルエンドポイントにおける成功した応答（青い線）と失敗した応答（緑の線）の数を示したレポートの例です。
エンドポイントのレスポンスのパフォーマンスを改善するには、次のベストプラクティスを試してみてください。
- Amazon CloudWatchを使ってエンドポイントの健全性を追跡します。
- CloudWatchでアラームを設定し、失敗をすぐに確認できるようにします。
- Lambda関数コードを改善して、失敗を防止します。たとえば、応答が予測したサイズ制限を超えないようにします。
インテントの信頼度
インテントの信頼度は、スキルの対話モデルのパフォーマンスを示します。信頼度設定のオプションは、高、中、低です。ユーザーリクエストの信頼度が低い場合、インテントリクエストはスキルに送信されず、再プロンプトが発生します。これは、ユーザーエクスペリエンスの低下につながります。
以下は、過去30日間に信頼度高、中、低として評価された発話の数を示したレポートの例です。
インテントの信頼度のパフォーマンスを改善するには、次のベストプラクティスを試してみてください。
- フォールバックインテントを使って低い信頼度の発話を適切に処理します。
- スキルのインテント履歴で、未解決の発話を確認し、これらの未解決の発話をモデルのインテントやスロットにマッピングします。
- 開発者コンソールのNLU評価ツールを使って、Alexaスキルの自然言語理解（NLU）モデルをバッチテストできます。
関連トピック
最終更新日: 2021 年 05 月 25 日