GeminiにAndroidスマートフォンを操作させる、Googleの「スクリーンオートメーション」機能の詳細が明らかに

IT之家2月4日消息、GoogleはGeminiを使ったAndroidスマートフォンの操作を進めており、現在この「画面自動化」機能の具体的な実装詳細が明らかになっています。

9to5googleの報告によると、Googleのバージョン17.4のテスト版には、「Geminiを使ったタスクの完了」という機能に関連する文字列が含まれています。この実験室の機能の内部コード名は「倭黒猩猩（bonobo）」で、説明文には「Geminiは画面自動化技術を用いて、指定したアプリ内で注文や予約などさまざまなタスクを手助けします」と記載されています。

Geminiでタスクを完了

IT之家によると、この操作機能は「画面自動化」とも呼ばれ、Android 16QPR3で技術的な基盤が整えられており、指定したアプリでの利用が可能になる予定です。

Googleは次のように注意喚起しています。「Geminiは操作ミスを起こす可能性があります」とともに、「あなたはその代行操作に責任を持つ必要があるため、その動作を注意深く監視してください」と述べています。ユーザーはいつでもこのAIの操作を停止し、手動でタスクを引き継ぐことができます。

プライバシーに関する説明：

• 「Geminiがアプリと連携する際、活動記録保存機能を有効にしている場合、キャプチャされた画面は専門の審査員によって確認され、Googleの各種サービスの最適化に利用されます。」

• 「Geminiのチャット画面にログイン情報や支払い情報を入力しないでください。緊急の用事や敏感な情報を含むタスクには画面自動化機能の使用を避けてください。」

このテスト版では、内部コード名「ワサビ（wasabi）」のデジタルキャラクター（Likeness）機能や関連文字列も登場しています。特に注目すべきは、Android XRシステムがこのコード名を用いて、現在Google Meetの通話で使用されている3Dバーチャルキャラクターを指している点です。ある文字列には、この機能がコマンドによって呼び出せることが示されています。

Likeness準備完了

再撮影

あなたの似顔絵はあなたのみが使用できます