Skip to main content
Gemini のネイティブ形式では、画像、音声、動画を理解と分析のために直接受け付け、サンドボックス内で Python を実行する組み込みの code_execution ツールも備えています。以下の例では、ネイティブ呼び出し のクライアント設定を前提としています。
APIYI チャンネルの 2 つの厳しい制限:
  1. Files API はサポートされていません (client.files.upload() は Google の公式エンドポイントでのみ動作します) — メディアは インライン で渡す必要があります
  2. インライン メディアは 1 ファイルあたり 20MB までです。大きい場合は、先に圧縮するかフレームを抽出してください

画像理解

PIL Image を直接渡します — SDK がエンコードを処理します:
または、types.Part.from_bytes を使ってバイト列を明示的に渡します:

オーディオ理解

動画理解

動画はフレームごとに音声トラックとあわせてトークン化されます — 長い動画ほどコストが高くなります。その他の動画ワークフロー: Video Understanding.

media_resolution によるコスト制御

メディアの token 消費量は解像度に応じて増減します。「粗い見た目」で十分なタスク(分類、存在確認)では、低解像度にすると実際のコストを節約できます。

対応形式

すべてインラインで、1ファイルあたり最大 20MB です。

コード実行

code_execution ツールを宣言すると、モデルが Python を書き、サンドボックスで実行し、その結果に基づいて回答します。計算やデータ分析に最適です:
コード実行の制限: Python のみ。サンドボックスにはネットワークアクセスもファイルシステムアクセスもなく、実行時間には上限があります。独自の外部サービスを呼び出すには、Function Calling を使用してください。

関連リンク