Skip to main content
Нативный формат Gemini напрямую принимает изображения, аудио и видео для понимания и анализа, а также включает встроенный инструмент code_execution, который запускает Python в песочнице. Примеры ниже предполагают настройку клиента из Нативные вызовы.
Два жестких ограничения на канале APIYI:
  1. Files API не поддерживается (client.files.upload() работает только на официальном эндпоинте Google) — медиа нужно передавать inline
  2. Размер inline-медиа ограничен 20MB на файл; если больше, сначала сожмите его или извлеките кадры

Понимание изображений

Передавайте PIL Image напрямую — SDK самостоятельно выполняет кодирование:
Или явно передавайте байты с помощью types.Part.from_bytes:

Понимание аудио

Понимание видео

Видео токенизируется по каждому кадру плюс аудиодорожка — более длинные видео обходятся дороже. Больше сценариев для видео: Понимание видео.

Контроль затрат с media_resolution

Потребление token для медиа масштабируется в зависимости от разрешения. Для задач с «грубым просмотром» (классификация, проверка наличия) более низкое разрешение позволяет заметно экономить:

Поддерживаемые форматы

Все — встроенно, максимум 20 МБ на файл.

Выполнение кода

Объявите инструмент code_execution, и модель пишет Python-код, запускает его в песочнице и отвечает на основе результата — идеально подходит для вычислений и анализа данных:
Ограничения выполнения кода: только Python; у песочницы нет доступа к сети или файловой системе; время выполнения ограничено. Чтобы вызывать собственные внешние сервисы, используйте Function Calling.

Связанные ссылки