Медленное скачивание изображений/видео из CDN или таймаут — что делать?

​

Быстрый ответ

• Сетевой маршрут от вашего сервера к CDN: на подключение серверов в материковом Китае к зарубежным CDN влияют трансграничная пропускная способность, маршрутизация провайдеров и локальный DNS
• Сторона хранилища: когда узлы хранения за CDN работают медленно, это может затронуть все маршруты

​

Запрос к API выполнен успешно, но изображение не скачивается?

1. Ваша программа вызывает API APIYI, изображение генерируется и возвращается URL
2. Ваша программа скачивает изображение по этому URL

• В логах APIYI запрос отмечен как успешный и тарифицирован — изображение действительно было сгенерировано
• Ваша программа сообщает об ошибках вида Read timed out или Connection reset, при этом хостом в ошибке является домен изображения, а не api.apiyi.com
• Read timed out означает, что соединение было установлено, но в течение длительного времени данные не поступали. Это не то же самое, что «не удается подключиться», и само по себе это не указывает, на чьей стороне произошел сбой

​

Распространенные причины

​

Шаги по устранению неполадок

curl -s -m 30 https://<image-domain>/cdn-cgi/trace

# Linux / macOS
ping <cdn-host>
mtr -rwc 30 <cdn-host>
traceroute <cdn-host>

# Windows cmd
tracert -d -w 1000 <cdn-host>

curl -4 -o /dev/null -m 60 -w "dns:%{time_namelookup} connect:%{time_connect} \
tls:%{time_appconnect} ttfb:%{time_starttransfer} total:%{time_total} \
size:%{size_download} speed:%{speed_download} ip:%{remote_ip}\n" \
"<CDN URL>"

curl -4 -o NUL -m 60 -w "dns=%{time_namelookup} connect=%{time_connect} tls=%{time_appconnect} ttfb=%{time_starttransfer} total=%{time_total} size=%{size_download} speed=%{speed_download} ip=%{remote_ip}\n" "<CDN URL>"

dig <cdn-host>
nslookup <cdn-host>

​

Решения

​

Вариант 1: Переключение на публичный DNS (самый простой)

{/* /etc/resolv.conf */}
nameserver 1.1.1.1        # Cloudflare
nameserver 8.8.8.8        # Google
nameserver 223.5.5.5      # AliDNS
nameserver 119.29.29.29   # DNSPod

​

Вариант 2: Оптимизация процесса скачивания

import time
import httpx

# connect 10s; read 30s = give up after 30s with no data (not total duration)
TIMEOUT = httpx.Timeout(connect=10, read=30, write=30, pool=10)

def download(url: str, path: str, attempts: int = 4) -> str:
    for i in range(attempts):
        try:
            with httpx.stream("GET", url, timeout=TIMEOUT, follow_redirects=True) as resp:
                resp.raise_for_status()
                with open(path, "wb") as f:
                    for chunk in resp.iter_bytes(chunk_size=256 * 1024):
                        f.write(chunk)
            return path
        except httpx.HTTPError as e:
            print(f"Download failed (attempt {i + 1}): {e!r}")
            time.sleep(2 * (i + 1))
    raise RuntimeError(f"Image generated, but download failed repeatedly: {url}")

download("<CDN URL>", "output.png")

aria2c -x 8 -s 8 -k 1M --file-allocation=none "<CDN URL>"

​

Вариант 3: Переход в регион с более качественным подключением

​

Вариант 4: Ретрансляция через другой хост (крайняя мера)

1. Используйте зарубежный сервер в качестве релея: сначала скачайте файл на зарубежный сервер, затем передайте его обратно по выделенному/премиальному каналу
2. Ретрансляция через собственное объектное хранилище: зеркалируйте ресурс в собственное хранилище OSS / COS / S3 (например, в бакет в регионе Китая) и раздавайте оттуда
3. Прогрев и кэширование: скачайте файл один раз на бэкенд и отдавайте последующие запросы из локального кэша

​

Частые вопросы

aria2c -x 8 -s 8 -c --max-tries=10 --retry-wait=3 "<CDN URL>"

​

Связанные документы