Роутинг моделей и фолбэк

Продовый трафик редко идёт на одну модель. Ниже — как маршрутизировать запросы по задачам, переживать временные сбои и опираться на резервный endpoint.

#Выбор модели под задачу

#Ретраи и таймауты

• Повторяйте только идемпотентные ошибки: 429 и 5xx.
• Экспоненциальный backoff: 0.5s, 1s, 2s, 4s.
• Ставьте разумный таймаут на запрос, чтобы зависший upstream не блокировал очередь.

async function ask(messages) {
  const chain = ["claude-sonnet-5", "gpt-5.4-mini", "claude-haiku-4-5"];
  let lastErr;
  for (const model of chain) {
    try {
      return await call(model, messages);
    } catch (e) {
      lastErr = e;
      const status = e && e.status ? e.status : 0;
      if (status !== 429 && status < 500) throw e; // не ретраим 4xx кроме 429
    }
  }
  throw lastErr;
}

#Фолбэк на резерв

У шлюза есть горячий резервный endpoint вне РФ. При сбое основного московского узла переключение происходит автоматически примерно за 5 минут — вашему коду ничего менять не нужно.