[Proyecto] Gateway LLM compatible con OpenAI: tope de 3 reintentos y puntaje de salud público
Transparencia primero: trabajo en APIGOTO, un gateway de APIs de LLM independiente (sin relación con OpenAI, Anthropic ni Google).
En corto: apuntas el SDK de OpenAI a https://api.china-aiapi.com/v1 y con una key usas Claude, GPT, Gemini, DeepSeek, Qwen, etc. (los IDs exactos de modelo están en la página de precios).
Lo que nos parece más interesante a nivel técnico:
- Si un upstream falla, se prueban otras credenciales máximo 3 veces; después se devuelve el error rápido.
- Cada hora se calcula un puntaje por upstream: 502 = 1.0, 403 = 0.8, otros = 0.6, 429 = 0.5, y se publica en una página de estado.
- BYOK sin comisión y log por cada request (modelo, tokens, cache, latencia, errores).
Ojo: es un salto de red extra y los prompts pasan por un intermediario. Hay créditos gratis de prueba para cuentas nuevas (límites en el sitio).
¿Alguien acá usa LLMs vía proxy propio? ¿Cómo manejan los 429?
You must log in or register to comment.

