La mayoría de los proveedores de IA te piden que confíes en ellos con tus datos. Simplemente nos hemos quitado de la ecuación. Hoy estamos enviando cifrado de extremo a extremo para inferencia de IA en Chutes. Esto es lo que eso realmente significa:
Tus indicaciones se cifran en tu máquina, directamente en la instancia específica de la GPU que se ejecuta dentro de un Entorno de Ejecución Confiable. El texto cifrado pasa por nuestra API y balanceadores de carga, pero literalmente no pueden leerlo. Nadie puede. No la cadena. No nosotros. No los mineros que operan el hardware. El intercambio de claves utiliza ML-KEM 768, un mecanismo de encapsulación post-cuántica estandarizado por NIST, junto con HKDF-SHA256 y ChaCha20-Poly1305. Las instancias TEE publican una clave pública ML-KEM, y cada solicitud utiliza un par de claves cliente efímero nuevo para el secreto hacia adelante. Aunque hoy en día alguien capturara todos los paquetes, los futuros ordenadores cuánticos aún no podrían descifrarlos.
La parte que importa a los constructores: Hay dos formas de usar esto, dependiendo de tu configuración. Si usas el SDK de OpenAI en Python, instala pip chutes-e2ee y pasa el transporte personalizado a tu cliente. Tu URL base puede mantenerse igual, y el cifrado ocurre de forma transparente en la capa HTTP con solo un cableado mínimo del cliente.
Si usas cualquier otra plataforma cliente, ejecuta nuestro contenedor Docker e2ee-proxy localmente y apunta a tu cliente hacia él. Soporta tanto APIs compatibles con OpenAI, incluyendo la nueva especificación de la API Responses utilizada por herramientas como Codex, como la especificación Messages API de Anthropic para clientes al estilo Claude. El proxy se encarga de la traducción de formatos, el intercambio de claves, el cifrado y el descifrado en streaming por ti. Ambos admiten streaming. Ambos conservan la semántica normal de facturación basada en tokens. Ambos son de código abierto bajo la licencia del MIT.
2.07K