La plupart des fournisseurs d'IA vous demandent de leur faire confiance avec vos données. Nous nous sommes simplement retirés de l'équation. Aujourd'hui, nous expédions le chiffrement de bout en bout pour l'inférence IA sur Chutes. Voici ce que cela signifie réellement :

Vos requêtes sont chiffrées sur votre machine, directement sur l'instance GPU spécifique fonctionnant à l'intérieur d'un Environnement d'Exécution de Confiance. Le texte chiffré passe par notre API et nos équilibreurs de charge, mais ils ne peuvent littéralement pas le lire. Personne ne peut. Pas le réseau. Pas nous. Pas les mineurs qui exploitent le matériel. L'échange de clés utilise ML-KEM 768, un mécanisme d'encapsulation de clés post-quantique standardisé par le NIST, associé à HKDF-SHA256 et ChaCha20-Poly1305. Les instances TEE publient une clé publique ML-KEM, et chaque requête utilise une nouvelle paire de clés éphémères pour la confidentialité à long terme. Même si quelqu'un capturait chaque paquet aujourd'hui, les futurs ordinateurs quantiques ne pourraient toujours pas les déchiffrer.

La partie qui importe pour les développeurs : Il y a deux façons d'utiliser cela, selon votre configuration. Si vous utilisez le SDK Python d'OpenAI, installez chutes-e2ee avec pip et passez le transport personnalisé dans votre client. Votre URL de base peut rester la même, et le chiffrement se fait de manière transparente au niveau HTTP avec seulement un câblage client minimal.

Si vous utilisez une autre plateforme cliente, exécutez notre conteneur Docker e2ee-proxy localement et pointez votre client vers celui-ci. Il prend en charge les API compatibles avec OpenAI, y compris la nouvelle spécification de l'API Responses utilisée par des outils comme Codex, et la spécification de l'API Messages d'Anthropic pour les clients de type Claude. Le proxy gère la traduction de format, l'échange de clés, le chiffrement et le déchiffrement en streaming pour vous. Les deux prennent en charge le streaming. Les deux préservent la sémantique de facturation normale basée sur les jetons. Les deux sont open source sous la licence MIT.