Hầu hết các nhà cung cấp AI yêu cầu bạn tin tưởng họ với dữ liệu của bạn. Chúng tôi vừa loại bỏ bản thân khỏi phương trình. Hôm nay, chúng tôi đang triển khai mã hóa đầu cuối cho việc suy diễn AI trên Chutes. Đây là những gì điều đó thực sự có nghĩa:

Các yêu cầu của bạn được mã hóa trên máy của bạn, trực tiếp đến phiên bản GPU cụ thể đang chạy trong Môi trường Thực thi Đáng tin cậy (Trusted Execution Environment). Dữ liệu mã hóa đi qua API và bộ cân bằng tải của chúng tôi, nhưng chúng thực sự không thể đọc được. Không ai có thể. Không phải mạng. Không phải chúng tôi. Không phải các thợ mỏ vận hành phần cứng. Quá trình trao đổi khóa sử dụng ML-KEM 768, một cơ chế bao gói khóa hậu lượng tử được tiêu chuẩn hóa bởi NIST, cùng với HKDF-SHA256 và ChaCha20-Poly1305. Các phiên bản TEE công bố một khóa công khai ML-KEM, và mỗi yêu cầu sử dụng một cặp khóa tạm thời mới cho tính bảo mật tiến về phía trước. Ngay cả khi ai đó bắt được mọi gói tin hôm nay, các máy tính lượng tử trong tương lai vẫn không thể giải mã chúng.

Phần quan trọng đối với các nhà phát triển: Có hai cách để sử dụng điều này, tùy thuộc vào cấu hình của bạn. Nếu bạn đang sử dụng OpenAI Python SDK, hãy cài đặt chutes-e2ee bằng pip và truyền transport tùy chỉnh vào client của bạn. URL cơ sở của bạn có thể giữ nguyên, và việc mã hóa diễn ra một cách minh bạch ở lớp HTTP với chỉ một số kết nối tối thiểu từ phía client.

Nếu bạn đang sử dụng bất kỳ nền tảng khách nào khác, hãy chạy container Docker e2ee-proxy của chúng tôi cục bộ và chỉ định khách của bạn đến nó. Nó hỗ trợ cả hai API tương thích với OpenAI, bao gồm cả đặc tả API Responses mới hơn được sử dụng bởi các công cụ như Codex, và đặc tả API Messages của Anthropic cho các khách hàng kiểu Claude. Proxy xử lý việc chuyển đổi định dạng, trao đổi khóa, mã hóa và giải mã luồng cho bạn. Cả hai đều hỗ trợ luồng. Cả hai đều bảo tồn các ngữ nghĩa thanh toán dựa trên token thông thường. Cả hai đều là mã nguồn mở theo giấy phép MIT.