Cursor Automations giải quyết vấn đề mà lập trình viên tự động tạo ra. Các kỹ sư giờ đây có thể quản lý hơn 10 tác nhân lập trình cùng một lúc, nhưng sự chú ý của con người trở thành nút thắt. Bạn không thể trông chừng một tá tác nhân trong khi cũng phải làm công việc thực sự của mình. Automations đảo ngược mô hình: thay vì bạn khởi động các tác nhân, các sự kiện sẽ làm điều đó. Một PR hợp nhất kích hoạt một cuộc kiểm tra bảo mật. Một cảnh báo PagerDuty khởi động một tác nhân truy vấn nhật ký và đề xuất một bản sửa lỗi. Một công việc cron xem xét các khoảng trống trong độ phủ kiểm tra mỗi sáng. Mỗi tự động hóa chạy trong một sandbox đám mây tách biệt với quyền truy cập đầy đủ vào các công cụ mà bạn cấu hình thông qua MCP (một giao thức tiêu chuẩn cho phép các tác nhân kết nối với Slack, Linear, GitHub, Datadog, hoặc bất kỳ API tùy chỉnh nào). Tác nhân làm theo hướng dẫn của bạn, xác minh công việc của chính nó và học hỏi từ các lần chạy trước thông qua một hệ thống bộ nhớ tích hợp. Cursor chạy hàng trăm cái này mỗi giờ bên trong. Tự động hóa bảo mật của họ đã phát hiện nhiều lỗ hổng bằng cách kiểm tra mọi đợt đẩy vào nhánh chính mà không chặn các PR. Điều này mở khóa 4 điều mà trước đây không thực tế: 1. Đánh giá mã liên tục ở độ sâu mà con người bỏ qua 2. Phản ứng sự cố bắt đầu điều tra trước khi bạn nhận được thông báo 3. Công việc bảo trì diễn ra theo lịch trình, không phải khi ai đó nhớ 4. Tổng hợp kiến thức giữa các công cụ Hai năm tới sẽ được xác định bởi ai xây dựng nhà máy tốt nhất, không phải mã tốt nhất. Các công ty di chuyển nhanh nhất sẽ không phải là những công ty có kỹ sư giỏi nhất. Họ sẽ là những công ty mà kỹ sư của họ đã dành thời gian cấu hình tự động hóa thay vì viết mã.

Một mô hình 24 tỷ tham số vừa chạy trên một chiếc laptop và chọn đúng công cụ trong chưa đầy nửa giây. Câu chuyện thực sự là các tác nhân gọi công cụ cuối cùng đã trở nên đủ nhanh để cảm thấy như phần mềm. Liquid đã xây dựng LFM2-24B-A2B bằng cách sử dụng kiến trúc lai kết hợp các khối tích chập với sự chú ý theo nhóm theo tỷ lệ 1:3. Chỉ có 2,3 tỷ tham số được kích hoạt cho mỗi token, mặc dù mô hình đầy đủ chứa 24 tỷ. Mô hình kích hoạt thưa thớt đó là lý do tại sao nó vừa vặn trong 14,5 GB bộ nhớ và phân phối công cụ trong 385 mili giây trên một M4 Max. Kiến trúc được thiết kế thông qua tìm kiếm phần cứng trong vòng lặp, có nghĩa là họ đã tối ưu hóa cấu trúc mô hình bằng cách thử nghiệm trực tiếp trên các chip mà nó sẽ chạy. Không có lớp dịch vụ đám mây. Không có vòng API. Mô hình, các công cụ và dữ liệu của bạn đều ở trên máy. Điều này mở khóa ba điều mà trước đây không khả thi: 1. Các ngành công nghiệp được quản lý có thể chạy các tác nhân trên laptop của nhân viên mà không để dữ liệu rời khỏi thiết bị. 2. Các nhà phát triển có thể tạo mẫu quy trình làm việc đa công cụ mà không cần quản lý khóa API hoặc giới hạn tỷ lệ. 3. Các đội ngũ an ninh nhận được đầy đủ các dấu vết kiểm toán mà không có các nhà cung cấp phụ trong vòng lặp. Mô hình đạt 80% độ chính xác trong việc chọn công cụ một bước trên 67 công cụ trải dài qua 13 máy chủ MCP. Nếu hiệu suất này giữ vững ở quy mô lớn, hai giả định cần được cập nhật. Đầu tiên, các tác nhân trên thiết bị không còn là sự đánh đổi về thời gian sử dụng pin; chúng là một tính năng tuân thủ. Thứ hai, nút thắt trong quy trình làm việc của tác nhân đang chuyển từ khả năng mô hình sang sự trưởng thành của hệ sinh thái công cụ.

Ai đó vừa vượt qua Neural Engine của Apple để huấn luyện các mô hình. Neural Engine bên trong mỗi chiếc Mac dòng M được thiết kế cho việc suy diễn. Chạy các mô hình, không phải huấn luyện chúng. Không có API công khai, không có tài liệu, và chắc chắn không có backpropagation. Một nhà nghiên cứu đã đảo ngược kỹ thuật các API riêng tư và xây dựng một vòng lặp huấn luyện transformer chạy các bước tiến và lùi trực tiếp trên phần cứng ANE. Phương pháp này hoàn toàn bỏ qua CoreML. Thay vì sử dụng các công cụ chính thức của Apple, dự án xây dựng các chương trình bằng MIL (Model Intermediate Language), biên dịch chúng trong bộ nhớ bằng cách sử dụng các API `_ANEClient` không được tài liệu hóa, và cung cấp dữ liệu qua các bộ nhớ chia sẻ IOSurface. Các trọng số được nướng vào các chương trình đã biên dịch như là các hằng số. Mỗi bước huấn luyện gửi đi sáu kernel tùy chỉnh: attention forward, feedforward forward, sau đó là bốn bước lùi tính toán gradient liên quan đến đầu vào. Gradient trọng số vẫn chạy trên CPU bằng cách sử dụng thư viện ma trận của Accelerate, nhưng công việc nặng nhọc (nhân ma trận, softmax, hàm kích hoạt) diễn ra trên ANE. Điều này làm cho ba điều trở nên khả thi mà trước đây không có: 1. Huấn luyện các mô hình nhỏ tại chỗ mà không làm tiêu tốn pin của bạn 2. Tinh chỉnh trên thiết bị mà không cần gửi dữ liệu đến máy chủ hoặc khởi động GPU 3. Nghiên cứu về những gì phần cứng ANE thực sự có thể làm khi bạn bỏ qua các rào cản của Apple Nếu phương pháp này có thể mở rộng, làn sóng AI trên thiết bị tiếp theo sẽ không còn chỉ là việc chạy mô hình đã được đóng băng của người khác.