Bài báo mới! Điều gì sẽ xảy ra nếu bạn có thể đảm bảo (sử dụng sự kết hợp giữa xác minh chính thức và lý thuyết PDE) rằng một mạng nơ-ron sẽ *luôn luôn* cho bạn câu trả lời đúng, ngay cả khi đưa ra suy diễn xa rời dữ liệu huấn luyện? Giới thiệu BEACONS. Liên kết arXiv bên dưới. (1/15)

Quay trở lại những năm 90, công việc xuất sắc đã được thực hiện bởi Mhaskar, Pinkus và những người khác về các phiên bản *định lượng* của Định lý Xấp xỉ Toàn cầu nổi tiếng cho mạng nơ-ron: một mạng nơ-ron nông với N nơ-ron ẩn có thể xấp xỉ một hàm d-chiều chính xác đến mức nào? (3/15)

Nhưng các giới hạn sai số tồi tệ nhất này đều phụ thuộc rất nhiều vào độ mượt mà của hàm đang được xấp xỉ (tức là sai số tồi tệ nhất tỷ lệ với N^(-n/d), trong đó n là số lượng đạo hàm liên tục mà hàm có). Điều này tạo ra một vấn đề lớn cho việc ngoại suy. (4/15)

Làm thế nào chúng ta có thể biết được điều gì về độ mượt mà của một hàm, ngoài miền con mà chúng ta đã huấn luyện? Đây là lý do chính khiến người ta không thể giới hạn các lỗi trong các xấp xỉ mạng nơ-ron của các hàm xa khỏi bao lồi của dữ liệu huấn luyện. (5/15)

Nhưng với BEACONS - Giải pháp Neural Bounded-Error, Algebraically-COmposable - chúng tôi khai thác thực tế rằng hàm mà chúng tôi đang học không phải là tùy ý, mà thực sự là giải pháp cho một PDE (hoặc hệ thống PDEs). Vì vậy, chúng tôi có thể áp dụng các kỹ thuật như phương pháp đặc trưng... (6/15)

...hoặc các định lý đều đặn elliptic để dự đoán *a priori* có bao nhiêu đạo hàm liên tục phải tồn tại, ở bất kỳ đâu trong không gian hoặc thời gian, ngay cả khi xa xôi khỏi miền đào tạo, bằng cách khai thác cấu trúc phân tích của chính các PDE. Do đó, phần "Lỗi Giới Hạn".

Nhưng những giới hạn nghiêm ngặt như vậy chỉ có thể chứng minh cho các mạng nơ-ron nông (với một lớp ẩn duy nhất). Còn nếu chúng ta muốn xây dựng một kiến trúc sâu hơn, biểu cảm hơn thì sao? Đó là lúc phần "Có thể kết hợp đại số" xuất hiện. Sử dụng các ý tưởng từ lý thuyết danh mục ứng dụng... (8/15)

...chúng tôi cho thấy cách có thể xây dựng các kiến trúc BEACONS sâu hơn như là sự kết hợp của các kiến trúc nông hơn, theo cách mà các giới hạn sai số vẫn được kiểm soát chặt chẽ. Cụ thể, chúng tôi "phân tích" giải pháp PDE phức tạp của mình thành một sự kết hợp của các hàm đơn giản hơn... (9/15)

...theo cách mà các giới hạn lớn về lỗi cho các phần không liên tục của giải pháp được giảm thiểu một cách tùy ý bởi các giới hạn nhỏ về lỗi cho các phần mượt mà, thay đổi chậm của giải pháp, hiệu quả tổng quát hóa lý thuyết về các giới hạn dòng phi tuyến. (10/15)

Chỉ cần chỉ định các phương trình bạn muốn giải, cộng với các siêu tham số của mạng nơ-ron để giải quyết chúng, và khung của chúng tôi sẽ tự động tạo ra mã C tối ưu hóa cao cho việc đào tạo và xác thực kiến trúc BEACONS cho những phương trình đó, và suy diễn các giải pháp mới. (12/15)

Đồng thời, nó tạo ra các chứng minh chính thức về tính chính xác cho bộ giải cổ điển cơ bản, cũng như cho bộ giải dựa trên mạng nơ-ron đã được khởi động, với các giới hạn ngoại suy nghiêm ngặt về lỗi L^infinity trong trường hợp xấu nhất cho cả giải pháp mượt mà và không mượt mà. (13/15)

Các chứng minh này được biểu diễn dưới dạng mã Racket biểu tượng, do đó chúng hoàn toàn có thể thực thi (và do đó có thể kiểm tra bằng máy). Đối với nhiều hệ thống phương trình cả tuyến tính và phi tuyến, chúng tôi nhận thấy rằng kiến trúc BEACONS vượt trội hơn nhiều so với các mạng nơ-ron truyền thống. (14/15)

Mục tiêu là nâng cao mức độ chính xác toán học tổng thể của ML khoa học, đặt các phương pháp dựa trên mạng nơ-ron ở vị trí ngang bằng với các phương pháp số cổ điển, và đảm bảo các thuộc tính như bảo tồn, hội tụ, ổn định và tính chính xác. (15/15)