Чувствую, что алгоритм поиска снова станет отличным. Поскольку контекст или подсказка становятся больше. Как правильно сократить потребление токенов действительно зависит от того, какую подсказку с каким контекстом мы должны отправить. Я не думаю, что сжатие будет работать так хорошо, когда у вас есть большая память. Поскольку 90% подсказки может все еще не понадобиться. Вместо того чтобы отправлять весь контекст/подсказку, мы ищем и выводим весь контекст только для получения релевантной информации.