Siento que el algoritmo de búsqueda volverá a ser genial. Como el contexto o la indicación se hace más grande. Cómo reducir correctamente el consumo de tokens realmente depende de qué prompt y contexto debemos enviar. No creo que Compress funcione tan bien cuando tienes una gran base de memoria. Ya que el 90% del prompt puede que aún no sea necesario. En lugar de enviar todo el contexto o el prompt, buscamos y deducimos todo el contexto solo para obtener información relevante.