Siento que el algoritmo de búsqueda volverá a ser genial. A medida que el contexto o el aviso se vuelven más grandes. Cómo reducir adecuadamente el consumo de tokens realmente depende de qué aviso con qué contexto debemos enviar. No creo que la compresión funcione tan bien cuando tienes un gran banco de memoria. Ya que el 90% del aviso puede no ser necesario. En lugar de enviar todo el contexto/aviso, buscamos y deducimos todo el contexto solo para obtener información relevante.