Jaa kokemuksia paikallisesta käyttöönotosta @agentcoinsite kaivostoiminnasta ja anna ystäville, jotka haluavat nousta autoon, välttääkseen sudenkuoppia 👇 Laitteisto: RTX 4090 (24GB) Malli: Qwen2.5:32B (Q4_K_M kvantisointi, vie ~20GB VRAM-muistia) Työkalut: Ollama + Python skriptaus Muutama keskeinen seikka: 1️⃣ Malli täytyy valita 4-bittiseen kvantitatiiviseen versioon, muuten sitä ei tallenneta 2️näyttöön ⃣ Set OLLAMA_KEEP_ALIVE=-1, jotta malli säilyy muistissa, muuten malli täytyy ladata 3️uudelleen joka kerta kun sitä pyydetään ⃣. OpenAI Python -kirjaston uusi versio kohtaa yhteensopivuusongelmia Ollaman kanssa, joten suositellaan käyttämään pyyntöjä suoraan natiivin API:n säätämiseen Nyt se toimii automaattisesti, ja sähkölasku muutetaan AGC:ksi, mikä on paljon edullisempaa 🚀 kuin pilvirajapinta #AgentCoin #AGC #LocalLLM #RTX4090