Scopri come eseguire AnythingLLM in self-hosting, una delle alternative locali a strumenti come Perplexity e inizia a costruire un ambiente AI locale più controllabile e pratico (RAG, ricerche web, recupero pagine web con qualsiasi LLM in locale, agenti AI).
🔗 https://www.risposteinformatiche.it/anythingllm-in-locale-guida-pratica-passo-passo/
#AnythingLLM #LLM #SelfHosted #Linux #Docker #OpenSource #Perplexity #UnoLinux #UnoOpenSource #Ollama #LMStudio #Gratis #Free
@Dragone2 Mi piacerebbe molto provarlo, ma sul mio computer gli LLM locali sono lentissimi, praticamente inutilizzabili 😕 @linux @opensource
@emmecola @linux @opensource beh, se non hai una scheda video dedicata recente, è normale purtroppo. Diciamo che per quello che ho visto, dalla fascia media (es. RTX 4050) di NVIDIA si riesce a far girare LLM piccoli, come Gemma 4. Ovviamente se pretendi di eseguire LLM grandi, con tanti parametri ti andranno sempre lenti, ma se usi un LLM che sta dentro la VRAM della tua GPU, non ha problemi. Ti consiglio di dare un’occhiata a whichllm, un tool su GitHub
@emmecola @linux @opensource https://github.com/Andyyyy64/whichllm questo, sostanzialmente, basandosi sul tuo HW ti consiglia quali LLM sono compatibili / a che velocità e quali sarebbero consigliati, basandosi su benchmark fatti da altri utenti con configurazioni HW simili alla tua.
@Dragone2 GRAZIE! 🙏🏻 @linux @opensource
