llama.cpp

Libreria scritta in C++ per eseguire modelli LLM su CPU e GPU consumer. È il motore sottostante a molti tool di inferenza locale, incluso Ollama. Supporta la quantizzazione GGUF e può eseguire modelli di grandi dimensioni su hardware limitato sfruttando sia CPU che GPU.