llama.cpp — 모든 기기에서 돌아가는 로컬 AI의 심장
우리가 쓰는 거의 모든 로컬 LLM 도구의 껍데기를 벗겨보면 이 녀석이 나온다. C/C++로 작성되어 어떤 구형 기기에서든 억지로 AI를 구동시키는 마법의 엔진, llama.cpp의 구동 원리와 커스텀 세팅법을 파헤친다.
GGUF (1)
우리가 쓰는 거의 모든 로컬 LLM 도구의 껍데기를 벗겨보면 이 녀석이 나온다. C/C++로 작성되어 어떤 구형 기기에서든 억지로 AI를 구동시키는 마법의 엔진, llama.cpp의 구동 원리와 커스텀 세팅법을 파헤친다.