리퀘오 / AI 차트 / ashhart/TensorFold
오픈소스 툴 GitHub 저장소
ashhart/TensorFold
원문 소개(영어) 보기
LLM Inference Engine for Metal, CUDA and Vulkan.
한눈에 보기
기능Zig 바이너리로 Apple Silicon과 NVIDIA GPU에서 언어 모델을 직접 서빙하는 추론 엔진이다.
- 특장점
- Python이나 MLX 설치 없이 Metal·CUDA 커널로 모델을 구동한다
- OpenAI·Anthropic 호환 API 형식으로 요청을 받는다
- 동시 요청 수를 메모리에 맞춰 제한하는 병렬 처리 옵션을 제공한다
- 활용방안
- 로컬 장비에서 소형 모델을 띄워 채팅 API로 호출할 때 쓴다
- GPU 서버에서 모델 서빙 성능을 점검할 때 쓴다
- 사내 여러 엔진을 하나의 엔드포인트로 묶어 관리할 때 Starlight를 쓴다
- 활용처
- 개발팀
- ML 인프라 담당
- 데이터 분석
- IT 운영
- 유무료
- 무료 Apache-2.0 오픈소스이며 모델 가중치는 별도 라이선스를 따른다
알아 둘 점: NVIDIA 사용 시 드라이버 R580 이상(CUDA 13.0)이 필요하고, 데스크톱 앱은 베타이며 모바일은 프리뷰다
AI 요약 · 2026-11-13 18:07 · README·소개 문장 기준이므로 쓰기 전에 원문을 확인하세요.
회원 리뷰 0개
로그인하면 리뷰를 쓰고 필수템으로 추천할 수 있습니다.
첫 리뷰를 남겨 주세요. 실제로 써 본 경험이 다른 회원에게 가장 큰 도움이 됩니다.
커뮤니티 이야기
아직 이 도구를 다룬 글이 없습니다.