본문으로 건너뛰기

리퀘오 / AI 차트 / ashhart/TensorFold

오픈소스 툴 GitHub 저장소

ashhart/TensorFold

원문 소개(영어) 보기

LLM Inference Engine for Metal, CUDA and Vulkan.

Zig 별 2,233 라이선스 확인 못 함 처음 차트 진입 2026-11-12 차트에 오른 날 4일

한눈에 보기

기능Zig 바이너리로 Apple Silicon과 NVIDIA GPU에서 언어 모델을 직접 서빙하는 추론 엔진이다.

특장점
  • Python이나 MLX 설치 없이 Metal·CUDA 커널로 모델을 구동한다
  • OpenAI·Anthropic 호환 API 형식으로 요청을 받는다
  • 동시 요청 수를 메모리에 맞춰 제한하는 병렬 처리 옵션을 제공한다
활용방안
  • 로컬 장비에서 소형 모델을 띄워 채팅 API로 호출할 때 쓴다
  • GPU 서버에서 모델 서빙 성능을 점검할 때 쓴다
  • 사내 여러 엔진을 하나의 엔드포인트로 묶어 관리할 때 Starlight를 쓴다
활용처
  • 개발팀
  • ML 인프라 담당
  • 데이터 분석
  • IT 운영
유무료
무료 Apache-2.0 오픈소스이며 모델 가중치는 별도 라이선스를 따른다

알아 둘 점: NVIDIA 사용 시 드라이버 R580 이상(CUDA 13.0)이 필요하고, 데스크톱 앱은 베타이며 모바일은 프리뷰다

AI 요약 · 2026-11-13 18:07 · README·소개 문장 기준이므로 쓰기 전에 원문을 확인하세요.

회원 리뷰 0개

로그인하면 리뷰를 쓰고 필수템으로 추천할 수 있습니다.

첫 리뷰를 남겨 주세요. 실제로 써 본 경험이 다른 회원에게 가장 큰 도움이 됩니다.

커뮤니티 이야기

아직 이 도구를 다룬 글이 없습니다.