본문으로 건너뛰기

리퀘오 / AI 차트 / TrnRT

오픈소스 툴 Hacker News 소개 글

TrnRT

원문 소개(영어) 보기

An open-source LLM inference engine for AWS Trainium

라이선스 확인 못 함 처음 차트 진입 2026-11-18 차트에 오른 날 2일

한눈에 보기

기능AWS Trainium에서 대규모 언어 모델을 구동하고 OpenAI 호환 API로 제공하는 오픈소스 추론 엔진이다.

특장점
  • NKI 메가커널로 디코드 연산을 레이어 단위로 융합해 처리한다
  • 최대 100만 토큰 문맥과 프리픽스 캐시를 지원한다
  • CPU 호스트에서 미리 컴파일해 서빙 장비 부담을 줄인다
활용방안
  • Trainium2 장비에서 GLM-5.3-Flash 모델을 서빙할 때 쓴다
  • 기존 OpenAI 클라이언트 코드를 그대로 두고 엔드포인트만 바꿔 연결할 때 쓴다
  • 긴 문맥의 코딩 에이전트 세션을 여러 개 동시에 돌릴 때 쓴다
활용처
  • ML 인프라 팀
  • 백엔드 개발팀
  • AI 서비스 운영팀
유무료
무료 Apache-2.0 오픈소스이며, 다만 실행에는 AWS Trainium2 인스턴스 비용이 별도로 든다

알아 둘 점: trn2.48xlarge 장비와 Docker, Hugging Face 토큰이 필요하고 컴파일 캐시 생성에 수 시간이 걸린다

AI 요약 · 2026-11-18 03:00 · README·소개 문장 기준이므로 쓰기 전에 원문을 확인하세요.

회원 리뷰 0개

로그인하면 리뷰를 쓰고 필수템으로 추천할 수 있습니다.

첫 리뷰를 남겨 주세요. 실제로 써 본 경험이 다른 회원에게 가장 큰 도움이 됩니다.

커뮤니티 이야기

아직 이 도구를 다룬 글이 없습니다.