AI·ML Python
lightseekorg/tokenspeed
AI 에이전트 작업을 위한 대규모 언어 모델 추론 엔진이다. 요청과 자원을 관리하는 C++ 계층을 모델 연산을 실행하는 Python 계층과 분리한다.
총 스타2386
포크331
일간 순위11
일간 기간 증가25
총 스타·포크의 마지막 관측: 2026-10-15T17:20:59.388752+00:00
01 Inside the project 기술을 이해하는 시간
WHY01
어떤 문제를 해결하나요?
언어 모델 추론 서버는 요청 처리 순서와 캐시 자원을 관리하면서 모델 연산도 실행해야 한다. TokenSpeed는 이 역할을 분리해 자원 관리 규칙을 명확히 하고 실행 코드와 연산 모듈을 확장하도록 설계됐다.
HOW02
눈여겨볼 특징
C++ 제어 계층과 Python 실행 계층을 분리해 요청 관리와 모델 실행을 각각 담당하게 한다.
요청과 KV 캐시의 상태 변화를 명시적으로 정의한다. KV 캐시는 이전 토큰 처리 정보를 보관하며, 타입 체계로 안전한 자원 재사용 규칙을 컴파일 단계에서 검사한다.
핵심 연산 코드인 커널을 공개 API, 중앙 등록부, 플러그인으로 관리해 다양한 가속기용 구현을 추가할 수 있다.
SMG와 통합된 AsyncLLM 진입점을 통해 비동기 요청 처리를 제공한다.
USE CASE03
이럴 때 활용해요
에이전트용 언어 모델 서버를 구축하면서 요청 스케줄링과 캐시 관리는 C++ 계층에서 다루고, 모델 실행 방식이나 가속기용 연산 구현은 별도로 개발하는 데 활용할 수 있다.
공식 자료를 바탕으로 생성·검토한 AI 해설입니다. 직접 설치하거나 성능을 검증한 결과는 아닙니다. 해설 확인:
02 On the radar 관측 데이터
총 스타 수 관측 시점의 누적값
공식 순위 위쪽일수록 높은 순위
목록에서 관측한 시점만 표시하며, 목록 밖의 구간은 연결하지 않습니다.
관측 수치 전체 보기
| 수집 시각 | 목록 | 순위 | 총 스타 | GitHub 기간 증가 |
|---|---|---|---|---|
| 2026-10-15T17:21:06.393821+00:00 | 월간 | 관측 없음 | — | — |
| 2026-10-15T17:21:04.487430+00:00 | 주간 | 관측 없음 | — | — |
| 2026-10-15T17:20:59.388752+00:00 | 일간 | 11 | 2386 | 25 |