로컬LLM

개요 AI 서비스를 만들 때 모든 요청을 최고 성능의 모델에 보내면 비용과 응답 시간이 함께 불어납니다. 이 영상은 요청을 먼저 분류해 알맞은 처리 경로로 보내는 “라우팅” 단계에, 요즘 주목받는 모델 제브 대신 오픈소스 모델 라야를 직접 학습시켜 쓸 수 있는지 실험한 결과를 보여 줍니다. 평범한 M4 프로 맥북, 램 24GB 환경에서 1천 건을 48분 동안 … Read more