Claude Code와 UI-TARS로 보는 깃허브 AI 오픈소스 4개

2026-07-28

오늘 볼 건 네 개입니다. 첫 번째는 라이브러리 없이 AI를 바닥부터 구현해 보는 교육 과정이고, 두 번째는 이미지를 브라우저용 3D 코드로 바꿔 주는 도구입니다. 세 번째는 컴퓨터 화면을 보면서 마우스를 움직이는 데스크톱 에이전트이고, 네 번째는 Claude Code 같은 CLI 도구에 원하는 AI 모델을 마음대로 끼워 넣는 프록시죠.

1. rohitg00/ai-engineering-from-scratch

⭐ 44624개 · Python · 발견: github

머신러닝의 기초 이론부터 시작해서 복잡한 자율형 AI 에이전트(Agent, AI가 스스로 판단하고 행동하는 단위) 설계 방식까지, 외부 머신러닝 라이브러리인 PyTorch나 TensorFlow 등을 전혀 사용하지 않고 오로지 기초적인 코드로 처음부터 직접 빌드하며 이해하는 교육 코스입니다. 총 503개의 단계별 수업으로 구성되어 있으며, 파이썬, 타입스크립트, 러스트, 줄리아 등 다양한 언어를 골고루 다루면서 딥러닝 연산의 뼈대가 되는 역전파 알고리즘과 인공지능이 글자를 쪼개어 받아들이는 토크나이저(텍스트를 AI가 이해할 수 있는 단위로 쪼개는 도구) 구현 방법을 핵심부터 차근차근 파악해 나갈 수 있습니다.

실제로 터미널 환경에서 파이썬 파일을 열고 비어 있는 함수 영역에 직접 수학 공식을 기반으로 계산 알고리즘을 작성해 나가면서, 최첨단 모델에 탑재된 어텐션(Attention, 중요한 특정 단어 정보에 가중치를 두어 집중하는 기술) 메커니즘의 상세 작동 방식을 완성도 있게 마주하게 됩니다. 코드 작성이 끝나면 실행 프로그램을 작동시켜 에이전트 루프가 입력값을 순차적으로 수용하고 판단하며 터미널 명령을 직접 수행해 나가는 일련의 순환 과정을 실시간으로 모니터링합니다.

기존에 완성된 고수준 라이브러리 사용법만 단순히 숙지해서 내부 구동 로직에 대한 깊은 탐구가 부족했던 주니어 백엔드 엔지니어에게 원천 기술을 파악하기에 매우 적합합니다. 가벼운 로컬 디바이스에서도 효율적으로 작동하는 개인 맞춤형 경량 AI 추론 및 처리 모듈을 원점부터 견고히 제작하고 싶은 빌더들에게도 든든한 가이드라인이 될 수 있겠네요.

링크: github.com/rohitg00/ai-engineering-from-scratch

2. img2threejs/img2threejs

⭐ 7660개 · Python · 발견: github

사용자가 지정해 업로드한 임의의 레퍼런스 이미지를 인공지능이 정밀 분석한 뒤, 웹 브라우저 화면에서 부드럽게 돌아가고 각종 애니메이션 제어가 손쉬운 Three.js(브라우저 환경 내에서 복잡한 3D 그래픽을 렌더링하고 제어하는 자바스크립트 엔진 라이브러리) 소스코드로 완전히 재생산해 주는 실용 도구입니다. 용량이 거대하고 무거운 별도의 3D 메쉬 파일이나 부가 그래픽 소스를 웹상에서 따로 받지 않고, 오직 코드로만 구성된 3D 프리미티브(원형 도형 단위)와 수식 기반의 절차적 셰이더만으로 최적화된 결과물을 가볍게 생성해 냅니다.

터미널 창을 실행해 3D 입체물로 변환을 원하는 실제 이미지 파일의 절대경로를 입력값으로 전달하면, AI 모델이 입력 이미지를 기하학적 요소로 분할한 뒤 그에 걸맞은 웹 렌더링 코드를 자동으로 빌드해 줍니다. 사용자는 이렇게 출력된 코드 파일들을 실행해 자신의 브라우저 창에서 마우스 클릭과 드래그로 요리조리 회전시키며 이미지가 3D 그래픽으로 변환되어 움직이는 장면을 바로 확인합니다.

홍보용 웹사이트나 가벼운 랜딩 페이지에 인터랙티브한 3D 그래픽 효과를 탑재하고 싶지만 고용량 3D 에셋 로딩 속도가 걱정이었던 프론트엔드 엔지니어 및 웹 퍼블리셔가 즉각적으로 반응할 수 있는 완성형 결과물을 빠르게 프로토타입화해 볼 때 매우 유익하겠죠.

링크: github.com/img2threejs/img2threejs

3. bytedance/UI-TARS-desktop

⭐ 38338개 · TypeScript · 발견: github

컴퓨터 사용자가 마주하는 화면의 다양한 픽셀 정보들을 직접 지각하고 마우스와 키보드를 스스로 제어하며 작업을 마치는 GUI(그래픽 인터페이스) 전용 멀티모달 에이전트(Agent, AI가 스스로 판단하고 행동하며 컴퓨터 제약 조건들을 해결하는 구조) 운영 플랫폼입니다. 강력한 UI-TARS 비전 언어 모델을 중추로 동작하며, 사용자가 내리는 자연어 명령을 해석해 로컬 환경이나 원격 서버의 화면을 넘나들면서 직접 쉘 명령을 입력하고 브라우저를 컨트롤합니다.

테스트 용도로 클라이언트 실행창을 띄워 놓고 '최근 3일 동안 내 메일함에 들어온 안 읽은 메세지 제목들을 가져와 파일로 정리해줘'라고 타이핑해 두면, 마우스가 자동으로 움직여 메일함을 열고 내용을 파싱한 뒤 메모장 프로그램을 켜 작성하는 전체 과정을 눈으로 모니터링하게 됩니다. 웹 스크래핑이나 반복적인 문서 관리 작업 등 기존에는 개발자가 API나 별도의 크롤러 코드를 공들여 작성해 수행해야만 했던 일상적인 컴퓨터 조작 워크플로우를 간단한 자연어 지시 하나만으로 데스크톱 내에서 완벽하게 위임하고 싶을 때 최고의 업무 효율을 제공해 줄 것입니다.

수작업으로 마우스를 붙잡고 하루 종일 클릭하던 번거로운 단순 노무 업무들이 순식간에 자동으로 매끄럽게 처리되는, 진귀한 비서 같은 환경을 얻게 되는 셈이죠.

링크: github.com/bytedance/UI-TARS-desktop

4. lidge-jun/opencodex

⭐ 5577개 · TypeScript · 발견: github

Anthropic의 Claude Code(터미널 환경에서 소스코드를 다루는 전용 AI 도구)나 GitHub Copilot CLI처럼 원래는 특정 독점적인 AI 모델 API만 연동해 사용하도록 기본 구현된 개발용 CLI(터미널 명령창 도구)에서 개발자가 원하는 어떠한 LLM(대화형 거대언어모델) API라도 간편히 연결해 대체해 쓰도록 매핑해 주는 초경량 프록시입니다. 터미널 명령으로 프록시 서버를 시작한 뒤 연결 매개변수만 살짝 편집하면, 원본 CLI 소프트웨어가 지닌 독특한 명령어 단축키와 편리한 터미널 레이아웃 등 고유 사용자 경험을 있는 그대로 보전하면서 뒷단의 연산 장치만 입맛에 맞춰 저렴한 모델로 교차 적용하도록 설계되었습니다.

Claude Code를 평소 방식대로 실행한 후 내부 동작 속도를 관측해 보면 평소보다 압도적으로 빨라진 응답 속도와 저렴해진 크레딧 사용량을 체감하게 되고, 터미널 백그라운드 콘솔 화면에서는 내가 지정한 저렴한 외부 모델 API(DeepSeek 등)로 텍스트 쿼리가 무사히 전달되어 응답이 오고 가는 트랜잭션을 추적하며 작동합니다. 특정 유명 독점 AI의 비싼 컨텍스트 요금 부담을 덜고 싶거나 오프라인 폐쇄망 환경에서 작동 중인 로컬 추론 모델(Ollama)에 연동해 소스코드를 자동 검토받는 독립적이고 고도화된 개발 인프라를 원하는 프로그래머에게 유용합니다.

저렴한 대체 모델을 붙임으로써 한 달 내내 실행해도 토큰 요금이 커피 한 잔 값 수준에 그칠 만큼 극단적으로 실용적인 개발 환경이 갖춰지는 효과를 보게 되거든요.

링크: github.com/lidge-jun/opencodex

네 오픈소스는 다 github.com에서 star를 누르고 README(설명 문서)부터 꼼꼼하게 읽어보는 걸 추천합니다. 직접 코드를 들여다보는 것만큼 확실한 공부는 없거든요.