깃허브 AI Tool 오픈소스 4개, 웹 수집부터 토큰 절약까지

2026-05-01

오늘 보는 깃허브 오픈소스 4개는 쓰임새가 또렷하게 갈립니다. D4Vinci/Scrapling은 웹페이지를 자동 수집하는 스크래핑 도구고, Lum1104/Understand-Anything은 코드나 지식 베이스를 그래프로 바꿔 탐색하게 해주며, rtk-ai/rtk는 LLM(ChatGPT·Claude 같은 대화형 AI) 코딩 명령의 토큰을 줄여주는 프록시고, Gitlawb/openclaude는 여러 환경에서 돌리는 AI 코딩 CLI(터미널 명령줄 도구) 쪽 저장소입니다. 바이브 코딩이나 AI 코딩 할 때 어디에 바로 붙일 수 있는지 기준으로만 빠르게 보면 감이 옵니다.

1. D4Vinci/Scrapling

⭐ 40082개 · Python · 발견: github

D4Vinci/Scrapling은 웹 스크래핑(웹페이지 내용을 자동으로 수집하는 작업)을 한 번의 요청부터 사이트 전체 크롤링까지 넓게 잡는 프레임워크입니다. 설명 그대로 단일 요청도 되고 대규모 crawl도 된다는 점이 분명해서, 대상 페이지 수가 늘어나도 같은 흐름으로 밀어붙이기 좋겠더라구요.

상품 페이지 하나만 읽고 싶을 때는 URL 하나로 시작하고, 문서나 게시글이 여러 장으로 이어진 사이트라면 링크를 따라 더 넓게 수집하는 식으로 쓰는 그림이 바로 나옵니다. 입력은 페이지 주소나 수집 대상 묶음이고, 출력은 다시 정리하거나 분석에 넘길 수 있는 데이터가 됩니다.

가격 비교 글을 만드는 사람, 경쟁 서비스 문서를 모아두는 팀, 반복 수집 작업이 많은 개발자에게 잘 맞습니다. 외부 데이터 구독료가 계속 나가는 입장에선 이런 오픈소스를 직접 붙여보는 쪽이 더 싸게 먹히는 날도 있거든요.

링크: github.com/D4Vinci/Scrapling

2. Lum1104/Understand-Anything

⭐ 10101개 · TypeScript · 발견: github, hn

Lum1104/Understand-Anything은 코드 저장소나 지식 베이스를 interactive knowledge graph(연결관계를 눌러가며 탐색하는 그래프 지도)로 바꾸는 프로젝트입니다. 보기 좋게 그리는 데서 끝나는 게 아니라 검색하고 질문도 할 수 있게 만든다는 설명이 붙어 있어서, 읽는 도구에 더 가깝습니다.

코드 폴더나 문서 묶음을 넣으면 노드와 연결선이 보이는 그래프가 뜨고, 그 안에서 검색하거나 질문을 던지는 흐름으로 이해하면 됩니다. Karpathy LLM wiki 같은 예시가 적혀 있어서, LLM(ChatGPT·Claude 같은 대화형 AI) 문서처럼 양이 큰 지식 베이스를 탐색할 때 특히 떠오르는 형태입니다.

처음 넘겨받은 사내 위키가 너무 크거나, 오래된 코드베이스 구조를 빨리 이해해야 하는 사람에게 잘 맞아요. 바이브 코딩으로 프로젝트를 계속 키우다 보면 파일이 늘어나는데, 그때 이런 그래프형 도구가 있으면 어디부터 읽을지 덜 막막해집니다.

링크: github.com/Lum1104/Understand-Anything

3. rtk-ai/rtk

⭐ 39523개 · Rust · 발견: github

rtk-ai/rtk는 CLI proxy(터미널 명령을 중간에서 받아 대신 넘기는 방식)로, 공통 개발 명령에서 LLM 토큰 사용량을 60~90% 줄인다고 적어둔 저장소입니다. Rust 단일 바이너리라 의존성 없이 붙이기 쉽게 만든 점도 같이 적혀 있구요.

평소 쓰던 AI 코딩 명령 앞단에 rtk를 두고 요청을 넘기면, 중간에서 토큰을 덜 쓰는 쪽으로 정리해주는 흐름으로 읽으면 됩니다. 눈에 바로 보이는 변화는 새 기능보다 비용과 응답 길이 쪽일 가능성이 크고, 그래서 더 실무적인 저장소처럼 보이더라구요.

회사에서 API 비용표를 자주 보는 사람이나, Codex 같은 도구를 오래 켜두고 일하는 프리랜서라면 숫자로 효과를 바로 확인해볼 만합니다. 월 구독보다 토큰 과금 비중이 큰 팀이면 이런 오픈소스 하나가 체감 차이를 꽤 만들 수 있습니다.

링크: github.com/rtk-ai/rtk

4. Gitlawb/openclaude

⭐ 25376개 · TypeScript · 발견: github

Gitlawb/openclaude는 저장소 설명이 아주 짧습니다. runs anywhere. uses anything. topics에는 ai, ai-agent(AI가 스스로 단계를 나눠 처리하는 방식), ai-tools, cli, coding이 붙어 있어서, 여러 환경에서 쓰는 AI 코딩 도구 성격이라는 점까지는 분명하게 읽힙니다.

정보가 적은 레포라 길게 단정하긴 어렵지만, 적어도 특정 서비스 하나에 묶이지 않고 여기저기 붙여 쓰는 흐름을 지향한다는 건 바로 보입니다. 실제 실행 방식이나 연결 대상은 README에서 확인해야 하겠구요.

한 서비스에 잠기기 싫은 사람, 로컬이든 원격이든 비슷한 작업 방식을 유지하고 싶은 사람에게 맞을 수 있겠습니다. 이런 레포는 스타 숫자보다 설치 예시 한 번 보는 게 더 빨라서, 관심이 가면 첫 화면부터 읽는 편이 낫습니다.

링크: github.com/Gitlawb/openclaude

오늘 본 깃허브 오픈소스 4개는 기능이 겹치지 않아서 즐겨찾기만 해둬도 용도가 갈립니다. 네 레포 다 github.com에서 star 누르고 README부터 훑어보면, 바이브 코딩이나 AI 코딩에 어디 붙일지 금방 감이 옵니다.