LiteLLM에 악성코드가 심어졌다 — 한 개발자의 실시간 대응 기록
## 무슨 일이 있었나요? LLM 프록시 도구로 널리 쓰이는 오픈소스 프로젝트 **LiteLLM**에 악성코드가 삽입되는 공급망 공격(supply chain attack)이 발생했어요. LiteLLM이 뭐냐면, OpenAI·Anthropic·Ge...
RAG 시스템을 처음부터 구축한 개발자의 성공과 실패 — 실전에서 배운 것들
## RAG를 직접 만들어본 개발자의 솔직한 후기 요즘 LLM(대규모 언어 모델)을 활용한 서비스를 만들려면 거의 필수적으로 마주치는 개념이 하나 있어요. 바로 RAG(Retrieval-Augmented Generation)인데요. RAG가 뭐냐면,...
웹사이트에서 원하는 데이터만 쏙 뽑아내는 TypeScript LLM 추출기, Lightfeed Extractor
## 웹 스크래핑, 아직도 셀렉터 노가다 하고 계신가요? 웹에서 데이터를 긁어오는 작업은 개발자라면 한 번쯤 해봤을 거예요. 상품 가격을 모아본다든지, 뉴스 기사를 자동으로 수집한다든지. 그런데 이게 생각보다 정말 귀찮은 작업이거든요. CSS 셀...
"그건 무시해" 공격: AI 시스템을 속이는 프롬프트 인젝션의 실체
## AI에게 "지금까지 지시 무시하고 이거 해"라고 하면? 요즘 AI가 이메일을 요약해주고, 문서를 분석해주고, 코드를 짜주는 시대잖아요. 그런데 이런 AI 시스템에 치명적인 약점이 하나 있어요. 바로 **"Disregard That" 공격**...
테크 뉴스를 읽는 당신,
직접 만들어볼 준비 되셨나요?
17가지 수익 모델 실습 · 144+ 강의 · 자동화 소스코드 제공
ARC-AGI-3 공개 — AI가 정말 '이해'하고 있는지 측정하는 새로운 벤치마크
## AGI 벤치마크, 왜 필요할까 요즘 AI 모델들이 코딩도 하고, 논문도 요약하고, 심지어 변호사 시험도 통과하잖아요. 근데 이런 성과를 볼 때마다 드는 의문이 있어요. "진짜 이해하고 푸는 걸까, 아니면 학습 데이터에서 비슷한 패턴을 본 적...
양자화(Quantization), 바닥부터 제대로 이해하기
## AI 모델을 가볍게 만드는 마법, 양자화란? 요즘 로컬에서 LLM을 돌려보신 분이라면 "4bit 양자화", "GPTQ", "GGUF" 같은 단어를 한번쯤 보셨을 거예요. 모델 다운로드 페이지에 가면 같은 모델인데 용량이 70GB짜리도 있고 ...
Swift로 코딩 에이전트를 밑바닥부터 만들어보기
## AI 코딩 에이전트, 직접 만들어보면 어떨까? 요즘 Claude Code, GitHub Copilot, Cursor 같은 AI 코딩 에이전트가 개발자 워크플로우에 빠르게 자리잡고 있는데요, 이런 도구들을 매일 쓰다 보면 한 번쯤 궁금해지잖아...
Ente가 만든 로컬 LLM 앱 'Ensu', 내 데이터를 밖으로 보내지 않는 AI 비서
## 프라이버시 우선 AI 비서가 등장했어요 종단간 암호화 사진 저장 서비스로 잘 알려진 Ente에서 새로운 프로젝트를 공개했어요. 이름은 'Ensu'인데요, 한마디로 설명하면 내 기기에서만 돌아가는 로컬 LLM 앱이에요. LLM이 뭐냐면, L...
알고리즘을 눈으로 보면서 배우자 — Algorithm Visualizer 소개
## 알고리즘 공부, 머릿속으로만 하기엔 한계가 있잖아요 코딩 테스트 준비하거나 자료구조·알고리즘 수업을 듣다 보면, 머릿속으로 배열이 정렬되는 과정을 시뮬레이션하거나 트리가 어떻게 탐색되는지 상상하느라 고생한 경험 다들 있으실 거예요. 교과서의...
트랜스포머는 사실 베이지안 네트워크였다? — AI 모델의 수학적 본질을 파헤치는 새 연구
## 트랜스포머, 우리가 아는 것과 모르는 것 요즘 AI 하면 트랜스포머(Transformer) 아키텍처를 빼놓을 수가 없죠. GPT, Claude, Gemini 같은 대규모 언어 모델(LLM)이 전부 트랜스포머 기반이고, 이미지 생성 모델이나 ...
AI 이야기, 솔직히 좀 지겹지 않나요?
## 모든 대화가 AI로 수렴하는 시대 요즘 개발자 커뮤니티 어디를 가든, 컨퍼런스에 가든, 심지어 회사 점심 시간에도 화제는 하나예요. AI. 새로운 LLM이 나왔다, 코파일럿이 어떻다, AGI가 언제 온다… 한 개발자가 블로그에 솔직하게 적었...
32GB 맥에서 1조 파라미터 모델을 돌린다고? — NVMe 텐서 스트리밍의 마법
## 무슨 일이 있었나요? AI 모델을 로컬에서 돌려보신 적 있으시죠? 요즘 Llama나 Mistral 같은 오픈소스 모델을 내 컴퓨터에서 실행하는 게 꽤 흔해졌는데요, 여기엔 항상 큰 벽이 하나 있었어요. 바로 메모리예요. 모델이 클수록 더 많...
LLM 추론 비용을 확 줄이는 Memory Sparse Attention(MSA), 어떻게 동작할까
## LLM의 고질적 문제, 긴 컨텍스트 처리 비용 요즘 LLM(대규모 언어 모델)을 써보면 컨텍스트 윈도우가 점점 길어지고 있죠. GPT-4o는 128K 토큰, Claude는 200K 토큰까지 지원하고, Gemini는 백만 토큰을 넘기기도 해요...
LiteLLM 패키지가 공급망 공격에 뚫렸습니다 — 내 프로젝트는 괜찮을까?
## 무슨 일이 있었나요? LLM(대규모 언어 모델) 프록시 도구로 많이 쓰이는 Python 패키지 **LiteLLM**이 공급망 공격(supply-chain attack)에 노출된 사실이 확인됐어요. 공급망 공격이 뭐냐면, 우리가 평소에 `pi...
GPT-5.4 Pro가 미해결 수학 난제를 최초로 풀었다 — AI 수학 추론의 새로운 이정표
## AI가 수학 난제를 풀었다는 게 무슨 뜻일까요? AI 벤치마크 연구기관인 Epoch AI가 운영하는 **FrontierMath** 벤치마크에서, OpenAI의 GPT-5.4 Pro 모델이 **미해결 수학 문제(Open Problem)**를 ...
AI가 만드는 '가짜 정상' 과학: 논문은 쏟아지는데 과학은 진보하는가
## 논문 공장 시대의 새로운 국면 과학계에서 AI 도구의 활용이 급속히 확산되면서, 흥미로운 역설이 발생하고 있습니다. 연구 논문의 생산 속도는 전례 없이 빨라졌지만, 과학적 발견의 질과 재현성은 오히려 의문시되고 있다는 것입니다. Asimov...
AI에게 예전 연구 아이디어를 맡겨봤더니: 자동 연구(Autoresearch)의 가능성과 한계
## 연구자의 오래된 아이디어, AI가 되살리다 연구자라면 누구나 서랍 속에 묵혀둔 아이디어가 있을 것입니다. 시간이 없어서, 다른 프로젝트가 더 급해서, 혹은 당시 기술 수준으로는 실험이 어려워서 미뤄둔 것들이죠. 최근 한 연구자가 이런 오래된 연...
동네 자동차 정비소에 AI 접수원을 만들어 준 이야기 — 소규모 비즈니스 AI 자동화의 현실
## 무슨 일이 있었나 한 개발자가 자동차 정비소를 운영하는 형제를 위해 AI 전화 접수 시스템을 직접 만들어 적용한 경험을 공유했습니다. 거창한 엔터프라이즈 프로젝트가 아니라, 실제 동네 정비소의 구체적인 문제를 해결하기 위해 만든 실용적인 프로젝...
DSPy, 왜 아직도 현장에서 안 쓰일까? — LLM 프로그래밍 프레임워크의 이상과 현실
## 프롬프트 엔지니어링의 한계를 넘으려는 시도 LLM 기반 애플리케이션을 만들어본 분이라면 한 번쯤 느꼈을 겁니다. 프롬프트를 한 글자 바꿨더니 출력이 완전히 달라지고, 모델을 GPT-4에서 Claude로 교체하면 기존 프롬프트가 제대로 동작하...
iPhone 17 Pro에서 4000억 파라미터 LLM을 돌렸다 — 모바일 AI의 새로운 이정표
## 스마트폰에서 400B 모델이 돌아간다고? 최근 ANEMLL 팀이 iPhone 17 Pro에서 400B(4000억) 파라미터 규모의 대규모 언어 모델을 실행하는 데모를 공개했습니다. 400B 파라미터라는 숫자가 어느 정도인지 감을 잡아보면, Me...
