트랜스포머는 왜 '짧게 압축해서' 표현을 잘할까 — 이론으로 파고든 연구
## 무슨 이야기냐면 요즘 ChatGPT나 Claude 같은 AI의 심장에는 **트랜스포머(Transformer)**라는 구조가 들어가 있어요. 2017년에 구글이 발표한 "Attention is All You Need" 논문에서 시작된 이 구조는,...
Gemma 4 QAT 공개: 양자화를 '훈련 중에' 미리 연습시켜 노트북·폰에서 LLM 돌리기
## 무슨 일이 있었냐면요 구글이 자사 오픈 모델인 Gemma 4의 **QAT 버전**을 내놨어요. QAT는 'Quantization-Aware Training'의 약자인데, 우리말로 풀면 '양자화를 미리 인지하고 훈련시킨' 모델이라는 뜻이거든요...
LLM은 도대체 어떻게 다음 단어를 알까? 챗봇 속을 한 꺼풀씩 벗겨봤어요
## 들어가며 ChatGPT 같은 걸 매일 쓰면서도 "얘는 도대체 어떻게 말을 만들어내는 거지?" 하고 한 번쯤 궁금했을 거예요. 막연히 "엄청 똑똑한 AI"라고만 알고 넘어가기엔 좀 아쉽잖아요. 그래서 오늘은 LLM(대형 언어 모델, Large...
[심층분석] PDF랑 이미지를 AI가 읽을 수 있는 데이터로 바꿔주는 PaddleOCR, 도대체 뭐가 다를까?
## 요즘 왜 다들 'OCR'을 다시 보기 시작했을까요? 혹시 이런 경험 있으세요? 스캔한 PDF 계약서를 받았는데, 분명 글자가 보이는데도 복사가 안 돼요. 마우스로 드래그하면 글자가 잡히는 게 아니라 그냥 사진 한 장이 통째로 잡히죠. 컴퓨터 입...
테크 뉴스를 읽는 당신,
직접 만들어볼 준비 되셨나요?
17가지 수익 모델 실습 · 144+ 강의 · 자동화 소스코드 제공
[심층분석] 구글 노트북LM이 부럽지만 내 데이터는 지키고 싶다면? 오픈소스 'Open Notebook' 파헤치기
## 들어가며: "AI한테 내 자료 다 줘도 괜찮은 걸까?" 혹시 구글의 **NotebookLM** 써보셨어요? PDF나 웹페이지, 영상 자료를 잔뜩 넣어두면 AI가 그 내용을 바탕으로 질문에 답해주고, 심지어 두 명의 진행자가 대화하는 **팟캐...
"1995년 그 시절 문서처럼 써줘" — LLM을 직접 파인튜닝해본 실험 이야기
## 챗봇한테 시키는 거랑 뭐가 다른데요? 요즘은 문서 쓰는 일도 챗GPT한테 부탁하면 뚝딱 나오잖아요. 그런데 한 기술 문서 작성자(테크니컬 라이터)가 좀 다른 실험을 했어요. 그냥 프롬프트로 부탁하는 게 아니라, **LLM(거대 언어 모델)을...
커널을 2.2배 빠르게 만들었는데 학습이 3배 느려졌다? GPU 최적화의 함정
## 무슨 이야기냐면요 한 개발자가 머신러닝 모델 학습 코드를 최적화하다가 정말 황당한 일을 겪은 걸 공유했어요. **연산 커널(kernel) 하나를 2.2배나 빠르게 만들었는데, 정작 전체 학습 루프는 3배가 더 느려졌다**는 거예요. 부분을 ...
Alibaba가 만든 AI 코드 리뷰 CLI 'Open Code Review' — 터미널에서 바로 리뷰받기
## 코드 리뷰, 사람만 하기엔 너무 벅차죠 협업으로 개발하다 보면 'PR(Pull Request) 리뷰'가 늘 병목이에요. 동료가 올린 코드를 꼼꼼히 봐줘야 하는데, 다들 바쁘니까 대충 'LGTM(좋아 보여요)' 찍고 넘어가기 일쑤죠. 이런 틈...
뉴욕타임스는 왜 'AI와의 전쟁'에 사활을 걸었나 — 그리고 그게 당신의 ChatGPT 기록까지 건드린 이유
## 신문사가 AI를 고소한 사건 요즘 기술 업계에서 가장 상징적인 법정 싸움 중 하나가 **뉴욕타임스(NYT) vs OpenAI** 소송이에요. NYT는 "OpenAI가 우리 기사 수백만 건을 허락도 없이 긁어가서 ChatGPT를 학습시켰다"며 저...
화웨이가 공개한 KVarN — LLM 추론의 '메모리 먹는 하마' KV 캐시를 양자화로 길들이기
## 무슨 일이 있었냐면요 화웨이가 **KVarN**이라는 프로젝트를 공개했어요. 한 줄로 요약하면 "vLLM에 곧바로 붙여 쓸 수 있는, KV 캐시 양자화 전용 백엔드"예요. 이름만 보면 무슨 외계어 같은데, 천천히 풀어볼게요. 이건 거대 언어...
테드 창이 단호하게 말했다 — "AI는 의식이 없습니다"
## SF 거장이 직접 나선 이유 테드 창(Ted Chiang)이라는 작가를 아실지 모르겠어요. 영화 "컨택트(Arrival)"의 원작 "당신 인생의 이야기"를 쓴 SF 작가예요. 기술을 깊이 이해하면서도 인간적인 질문을 던지는 걸로 유명한 분인...
Anthropic이 밝힌 'Claude를 제품 안에 가두는 법' — AI 안전을 엔지니어링으로 푸는 방식
## 무슨 글이냐면요 Claude를 만드는 회사 Anthropic이, 자기네 여러 제품에서 **AI 모델을 어떻게 '가둬서(contain)' 안전하게 다루는지**를 엔지니어링 관점에서 공개했어요. 여기서 '가둔다'는 말이 좀 무섭게 들릴 수 있는...
"걔네는 weight(숫자 덩어리)로 만들어졌어" — LLM의 정체를 가장 솔직하게 말하면
## 외계인이 인간을 보고 "얘넨 고기로 만들어졌어"라고 했듯이 혹시 테리 비슨의 단편 SF "They're Made Out of Meat"를 아세요? 외계 탐사선 둘이 지구 생명체를 관찰하고는 충격받아서 나누는 대화예요. "걔네는... 고기로 ...
취약한 앱 만들어놓고 1,500달러 써서 'LLM이 진짜 해킹하나' 실험해봤더니
## 무슨 실험이냐면요 한 개발자가 좀 재미있는 실험을 했어요. 일부러 보안 구멍이 뚫린 웹 앱을 직접 만들어 놓고, 요즘 잘나가는 대형 언어 모델(LLM)들한테 "이거 한번 해킹해봐"라고 시켜본 거예요. 여기에 API 사용료로 약 1,500달러...
LLM에게 '기억'을 심어주는 로컬 메모리 레이어, Mnemo (Rust + SQLite + 그래프)
## ChatGPT는 왜 자꾸 까먹을까 LLM(거대 언어 모델)을 써본 분들은 다 느끼셨을 거예요. 어제 길게 설명해 준 내 프로젝트 상황을 오늘 새 대화 창에서는 까맣게 잊고 있다는 걸요. 이건 버그가 아니라 구조적인 특성이에요. LLM은 기본...
DDR5 32GB가 50만 원? AI가 불러온 메모리 대란, PC 견적이 흔들린다
## 무슨 일이 벌어지고 있냐면요 PC 좀 맞춰보신 분들은 알 거예요. 램(RAM)은 보통 '싸고 흔한' 부품이었잖아요. 그런데 지금 분위기가 완전히 바뀌었어요. **DDR5 32GB 메모리 최저가가 375달러(우리 돈 50만 원 안팎)**까지 ...
AI 에이전트 권한 관리, 프롬프트에 '하지 마'라고 적는 시대는 끝났다 — cast 살펴보기
## 무슨 문제를 푸는 도구냐면요 요즘 LLM 에이전트를 만들다 보면 한 번쯤 이런 코드를 짜본 적 있을 거예요. 시스템 프롬프트에 *"너는 관리자가 아니면 이 데이터에 접근하면 안 돼"*, *"민감한 정보는 보여주지 마"* 같은 문장을 잔뜩 적...
[심층분석] AI 토큰값이 무섭다면? LLM에 보내기 전에 데이터를 60~95% 압축하는 Headroom 이야기
## 요즘 AI 개발자들의 진짜 고민, '토큰값' AI 에이전트를 직접 만들어본 분이라면 아마 한 번쯤 이런 경험 있으실 거예요. 잘 돌아가는 챗봇이나 코딩 에이전트를 만들었는데, 월말에 API 청구서를 보고 깜짝 놀라는 거죠. "내가 이렇게 많이 ...
엔비디아 없이 LLM 돌리기: AMD MI300X에 DeepSeek 올린 이야기
## CUDA 감옥에서 탈출은 가능할까요? 요즘 AI 인프라 하는 분들의 가장 큰 고민, 바로 **엔비디아 의존**이에요. GPU는 구하기 어렵고, 가격은 비싸고, 게다가 소프트웨어가 죄다 엔비디아의 **CUDA** 위에서 돌아가다 보니 한번 발을 ...
텍스트만 읽던 RAG, 이제 이미지·다이어그램까지 이해시키기
## 문서 속 그림은 왜 챗봇이 못 읽을까요? 요즘 사내 문서나 기술 문서를 챗봇에 물어보는 시스템 많이들 만드시죠. 이걸 보통 **RAG(검색 증강 생성, Retrieval-Augmented Generation)** 라고 불러요. 이게 뭐냐면요, ...