2024 AI Study Roadmap

 

AI를 배우고 싶어 2024년에 어떻게 해야 할지 리서치 해보면서 글을 작성해 봤습니다.

AI를 정말로 배우기 위해서는 튜토리얼 지옥을 탈출하고 정말 배우고, 실습하고, 알고리즘을 작성하고, 논문을 구현하며, AI를 사용해 문제를 해결하는 사이드 프로젝트를 수행해야 합니다.

이제 AI를 공부하는 방식을 생각해 보면,

Top-down 접근방식

필요에 따라 배우는 것을 할 줄 알아야 합니다. 모든 것을 배우려면 한 개를 배우기에도 너무 깊은 분야이기에 필요에 따라 필요한 것들을 특정해 배워나가야 합니다.

그렇게 하려면 코드 우선, 이론 나중에로 진행하게 할 겁니다.

공개적으로 배워야 합니다!

AI를 사용하려면 배워야 할 것이 많고 새로운 혁명적인 논문과 아이디어가 매주 발표되니 학습해야 할 것이 끝이 없습니다.

그렇게 때문에 개인적으로 배우는 것은 가장 큰 실수입니다. 그렇게 하면 스스로에게 어떤 기회도 창출되지 않고 뭔가 완료했다고 말 할 수 있는 것 외에는 보여줄 것이 없습니다.

중요한 것은 무엇을 만들었고, 그것을 대중과 공유할 지식으로 어떻게 전환시켰고, 그 정보에서 어떤 참신한 아이디어와 솔루션이 나왔는가이기 때문입니다. 그래서 공개적으로 배워야 합니다!

 

블로그, 튜토리얼을 작성하거나 해커톤에 참여하며 다른 사람들과 협력하고, Discord 커뮤니티에서 질문하고 답변하고 사이드 프로젝트에 참여하세요!

 

이제 본격적으로 시작해 보겠습니다!

 

 

우선 수학을 알아야 합니다. 머신 러닝은 선형 대수학, 미적분학, 확률, 통계라는 수학의 세 가지 요소에 크게 의존합니다. 각각은 알고리즘이 효과적으로 작동하도록 하는 데 고유한 역할을 합니다.

• 선형 대수학(Linear Algebra): 행렬과 벡터가 정보를 해석하고 처리하는 알고리즘용 언어를 형성하는 데이터 표현 및 조작을 위한 수학적 툴킷
• 미적분학(Calculus): 기계 학습 최적화를 위한 엔진으로, 기울기와 변화율을 이해하여 알고리즘을 학습하고 개선할 수 있습니다.
• 확률 및 통계: 불확실성 하에서의 의사결정을 위한 기반으로, 알고리즘이 결과를 예측하고 무작위성 및 변동성 모델을 통해 데이터로부터 학습할 수 있도록 합니다.

프로그래머의 관점에서 ML을 위한 수학에 대한 훌륭한 시리즈입니다. 가중치 및 편향을 통한 기계 학습을 위한 수학 ( 코드 )

선형 대수학에 대한 코드 우선 접근 방식을 원한다면 fast.ai 제작자가 만든 전산 선형 대수학 ( 비디오 , 코드 )을 수행하세요.

과정과 함께 Python을 사용한 응용 기계 학습을 위한 선형 대수학 소개를 읽어보세요.

좀 더 전통적인 것을 원한다면 Imperial College London 강의 인 선형 대수학 및 다변량 미적분학을 살펴보십시오.

3Blue1Brown의 선형 대수학의 본질 과 미적분학의 본질을 시청하세요.

통계를 보려면 StatQuest의 통계 기초를 시청하세요.

 

보충

• 도서: 기계 학습을 위한 수학
• 논문: 딥 러닝에 필요한 행렬 미적분학

도구

 

파이썬

 

초보자는 여기서 시작하세요: 실용적인 Python 프로그래밍 .

이미 Python에 익숙하다면 고급 Python 마스터리를 수행하세요.

둘 다 Python Cookbook의 저자인 David Beazley가 만든 훌륭한 강좌입니다.

그 후 James Powell의 강연을 시청해 보세요.

Python 디자인 패턴을 읽어보세요 .

보충

• 도서: Fluent Python, 2판 ( 코드 )
• 팟캐스트: 실제 Python 및 Talk Python

파이토치

 

Aladdin Persson 의 PyTorch 튜토리얼 보기

PyTorch 웹사이트는 훌륭한 곳입니다.

• PyTorch 예제
• 공식 PyTorch 튜토리얼
• FAQ 페이지

몇 가지 퍼즐로 지식을 테스트해보세요

• srush/Tensor-Puzzles: 퍼즐을 풀어보세요. PyTorch를 개선하세요

보충

• 도서: 딥 러닝을 위한 PyTorch 프로그래밍

기계 학습

 

100페이지 분량의 ML 책을 읽어보세요 .

처음부터 쓰기

읽는 동안 알고리즘을 처음부터 작성하세요.

아래 저장소를 살펴보세요

• eriklindernoren/ML-처음부터
• 제레미닉슨/오라클
• trekhleb/집에서 만든 기계 학습

도전해보고 싶다면 이 과정을 따라 처음부터 PyTorch를 작성해 보세요.

• MiniTorch: 기계 학습 엔지니어링에 대한 DIY 과정 ( 비디오 , 코드 )

경쟁하다

배운 내용을 대회에서 적용해 보세요.

• bitgrit 및 Kaggle 과 같은 플랫폼에서 ML 대회에 참가하세요 . 이 기사 에서 더 많은 정보를 찾아보세요 .
• 과거에 성공한 솔루션을 살펴보고 연구하세요.

사이드 프로젝트를 해보세요

Vicki Boykis의 기계 학습을 프로덕션에 적용하기를 읽어보세요 .

그녀는 또한 책에 대한 의미론적 검색인 Viberary를 구축하면서 배운 내용에 대해 썼습니다 .

데이터 세트를 얻고 모델을 구축합니다(즉, Earthaccess를 사용하여 NASA 지구 데이터를 얻습니다).

Streamlit을 사용하여 UI를 만들고 Twitter에서 공유하세요.

배포

생산 중인 모델을 가져옵니다. 실험을 추적하세요. 모델을 모니터링하는 방법을 알아보세요. 데이터와 모델 드리프트를 직접 경험해보세요.

다음은 몇 가지 훌륭한 리소스입니다.

• ML로 제작
• DataTalksClub/mlops-zoomcamp: 무료 MLOps 과정
• Chiphuyen/머신러닝 시스템 설계
• 분명히 AI — ML 시스템 설계: 300개 사례 연구
• stas00/ml-engineering: 기계 학습 엔지니어링 온라인 도서

보충

• PyTorch 및 Scikit-Learn을 사용한 기계 학습 ( 코드 )
• [1811.12808] 기계 학습의 모델 평가, 모델 선택 및 알고리즘 선택
• 머신러닝 인터뷰 소개 도서 · MLIB

딥러닝

 

문제를 해결하기 위해 코드 먼저 배우고 이론 배우기를 원한다면 fast.ai로 시작해 보세요.

Fast.ai

• fast.ai ( part1 , part2 ) + W&B 스터디 그룹

fast.ai를 좋아하시나요? 풀스택 딥러닝을 확인해 보세요 .

보다 포괄적이고 전통적인 과정을 원한다면 François Fleuret 의 UNIGE 14x050 — 딥 러닝을 확인하세요 .

어느 시점에서 이론에 도달해야 한다면 이 책은 훌륭한 책입니다.

• 딥 러닝 살펴보기 (PyTorch, NumPy/MXNet, JAX 및 TensorFlow의 코드 예제 포함)
• Ian Goodfellow, Yoshua Bengio 및 Aaron Courville의 딥 러닝
• 신경망과 딥러닝
• 딥러닝 이해 ( 실습노트 포함 )

트위터를 스크롤하는 대신 휴대폰에서 The Little Book of Deep Learning을 읽어보세요 .

신경망이 수렴되는 동안 이 내용을 읽어보세요.

• 신경망 훈련을 위한 레시피
• 심층 신경망: 33년 전과 지금 33년

더 많은 대회를 해보세요

• PlantTraits2024 — FGVC11 | 캐글 (컴퓨터 비전)

서류 구현

labml.ai 주석이 달린 PyTorch 종이 구현을 확인해 보세요.

Papers with Code는 훌륭한 리소스입니다. 여기 웹사이트에 BERT가 설명되어 있습니다 .

다음은 딥 러닝 내 전문 분야에 대한 몇 가지 리소스입니다.

컴퓨터 시각 인식

많은 사람들이 CS231n: Deep Learning for Computer Vision을 추천합니다 . 어렵지만 이겨낸다면 그만한 가치가 있습니다.

강화 학습

RL의 경우 다음 두 가지가 훌륭합니다.

• OpenAI의 Deep RL에서 스핀업
• 🤗 심층 강화 학습 과정 — 포옹 얼굴

NLP

또 다른 훌륭한 스탠포드 코스, CS 224N | 딥러닝을 통한 자연어 처리

포옹 얼굴 배우기: 포옹 얼굴 NLP 과정

이 Super Duper NLP Repo를 확인하십시오.

좋은 기사와 고장

• BERT 연구 — Ep. 1 — 주요 개념 및 출처 · Chris McCormick
• 그림으로 표현된 Word2vec — Jay Alammar
• 그림 BERT, ELMo 및 공동. (NLP가 전이 학습을 깨뜨린 방법
• LSTM 네트워크 이해 — colah의 블로그
• 처음부터 PyTorch RNN — Jake Tae

보충

• Transformers Book을 사용한 자연어 처리

대규모 언어 모델

 

먼저 Andrej의 [ 1시간 토크] 대규모 언어 모델 소개를 시청하세요 .

Then Large Language Models in Five Formulas , 작성자: Alexander Rush — Cornell Tech

신경망 보기: Zero to Hero

역전파를 처음부터 설명하고 코딩하는 것으로 시작하여 처음부터 GPT를 작성하는 것으로 끝납니다.

신경망: Zero To Hero 저: Andrej Karpathy

방금 새 동영상을 공개했습니다. → GPT Tokenizer를 만들어 보겠습니다.

NumPy의 60줄에서 GPT를 볼 수도 있습니다 . 당신이 그것에 있는 동안 Jay Mody .

무료 LLM 부트 캠프

Full Stack Deep Learning에서 무료로 출시한 유료 LLM Bootcamp 입니다.

프롬프트 엔지니어링, LLMOps, LLM용 UX 및 한 시간 안에 LLM 앱을 시작하는 방법을 가르칩니다.

이제 이 부트 캠프를 마친 후 빌드하고 싶으므로

LLM으로 구축

LLM으로 앱을 구축하고 싶으신가요?

Andrew Ng의 대규모 언어 모델을 사용한 애플리케이션 개발 보기

Huyen Chip의 생산용 LLM 애플리케이션 구축 읽기

Eugene Yan의 LLM 기반 시스템 및 제품 구축을 위한 패턴

레시피는 OpenAI Cookbook을 참조하세요 .

Vercel AI 템플릿을 사용하여 시작하세요.

해커톤에 참여하세요

lablab.ai에서는 매주 새로운 AI 해커톤이 열립니다. 팀을 이루고 싶다면 알려주세요 !

이론에 더 깊이 들어가 모든 것이 어떻게 작동하는지 이해하고 싶다면:

논문 읽기

대형 언어 모델 이해 에 관한 Sebastian Raschka 의 훌륭한 기사로 , 읽어야 할 몇 가지 논문을 나열합니다.

그는 또한 최근 미스트랄 모델을 다루는 2024년 1월에 읽어야 할 논문이 포함된 또 다른 기사를 발표했습니다 .

AI보다 앞서서 그의 서브스택을 따라가세요 .

Transformers를 처음부터 작성하세요.

Transformer 제품군 버전 2.0 읽기 | 개요를 보려면 Lil'Log를 참조하세요.

가장 적합한 형식을 선택하고 처음부터 구현하세요.

종이

• 주의가 필요한 전부입니다
• 그림으로 표현된 트랜스포머
• Harvard의 주석이 달린 변환기
• 트랜스포머처럼 생각하기

블로그

• 처음부터 변환기 만들기 - 1부: 주의 메커니즘 ( 2부 )( 코드 )
• 대규모 언어 모델의 Self-Attention 메커니즘을 처음부터 이해하고 코딩하기 - Sebastian Raschka 박사
• 처음부터 트랜스포머

비디오

• 전체 설명, 교육 및 추론을 통해 PyTorch에서 처음부터 Transformer 코딩
• NLP: 처음부터 BERT 및 변환기 구현

이제 변환기를 처음부터 코딩할 수 있습니다. 하지만 아직 더 많은 것이 있습니다.

Stanford CS25 — Transformers United 동영상을 시청하세요 .

좋은 블로그들

• 광기로의 경사하강법 — 처음부터 LLM 구축
• 일러스트레이티드 트랜스포머 - Jay Alammar
• 주의와 변환기에 대한 직관 - Eugene Yan
• GPT 속도 향상 — KV 캐시 | 무적의 존재가 되다
• Self-Attention을 넘어: 소규모 언어 모델이 다음 토큰을 예측하는 방법
• 처음부터 라마(또는 울지 않고 종이를 구현하는 방법) | 브라이언 키타노
• LoRA 개선: DoRA(Weight-Decomposed Low-Rank Adaptation)를 처음부터 구현

우마르 자밀 보기

그는 논문을 설명하는 환상적이고 심층적인 비디오를 보유하고 있습니다. 그는 또한 코드를 보여줍니다.

• LoRA: 대규모 언어 모델의 낮은 순위 적응 — 시각적으로 설명 + 처음부터 PyTorch 코드
• Mistral / Mixtral 설명: 슬라이딩 윈도우 어텐션, 전문가의 희박한 혼합, 롤링 버퍼
• 주의가 필요한 전부입니다(Transformer) — 모델 설명(수학 포함), 추론 및 훈련
• LLaMA 설명: KV-Cache, Rotary Positional Embedding, RMS Norm, Grouped Query Attention, SwiGLU
• 검색 증강 생성(RAG) 설명: 임베딩, 문장 BERT, 벡터 데이터베이스(HNSW)

완전하지 않은 LLM과 관련된 추가 링크. LLM에 대한 보다 포괄적인 강의 계획서를 보려면 LLM 강의 계획서를 살펴보세요 .

오픈 소스 모델을 실행하는 방법을 알아보세요.

ollama 사용 : Llama 2, Mistral 및 기타 대규모 언어 모델을 로컬에서 시작 및 실행

그들은 최근 Python 및 JavaScript 라이브러리를 출시했습니다.

신속한 엔지니어링

프롬프트 엔지니어링 읽기 | 릴로그

Ise Fulford(OpenAI) 및 Andrew Ng의 개발자를 위한 ChatGPT 프롬프트 엔지니어링

DeepLearning.ai 에는 무료로 등록할 수 있는 다른 단기 강좌도 있습니다.

LLM 미세 조정

포옹 얼굴 미세 조정 가이드를 읽어보세요 .

좋은 가이드북: 미세 조정 — GenAI 가이드북

axolotl을 확인해보세요 .

이것은 좋은 기사입니다: Direct Preference Optimization을 사용하여 Mistral-7b 모델 미세 조정 | 막심 라본느

조각

Anyscale의 훌륭한 기사: 프로덕션용 RAG 기반 LLM 애플리케이션 구축

Aman Chadha 의 검색 증강 생성 에 대한 포괄적인 개요

 

최신 정보를 유지하는 방법

뉴스레터 + 팟캐스트 + 트위터의 결합

논문은 AK(@_akhaliq)를 팔로우하세요.

팟캐스트 중 내가 찾은 최고는 Swyx & Alessio의 Latent Space 입니다.

그들의 불화에 동참하세요 .

또한 모든 대규모 AI 불일치를 요약한 뉴스레터 Smol Talk 도 있습니다 .

내가 좋아하는 다른 뉴스레터는 다음과 같습니다.

• 배치 | 딥러닝.AI | AI 뉴스 및 통찰력
• 딥 러닝 주간
• 상호 연결 | 네이선 램버트
• AI 재미있는 이야기 | 사하르 모르

이 기사 에서 더 많은 정보를 얻으세요 .

유용할 수 있는 기타 커리큘럼/목록.

내 목록은 완전한 목록은 아니지만, 그래도 더 많은 것을 찾고 싶다면 여기 몇 가지를 참조하세요.

• openai/syllabus.md
• AI 캐논 | 안드레센 호로비츠
• AI 학습 큐레이션 — LLM Utils
• AI 다중우주에 대한 임계값 | 딥러닝 열기
• louisfb01/start-llms: 2023년에 LLM 기술을 시작하고 향상시키기 위한 완벽한 가이드

모두에게 AI 여정에 도움이 되기를 바랍니다.