ํน๋ณํ ํ์ด์ฌ ํจ์
ํ์ด์ฌ์๋ ๋ณต์กํ ๊ณผ์ ์ ๋จ์ํ ์์ผ์ฃผ๋ ํน๋ณํ ํจ์๋ค์ด ๋ง์ด ์กด์ฌํ๋ค. ์ด๋ฌํ ํจ์๋ค์ ์ ๋ฆฌํด๋ณด์๋ค.
ํ์ด์ฌ์๋ ๋ณต์กํ ๊ณผ์ ์ ๋จ์ํ ์์ผ์ฃผ๋ ํน๋ณํ ํจ์๋ค์ด ๋ง์ด ์กด์ฌํ๋ค. ์ด๋ฌํ ํจ์๋ค์ ์ ๋ฆฌํด๋ณด์๋ค.
What is Resilient Distributed Dataset?
BERT์ ๊ฐ์ Masked Language Model๊ณผ GPT์ ๊ฐ์ Causal Language Model์ ์ฐจ์ด์ ์ ์ ๋ฆฌํด๋ณด์๋ค. ํด๋น ๋งํฌ๋ฅผ ์ฐธ๊ณ ํ์ฌ ์์ฑํ์๋ค.
์ด๋ฒ ๋ฐํ ๋ ผ๋ฌธ์ ์ ๋ชฉ์ Enriching Word Vectors with Subword Information์ผ๋ก, ์ผ๋ช FastText ๋ฐฉ๋ฒ์ ์๋กญ๊ฒ ์ ์ํ ๋ ผ๋ฌธ์ด๋ค.
1. ๋ฑ๊ตฃ๊ธธ
ํฌ๋ฃจ์ค์นผ ์๊ณ ๋ฆฌ์ฆ
โ ์ง๋ 3์ฃผ(22.12.27~ 23.1.18) ๋์ ์งํ๋์๋ AI x Bookathon ๋ํ์ ๋ํ ํ๊ธฐ๋ฅผ ๋จ๊ธฐ๊ณ ์ ํ๋ค. ํด๋น ๋ํ๋ Language Model์ ์ด์ฉํด ์ํ์ ์์ฑํ๋ ํด์ปคํค ๋ํ๋ก, ์์ ๊ณผ ๋ณธ์ ์ผ๋ก ์ด๋ฃจ์ด์ ธ ์์๋ค. ์์ ์ ๋ฅ๋ฌ๋์ ๊ธฐ์ด ์ง์๋ค์ ๋ํ ํด์ฆ...
4๋ฒ์งธ ๊ฐ์๋ Maximum Likelihood Learning์ ๋ํด ๋ค๋ฃจ๊ณ ์๋ค.
3๋ฒ์งธ ๊ฐ์๋ Autoregressive Model์ ๋ํด ๋ค๋ฃจ๊ณ ์๋ค.
์ฒซ๋ฒ์งธ์ ๋๋ฒ์งธ ๊ฐ์๋ Deep Generative Model์ ๋ํ ์๊ฐ์ ๋ฐฑ๊ทธ๋ผ์ด๋ ์ง์์ ๋ํด์ ๋ค๋ฃจ๊ณ ์๋ค.
view() vs shape() vs permute() vs transpose(): click here
์ผ๊ฐ ์ ์ ๋ณดํ
์์ ๋์งํ
N-queen
๊ดํธ ํ์ ํ๊ธฐ
๋ชจ์ ์ฌ์
ํผ๋ก๋
๋ ํ ํฉ ๊ฐ๊ฒ ๋ง๋ค๊ธฐ
36. Valid Sudoku
ํผ๋ก๋
23. Merge K sorted Lists
11. Container with Most Water
8. String to Integer
6. Zigzag Conversion
ํ๋ก๊ทธ๋๋จธ์ค level 2 - ์์ฅ
Question 1: Container With Most Water
Question 1: ๋น๋ฐ ์ง๋
Question 1: Jump Game
๋ค์ด๊ฐ๊ธฐ ์ ์
Question 83: ๊ณผ๋ฐ์ ์๋ฆฌ๋จผํธ
Question 78: ์ฃผ์์ ์ฌ๊ณ ํ๊ธฐ ๊ฐ์ฅ ์ข์ ์์ 2
Question 1: Single Number 2
Question 75: ์ต๋ ์ฌ๋ผ์ด๋ฉ ์๋์ฐ
Question 70: ์ฑ๊ธ ๋๋ฒ
Question 1: Find First and Last Position of Element in Sorted Array
Question 1: Smallest Value of the Rearranged Number
๋ค์ด๊ฐ๊ธฐ ์ ์
Question 1: Trim a Binary Search Tree
๋ค์ด๊ฐ๊ธฐ ์ ์
Question 1: Trim a Binary Search Tree
๋ค์ด๊ฐ๊ธฐ ์ ์
Question 1: Validate Binary Search Tree
๋ค์ด๊ฐ๊ธฐ ์ ์
๋ค์ด๊ฐ๊ธฐ ์ ์
๋ค์ด๊ฐ๊ธฐ ์ ์
Question 1: Integer to Roman
๊ทธ๋ํ ์ํ
Question 32: ์ฌ์ ๊ฐ์
๋ค์ด๊ฐ๊ธฐ ์ ์ ํด์: ํด์ ํ ์ด๋ธ์์ ์ ๋ ฅ๊ฐ์ ๊ณ ์ ํฌ๊ธฐ ๊ฐ์ผ๋ก ๋งคํํ๋ ๊ณผ์ ์ ํด์ฑ์ด๋ผ๊ณ ํ๋ค. ํด์ ํจ์: ํด์๋ฅผ ํ๋๋ฐ ์ฌ์ฉ๋๋ ํจ์. ์ฑ๋ฅ์ด ์ข์ ํด์ ํจ์๋ค์ ํน์ง์ ๋ค์๊ณผ ๊ฐ๋ค. ํด์ ํจ์ ๊ฐ ์ถฉ๋์ ์ต์ํ ์ฝ๊ณ ๋น ๋ฅธ ์ฐ์ฐ ...
Question 26: ์ํ ๋ฐํฌ ๋์์ธ
Question: ์ ํจํ ํฐ๋ฆฐ๋๋กฌ 2
Question: ์ ํจํ ํฐ๋ฆฐ๋๋กฌ 2
Question 20: Linked List Cycle
Question: ์ ํจํ ํฐ๋ฆฐ๋๋กฌ 2
์ฐ๊ฒฐ ๋ฆฌ์คํธ๋?
Question: ์ ํจํ ํฐ๋ฆฐ๋๋กฌ 2
Question 7: ๋ ์์ ํฉ
Question 1: ์ ํจํ ํฐ๋ฆฐ๋๋กฌ
2021๋ 9์ 13์ผ๋ถํฐ 10์ 21์ผ๊น์ง ์งํํ ์์ธ์ ๋น ๋ฐ์ดํฐ์บ ํผ์ค ๊ณต๋ชจ์ ์ ์ฐธ๊ฐํ์๋ค. ๊ณต๋ชจ์ ์ด ๋๋์ง๋ ๋ฌด๋ ค ํ๋ฌ(โฆ)์ด ์ง๋ฌ์ง๋ง ํ๊ธฐ ์์ฑ์ ๋ฏธ๋ฃจ๋ค๊ฐ ์ง๊ธ์์์ผ ํ๊ธฐ๋ฅผ ์์ฑํ๋ ค ํ๋ค.
Assignment 1์ ํ์ด์ฌ ์ฝ๋๋ฅผ ์ง์ ์์ฑํ์ฌ ์ด๋ฏธ์ง ๋ถ๋ฅ ๋ชจ๋ธ์ ์ง์ ๋ง๋๋ ๋ด์ฉ์ด๋ค. ์ฌ์ฉํ๋ ๋ชจ๋ธ๋ก๋ KNN, SVM, two-layer-net(deep learning network with one hidden layer) ์ด ์๋ค. ์ด ๋ชจ๋ธ๋ค์ ๋ํด์๋ ์์ ์ ๋ฐฐ์ด...
์ด๋ฒ ๋จ์์์๋ ๊ฐํ ํ์ต(reinforcement learning)์ ๋ํด์ ๋ค๋ฃจ๊ณ ์๋ค.
์ด๋ฒ ๋จ์์์๋ ํ์ต๋ ์ด๋ฏธ์ง๋ก ์๋ก์ด ์ด๋ฏธ์ง๋ฅผ ๋ง๋ค์ด๋ด๋(generate) ์๊ณ ๋ฆฌ์ฆ์ ๋ํด ๋ค๋ฃจ๊ณ ์๋ค. ์ด์ ๊ฐ์ด ์๋ก์ด ์ด๋ฏธ์ง๋ฅผ ๋ง๋๋ ์๊ณ ๋ฆฌ์ฆ์ ์ ์ฉํ ๋ชจ๋ธ์ Generative Model ์ด๋ผ๊ณ ํ๋ค.
์ง๊ธ๊น์ง CNN์ ์๋ ์๋ฆฌ์ CNN์ ํตํด ์ปดํจํฐ๊ฐ ์ด๋ฏธ์ง๋ฅผ ์ฝ๊ณ ์ฒ๋ฆฌํ๋ ๊ณผ์ ์ ์์๋ณด์๋ค. ๊ทธ๋ ๋ค๋ฉด CNN์ ๊ฐ ์ธต์์ ์ด๋ฏธ์ง๊ฐ ์ด๋ ํ ํ์์ผ๋ก ๋ํ๋๊ฒ ๋ ๊น? CNN์ ์๋ ๊ณผ์ ์ ์ข ๋ ์ง๊ด์ ์ผ๋ก ์๊ธฐ ์ํด ์๊ฐํ ํ๋ ๋ฐฉ๋ฒ์ ๋ํด ์ด ๋จ์์ ๋ค๋ฃจ๊ณ ์๋ค.
ํ์ฌ๊น์ง ์ด๋ฏธ์ง์ ๋ํ๋ ๋ฌผ์ฒด๋ฅผ ํน์ ์นดํ ๊ณ ๋ฆฌ๋ก ๋ถ๋ฅํ๋ ์ด๋ฏธ์ง ๋ถ๋ฅ(image classification) ์ ๋ํด ์ง์ค์ ์ผ๋ก ๋ฐฐ์๋ณด์๋ค. ๊ทธ๋ฌ๋ ์ปดํจํฐ ๋น์ ์ ๋ถํ (segmentation), ํ์ง (detection)๋ ์ํํ ์ ์๋ค. ๊ฐ๊ฐ์ ์ญํ ์ ๋ํด ๊ฐ๋จํ๊ฒ ์์๋ณด์
Process Sequence of Recurrent Neural Network
๊ฒฝ์ง๋ํ์์ 1๋ฑ์ด ์ฌ์ฉํ ์ฝ๋๋ฅผ ๋ณด๋ ค๊ณ ํ๋๋ฐ ์์ฝ๊ฒ 1๋ฑํ ํ์ด ์ฝ๋๋ฅผ ๊ณต์ ํ์ง ์์ 3๋ฑ ํ์ ์ฝ๋๋ฅผ ์ฐธ๊ณ ํ์๋ค.
์ง๊ธ๊น์ง์ ๋ฐฐ์ด ๋ด์ฉ์ ์ค์ ์ ํ๋ฒ ์ ์ฉํด๋ณด๊ณ ์ถ๋ค๋ ์๊ฐ์ ๋์๋ฆฌ ์คํฐ๋์๋ค๊ณผ ํจ๊ป ๋ฐ์ด์ฝ ๊ฒฝ์ง๋ํ์ ์ฐธ์ฌ ํ์๋ค. ๋ํ์ ๋ด์ฉ์ ๊ตฌ๋ด์๋น ์์ ์ธ์์ ์์ธกํ๋ ๊ฒ์ผ๋ก, ๋ํ ๊ธฐ๊ฐ์ 6์ 3์ผ๋ถํฐ 7์ 23์ผ๊น์ง์์ผ๋ฉฐ ๋ํ ์ข ๋ฃํ์ง๋ 2๋ฌ(โฆ)์ด ๋๊ฒ ์ง๋ ์ง๊ธ ๊ฒฝ์ง๋ํ ์ฐธ์ฌ ํ...
CPU vs GPU
CNN Architectures
Optimization
๋ณธ ์ฑํฐ์ ๋ ๋ฒ์งธ ํํธ๋ ์ ๊ฒฝ๋ง, ์ ํ ๋ชจ๋ธ, ๋๋ค ํฌ๋ ์คํธ์ ๊ธฐํ ๋ชจ๋ธ๋ฑ์ ๋ํด ๋ค๋ฃจ๊ณ ์๋ค.
Activation Functions
์ฑํฐ4๋ ๋ฐ์ดํฐ์ ์์ฑ๋ ํน์ง์ ๋ฐํ์ผ๋ก ๋ชจ๋ธ์ ๊ตฌ์ถํ๋ ๋ฐฉ๋ฒ์ ๋ํด ์ค๋ช ํ๊ณ ์๋ค. ์ด ์ฅ ๋ํ ์์ด ์๋นํ ๋ง๊ณ ์ค์ํ ๋ด์ฉ์ ๋ด๊ณ ์๊ธฐ ๋๋ฌธ์ ๋ ๊ฐ์ ํํธ๋ก ๋๋ ์ ์ ๋ฆฌํ๊ธฐ๋ก ํ์๋ค.
History of Neural Networks
What is Backpropagation?
์ฑํฐ 2์ ๋๋ฒ์งธ ํํธ๋ ์๊ฐ๊ณผ ๊ด๋ จ๋ ๋ฐ์ดํฐ๋ฅผ ์ฒ๋ฆฌํ๋ ๋ฐฉ๋ฒ, ๋น์ง๋ ํ์ต ์๊ณ ๋ฆฌ์ฆ์ ์ด์ฉํ์ฌ ํน์ง์ ์์ฑํ๋ ๋ฐฉ๋ฒ์ ๋ํด ๋ค๋ฃจ๊ณ ์๋ค.
์ฑํฐ 3๋ ๋ด์ฉ์ด ์ด์ ์ฑํฐ๋ณด๋ค ๋ง์ผ๋ฏ๋ก 2๊ฐ์ ํํธ๋ก ๋๋์ด์ ์์ฑํ์๋ค. ์ฒซ๋ฒ์งธ ํํธ์์๋ ๋ชจ๋ธ์ ์ฑ๋ฅ์ ๋์ด๊ธฐ ์ํด์ ์๋ก์ด ํน์ง์ ๋ง๋๋ ๋ฐฉ๋ฒ์ ๋ํด ๋ค๋ฃจ๊ณ ์๋ค.
What is Loss Function?
์๋๋ Lecture 3๋ฅผ ์ ๋ฆฌํ๊ธฐ ์ ์ Lecture 2๋ฅผ ์ ๋ฆฌํ์ด์ผ ํ๋๋ฐ ๋ฐ๋ฆฐ Lecture์ ๋ฃ๋ค๊ฐ ์ด์ ์์ผ ์ ๋ฆฌ๋ฅผ ํ๋ค.
What is computer vision?
2.1 ๊ฒฝ์ง ๋ํ์ ์ข ๋ฅ
ํ์ด์ฌ์๋ ๋ณต์กํ ๊ณผ์ ์ ๋จ์ํ ์์ผ์ฃผ๋ ํน๋ณํ ํจ์๋ค์ด ๋ง์ด ์กด์ฌํ๋ค. ์ด๋ฌํ ํจ์๋ค์ ์ ๋ฆฌํด๋ณด์๋ค.
1. ๋ฑ๊ตฃ๊ธธ
ํฌ๋ฃจ์ค์นผ ์๊ณ ๋ฆฌ์ฆ
์ผ๊ฐ ์ ์ ๋ณดํ
์์ ๋์งํ
N-queen
๊ดํธ ํ์ ํ๊ธฐ
๋ชจ์ ์ฌ์
ํผ๋ก๋
๋ ํ ํฉ ๊ฐ๊ฒ ๋ง๋ค๊ธฐ
36. Valid Sudoku
ํผ๋ก๋
23. Merge K sorted Lists
11. Container with Most Water
8. String to Integer
6. Zigzag Conversion
ํ๋ก๊ทธ๋๋จธ์ค level 2 - ์์ฅ
Question 1: Container With Most Water
Question 1: ๋น๋ฐ ์ง๋
Question 1: Jump Game
๋ค์ด๊ฐ๊ธฐ ์ ์
Question 83: ๊ณผ๋ฐ์ ์๋ฆฌ๋จผํธ
Question 78: ์ฃผ์์ ์ฌ๊ณ ํ๊ธฐ ๊ฐ์ฅ ์ข์ ์์ 2
Question 1: Single Number 2
Question 75: ์ต๋ ์ฌ๋ผ์ด๋ฉ ์๋์ฐ
Question 70: ์ฑ๊ธ ๋๋ฒ
Question 1: Find First and Last Position of Element in Sorted Array
Question 1: Smallest Value of the Rearranged Number
๋ค์ด๊ฐ๊ธฐ ์ ์
Question 1: Trim a Binary Search Tree
๋ค์ด๊ฐ๊ธฐ ์ ์
Question 1: Trim a Binary Search Tree
๋ค์ด๊ฐ๊ธฐ ์ ์
Question 1: Validate Binary Search Tree
๋ค์ด๊ฐ๊ธฐ ์ ์
๋ค์ด๊ฐ๊ธฐ ์ ์
๋ค์ด๊ฐ๊ธฐ ์ ์
Question 1: Integer to Roman
๊ทธ๋ํ ์ํ
Question 32: ์ฌ์ ๊ฐ์
๋ค์ด๊ฐ๊ธฐ ์ ์ ํด์: ํด์ ํ ์ด๋ธ์์ ์ ๋ ฅ๊ฐ์ ๊ณ ์ ํฌ๊ธฐ ๊ฐ์ผ๋ก ๋งคํํ๋ ๊ณผ์ ์ ํด์ฑ์ด๋ผ๊ณ ํ๋ค. ํด์ ํจ์: ํด์๋ฅผ ํ๋๋ฐ ์ฌ์ฉ๋๋ ํจ์. ์ฑ๋ฅ์ด ์ข์ ํด์ ํจ์๋ค์ ํน์ง์ ๋ค์๊ณผ ๊ฐ๋ค. ํด์ ํจ์ ๊ฐ ์ถฉ๋์ ์ต์ํ ์ฝ๊ณ ๋น ๋ฅธ ์ฐ์ฐ ...
Question 26: ์ํ ๋ฐํฌ ๋์์ธ
Question: ์ ํจํ ํฐ๋ฆฐ๋๋กฌ 2
Question: ์ ํจํ ํฐ๋ฆฐ๋๋กฌ 2
Question 20: Linked List Cycle
Question: ์ ํจํ ํฐ๋ฆฐ๋๋กฌ 2
์ฐ๊ฒฐ ๋ฆฌ์คํธ๋?
Question: ์ ํจํ ํฐ๋ฆฐ๋๋กฌ 2
Question 7: ๋ ์์ ํฉ
Question 1: ์ ํจํ ํฐ๋ฆฐ๋๋กฌ
1. Introduction
1. Introduction
4๋ฒ์งธ ๊ฐ์๋ Maximum Likelihood Learning์ ๋ํด ๋ค๋ฃจ๊ณ ์๋ค.
3๋ฒ์งธ ๊ฐ์๋ Autoregressive Model์ ๋ํด ๋ค๋ฃจ๊ณ ์๋ค.
์ฒซ๋ฒ์งธ์ ๋๋ฒ์งธ ๊ฐ์๋ Deep Generative Model์ ๋ํ ์๊ฐ์ ๋ฐฑ๊ทธ๋ผ์ด๋ ์ง์์ ๋ํด์ ๋ค๋ฃจ๊ณ ์๋ค.
view() vs shape() vs permute() vs transpose(): click here
1. Introduction
ํด๋น ๋ ผ๋ฌธ ๋ฆฌ๋ทฐ๋ arxiv์ ๊ฐ์ ๋ โOn Adaptive Attacks to Adversarial Example Defensesโ๋ ผ๋ฌธ๊ณผ ๋ ผ๋ฌธ์ ๋ํ ๋ฆฌ๋ทฐ ์์์ ์ฐธ๊ณ ํ์ฌ ์์ฑํ์๋ค.
1. Introduction
1. Abstract
Introduction
Assignment 1์ ํ์ด์ฌ ์ฝ๋๋ฅผ ์ง์ ์์ฑํ์ฌ ์ด๋ฏธ์ง ๋ถ๋ฅ ๋ชจ๋ธ์ ์ง์ ๋ง๋๋ ๋ด์ฉ์ด๋ค. ์ฌ์ฉํ๋ ๋ชจ๋ธ๋ก๋ KNN, SVM, two-layer-net(deep learning network with one hidden layer) ์ด ์๋ค. ์ด ๋ชจ๋ธ๋ค์ ๋ํด์๋ ์์ ์ ๋ฐฐ์ด...
์ด๋ฒ ๋จ์์์๋ ๊ฐํ ํ์ต(reinforcement learning)์ ๋ํด์ ๋ค๋ฃจ๊ณ ์๋ค.
์ด๋ฒ ๋จ์์์๋ ํ์ต๋ ์ด๋ฏธ์ง๋ก ์๋ก์ด ์ด๋ฏธ์ง๋ฅผ ๋ง๋ค์ด๋ด๋(generate) ์๊ณ ๋ฆฌ์ฆ์ ๋ํด ๋ค๋ฃจ๊ณ ์๋ค. ์ด์ ๊ฐ์ด ์๋ก์ด ์ด๋ฏธ์ง๋ฅผ ๋ง๋๋ ์๊ณ ๋ฆฌ์ฆ์ ์ ์ฉํ ๋ชจ๋ธ์ Generative Model ์ด๋ผ๊ณ ํ๋ค.
์ง๊ธ๊น์ง CNN์ ์๋ ์๋ฆฌ์ CNN์ ํตํด ์ปดํจํฐ๊ฐ ์ด๋ฏธ์ง๋ฅผ ์ฝ๊ณ ์ฒ๋ฆฌํ๋ ๊ณผ์ ์ ์์๋ณด์๋ค. ๊ทธ๋ ๋ค๋ฉด CNN์ ๊ฐ ์ธต์์ ์ด๋ฏธ์ง๊ฐ ์ด๋ ํ ํ์์ผ๋ก ๋ํ๋๊ฒ ๋ ๊น? CNN์ ์๋ ๊ณผ์ ์ ์ข ๋ ์ง๊ด์ ์ผ๋ก ์๊ธฐ ์ํด ์๊ฐํ ํ๋ ๋ฐฉ๋ฒ์ ๋ํด ์ด ๋จ์์ ๋ค๋ฃจ๊ณ ์๋ค.
ํ์ฌ๊น์ง ์ด๋ฏธ์ง์ ๋ํ๋ ๋ฌผ์ฒด๋ฅผ ํน์ ์นดํ ๊ณ ๋ฆฌ๋ก ๋ถ๋ฅํ๋ ์ด๋ฏธ์ง ๋ถ๋ฅ(image classification) ์ ๋ํด ์ง์ค์ ์ผ๋ก ๋ฐฐ์๋ณด์๋ค. ๊ทธ๋ฌ๋ ์ปดํจํฐ ๋น์ ์ ๋ถํ (segmentation), ํ์ง (detection)๋ ์ํํ ์ ์๋ค. ๊ฐ๊ฐ์ ์ญํ ์ ๋ํด ๊ฐ๋จํ๊ฒ ์์๋ณด์
Process Sequence of Recurrent Neural Network
CPU vs GPU
CNN Architectures
Optimization
Activation Functions
History of Neural Networks
What is Backpropagation?
What is Loss Function?
์๋๋ Lecture 3๋ฅผ ์ ๋ฆฌํ๊ธฐ ์ ์ Lecture 2๋ฅผ ์ ๋ฆฌํ์ด์ผ ํ๋๋ฐ ๋ฐ๋ฆฐ Lecture์ ๋ฃ๋ค๊ฐ ์ด์ ์์ผ ์ ๋ฆฌ๋ฅผ ํ๋ค.
What is computer vision?
์ด๋ฒ์ ๋ฐํํ ๋ ผ๋ฌธ์ ์ ๋ชฉ์ Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning ์ผ๋ก, Parameter-efficient fine-tuning ๊ธฐ๋ฒ ์ค์ ํ๋์ธ IA3์ ๋ํ...
์ด๋ฒ์ ๋ฐํํ ๋ ผ๋ฌธ์ ์ ๋ชฉ์ Robust Speech Recognition via Large-Scale Weak Supervision ์ผ๋ก, ์ผ๋ช Whisper์ ๋ํ ๋ ผ๋ฌธ์ด๋ค.
์ด๋ฒ์ ๋ฐํํ ๋ ผ๋ฌธ์ ์ ๋ชฉ์ HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace ์ด๋ค.
์ด๋ฒ ๋ฐํ ๋ ผ๋ฌธ์ ์ ๋ชฉ์ An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale์ผ๋ก, ์ผ๋ช Visual Transformer ๋ฐฉ๋ฒ์ ์๋กญ๊ฒ ์ ์ํ ๋ ผ๋ฌธ์ด๋ค.
์ด๋ฒ ๋ฐํ ๋ ผ๋ฌธ์ ์ ๋ชฉ์ Enriching Word Vectors with Subword Information์ผ๋ก, ์ผ๋ช FastText ๋ฐฉ๋ฒ์ ์๋กญ๊ฒ ์ ์ํ ๋ ผ๋ฌธ์ด๋ค.
1. Introduction
1. Introduction
1. Introduction
ํด๋น ๋ ผ๋ฌธ ๋ฆฌ๋ทฐ๋ arxiv์ ๊ฐ์ ๋ โOn Adaptive Attacks to Adversarial Example Defensesโ๋ ผ๋ฌธ๊ณผ ๋ ผ๋ฌธ์ ๋ํ ๋ฆฌ๋ทฐ ์์์ ์ฐธ๊ณ ํ์ฌ ์์ฑํ์๋ค.
1. Introduction
1. Abstract
Introduction
Assignment 1์ ํ์ด์ฌ ์ฝ๋๋ฅผ ์ง์ ์์ฑํ์ฌ ์ด๋ฏธ์ง ๋ถ๋ฅ ๋ชจ๋ธ์ ์ง์ ๋ง๋๋ ๋ด์ฉ์ด๋ค. ์ฌ์ฉํ๋ ๋ชจ๋ธ๋ก๋ KNN, SVM, two-layer-net(deep learning network with one hidden layer) ์ด ์๋ค. ์ด ๋ชจ๋ธ๋ค์ ๋ํด์๋ ์์ ์ ๋ฐฐ์ด...
์ด๋ฒ ๋จ์์์๋ ๊ฐํ ํ์ต(reinforcement learning)์ ๋ํด์ ๋ค๋ฃจ๊ณ ์๋ค.
์ด๋ฒ ๋จ์์์๋ ํ์ต๋ ์ด๋ฏธ์ง๋ก ์๋ก์ด ์ด๋ฏธ์ง๋ฅผ ๋ง๋ค์ด๋ด๋(generate) ์๊ณ ๋ฆฌ์ฆ์ ๋ํด ๋ค๋ฃจ๊ณ ์๋ค. ์ด์ ๊ฐ์ด ์๋ก์ด ์ด๋ฏธ์ง๋ฅผ ๋ง๋๋ ์๊ณ ๋ฆฌ์ฆ์ ์ ์ฉํ ๋ชจ๋ธ์ Generative Model ์ด๋ผ๊ณ ํ๋ค.
์ง๊ธ๊น์ง CNN์ ์๋ ์๋ฆฌ์ CNN์ ํตํด ์ปดํจํฐ๊ฐ ์ด๋ฏธ์ง๋ฅผ ์ฝ๊ณ ์ฒ๋ฆฌํ๋ ๊ณผ์ ์ ์์๋ณด์๋ค. ๊ทธ๋ ๋ค๋ฉด CNN์ ๊ฐ ์ธต์์ ์ด๋ฏธ์ง๊ฐ ์ด๋ ํ ํ์์ผ๋ก ๋ํ๋๊ฒ ๋ ๊น? CNN์ ์๋ ๊ณผ์ ์ ์ข ๋ ์ง๊ด์ ์ผ๋ก ์๊ธฐ ์ํด ์๊ฐํ ํ๋ ๋ฐฉ๋ฒ์ ๋ํด ์ด ๋จ์์ ๋ค๋ฃจ๊ณ ์๋ค.
ํ์ฌ๊น์ง ์ด๋ฏธ์ง์ ๋ํ๋ ๋ฌผ์ฒด๋ฅผ ํน์ ์นดํ ๊ณ ๋ฆฌ๋ก ๋ถ๋ฅํ๋ ์ด๋ฏธ์ง ๋ถ๋ฅ(image classification) ์ ๋ํด ์ง์ค์ ์ผ๋ก ๋ฐฐ์๋ณด์๋ค. ๊ทธ๋ฌ๋ ์ปดํจํฐ ๋น์ ์ ๋ถํ (segmentation), ํ์ง (detection)๋ ์ํํ ์ ์๋ค. ๊ฐ๊ฐ์ ์ญํ ์ ๋ํด ๊ฐ๋จํ๊ฒ ์์๋ณด์
Process Sequence of Recurrent Neural Network
CPU vs GPU
CNN Architectures
Optimization
Activation Functions
History of Neural Networks
What is Backpropagation?
What is Loss Function?
์๋๋ Lecture 3๋ฅผ ์ ๋ฆฌํ๊ธฐ ์ ์ Lecture 2๋ฅผ ์ ๋ฆฌํ์ด์ผ ํ๋๋ฐ ๋ฐ๋ฆฐ Lecture์ ๋ฃ๋ค๊ฐ ์ด์ ์์ผ ์ ๋ฆฌ๋ฅผ ํ๋ค.
What is computer vision?
2021๋ 9์ 13์ผ๋ถํฐ 10์ 21์ผ๊น์ง ์งํํ ์์ธ์ ๋น ๋ฐ์ดํฐ์บ ํผ์ค ๊ณต๋ชจ์ ์ ์ฐธ๊ฐํ์๋ค. ๊ณต๋ชจ์ ์ด ๋๋์ง๋ ๋ฌด๋ ค ํ๋ฌ(โฆ)์ด ์ง๋ฌ์ง๋ง ํ๊ธฐ ์์ฑ์ ๋ฏธ๋ฃจ๋ค๊ฐ ์ง๊ธ์์์ผ ํ๊ธฐ๋ฅผ ์์ฑํ๋ ค ํ๋ค.
๊ฒฝ์ง๋ํ์์ 1๋ฑ์ด ์ฌ์ฉํ ์ฝ๋๋ฅผ ๋ณด๋ ค๊ณ ํ๋๋ฐ ์์ฝ๊ฒ 1๋ฑํ ํ์ด ์ฝ๋๋ฅผ ๊ณต์ ํ์ง ์์ 3๋ฑ ํ์ ์ฝ๋๋ฅผ ์ฐธ๊ณ ํ์๋ค.
์ง๊ธ๊น์ง์ ๋ฐฐ์ด ๋ด์ฉ์ ์ค์ ์ ํ๋ฒ ์ ์ฉํด๋ณด๊ณ ์ถ๋ค๋ ์๊ฐ์ ๋์๋ฆฌ ์คํฐ๋์๋ค๊ณผ ํจ๊ป ๋ฐ์ด์ฝ ๊ฒฝ์ง๋ํ์ ์ฐธ์ฌ ํ์๋ค. ๋ํ์ ๋ด์ฉ์ ๊ตฌ๋ด์๋น ์์ ์ธ์์ ์์ธกํ๋ ๊ฒ์ผ๋ก, ๋ํ ๊ธฐ๊ฐ์ 6์ 3์ผ๋ถํฐ 7์ 23์ผ๊น์ง์์ผ๋ฉฐ ๋ํ ์ข ๋ฃํ์ง๋ 2๋ฌ(โฆ)์ด ๋๊ฒ ์ง๋ ์ง๊ธ ๊ฒฝ์ง๋ํ ์ฐธ์ฌ ํ...
๋ณธ ์ฑํฐ์ ๋ ๋ฒ์งธ ํํธ๋ ์ ๊ฒฝ๋ง, ์ ํ ๋ชจ๋ธ, ๋๋ค ํฌ๋ ์คํธ์ ๊ธฐํ ๋ชจ๋ธ๋ฑ์ ๋ํด ๋ค๋ฃจ๊ณ ์๋ค.
์ฑํฐ4๋ ๋ฐ์ดํฐ์ ์์ฑ๋ ํน์ง์ ๋ฐํ์ผ๋ก ๋ชจ๋ธ์ ๊ตฌ์ถํ๋ ๋ฐฉ๋ฒ์ ๋ํด ์ค๋ช ํ๊ณ ์๋ค. ์ด ์ฅ ๋ํ ์์ด ์๋นํ ๋ง๊ณ ์ค์ํ ๋ด์ฉ์ ๋ด๊ณ ์๊ธฐ ๋๋ฌธ์ ๋ ๊ฐ์ ํํธ๋ก ๋๋ ์ ์ ๋ฆฌํ๊ธฐ๋ก ํ์๋ค.
์ฑํฐ 2์ ๋๋ฒ์งธ ํํธ๋ ์๊ฐ๊ณผ ๊ด๋ จ๋ ๋ฐ์ดํฐ๋ฅผ ์ฒ๋ฆฌํ๋ ๋ฐฉ๋ฒ, ๋น์ง๋ ํ์ต ์๊ณ ๋ฆฌ์ฆ์ ์ด์ฉํ์ฌ ํน์ง์ ์์ฑํ๋ ๋ฐฉ๋ฒ์ ๋ํด ๋ค๋ฃจ๊ณ ์๋ค.
์ฑํฐ 3๋ ๋ด์ฉ์ด ์ด์ ์ฑํฐ๋ณด๋ค ๋ง์ผ๋ฏ๋ก 2๊ฐ์ ํํธ๋ก ๋๋์ด์ ์์ฑํ์๋ค. ์ฒซ๋ฒ์งธ ํํธ์์๋ ๋ชจ๋ธ์ ์ฑ๋ฅ์ ๋์ด๊ธฐ ์ํด์ ์๋ก์ด ํน์ง์ ๋ง๋๋ ๋ฐฉ๋ฒ์ ๋ํด ๋ค๋ฃจ๊ณ ์๋ค.
2.1 ๊ฒฝ์ง ๋ํ์ ์ข ๋ฅ
์ด๋ฒ์ ๋ฐํํ ๋ ผ๋ฌธ์ ์ ๋ชฉ์ Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning ์ผ๋ก, Parameter-efficient fine-tuning ๊ธฐ๋ฒ ์ค์ ํ๋์ธ IA3์ ๋ํ...
์ด๋ฒ์ ๋ฐํํ ๋ ผ๋ฌธ์ ์ ๋ชฉ์ Robust Speech Recognition via Large-Scale Weak Supervision ์ผ๋ก, ์ผ๋ช Whisper์ ๋ํ ๋ ผ๋ฌธ์ด๋ค.
์ด๋ฒ์ ๋ฐํํ ๋ ผ๋ฌธ์ ์ ๋ชฉ์ HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace ์ด๋ค.
์ด๋ฒ ๋ฐํ ๋ ผ๋ฌธ์ ์ ๋ชฉ์ An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale์ผ๋ก, ์ผ๋ช Visual Transformer ๋ฐฉ๋ฒ์ ์๋กญ๊ฒ ์ ์ํ ๋ ผ๋ฌธ์ด๋ค.
BERT์ ๊ฐ์ Masked Language Model๊ณผ GPT์ ๊ฐ์ Causal Language Model์ ์ฐจ์ด์ ์ ์ ๋ฆฌํด๋ณด์๋ค. ํด๋น ๋งํฌ๋ฅผ ์ฐธ๊ณ ํ์ฌ ์์ฑํ์๋ค.
์ด๋ฒ ๋ฐํ ๋ ผ๋ฌธ์ ์ ๋ชฉ์ Enriching Word Vectors with Subword Information์ผ๋ก, ์ผ๋ช FastText ๋ฐฉ๋ฒ์ ์๋กญ๊ฒ ์ ์ํ ๋ ผ๋ฌธ์ด๋ค.
โ ์ง๋ 3์ฃผ(22.12.27~ 23.1.18) ๋์ ์งํ๋์๋ AI x Bookathon ๋ํ์ ๋ํ ํ๊ธฐ๋ฅผ ๋จ๊ธฐ๊ณ ์ ํ๋ค. ํด๋น ๋ํ๋ Language Model์ ์ด์ฉํด ์ํ์ ์์ฑํ๋ ํด์ปคํค ๋ํ๋ก, ์์ ๊ณผ ๋ณธ์ ์ผ๋ก ์ด๋ฃจ์ด์ ธ ์์๋ค. ์์ ์ ๋ฅ๋ฌ๋์ ๊ธฐ์ด ์ง์๋ค์ ๋ํ ํด์ฆ...
2021๋ 9์ 13์ผ๋ถํฐ 10์ 21์ผ๊น์ง ์งํํ ์์ธ์ ๋น ๋ฐ์ดํฐ์บ ํผ์ค ๊ณต๋ชจ์ ์ ์ฐธ๊ฐํ์๋ค. ๊ณต๋ชจ์ ์ด ๋๋์ง๋ ๋ฌด๋ ค ํ๋ฌ(โฆ)์ด ์ง๋ฌ์ง๋ง ํ๊ธฐ ์์ฑ์ ๋ฏธ๋ฃจ๋ค๊ฐ ์ง๊ธ์์์ผ ํ๊ธฐ๋ฅผ ์์ฑํ๋ ค ํ๋ค.
๊ฒฝ์ง๋ํ์์ 1๋ฑ์ด ์ฌ์ฉํ ์ฝ๋๋ฅผ ๋ณด๋ ค๊ณ ํ๋๋ฐ ์์ฝ๊ฒ 1๋ฑํ ํ์ด ์ฝ๋๋ฅผ ๊ณต์ ํ์ง ์์ 3๋ฑ ํ์ ์ฝ๋๋ฅผ ์ฐธ๊ณ ํ์๋ค.
์ง๊ธ๊น์ง์ ๋ฐฐ์ด ๋ด์ฉ์ ์ค์ ์ ํ๋ฒ ์ ์ฉํด๋ณด๊ณ ์ถ๋ค๋ ์๊ฐ์ ๋์๋ฆฌ ์คํฐ๋์๋ค๊ณผ ํจ๊ป ๋ฐ์ด์ฝ ๊ฒฝ์ง๋ํ์ ์ฐธ์ฌ ํ์๋ค. ๋ํ์ ๋ด์ฉ์ ๊ตฌ๋ด์๋น ์์ ์ธ์์ ์์ธกํ๋ ๊ฒ์ผ๋ก, ๋ํ ๊ธฐ๊ฐ์ 6์ 3์ผ๋ถํฐ 7์ 23์ผ๊น์ง์์ผ๋ฉฐ ๋ํ ์ข ๋ฃํ์ง๋ 2๋ฌ(โฆ)์ด ๋๊ฒ ์ง๋ ์ง๊ธ ๊ฒฝ์ง๋ํ ์ฐธ์ฌ ํ...
4๋ฒ์งธ ๊ฐ์๋ Maximum Likelihood Learning์ ๋ํด ๋ค๋ฃจ๊ณ ์๋ค.
3๋ฒ์งธ ๊ฐ์๋ Autoregressive Model์ ๋ํด ๋ค๋ฃจ๊ณ ์๋ค.
์ฒซ๋ฒ์งธ์ ๋๋ฒ์งธ ๊ฐ์๋ Deep Generative Model์ ๋ํ ์๊ฐ์ ๋ฐฑ๊ทธ๋ผ์ด๋ ์ง์์ ๋ํด์ ๋ค๋ฃจ๊ณ ์๋ค.
ํฐ์คํ ๋ฆฌ์์ ๊นํ๋ธ ๋ธ๋ก๊ทธ๋ก ๋ฐ๊พธ๋ฉด์ ๋งํฌ๋ค์ด์ ๋ํด ์ฒ์ ์ ํ๊ฒ ๋์๋ค. ์ํ ํ ๋ธ๋ก๊ทธ ์ ๋ฆฌ๋ฅผ ์ํด ๋งํฌ๋ค์ด ๋ฌธ๋ฒ์ ๋ํด ๋ฐฐ์ธ ํ์์ฑ์ด ์๋ค๊ณ ์๊ฐํ์ฌ ์ด๋ ๊ฒ ์ ๋ฆฌ๋ฅผ ์งํ ์ค์ด๋ค.
์ด๋ฒ์ ๋ฐํํ ๋ ผ๋ฌธ์ ์ ๋ชฉ์ HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace ์ด๋ค.
What is Resilient Distributed Dataset?