[AI] ๋ฑ๋ก๋ AI ํนํ๋ก๋ ๊ฒฝ์ ์๋น์ค๋ฅผ ๋ง๊ธฐ ์ด๋ ค์ด ์ด์
ํนํ๋ฒ์ธ ์ธํธ๋ก AIยท์ํํธ์จ์ดํ
๋ฑ๋ก ์ฌ๋ถ ๋ค์์๋ ์ฒญ๊ตฌํญ์ด ์ค์ ์ ํ์ ํต์ฌ ์ฒ๋ฆฌ๊ด๊ณ๋ฅผ ๋ด๊ณ ์๋์ง ํ์ธํด์ผ ํฉ๋๋ค.
ํต์ฌ ์์ฝํนํ๊ฐ ๋ฑ๋ก๋์ด๋ ๊ฒฝ์์ฌ์ ๋น์ทํ ์๋น์ค๋ฅผ ๊ณง๋ฐ๋ก ๋ง์ ์ ์๋ ๊ฒ์ ์๋๋๋ค. ์ต์ข ๋ ๋ฆฝํญ์ ํ์๊ตฌ์ฑ๊ณผ ์ค์ ์ ํ์ ์ฐ์ฐยท์คํ์ฆ๊ฑฐ๋ฅผ ๋์กฐํด์ผ ํฉ๋๋ค.AI ํนํ๊ฐ ๋ฑ๋ก๋ ๋ค ๊ฒฝ์์ฌ๊ฐ ๋น์ทํ ์๋น์ค๋ฅผ ๋ด๋์ผ๋ฉด ๋ณด์ ํนํ๋ก ๋์ํ ์ ์๋์ง๊ฐ ์ฌ์ ์ ์ง๋ฌธ์ด ๋ฉ๋๋ค. ๊ฐ์ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ณ ์ฑ๋ฅ์ด ๋น์ทํด๋ ์ฒ๋ฆฌ ๊ตฌ์กฐ๋ ๋ค๋ฅผ ์ ์์ต๋๋ค. ์ต์ข ์ฒญ๊ตฌํญ์ด ๋ณดํธํ๋ ๊ตฌ์ฑ์ ์กฐํฉ์ ๊ฒฝ์ ์ ํ์ ๋์์์ผ์ผ ํ๋จํ ์ ์์ต๋๋ค.์ฌ์ฌ ๊ณผ์ ์์ ์ถ๊ฐํ ์กฐ๊ฑด๊ณผ ์ธ๋ถ์์ ํ์ธํ๊ธฐ ์ด๋ ค์ด ๋ด๋ถ ์ฐ์ฐ๋ ๊ถ๋ฆฌ ํ์ฉ์ ์ํฅ์ ์ค๋๋ค. ๋ณด์ ์ ๊ฒฝ์์ ์ค์ ๊ตฌํ์ ํจ๊ป ์ฝ์ผ๋ฉด ํ๋ณดํ ๊ถ๋ฆฌ์ ๋ฒ์์ ์ถ๊ฐ๋ก ์กฐ์ฌํ ๋์์ ๊ตฌ๋ถํ ์ ์์ต๋๋ค.๋ฐ๋ช ์ ์ ๋ชฉ์ด ๊ถ๋ฆฌ๋ฒ์๋ ์๋๋๋คํ๊ตญ ํนํ๋ฒ ์ 97์กฐ๋ ํนํ๋ฐ๋ช ์ ๋ณดํธ๋ฒ์๋ฅผ ์ฒญ๊ตฌ๋ฒ์์ ์ ํ ์ฌํญ์ผ๋ก ์ ํฉ๋๋ค. ์ ๋ชฉ์ด AI ์์๋ถ์ ์์คํ ์ด๋ผ๊ณ ํด์ ๋ชจ๋ ์์๋ถ์ ์๋น์ค๋ฅผ ํฌ๊ดํ๋ ๊ฒ์ ์๋๋๋ค. ์ฒญ๊ตฌํญ์ ๊ตฌ์ฑ๊ณผ ๊ฒฐํฉ๊ด๊ณ๋ฅผ ํด์ํ ๋ค ์๋ ์ ํ์ ๊ตฌํ๊ณผ ๋์กฐํด์ผ ํฉ๋๋ค. ๊ท ๋ฑ์นจํด ๋ฑ ๋ณ๋์ ๋ฒ์ ์์ ๋ ๊ฒํ ๋์์ ๋๋ค.๋ฑ๋ก ๊ณผ์ ์ ์ ํ์ด ๋จ์ต๋๋ค์ฌ์ฌ์์ ์ ํ๊ธฐ์ ๊ณผ ๊ตฌ๋ณํ๊ธฐ ์ํด ํน์ ์ ์ฒ๋ฆฌ๋ ์กฐ๊ฑด์ ์ถ๊ฐํ๋ค๋ฉด ๊ทธ ๋ด์ฉ์ด ๋ฑ๋ก ์ฒญ๊ตฌํญ์ ๋จ์ต๋๋ค. ๊ฒฝ์์ฌ๊ฐ ๋ค๋ฅธ ์กฐ๊ฑด์ผ๋ก ๊ฐ์ ํจ๊ณผ๋ฅผ ๋ด๋ ๊ฒฝ์ฐ, ์ฑ๋ฅ์ด ๋น์ทํ๋ค๋ ์ฌ์ค๋ง์ผ๋ก ํ๋จํ ์ ์์ต๋๋ค. ์ถ์ ๋น์ ์ค๋ช , ๋ณด์ ์ด์ ์ ์ฌ์ฌ๊ธฐ๋ก์ ํจ๊ป ๋ด์ผ ์ด๋ค ๋ฒ์๋ฅผ ํ๋ณดํ๋์ง ์ ์ ์์ต๋๋ค.๋ด๋ถ ๋์์ ์ด๋ป๊ฒ ํ์ธํ ์ง๋ ๋ฌธ์ ์ ๋๋ค์๋ฒ ์์์๋ง ์ํ๋๋ ํ์ต ๋จ๊ณ๋ ์ธ๋ถ์์ ํ์ธํ๊ธฐ ์ด๋ ค์ธ ์ ์์ต๋๋ค. ๋ฐ๋ฉด ์ ๋ ฅ ์กฐ๊ฑด์ ๋ฐ๋ฅธ ์๋ต, ๋จ๋ง ๋์, ๊ณต๊ฐ ๋ฌธ์๋ก ์ผ๋ถ ์ฒ๋ฆฌ๊ด๊ณ๋ฅผ ํ์ธํ ์ ์๋ ๊ฒฝ์ฐ๋ ์์ต๋๋ค. ์ถ์ ๋จ๊ณ์์๋ถํฐ ๋ณดํธ ๋์๊ณผ ํ์ธ ๊ฐ๋ฅํ ๋จ์๋ฅผ ํจ๊ป ๊ฒํ ํ๋ฉด ๋ฑ๋ก ํ์ ํ์ฉ ๊ณํ์ด ๋ ๋ถ๋ช ํด์ง๋๋ค.๋ณด์ ํนํ ์ ๊ฒํ๋ฅผ ์ ํ ๊ธฐ์ค์ผ๋ก ๋ฐ๊ฟ๋๋คํนํ๋ฒํธ์ ๋ฑ๋ก์ผ๋ง ๋์ดํ ๋ชฉ๋ก์ ํ์ฌ ์ ํ ๊ธฐ๋ฅ, ๋์ ์ฒญ๊ตฌํญ, ๋น ์ง ๊ตฌ์ฑ, ํ์ธ ์๋ฃ๋ฅผ ์ถ๊ฐํด ๋ณด์ญ์์ค. ๋์ ์ฌ๋ถ๊ฐ ํ์ธ๋์ง ์์ ์นธ์ ๋ณด์ ์ถ์์ด๋ ์ ํ ์๋ฃ ํ๋ณด๋ฅผ ๊ฒํ ํ ์ง์ ์ ๋๋ค. ์ธํธ๋ก๋ ๋ฑ๋ก ์ค์ ๊ณผ ์ ํ ๋ณดํธ์ ๊ด๊ณ๋ฅผ ๊ตฌ์ฒด์ ์ผ๋ก ๋์กฐํฉ๋๋ค.๊ตฌ์ฑ์์ ํ๋๊ฐ ๋น ์ง๋ฉด ํ๋จ์ด ๋ฌ๋ผ์ง๋ ๋ฑ๋กํนํ ์Google US10452978B2 ์ 1ํญ์๋ encoder self-attention๊ณผ decoder network๊ฐ ํจ๊ป ๊ธฐ์ฌ๋์ด ์์ต๋๋ค. ๋ฐ๋ผ์ ์ด๋ค ์๋น์ค๊ฐ โTransformer ๊ธฐ๋ฐโ์ด๋ผ ์๊ฐ๋ผ๋ ์ ํ์ด ์ค์ ๋ก ํด๋น ์ธ์ฝ๋ยท๋์ฝ๋ ๊ตฌ์กฐ๋ฅผ ๊ตฌํํ๋์ง ๋ณ๋๋ก ๋์กฐํด์ผ ํฉ๋๋ค.์ฒญ๊ตฌํญ ํ์๊ตฌ์ฑ์ค์ยท์ฆ๊ฑฐ๋ฅผ ํ์ธํ๋ ์ง๋ฌธencoder subnetworks์ ๋ ฅ ์ํ์ค๋ฅผ ๋ณ๋ ์ธ์ฝ๋ฉํ๋ ์ฐ์ฐ์ด ์ค์ ๋ก ์กด์ฌํ๋๊ฐself-attention์ Q/K/VQยทKยทV์ ์์ฑ ๋ฐ ์ธ์ฝ๋ ๋ด๋ถ ์ฐ์ฐ์ด ์ด๋ป๊ฒ ๊ตฌํ๋๋๊ฐdecoder network์ธ์ฝ๋ฉ๋ ํํ์ ๊ธฐ์ดํด ์ถ๋ ฅ ์ํ์ค๋ฅผ ์์ฑํ๋๊ฐ์ฆ๊ฑฐ์์ง์ด ๊ฐ๋ฅํ ์ถ๋ ฅํ๋ฉด๊ณผ ๋ณด์ด์ง ์๋ ๋ด๋ถ ๋ชจ๋ธ๊ตฌ์กฐ๋ ๋ค๋ฆ ๋๋ค. ๊ณต๊ฐ ๋ฌธ์์ ๋ชจ๋ธ๋ช ๋ง์ผ๋ก๋ ์ถฉ๋ถํ์ง ์์ ์ ์๊ณ , ๊ด๋ จ ๊ตญ๊ฐ์ ์ ํจ ์ฒญ๊ตฌํญ ๋ฐ ๋ด๋ถ ๊ตฌํ์ฆ๊ฑฐ๊ฐ ํ์ํฉ๋๋ค. ๋จ์ผ ๋ฑ๋กํญ์ ๋น์ค์๋ ๋ค๋ฅธ ํจ๋ฐ๋ฆฌ ๊ถ๋ฆฌ๊น์ง ์๋ ์ ๋ฆฌํ์ง ์์ต๋๋ค.์ธํธ๋ก ์ธ์ฌ์ดํธ์ฌ์ ์ ์ผ๋ก ์ค์ํ ํนํ๋ถํฐ ๋ฑ๋ก ์ฒญ๊ตฌํญ๊ณผ ํ์ฌ ์ ํ์ ๊ธฐ๋ฅ์ ์ฐ๊ฒฐํ๊ณ , ๊ฒฝ์ ์ ํ์๋ ๋์ํ๋ค๊ณ ํ๋จํ ์ด์ ์ ํ์ธ ์๋ฃ๋ฅผ ๋ถ์ ๋๋ค. ๋์์ด ๋ถ๋ถ๋ช ํ ๋ถ๋ถ์์๋ ๊ตฌํ ์๋ฃ๊ฐ ๋ถ์กฑํ ๊ฒ์ธ์ง ์ค์ ๊ตฌ์ฑ์ด ๋ค๋ฅธ ๊ฒ์ธ์ง ๊ตฌ๋ถํด์ผ ํฉ๋๋ค. ์ด ๊ตฌ๋ถ์ ๋ฐ๋ผ ์ ํ ์กฐ์ฌ, ๊ถ๋ฆฌ ํด์, ํ์ ์ถ์ ์ค ๋จผ์ ๊ฒํ ํ ์ผ์ด ๋ฌ๋ผ์ง๋๋ค.๊ด๋ จ ์๋ฃํนํ๋ฒ ์ 97์กฐํนํ๋ฒ์ธ ์ธํธ๋ก AIยท์ํํธ์จ์ดํ๊ด๋ จ ์ ๋ฌธ๊ฐ: ๋ฐฑ์ข ์ ๋ณ๋ฆฌ์ฌ๋ ธํ AI ํนํ์ ์ฐ๊ฒฐ๋ ์ธํธ๋ก์ ๋ช ์ธ์ ์์ฑ ํน๋ณ์ยท์ํํ๊ฐ 1์AIยท์ํํธ์จ์ด ์ ๋ฌธ๋ถ์ผ ยท ์ธ์ฌ์ดํธ ๋ชฉ๋ก
AIยท์ํํธ์จ์ด,AI ํนํ,์ธํธ๋ก,๋ฐฑ์ข ์