Why not a standard network?
Problems
https://s3-us-west-2.amazonaws.com/secure.notion-static.com/c80bb60d-75ea-4b0e-b5c6-51678f5ea58d/untitled
https://s3-us-west-2.amazonaws.com/secure.notion-static.com/abece84a-1c64-4f67-9b0b-e853291fe1ef/untitled
https://s3-us-west-2.amazonaws.com/secure.notion-static.com/bbb83af9-d918-4e69-a840-5b0466a3cbcd/untitled
one to one → Standard Neural Network
강의 기간에서는 Character Level로 처리하게 되면 많은 계산량이 필요하고 그것을 해결하기 위한 자원들이 필요함을 보여주고 있음
Character Level의 장점은 Unkown words에 대한 걱정이 없지만 long-term dependency에 대한 문제가 발생함. 문장의 앞부분은 문장의 뒷부분까지 영향을 줄 수 있기 때문
basic RNN은 long-tern dependency을 처리하지 못함(Deep하게 될 경우 문제가 발생)
https://s3-us-west-2.amazonaws.com/secure.notion-static.com/484d53dd-793f-49c2-8095-b13e81781230/untitled