또치의 AI 탐험기

이번 논문은 ELMo라고 불리는 모델을 정리한다. Deep contextualized word representations Deep contextualized word representations ME Peters, M Neumann, M Iyyer, M Gardner, C Clark, K Lee, L Zettlemoyer, NAACL, Best Paper, 2018 - 인용 횟수 9,337번 scholar.google.com Abstract - 본 논문은 단어 사용의 복잡한 특성(구문, 의미)과 이러한 사용이 언어적 문맥(다의성 모델링)에 따라 어떻게 다른지를 모두 모델링하는 새로운 유형의 심층 문맥화 된 word 표현을 소개한다. - 단어 벡터는 큰 텍스트 말뭉치에서 사전 훈련된 biLM의 내부 상태..

이번 논문은 Attention구조를 활용하여 NLP 분야의 한 획을 선사한 transformer에 관한 논문이다. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... & Polosukhin, I. (2017). Attention is all you need. In Advances in neural information processing systems (pp. 5998-6008). Abstract - 이제까지의 우세한 sequence 변환 model은 인코더와 디코더를 포함한 복잡한 RNN, CNN 기반의 구조가 주를 이루었다. - 저자는 여기에서 새롭고 간단한 네트워크 구조를 제안하는데 이것이 바로 trans..

이번 논문은 NLP 딥러닝 메커니즘을 구현하고자 할 때 빼놓을 수 없는 기술이 되어버린 Attention에 관한 논문이다. Bahdanau, D., Cho, K., & Bengio, Y. (2014). Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473. Abstract - 전통적인 통계 기반 기계 번역과는 달리, 신경망 기반 기계 번역은 번역 수행을 최대화하여 조정하기 위한 단일 신경망 네트워크를 설계하는데 목적이 있다. - 최근 제안된 신경망 기반 기계 번역은 encoder-decoders에 기반해있다. 그리고, source sentence에서 고정된 길이 벡터를 enco..

이번 페이지에서 소개하고자 하는 논문은 Seq2Seq라고 불리는 논문이다. Sutskever, I., Vinyals, O., & Le, Q. V. (2014). Sequence to sequence learning with neural networks. In Advances in neural information processing systems (pp. 3104-3112). Abstract - Deep Neural Networks라고 불리는 DNNs은 어려운 학습 task를 수월하게 수행해주는 강력한 모델이다. 비록, DNNs는 training sets가 레이블링 된 큰 뭉치여야 잘 수행되지만, sequence를 sequence에 매핑되는 task에는 이전까지 사용되지 않았다. - 그래서 본 논문에서,..

이번 페이지에서 소개할 NLP 논문은 Doc2Vec이라고 불리는 논문이다. 일련의 과정들이 이어지면 이해가 쉽기 때문에 이번 페이지에서도, 이전 논문들을 읽지 않았다면 참고해보시기를 권장한다. 2021.10.28 - [또치의 AI 공부정리/NLP 논문 정리] - Efficient Estimation of Word Representations in Vector Space(Word2Vec) Efficient Estimation of Word Representations in Vector Space(Word2Vec) 이번 페이지에서 정리하고자 하는 NLP 논문은 Word2Vec이라고 불리는 논문이다. Mikolov, T., Chen, K., Corrado, G., & Dean, J. (2013). Effici..

이번 페이지에서 정리하고자 하는 NLP 논문은 Word2Vec의 발전모델을 구현한 모델을 제안한 논문이다. 혹시 Word2Vec논문을 읽지 않았다면, 이전 링크를 참고해보도록 하자. 2021.10.28 - [또치의 AI 공부정리/NLP 논문 정리] - Efficient Estimation of Word Representations in Vector Space(Word2Vec) Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., & Dean, J. (2013). Distributed representations of words and phrases and their compositionality. In Advances in neural information pr..

이번 페이지에서 정리하고자 하는 NLP 논문은 Word2Vec이라고 불리는 논문이다. Mikolov, T., Chen, K., Corrado, G., & Dean, J. (2013). Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781. Abstract - 본 논문의 주목적은 매우 큰 data에서 단어의 연속된 벡터 표현을 계산하기 위해 2개의 모델 구조를 제안함에 있다. - 성능은 단어 유사도 검증방법과 선행연구에서 수행된 NN 기반 기술의 최고 성능과 비교되었다. - 특히, 본 논문에서 제안한 모델은 계산 비용을 매우 낮추며 동시에 좋은 성능을 냈다고 정리한다. - 즉, 16억 개의 단어..

2019년도 2학기 물리학과의 전공 공부 정리 지난 2019년 1학기 글에 이어지는 글이다. 역학 및 연습2 https://www.aladin.co.kr/shop/wproduct.aspx?start=short&ItemId=139495111 Essential Classical Mechanics (Hardcover) Essential Classical Mechanics (Hardcover) www.aladin.co.kr 1학기에 이어서 2학기 때도 위의 교재를 사용해서 고전역학 과목을 마무리하였다. 주로 라그랑지안 역학과 헤밀토니안 역학 중 라그랑지안을 이용한 문제풀이가 주를 이루었다. 또한, 회전 좌표계에서의 오일러 각을 도입하여 강체의 회전운동에 대해서도 서술하는 법을 공부했다. 마지막으로 상호작용하는 ..

2019년도 1학기 물리학과의 전공 공부 정리 나는 현재 전공은 인공지능 융합이지만, 학부는 물리학과를 나왔다. 그래서, 지난 블로그에 정리해두었던 물리학 전공과목에 관한 짧은 느낀 점과 교재 소개를 하고자 한다. 참고로, 시점이 2019년이다 보니 과거 시점의 말투임을 참고해주기 바란다. 역학 및 연습1 https://www.aladin.co.kr/shop/wproduct.aspx?start=short&ItemId=139495111 Essential Classical Mechanics (Hardcover) Essential Classical Mechanics (Hardcover) www.aladin.co.kr 개인적으로 어려울 것이라 생각했던 과목. 역시나 가 역시나였다. 어려웠다. 본 교재의 경우 가..