ML/DL NLP에서의 접근 방법

 

 

* 전반적인 프로세스 

1. 방대한 문서 ( 정답 문서 / 혹은 plain text ) 준비 

2. 기계학습을 통한 학습 

3. NLP System 을 구축 

4. Raw Text를 input

5. Raw Text 에 대한 응답 

 

 

* 해당 접근방법의 장점

1. 인터넷에서 어마어마한 전자 문서들을 구할 수 있다. 

2. 일일이 전문적인 언어 지식을 풀어내는 것 보다 ( knowledge engineering - 박사급 인력) , 태깅이 훨씬 쉽다. 

3. 다양한 방식의 학습 알고리즘이 점점 우수해진다 

4. exception 처리도 잘 하고 있음 

5. DNN 접근이 통계적 접근보다 거의 모든 단계에서 좋은 성능을 내고 있다. 

 

 

* NLP 의 연구들은 

자연어 이해에 대한 부분에 가장 많은 연구가 이루어짐 ( 어려움 ) 

자연어 생성은 그에 비해 수월한 편 

 

* NLP 에서의 현 주소와 어려움 

- 현재 가능한 것들

웹 검색 엔진 

오타 정정, 문법 체크 

문서 저자 분석 

정보 추출 , 자동 요약 

기계 번역 

BIg text knowledge를 학습한 질의 응답 ( IBM WATSON ) 

answer generation , answer selection <- 요즘 연구들 활발히 진행중이다 

간단한 챗봇 simple chatbot style dialogue 과 인공지능 스피커 

 

- 어려운 것들 

true text understanding

real-time spoken dialog 

지금 다 되는것 처럼 얘기하는데, 아직 굉장히 어려운 문제들이 많이 숨어있다. 

 

 

 

 

 

 

* 자연어 처리 section 의 글들은 서정연 교수님 수업을 바탕으로 작성했습니다.