전체 글 (34) 썸네일형 리스트형 인공지능 수첩 ( 챗봇의 유형 / 마스킹 / 패딩 마스킹 / 룩 어헤드 마스킹 / 트랜스포머 / 트랜스포머의 인코더 / 트랜스포머의 디코더 ) 챗봇의 유형 - 대화형 챗봇: 자연어처리를 기반으로 자연스럽게 대화가 가능한 챗봇 - 트리형(버튼) 챗봇: 정해진 트리구조를 따라 답변을 얻는 형태 - 추천형 챗봇: 질문을 던지면 사전에 정의된 답변의 리스트를 알고리즘 결과의 우선순위별로 보여줌. - 시나리오형 챗봇: 원하는 서비스 혹은 아웃풋 제공을 위하여 정해진 시나리오를 수행하는 챗봇 - 결합형 챗봇: 비즈니스 목적에 따라 위의 챗봇 유형들을 결합해서 설계 마스킹 (Masking) - 특정 값들을 가려서 실제 연산에 방해가 되지 않도록 하는 기법 - 마스킹에는 '패딩 마스킹'과 '룩 어헤드 마스킹'이 있음. 패딩 마스킹 (Padding Masking) - 패딩으로 주어진 숫자0을 실제 어텐션 연산에서 제외하기 위해 숫자0의 위치를 체크.. 인공지능 수첩 ( 텍스트 요약 / 추출적 요약 / 추상적 요약 / 컨텍스트 벡터 / 텍스트 정규화 / 정수 인코딩 / recurrent dropout / 어텐션 / 스케일드 닷 프로덕트 어텐션 / 멀티헤드 어텐션 ) 텍스트 요약 (Text Summarization) - 긴 길이의 문서 원문을 핵심 주제만으로 구성된 짧은 요약(Summary) 문장들로 변환하는 것 - 요약 전후의 정보손실 발생이 최소화되어야 함. - 추출적(Extractive) 요약과 추상적(Abstractive) 요약으로 나뉨. 추출적 요약 (Extractive Summarization) - 원문에서 문장들을 추출해서 요약하는 방식 - 핵심적인 문장만 꺼내와서 요약문을 만드는 방식 => 문장 분류 (Text Classification) - 요약된 문장들 간의 호응이 자연스럽지 않을 수도 있음. - 전통적인 머신 러닝 방식에 속하는 텍스트 랭크(TextRank)와 같은 알고리즘을 사용함. - 패키지 Summa의 summarize모듈을 활용함. .. 인공지능 수첩 ( seq2seq / 인코더 / 디코더 / feature vector / 조건적 언어모델 / 교사 강요 / 감성분석 / 워드 임베딩 / Word2Vec / history 변수 ) seq2seq - 신경망 기계 번역 (Neural Machine Translation) 모델 중 하나 - 인코더와 디코더 두 개의 RNN 아키텍처를 연결한 구조임. 인코더 (Encoder) - 입력 문장을 받는 RNN - Feature Extractor의 역할을 함. - 어떤 데이터 X를 해석하기 위한 저차원의 feature vector z를 만들어 냄. 디코더 (Decoder) - 두번째 RNN - 저차원의 Feature vector z로부터 정보를 복원해서 다시 어떤 데이터 X′을 재생성하는 역할을 함. feature vector - 인코더 RNN이 입력문장을 해석해서 만들어 낸 hidden state벡터 - 디코더는 인코더의 마지막 time step의 hidden state를 전달 받.. 이전 1 ··· 3 4 5 6 7 8 9 ··· 12 다음
