소개

  • 1분

생성 AI 애플리케이션은 언어 모델을 기반으로 합니다. 개발 프로세스는 일반적으로 애플리케이션의 특정 요구 사항에 가장 적합한 모델을 찾기 위해 사용 가능한 기본 모델을 탐색하고 비교하는 것으로 시작합니다. 적합한 모델을 선택한 후 클라이언트 애플리케이션 또는 AI 에이전트에서 사용할 수 있는 엔드포인트에 배포합니다.

모델의 GPT 제품군과 같은 기본 모델은 자연어를 이해하고 생성하고 상호 작용하도록 설계된 최첨단 언어 모델입니다. 모델에 대한 몇 가지 일반적인 사용 사례는 다음과 같습니다.

  • 음성 텍스트 변환 및 텍스트 음성 변환. 예를 들어 비디오에 대한 자막을 생성합니다.
  • 기계 번역. 예를 들어 텍스트를 영어에서 일본어로 번역합니다.
  • 텍스트 분류. 예를 들어 메일에 스팸 또는 스팸이 아닌 레이블을 지정합니다.
  • 엔터티 추출. 예를 들어 문서에서 키워드 또는 이름을 추출합니다.
  • 텍스트 요약. 예를 들어 여러 페이지 문서에서 짧은 한 단락 요약을 생성합니다.
  • 질문 답변. 예를 들어 "프랑스의 수도는?"과 같은 질문에 대한 답변을 제공합니다.
  • 추론. 예를 들어 수학 문제를 해결합니다.

이 모듈에서는 질의 답변에 사용되는 기초 모델을 살펴보는 데 중점을 둡니다. 여러분이 살펴보는 기초 모델은 언어 모델을 사용하여 사용자 질문에 대한 응답을 생성하는 채팅 애플리케이션에 사용할 수 있습니다.

참고 항목

생성 AI 모델의 최신 혁신은 변환기 아키텍처의 개발에 빚이 있습니다. 2017년 Vaswani, et al.의 Attention is all you need 논문에 소개되었습니다. Transformer 아키텍처는 NLP에 두 가지 혁신을 제공하여 기본 모델의 출현을 가져왔습니다.

  • Transformers는 단어를 순차적으로 처리하는 대신, 주의를 사용하여 각 단어를 독립적이고 병렬로 처리합니다.
  • 단어 간의 의미 체계적 유사성 외에도 변환기는 위치 인코딩을 사용하여 문장에서 단어의 위치에 대한 정보를 포함합니다.