[AI 교육자료] AI와 생성형 AI 개념 정리

2024 ICT 산업전망컨퍼런스에 따르면 내년 정보통신기술(ICT) 핵심 트렌드는 AI 범용화와 디지털전환(DX) 가속화가 될 것이란 전망이 나왔습니다.

9월에 진행된 Dreamforce 2023에도 AI와 DX 관련 세션이 많이 등장했으며, Salesforce 또한 업무 효율을 높이고 생산성을 제고할 수 있도록 여러 솔루션에 AI 적용을 확대하고 있습니다. 또한 Dreamforce Wrap-up Session에서 AI Associate와 Data Cloud등 AI 관련 Certification 취득을 독려하기도 했습니다.

​아이투맥스 SE팀에서 직접 정리한 AI 교육자료를 공유합니다. 총 2회에 걸쳐 업로드될 예정입니다.

AI의 정의

AI는 하나로 정의되지는 않고, 어떤 기능을 하는가에 따라 각기 달리 정의할 수 있습니다.

아래에서는 4가지 정의를 살펴보겠습니다.

​1. 수치 예측(Numeric Predictions)으로서의 AI

• 개념
  • A의 확률, 미래 수치 등을 계산하는 것
• 예시
  • 고객이 구독을 갱신할 것인가?
  • 의료 처치가 필요한 상황에 놓여 있는가?
  • 오늘 저녁에 전력 수요가 높을 것인가?
• 형태
  • 확률: 0 ~ 1
  • 수치: 달러 등

​2. 분류(Classifications)로서의 AI

• 개념
  • A가 1인가 0인가를 구분하는 것
• 예시
  • 이 식물은 먹을 수 있는가 독성이 있는가
  • 이 이메일이 스팸메일인가 아닌가
• 분류로서의 AI는 이후 다른 업무를 수행하기 위한 단계

​3. 로봇 주행(Robotic Navigation)으로서의 AI

• 개념
  • 다양한 조건, 주변 상황에서 최적의 주행을 하는 것
  • 여기서 주행은 단순히 운전 뿐만 아니라 기업이 제품 생산/배달 시 최적화 방법 등도 포함
  • 예를 들어, 사용가능한 원자재 수, 제조 능력, 재고 수, 운송비용, 교통상황 등에 대한 조건을 고려하여 최적화
• 예시
  • 로봇 자율주행

​4. 언어처리(Language Processing)로서의 AI

• 개념
  • 주어진 언어를 분석하여 사람이 쓴 답변처럼 대답하는 것
• 예시
  • ChatGPT (Natural Language Processing; NLP)
• NLP는 Generative AI의 한 범주

사람이 아닌 컴퓨터가 알고리즘을 만든다

이전에는 사람이 알고리즘을 만들고 컴퓨터로 하여금 예측하도록 하였습니다.

하지만 이제 머신 러닝은 컴퓨터로 하여금 알고리즘을 만들도록 하여 더욱 정교하고 복잡한 예측을 가능하도록 합니다.

​1. 알고리즘

• Input을 Output으로 변화시킬 수 있게 하는 일정한 규칙을 의미합니다.
• 예
  • Input: 5, 8, 2, 9
  • Process: 5, 8, 2, 9를 각각 더한 후 4로 나누기
  • Output: 6
• 기존에는 알고리즘을 사람이 직접 만들었지만, 컴퓨터로 하여금 알고리즘을 만들도록 하여 아주 복잡하더라도 처리할 수 있게 하는 것이 머신 러닝 Machine Learning(ML)입니다.
• 즉, 많은 양의 데이터를 처리하여 예측할 수 있는 모델을 생성하도록 트레이닝하는 것이라 할 수 있습니다.

​2. 데이터와 학습

• 데이터
  • 정형화된 데이터(Structured Data): 컴퓨터가 이해할 수 있는 정리된 데이터(스프레드시트 또는 데이터베이스에서 볼 수 있는 데이터). 정형 데이터에 포함된 정보와 데이터 형식은 궁극적으로 필요한 최종 애플리케이션에서 사용하는 알고리즘에 따라 결정됩니다.
  • 비정형화된 데이터(Unstructured Data): 뉴스 기사, 이미지 파일 등의 데이터.
  • 인간의 실제 소통 수단인 자연어
• 학습 내용
  • 지도 학습(Supervised Learning): 정형화된 데이터를 통해 컴퓨터에 학습합니다.
  • 비지도 학습(Upsupervised Learning): 비정형화된 데이터를 통해 컴퓨터가 직접 어떤 규칙인지 알지 못한 채로 연결고리(Connections)를 찾는 것입니다.
• 학습의 개념
  • Neural Network: 많은 연결고리의 집합. 더 많은 연결고리를 찾는다는 것은 곧 더 나은 예측을 의미합니다. 마치 우리 뇌의 뉴론들이 연결되어 있는 것에 비유한 것입니다.
  • Node/Layer: 요인(Factor)들의 조합을 Node라고 칭합니다. Node가 얼마나 되어야 예측에 최적화되는지에 대해서는 정해진 것이 없지만 너무 많아서도, 너무 적어서도 안됩니다. 또한 우리의 뇌는 때로 연관되어 보이지 않는 두 개의 아이디어로부터 연결고리를 찾는 경우가 있습니다. 이러한 개념을 적용한 것이 더 많은 Node를 Layer로 더하여 예측의 정확성을 높입니다.

생성형 AI의 기능 살펴보기

생성형 AI란?

• 숫자를 기반으로 작동하는 기존의 AI와 다르게 이전에 읽고, 보거나 들어본 경험이 없는 매우 다양한 텍스트, 이미지, 소리를 생성할 수 있는 AI
• 대규모 언어 모델(LLM)을 기반으로 한 언어모델의 기능은?
  • 요약
  • 번역
  • 오류 수정
  • 안내 이미지 생성
  • 텍스트 음성 변환
  • 질문 답변: ChatGPT와 같이 질문 및 요청의 의도를 해석, 요청에 따라 대량 텍스트 생성

생성형 AI의 기술 협력체계 이해하기

• 생성형 AI 학습 강화요인​
  • 인터넷을 활용한 방대한 양의 학습 데이터 사용
  • 학습의 개선: 정교한 수학을 사용하여 AI 모델을 학습시키는 신경망을 설계, 신경망의 아키텍처는 지속적으로 발전 >새로운 아키텍처 트랜스포머 등장
  • 계산 능력 향상: 병렬 컴퓨팅을 이용한 동시 계산 가능

• 새로운 협력체계
  • 컴퓨터 하드웨어 공급업체: AI 모델 학습 및 실제 사용에 높은 수준의 컴퓨팅 성능 필요
  • 클라우드 플랫폼: 클라우드 배포 모델에서 컴퓨팅 하드웨어 활용 가능
  • 기본 모델(학습 및 액세스 가능한 AI 모델): 기본 모델은 API를 통해 액세스할 수 있으므로 개발자는 필요에 따라 한 기본 모델에서 다른 기본 모델로 간편하게 전환 할 수 있고 애플리케이션 프로그래밍 인터페이스(API)를 통해 LLM에 연결할 수 있으므로 자체 애플리케이션에서 NLP의 모든 기능을 활용 가능
  • 인프라 최적화: 더 효율적인 고품질 모델 학습을 위한 도구와 서비스를 제공
  • 애플리케이션: 앱의 최적화 서비스와 기본 모델을 활용
• 생성형 AI에 대한 일반적인 우려
  • 환각: 생성형 AI는 예측의 또 다른 형태이며, 예측은 정확하지 않을 수 있음을 고려해야함
  • 데이터 보안: 기업은 다음과 같은 경우 독점 데이터를 공유할 수 있음
    • 기본 모델을 세부적으로 조정하는 경우
    • 민감 데이터가 포함된 요청을 처리하기 위해 실제 모델을 사용하는 경우
  • 표절: LLM과 AI 모델은 일반적으로 공개적으로 사용 가능한 데이터를 기반으로 학습, 모델이 특정 스타일을 학습하고 복제할 가능성이 있어 콘텐츠에 변형을 추가하는 등 조치가 필요할 수 있음
  • 사용자 스푸핑: AI가 생성한 가짜 프로필 등으로 인한 피해
  • 지속 가능성: AI 모델을 학습시키는 데는 엄청난 컴퓨팅 성능이 필요하며, 연산을 수행하는 프로세서를 실행하려면 많은 전력이 소비됨.

자연어 처리 Natural Language Processsing 기초

자연어 처리(NLP)란?

• 컴퓨터 과학과 언어학을 결합하여 컴퓨터가 인간에게 의미 있고 유용한 방식으로 인간의 언어를 이해하고 해석하며 생성할 수 있는 능력을 제공하는 인공 지능(AI) 분야 중 하나입니다.
• NLP를 사용하면 컴퓨터가 문장의 의미 이해, 텍스트의 중요한 세부 사항 인식, 문장에 담긴 감정 판단, 언어 번역, 질문에 대한 답변, 텍스트 요약, 사람의 반응과 유사한 응답 생성 등의 작업이 가능합니다.
• NLP는 단어를 고유한 이미지, 음성, 다른 단어로 변환하는 AI의 하위 범주인 생성형 AI의 큰 부분을 차지합니다.
• 자연어 생성(NLG): 구조화된 데이터에서 구조화되지 않은 데이터로 처리되는 것
• 자연어 처리의 역사
  • 1950s: 처음으로 컴퓨터를 사용하여 인간 언어를 이해하고 생성하기 시작, 튜링 테스트(기계가 질문에 대해 인간과 구별할 수 없는 수준으로 대답을 할 수 있는지를 측정하는 실험), 최초의 기계 번역 시스템 개발
  • 1960s: 사용자가 컴퓨터에게 작업을 완료하도록 하거나 대화를 요청할 수 있는 규칙 기반 시스템을 실험
  • 1970-80s: 언어 규칙, 규칙 기반 추론, 분야별 지식을 활용하여 명령 실행 및 질병 진단과 같은 작업을 수행하는 보다 정교한 지식 기반 접근 방식 등장
  • 1990-2000s: NLP에 통계적 접근 방식(데이터 기반 학습)의 활용으로 음성 인식, 기계 번역 및 기계 알고리즘 발전, 신경망과 딥러닝이 NLP 연구 개발의 주축

자연어 구문 분석 알아보기

• 자연어 구문 분석하기
  • 구문 분석: NLP는 통계 모델, 머신 러닝, 딥러닝, 규칙 기반 시스템과 같은 알고리즘과 방법을 사용하여 텍스트를 처리하고 분석합니다. 텍스트나 음성을 쪼개 NLP에 사용하기 위한 용도로 분류하는 작업이 여기에 포함됩니다.
  • 구문론적 구문 분석: 자연어의 요소를 분석하여 기본적인 문법 구조를 파악합니다.
  • 의미론적 구문 분석: 의미를 도출합니다.

​구문 분석의 종류

• 세분화: 긴 텍스트가 더 작고 의미 있는 덩어리로 나뉩니다.
• 토큰화: 문장이 토큰(개별 단어)으로 분할됩니다.
• 스테밍: 단어를 어간으로 축소합니다.
• 표제어 추출: 단어를 어간으로 줄이되 품사를 고려하여 어근에 도달하도록 합니다.
• 품사 태깅: 품사에 따라 각 단어에 문법적 레이블 또는 태그를 할당합니다.
• 개체명 인식(NER): 알고리즘을 사용하여 사람, 날짜, 장소, 조직 등과 같은 이름이 정의된 개체를 텍스트에서 식별하고 분류합니다.

​의미 분석의 종류

• 감정 분석: 텍스트가 긍정적, 부정적 또는 중립적 감성 중 어떤 것을 표현하는지 판단합니다. 감성은 텍스트에서 감정이나 의견을 식별하고 분류하여 제품, 서비스 또는 경험에 대한 사람들의 감정을 기업이 이해하는 데 도움이 됩니다.
• 의도 분석: 말 뒤에 숨겨진 목적이나 의도를 해석합니다. 가상 비서, 고객 지원 시스템 또는 챗봇 사용자가 요청하는 바를 이해하고 적절한 응답이나 조치를 제공 합니다.
• 문맥(담화 분석): 주변 정보를 이해하여 텍스트를 이해합니다. 더 넓은 문맥, 단어 간의 관계를 비롯한 기타 관련 정보를 고려하여 NLP 시스템이 단어를 더 정확하게 해석합니다.

머신 러닝의 작동 방식

• Natural language understanding (NLU)
• Natural language processing (NLP)
• Named entity recognition (NER): 단어의 순서를 라벨링하며 이름, 날짜, 시간과 같은 중요한 것을 뽑아냅니다. 또는 문장을 기계가 이해하기 쉽도록 나눕니다.
• Deep learning: 대규모 데이터베이스의 데이터 포인트 간에 개발되는 인공 신경망입니다. 알고리즘을 사용하여 데이터를 조사하고 결론을 도출하며 성능을 향상시킵니다.

​모든 것은 데이터에 달려 있습니다!

모델에 더 많은 데이터를 입력할 수록 더 정확하고 유용한 결과를 얻을 수 있습니다.

같은 맥락에서 데이터 상태는 매우 중요합니다. 깨끗하고 잘 조직된 데이터를 입력할수록 더 원활한 AI 배포가 가능합니다. 그렇지 않을 경우에는 데이터를 사용하기 전 수동으로 데이터 클렌징에 많은 시간을 소모해야 합니다.

​아인슈타인으로 더욱 스마트한 고객 서비스를 제공하세요.

• Increase deflection and reduce handle time.
  • Einstein Bots은 반복적인 고객 문의를 해결하고 사람의 해결이 필요하다면 담당자에게 인계합니다.
• Turbocharge agent productivity.
  • Einstein Agent는 에이전트에게 고객에게 할 수 있는 최선의 서비스를 맥락에 맞게 제공합니다.
• Rapid deployment and time-to-value.
  • Service Cloud Einstein은 Salesforce 및 기존 서비스 채널과 사전 통합되어 있으며 즉시 사용 가능한 직관적인 사용자 인터페이스와 함께 제공됩니다.
• Einstein Bots
  • 자동으로 주요 고객 문제를 해결, 적합한 고객 정보를 수집, 고객을 상담원에게 원활하게 전달합니다.
  • 결과적으로, 고객 센터의 사례 편향이 늘어나고 상담원의 처리 시간이 단축됩니다.
• Einstein Agent
  • 지능형 케이스 라우팅, 자동 분류 및 케이스 필드 예측을 통해 문제 해결 속도를 크게 높이고 콜센터 전체의 효율성을 향상합니다.
• Einstein Discovery
  • 관리자가 예측 서비스 KPI를 통해 조치를 취하는 데 도움을 주며, 이탈이나 CSAT 등 KPI에 영향을 미치는 동인에 대한 실시간 분석과 제안된 권장 사항 및 설명을 제공합니다.
• Einstein Vision for Field Service
  • 이미지 분류를 자동화하여 현장에서 문제를 더 빠르게 해결합니다. 물체의 사진을 찍는 것만으로도 즉시 부품을 식별할 수 있어 기술자의 정확성을 보장하고 최초 수정률을 높일 수 있습니다.
• Einstein Language
  • 사전 학습된 모델을 사용하여 텍스트를 긍정적, 중립 또는 부정적으로 분류한 다음 텍스트 본문에 기본 의도를 분류합니다. 모든 앱의 구조화되지 않은 데이터에서 언어를 처리합니다.

​챗봇 성격

• 투명성: 챗봇은 고객에게 자신이 무엇을 할 수 있는지 명시합니다. 고객의 주요 요청을 팝업으로 제공합니다.
• 개성: 챗봇에는 브랜드를 표현하는 목소리와 톤이 있어야 합니다. (언어 유형 혹은 이모지가 될 수도 있음)
• 철저함: 챗봇은 고객에게 완전한 정보와 그 정보를 받아들일 충분한 시간을 제공해야합니다.
• 반복성: 문제 해결을 위해 지속적으로 개선되어야 합니다. 일회성 사용은 지양되어야 합니다.

AI를 통한 결과물

• 예/아니오 예측 or 답
  • AI는 시스템에 쌓여있는 데이터를 분석함으로써 다음과 같은 질문들에 대한 예/아니오 대답을 할 수 있습니다.
  • 이 리드가 사업을 위해 좋은 리드인가? 이 잠재고객(Prospect)가 이메일을 볼 것인가?
• 수치 예측
  • 과거 데이터를 이용하여 미래의 수치를 예상합니다.
  • 미래에 대한 예측의 경우, “이 새로운 고객을 통해 얼마나 많은 이익을 창출할 수 있을 것인가”
  • 그 외 맥락의 경우, “고객센터에서 이 고객의 요청을 해결하는 데에는 얼마의 기간이 소요될 것인가"
• 분류
  • 줄글(Free Text)이나 이미지 같은 비정형화된 데이터(Unstructured Data)를 기반으로 주로 딥러닝(Deep Learning) 기술을 이용합니다.
  • 비정형화된 데이터로부터 유용한 정보를 끌어내고 다음과 같은 질문에 대한 답을 제시: “이 사진에 얼마나 많은 음료수 캔이 있는가”
  • “같은 신발을 줘", "지난 번과 같은 신발이 필요해" 등 각기 다른 표현을 하더라도 딥러닝 기술로 AI가 같은 내용임을 이해하도록 함
• 추천
  • 유저가 선호할 것 같은 아이템을 제시합니다.
  • 추천은 제품에만 한정되는 것이 아니라, 비즈니스 유저들이 참고할 문서, 구직자들이 지원할 구직 공고, 이메일 작성 시 내용 등 다양한 분야에 적용됨
• 요약
  • 긴 줄글이나 강연을 짧게 핵심적인 내용만 간추립니다.
  • 1시간의 녹음자료나 10장의 문서를 간단히 요약하고 싶을 때 AI를 이용할 수 있음

비즈니스에서 AI를 활용하는 순서

무엇을 예측할 것인지 결정하기

• AI가 무엇을 예측했으면 하는지에 대하여 명확하게 정의하고 계산할 수 있는 단위로 이야기해야 합니다.
• 고객 이탈(Customer Attrition)에 대해 걱정하는 은행의 경우, 다음과 같은 질문을 통해서 “고객 이탈"을 정확하게 정의해야 합니다.
• “고객을 잃는다는 것은 무엇인가? 입출금 계좌와 예금 계좌를 둘 다 갖고 있는데, 예금 계좌만 닫는다면 그것은 이탈인가? 계좌는 그대로 가지고 있는데 금액의 90%를 인출한다면 그것은 이탈인가?

과거 데이터 수집하기

• “과거 행동이 미래 행동의 가장 좋은 예측치이다”라는 이야기가 있듯이, AI에게도 동일하게 적용됩니다.
• 과거의 많은 데이터들이 필요한데, 때로 회사들은 많은 데이터를 각기 다른 시스템에 저장해두기도 하므로, AI를 제대로 이용하기 위해서는 이러한 시스템 통합이 필요합니다.

예측을 행동으로 바꾸기

• 예측을 통해 어떤 고객은 15% 이탈 확률이 있고, 다른 고객은 30% 이탈 확률이 있다는 결과를 받을 수 있습니다.
• 이러한 정보를 바탕으로 25% 이상의 이탈 확률을 가진 고객들에 대하여 스페셜 할인 쿠폰을 제공하는 정책을 고안할 수 있습니다.

행동 개선하기

• 쿠폰 정책을 실행하기 위해서는 이메일 발송을 해야하는데, 이때 AI의 도움을 받을 수 있습니다.
• AI를 통해 보다 개인화된 이메일 내용을 구성하여 작성할 수 있고, 이메일을 열거나/열지 않을 경우 그 이후 액션에 대해서도 도움을 받을 수 있습니다.

출처

• 인공 지능 기초
• 생성형 AI 기초
• 자연어 처리 기초
• 고객 서비스를 위한 인공 지능
• 비즈니스용 인공 지능

번역 및 검수

아이투맥스 SE팀 박지은 프로