[여기는 실밸] "헤이 구글, 웃긴 이유 설명해줘"...유머 학습하는 구글 AI

기사입력 : 2022년04월29일 06:56

최종수정 : 2022년04월29일 09:13

구글, 차세대 AI '패스웨이' 진화한 PaLM 공개
딥 러닝 아닌 퓨삿 러닝으로 응용·추론 가능
AI 편향된 사고 등 윤리적 이슈가 과제

[편집자주] '여기는 실밸'은 돈과 인재가 몰리는 실리콘밸리의 벤처투자자(VC)들이 주목하고 있는 유망한 기업들을 소개합니다. 향후 기업공개(IPO) 가능성이 있는 유망한 기업이나 유니콘 기업들을 브리핑 해드립니다. '여기는 실밸'에서 실리콘밸리의 최신 산업 트렌드 및 기업 정보들을 확인할 수 있습니다.

[실리콘밸리=뉴스핌]김나래 특파원="헤이 구글, '비관론자에게 돈을 빌려라. 그들은 기대하지 않을 것' 이라는 문장이 왜 웃긴지 설명해줘"

구글 인공지능(AI)가 이제 사람의 농담까지 이해해 웃긴 이유까지 설명이 가능해졌다. 위의 질문에 구글 AI는 "대부분 사람들은 돈을 빌려줄 때 상대방이 돈을 갚을 것으로 기대하지만, 비관주의자는 항상 최악의 상황을 가정하는 사람이므로 돈을 빌린다면 어쨌든 갚지 않을 것으로 기대할 것으로 생각하기 때문이다"라고 답할 것이다.

이외에도 굉장히 전문적이고 이해하기 어려운 농담도 구글AI는 해석할 수 있다. 예컨대, "구글 TPU팀에서 고래를 고용한 거 봤어? 커뮤니케이션을 잘하던데"라는 농담은 일반인이 들어서는 알아 듣기 어렵다.

[뉴스핌=김나래 기자] 구글 리서치에서 설명한 유머 글을 해석하는 작동 방식. [사진=구글 블로그] 2022.04.29 ticktock0326@newspim.com

이는 TPU칩의 팟(pod)을 고래에 비유한 것으로 TPU는 구글이 딥 러닝에 사용하는 일종의 컴퓨터 칩을 말한다. 구글 AI는 팟의 사전적인 의미가 고래와 같은 동물들의 무리를 말하기 때문에 이를 이용한 유머라는 것을 분석해준다. 즉, "구글 TPU팀에서 고래를 고용해서 통신을 시키는거야?"라는 해석을 확장해 설명해 줄 수 있다.

구글 리서치는 최근 새로운 AI 언어 모델 'PaLM(Pathways Language Model)'을 공개하고 AI가 이를 인식하는 방식들을 소개했다. PaLM은 작년 10월 구글이 차세대 AI 아키텍처로 소개한 '패스웨이(Pathways)'를 적용했으며, 패스웨이는 단일 모델을 학습시키는 데 특화된 시스템을 말한다.

제프 딘 구글 리서치의 수석 부사장은 지난 10월 패스웨이에 대해 "개발자가 한 가지만이 아닌 수천 또는 수백만 가지를 수행하도록 단일 모델을 훈련할 수 있는 차세대 AI 아키텍처"라고 소개했다.

실제로 패스웨이를 통해 항공 사진으로 어떤 지역의 지형을 파악하게 되면, 이 데이터는 해당 지역에 홍수가 발생했을 때 물이 어떻게 흐를지 예측하는 데에도 사용될 수 있다.

딘 부사장은 "이 기술로 많은 개별 작업을 처리할 수 있을 뿐만 아니라 기존 기술을 활용하고 결합해 새로운 작업을 더 빠르고 효과적으로 학습할 수 있는 하나의 모델을 훈련하고 싶다"며 "이렇게 하면 모델이 한 작업에 대한 교육을 통해 학습한 내용을 예측하는 지까지 배울 수 있다"고 설명했다.

그가 설명한 것처럼 기존 AI 모델은 딥 러닝을 통해 학습하며, 학습한 내용 하나마다 한 가지 문제나 예시를 해결할 수 있다. 따라서 딥 러닝으로 학습한 모델을 제대로 활용하려면 수백만 개의 예제를 학습시켜야 했다.

하지만 패스웨이는 딥러닝보다 한단계 나아간 '퓨삿 러닝'으로 단일 모델을 학습시켜도 이를 다른 작업이나 문제를 해결할 때 활용할 수 있다. 다시 말해 기존의 딥 러닝은 새로운 작업이 필요한 경우 다시 학습을 해야 적용할 수 있지만 이번 구글의 퓨삿 러닝은 기존 학습 내용을 응용하고 추론이 가능하다.

구글 TPU의 모습. [사진=구글] 2022.04.29 ticktock0326@newspim.com

이에 PaLM은 패스웨이를 보다 구체적인 형태로 구현해 노력의 결실을 맺었다는 평가를 받고 있다. PaLM은 패스웨이로 훈련된 5400억 개의 매개변수가 포함됐으며, 이를 통해 수백 가지의 언어를 이해하고 생성할 수 있으며 지금까지 개발된 다른 언어 모델보다 학습 효율이 높다는 것이 장점이다.

구글도 "PaLM은 현재까지 교육에 사용된 가장 큰 TPU 기반 시스템 구성으로 교육을 확장하기 위해 패스웨이 시스템을 처음으로 대규모로 사용하는 것을 보여줬다"면서 "여러 클라우드 TPU v4 팟에서 수행된 해당 교육은 6144개의 칩으로 확장됐다"고 평가했다.

이번 구글이 발표한 자료에 따르면 영어와 다국어 데이터 세트의 조합을 사용해 훈련된 PaLM은 29개 작업 가운데 28개가 다른 기존 언어모델(머스크의 오픈 AI인 GPT-3, AWS가 제공하는 서버리스 기술인 람다) 보다 성능면에서 앞섰다. 질의응답과 문장 완성, 문맥 이해, 상식 추론 등 처리 작업 성능이 월등했다.

구글 리서치는 "PaLM은 원인과 결과를 구별하고 적절한 맥락에서 개념적 조합을 이해하고 있다"며 "영어가 아닌 언어, 코딩 및 산술 작업에 능숙함을 보여줬다"고 발표했다.

업계에서는 올해 더 많은 산업과 사용 사례에 서비스를 제공하기 위해 사용되는 대규모 언어모델(LLM)의 가속화된 성장이 이어질 것으로 보고 있다. 방대한 양의 산업별 데이터에 대해 교육을 받은 LLM은 전문 훈련과 감독이 없어도 심층 도메인 질문에 답할 수 있다. 또 언어를 번역하며 문서를 이해·요약하고, 스토리를 작성하고 프로그램을 계산이 가능하다.

하지만 본격적인 PaLM 상용화를 위해 해결해야 할 문제가 있다. AI가 온라인으로 학습하는 이상 잘못된 정보나 차별·혐오 등이 반영될 가능성이 있어 편향된 사고 오류를 줄이는 것이 관건이다.

실제로 구글에서는 AI의 편향성 문제가 이슈가 된 적이 있다. AI 윤리 확립에 앞장서고 있는 팀닛 게브루 박사는 이같은 대규모 언어 모델에 대한 윤리적 문제를 지적하며 인종 차별적 비방을 무심코 받아들이는 것부터 무슬림을 폭력과 연관시키는 등 편향된 사고에 대해 지적했다. 이 같은 대형 모델들의 편향성이 있으면 소외된 사람에게 더 타격이 클 수 있다는 위험성이 있기 때문이다.

그는 구글 AI윤리팀을 신설하고 2020년 12월까지 근무했지만 이후 연구소를 운영하고 있다. 그는 당시 대규모 언어모델의 단점을 논문을 통해 지적한 바 있다.

이에 구글 리서치 연구원들도 윤리적으로 위험한 부분에 대해 과제로 언급했다. 구글 리서치는 향후 언어 모델의 악의적인 사용에 대한 가이던스와 확장 가능한 솔루션 개발과 함께 지속적인 연구주제로 보완해 나간다는 방침이다.

ticktock0326@newspim.com

사진

한눈에 보는 트럼프 취임사...6대 키워드 [서울=뉴스핌] 이홍규 기자 = 도널드 트럼프 미국 대통령의 두 번째 취임 연설은 이념적인 수사가 가득했던 8년 전 2017년 당시와 다르게 낙관적인 어조 속에서 구체적인 정책 방향성을 제시하는 데 초점이 맞춰졌다. 요지는 전 정권에서 약화한 미국의 외교와 경제 영향력을 되찾겠다는 것이다. 트럼프 대통령은 '미국의 부활'을 알리면서 관세 정책과 경제·에너지 정책, 불법 이민자 정책, 영토 확장, 다양성 정책 재검토 등을 강조한 취임 연설을 했다. 다음은 30분간의 취임 연설에서 언급한 핵심 내용을 정리한 것이다. 도널드 트럼프 미국 대통령이 두 번째 임기 취임 첫날 캐피탈 원 아레나에서 열린 퍼레이드에서 행정명령에 서명하고 있다. [사진=로이터 뉴스핌] 1. 미국의 부활 트럼프 대통령은 "미국의 황금시대가 지금 시작된다"라고 연설을 시작했다. 이어"오늘부터 우리나라는 번영하고 세계의 존경을 다시 받게 될 것"이라고 했다. 또 "우리는 지금 국가적 성공의 흥미진진한 새로운 시대의 시작점에 있다"며 "미국은 전례 없는 기회를 잡을 수 있는 순간을 맞이했다"고 했다. 2. 관세 정책 트럼프 대통령은 관세 정책에 대해 "다른 나라를 윤택하게 하기 위해 미국민에게 과세하는 것이 아니라 국민을 윤택하게 하기 위해 관세를 부과한다"고 말했다. 또 "관세를 징수할 '대외수입청'을 설립하겠다"며 "외국으로부터 막대한 금액이 우리 국고로 흘러와 조만간 아메리칸드림은 전에 없던 방식으로 다시 살아나 번창할 것"이라고 했다. 트럼프 대통령은 또 "미국 경제는 부드럽고 한심하게 약한 무역 협정을 통해 우리 스스로에게 세금을 부과하면서 세계에 성장과 번영을 제공해왔다"며 "이제 이를 바꿀 때다. 우리는 우리와의 무역으로 이익을 얻는 이들에게 비용을 부과하기 시작할 것이며 그들은 기여하기 시작할 것"이라고 덧붙였다. 3. 경제·에너지 정책 트럼프 대통령은 "우리는 시추를 계속할 것"이라며 "미국은 다시 제조업 국가가 될 것"이라고 했다. 또 "우리는 지구상에서 가장 많은 석유와 가스를 보유하고 있다"며 "그것을 사용해 [에너지] 가격을 낮추고 전략비축유를 다시 최대로 채우며 미국 에너지를 전 세계로 수출할 것"이라고 했다. 트럼프 대통령은 이어 "우리는 그린뉴딜을 끝낼 것이며 전기차 의무화 정책을 철회해 우리의 자동차 산업을 구하고 위대한 미국 자동차 노동자들에게 했던 나의 신성한 약속을 지킬 것"이라고 했다. 4. 불법 이민자 정책 트럼프 대통령은 자신의 불법 이민자 정책에 대해 "미국의 완전한 복원을 시작하고 상식의 형멱을 이룰 것"이라고 운을 뗀 뒤 "남부 국경에 국가비상사태를 선포할 것"이라며 "모든 불법 입국은 즉시 중단될 것"이라고 강조했다. 이어 "수백만명의 범죄자 외국인이 그들이 온 곳으로 돌려보내지는 과정을 시작할 것"이라고 했다. 트럼프 대통령은 "멕시코 체류 정책(Remain in Mexico policy)을 재개할 것"이라고 했다. 이어 "잡았다가 풀어주기(catch and release) 관행을 종료할 것"이라며 "우리나라를 침범하는 재앙적인 침략을 저지하기 위해 남부 국경에 군대를 파견할 것"이라고 했다. 5. 영토 확장 트럼프 대통령은 파나마 운하와 관련해 "미국 선박들은 심각하게 과도한 요금을 부과받고 있고 미국 해군을 포함해 공정하게 대우받지 못하고 있다"고 강조했다. 그러면서 "중국이 파나마 운하를 운영하고 있다"며 "우리는 그것을 중국에 준 것이 아니라 파나마에 준 것이며 이제 그것을 되찾을 것"이라고 했다. 트럼프 대통령은 멕시코만에 대해서는 "아메리카만(Gulf of America)"으로 변경하겠다고 했다. 또 화성 탐사에 대해서는 "미국 우주비행사들을 화성에 보내 성조기를 꽂게 할 것"이라고 했다. 6. 다양성 정책 재검토 트럼프 대통령은 다양성 정책에 대해 "오늘부로 미국 정부의 공식 정책은 남성과 여성 두 가지 성별만을 인정하는 것으로 정해질 것"이라며 "연방정부는 더 이상 젠더 이데올로기를 장려하지 않을 것"이라고 했다. 트럼프 대통령은 또 "연방 기관들은 여권과 비자와 같은 정부 신분증에서 개인을 생물학적 성별로 분류할 것"이라며 "교도소, 이민자 쉼터, 성폭행 피해자 지원 센터와 같은 시설들은 생물학적 성별에 따라 구분될 것"이라고 덧붙였다. bernard0202@newspim.com 2025-01-21 10:13

사진

中 인공태양, 세계 최초 1억도 1000초 운행 [베이징=뉴스핌] 조용성 특파원 = 중국이 개발 중인 인공 태양이 세계 최초로 1000초 운행에 성공했다. 중국과학원 산하 허페이(合肥) 물질과학연구원은 초전도 토카막 핵융합 실험장치인 '이스트(EAST·Experimental Advanced Superconducting Tokamak)'가 20일 수행한 실험에서 1억 도 이상의 플라즈마를 1066초 이상 안정적으로 유지하는 데 성공했다고 중국 관영 신화사가 21일 전했다. 1억 도의 플라즈마를 안정적으로 1000초 이상 운행하기는 이번이 세계 최초라고 신화사는 의미를 부여했다. 연구진은 2012년에 플라즈마의 30초 운행에 성공했고, 2016년에 60초를 달성했으며, 2017년에는 101초를, 2023년에 403초 운영을 성공시켰다. 중국과학원의 연구진은 "핵융합 장치가 최소 수천 초 동안 안정적으로 운영되어야만 플라즈마의 자가 순환을 실현할 수 있으며, 핵융합 발전소가 영구적으로 발전할 수 있다"며 "이번 실험의 성공으로 인공 태양이 기초 과학의 영역에서 벗어나 현실화의 영역으로 접어들게 됐다"고 평가했다. 중국의 EAST 프로젝트는 초고온, 초저온, 초고진공, 초강력 자기장, 초대전류 등 200여 개 핵심 기술과 2000여 개의 특허를 보유하고 있다. 2006년 EAST 장치가 완공된 후 21차례의 물리 실험이 진행됐고, 플라즈마 작동 횟수는 15만 회를 넘어섰다. 연구진은 "EAST를 통해 국제 협력을 확대하고, 미래 핵융합 에너지 상용화를 앞당길 수 있기를 희망한다"고 말했다. 핵융합 발전은 지구상에 무궁무진하게 존재하는 수소를 원료로 하며, 방사능과 이산화탄소 배출에 대한 우려가 없어서 '꿈의 에너지'로 불린다. 태양의 에너지 생성 과정을 재현하기 때문에 '인공 태양'이라고도 불린다. 상용화까지는 20여 년이 소요될 것으로 예상된다. 중국과학원 산하 허페이(合肥) 물질과학연구원은 초전도 토카막 핵융합 실험장치인 '이스트(EAST)'가 20일 수행한 실험에서 1억도 이상의 플라즈마를 1066초 이상 유지하는 데 성공했다. 중국의 이스트 장치 모습. [신화사=뉴스핌 특약] 조용성 특파원 = 2025.01.21 ys1744@newspim.com 중국과학원 산하 허페이(合肥) 물질과학연구원은 초전도 토카막 핵융합 실험장치인 '이스트(EAST)'가 20일 수행한 실험에서 1억도 이상의 플라즈마를 1066초 이상 유지하는 데 성공했다. 실험에 성공하자 연구진들이 기뻐하고 있다. [신화사=뉴스핌 특약] 조용성 특파원 = 2025.01.21 ys1744@newspim.com ys1744@newspim.com 2025-01-21 10:22