WWDC2024 애플키노트 애플 인텔리전스 AI

애플 인텔리전스
사용자의 제품 사용 경험에 기반해 일을 돕는 강력한 기능, 직관적이고 쉬운 사용, 사용자의 일상과 인간관계, 소통을 기반으로 만들어 졌다. 이를 종합해 사용자의 상황에 맥락에 맞게 작동해야 한다. 이러한 명제를 중심으로 AI를 작동시키기 위해 개인정보 보호 기능 또한 함께 개발 되고 있다. 

1. 언어를 이해하고 이미지를 생성하며, 기능을 위해 사용자가 하던 동작을 대신 실행한다. 이 기능의  가장 중요한 점은 개인적인 맥락을 이해해야 한다는 것. 예를 들어 알림의 우선 순위를 파악해 중요한 일을 놓치지 않게 도와줄 수 있다. 메일의 내용을 파악하고 요약하고 전후 상황을 파악해 답변할 수도 있다. 

2. 새로운 글쓰기 도구
시스템 전반과 써드파티 앱에 글쓰기 지원하며, 작성한 글의 재작성과 교정을 지원한다. 내용을 요약하며 여러번의 재작성이 가능하기 때문에 사용자는 여러번의 재작성으로 글을 선택하고 다듬을 수 있다. 블로그와 SNS게시글, 프로젝트 구성원과 공유할 때도 유용하게 활용할 수 있는 기능.

이미지 생성 기능의 추가로 내용과 글의 목적에 맞게 사진 보관함의 인물 사진으로  이미지를 생성할 수 있다. 생일 축하와 이벤트 시작과 종료, 입학고 졸업을 축하할 때 그 인물의 사진으로 이미지를 생성할 수 있다. 현재는 여러 써드파티 앱이 유료 기능으로 제공하는 기능이지만 기본 기능으로 지원되니 쓸모가 많을듯 하다. 제스케치와 일러스트레이션, 애니메이션, 세가지 스타일로 그림을 만들 수 있다. 
노트와 Freeform, 키노트, 페이지스에서도 사용 가능

3. 액션
특정인이 공유한 파일을 찾거나, 가족이나 친구와 찍은 사진 검색, 공유된 팟캐스트 재생 등의 일들을 해주며 이러한 액션은 개인적 맥락과 깊은 관계가 있고, 곧 개인정보보호와 연결 된다. 일상적으로 사용하는 캘린더와 연락처, 메일과 사진, 지도 등의 데이터를 이용하기 때문이다. 

4.  동작 처리과정의 기본 원리와 개인정보 보호에 대하여
개인적인 맥락에 의한 액션을 위해 누군가의 AI클라우드에 세세한 개인 정보가 올라가는 것을 막기 위한 방법으로 온디바이스 프로세싱을 기반으로 가동한다. 작동을 위해 A17프로와 M시리즈 칩이 온디바이스 처리를 위해 필요하며, 실시간 활동에 맞춰 적용할 수 있게된다. 

여기에는 대규모 언어모델, 확산 모델,  앱의 수집 정보 문맥을 기기에서 분석하는 색인화하는 온디바이스 시멘틱 인덱스를 포함한다. 사용자가 명령하면 이 시멘틱 인덱스에서 개인데이터를 식별해 생성형 모델에게 제공하며 개인적 맥락을 확보하게 해준다. 이 전 과정이 기기에서 이뤄지게 하는 것이 요점이다. 거대한 모델이 필요한 경우 서버의 도움을 받게 되는데 일반적인 서버는 개인정보를 저장하고 원치 않는 방식으로 이용할 수도 있다. 서버 소프트웨어는 소유자만 접근 가능하다는 점에서 개인정보를 오용하지 않는다는 업체의 주장을 검증할 방법이없다. 또  처리원칙 변경 여부도 알 방법이 없다. 아이폰은 저장 위치나 접근 권한, 개인정보 관련 결정권을 사용자만이 가질 수 있다. 이를 위해 비공개 클라우드 컴퓨팅이 개발 되었다.
비공개 클라우드 컴퓨트는 애플 인텔리젼스가 필요할 때 대규모 서버 기반 모델도 활용하고 더 복잡한 요청을 처리할 수 있지만 개인정보도 안전하게 보호한다. 데이터는 암호화 되어 아이폰과 아이패드 맥이 서버와 통신하지 않도록 한다. 또한 데이터는 저장되지 않으며, 독립적인 전문가 집단이 서버에서 실행되는 코드를 검사해 개인정보 원칙이 지켜지는지 검증할 수 있다.

AI는 아이폰과 아이패드 MacOS Sequoia 세콰이어에 어떻게 적용될까
시리는 하루에 15억 건의 요청을 받으며 현재에 이르렀다. 애플 인텔리전스에 접목된 시리는 이제 잘못 발음하거나, 말하는 중 뜸을 들여도 이해하며 자연어와 맥락을 이해할 수 있다. 전후 사정을 이해해서 이전 요청과 관련한 일정을 추가할 수 있게 된 것. 텍스트로 시리에게 요청할 수 있고, 기기에 대한 사용법도 단계별로 알려준다. 내년 까지 계속 신기능들이 추가 될 예정.

화면에 나타난 콘텐츠를 이해하고 동작 수행하는 기능을 통해 메시지 앱에서 대화 중인 사람을 바로 연락처에 추가를 할 수 있다. 

써드파티앱의 특정 기능을 적용해 촬영해달라고 요청할 수 있다. 앱 개발사는 API를 통해 이 기능을 활성화 할 수 있다. 시리의 사진 보정이 가능하며 앱 전반에 걸쳐 시리의 기능이 확대 되었다. 

앱 인텐스는 새롭게 선보일 프레임워크로 개별적인 앱이 자체적으로 시리와 단축어, 시스템 경험 동작을 정의할 수 있게 해준다. 이를 통해 특정 앱에서 어떤 기능의 동영상을 촬영해 달라고 요청할 수 있다. 친구와의 메시지 중 약속한 것을 잊고 있었다면 시리가 기억하고 알려줄 수도 있다.  API가 지원. 

시스템 전반에 걸친 글쓰기 지원
메일을 보낼 때 여러 버전의 재작성 글을 만들어 보고 선택할 수 있다. 글의 형식과 어조를 바꾸고 재작성도 가능하다. 글의 교정도 지원되며 편집 결과와 각 설명을 확인하며 적용할 수도 있다. 

요약본의 추가도 제공하며 모든 써드파티 앱에 적용할 수 있다. 메일에서는 행사 참석 여부를 답장하기 위해 질문을 식별하고, 답변 선택 사항을 제공한다. 선택한 답변이 작성 중인 내용에 반영되며 답장 쓰기를 도와준다. 
편지함의 정렬은 요약본이 목록 표시되도록 할 수 있고, 긴 메일의 요약본은 상단에 출력해 준다.
알림에서는 최우선 알림을 몰아서 확인할 수 있다. 

개성의 표현
키노트나 freeform으로 협업하며 아이디어을 정할 때 활용할 수 있게 해준다. 이미지를 생성에 써드파티 앱에도 추가할 수 있다. 
새롭게 추가된 Genmoji로 키보드에서 온디바이스 방식으로 생성된다. 사진의 얼굴 인식으로 탭백에 바로 사용할 수 있다. 

이미지 플레이그라운드
단 몇초 만에 이미지를 생성할 수 있는 기능으로 모험과 생일, 판타지, 공상과학, 사랑, 파티, 테마와 의상, 장소 등의 카테고리가 지원된다. 텍스트 입력으로  원하는 그림을 만들 수 있다. 메시지 대화 중 상대나 자신을 생성 중인 이미지에 추가 할 수 있다. 플레이 그라운드 기능은 키노트와 페이지스, 프리폼에도 적용되며 온디바이스 처리. API 제공

메모의 새로운 기능 image wand 마술봉 
대충 그린 스케치를 그림으로 만들어 주는 기능. 이미지에서 정의를 추출해 그림을 만들고, 주변 텍스트를 토대로 빈 공간에 새로운 그림을 생성할 수 있다. 

사진 보관함
배경 지우기 기능은 사진에서 불필요한 피사체를 식별하고 배경에서 자연스럽게 제거해 더 보기 좋은 이미지를 만들어 준다.
자연어로 사진과 동영상을 검색
추억의 동영상 만들기 기능은 설명만으로 단어를 연관 짓고, 사진과 동영상을 선별해 이야기를 만들고, 기승전결에 맞춰 동영상을 완성한다. 여기에 애플 뮤직에서 음악도 골라준다. 

메모
음성 녹음과 전사 기능 제공하며 요약본을 생성해 요점 정리도 도와준다.

전화
통화중 녹음을 시작하면 양쪽 모두 녹음 사실을 알수 있도록 고지한다. 전사와 요약본도 전화의 기능에 추가된다. 

iOS18, iPadOS18, MacOS Sequoia에서 무료로 지원하며 OpenAI의 ChatGPT4o로 구동된다. 질문에는 사진과 문서, 프레젠테이션, PDF에 담긴 내용이 적용되고, 글쓰기 기능에 AI가 관여한다. ChatGPT를 사용하기 위해 가입할 필요 없으며 무료로 제공된다. 유료 구독자의 경우 애플아이디에 연결해 유료 기능을 사용할 수도 있다. 이 기능은 올해 하반기에 제공될 예정이며 다른 AI모델에 대한 지원도 계획 중이다.