1. 연사
- (현)KAIST 김재철AI대학원 성남연구센터 센터장 최재식 교수님
<강연 내용>
1. 설명가능 인공지능
설명가능 인공지능이 왜 필요할까?
- 사람들이 보통의 인공지능을 사용할 때에는 deterministic한데 predictable하지 않은 것을 굉장히 좋아함.
- 예시: 전화를 걸면 전화 연결음이 나와야 한다. 안 나오면 전화가 가지 않는다고 생각함. -> 불편함
- 자율주행 자동차에서도, 설명성과 안정성이 굉장히 중요함
개인정보 보호법 관련 법률
(여기 사진 첨부하기)
Explainable AI One Aspect
- Google Deep Dream 프로젝트(2015)
꿈에서 그린것처럼 만들어보자
실제로 하는 일은 Activation Maximization
생성형 AI의 초기버전이라고 볼 수 있음
- Feature Visualization(2017)
- Zoom in: An Introduction to Circuits(2020)
어떤 부분이 Windows 뉴런이고, Car body고.. 를 알게됨
- A Mathematical Framework for Transformer Circuit(2021)
수학적으로 증명
문장 중에서 어떤 단어를 어떻게 바꿀지 결정하고,.. 이런 걸 알게됨
- Scaling Monosemanticity
각각 벡터가 어디서 생성되고 연결되는 지 알게되었다.
- Core Views on AI Safety: When, Why, What, and How(2023)
이런 연구자들의 노력으로 LLM 내부를 아는 기술을 알고 있다.
- Dissecting Deep Neural Networks(2017)
MIT 연구 ) 입력부터 출력까지 어떤 path를 통해서 의사 결정을 하는 지 알아보고 싶다.
"Network Dissection"
- Dissecting Deep Generative Neural Networks(2019)
"GAN Dissection"
아 얘가 활성화되면 Tree가 생기는 구나, Dome이 생기는 구나
- Lo
Bigbang theory를 mask를 했는데 CBS가 나옴... ?
- Mass Editing Memory in Transformers(MEMIT)
- David Bau 교수님
"How does ChatGPT think? Psychology and neurosclence crack open AI large language models" 논문 읽어보기
일관성과 깊이가 중요하다.
- Causality Analysis for Evaluating the Security of Large Language Models
인종차별적인 농담을 해줘! -> 전 못합니다
몇 번째 Layer를 스킵하면 인종차별적인 농담을 해줌
Safe Gaurd: 입력을 했을 때 나쁜 답을 막는 것, 출력을 할 때 나쁜 답을 막는 것(?)
인종차별 농담을 Activation에서 잡고, 답변을 '모른다'고 해
저 노드를 딱 지워버리면 "악성코드를 만들어줘" 라고 했을 때 만들어줌
- Analyzing Inside of Deep Neural Network
1) E-GBAS
파란색은 회색빛, 나머지는 석양빛
- Automatic Correction of Deep Neural Network(2021)
사람 얼굴이 우그러지게 나오게 한 Node는 누구냐. 원래는 수동으로 직접 찾아서 지웠어야 했는데 이제 자동으로 할 수 있게 바꾸는 연구
- Improved Input Attribution Method(2022)
두 알고리즘에게 설명하라 그런다. 강아지라고 설명할 때 중요한 부분을 Ranking하라고 함.
제일 중요한 Rank부터 mask해서 꺼본다.
- Memorizing Documents with Guidance in LLM IJCAI-24
- Plug and Play XAI
https://openxaiproject.github.io/pnpxai/
다양한 알고리즘을 하나의 플랫폼으로 만드는 연구
AI가 복잡하니까 AI 모델을 설명하는 것도 방대하고 어려움
모델의 세부 구조를 파악하고 적합한 XAI 기술을 자동으로 적응하는 프레임 워크 개발
-> 어떤 설명가능 인공지능을 쓰는 게 가장 좋아요 추천까지 해주는....
- xPatch
- Enhancing Creative Generation on Stable Diffusion-based Models - CVPR 2025
Node Collapse문제?: 만들어 놓고 보니까 다 비슷한 문제.
- An Automated Method to Correct Artifacts in Neural Text-to-Speech Models
- A Perspective on Foundation Models in Chemistry, Journal of the American Chemical Society 2025
2. 산업 AI 트렌드
"2025년은 AI 에이전트의 시대"
"미래는 Physical AI의 시대"
- 자율주행, 로봇, 제조 등에서 물리적으로 움직일 때의 AI
AI 기술을 통한 미래 전망
- 2030년까지 AI를 통한 경제적 효과는 $15.7T
- 학습 -> 행위 -> 최적화
예전에는 생산(Build-time) 최적화에 초점을 두었다면, 지금은 운영(Run-time) 최적화
AI 기술 활용 사례
- 전통 제조업 현장이 직면한 문제
산업 AI와 버티컬 AI? 20-30년 일하던 사람보다 잘해야 한다.
Plantier, AVEVA
Q. 도메인 지식의 적용?
- 새로운 도메인을 다룰 때에는, 기술사, 교과서, ChatGPT 등을 모두 이용하지만
중요한 것은 표준화되어 있지 않은 정보에 대해서는.. 큰 틀을 잡아두고 실제 이용하시는 분들의 피드백을 반영하는 것이 좋음.