서울시, 생성형 AI로 행정 혁신··· ‘챗봇 2.0’ 5월 가동

- 자체 LLM·외부 AI ‘이원화’ 운영… 보안과 효율 동시에 확보

- RAG 기반 근거 중심 답변… 문서 작성·업무지원까지 AI 활용 확대

- 시민용 ‘서울톡’에도 생성형 AI 적용… 최신 정보 반영한 답변 제공

- AI 에이전트 도입 추진… 올해 말 시범 적용 목표

□ 서울시는 생성형 인공지능(AI)을 행정 전반에 적용한 ‘챗봇 2.0’을 오는 5월부터 본격 운영한다고 밝혔다. 공무원 업무 지원부터 시민 상담까지 하나의 AI 체계로 통합한 것이 핵심이다.

○ 단순한 시스템 도입을 넘어 공무원의 업무 수행 방식 자체를 AI 기반으로 전환하는 ‘서울형 AI 행정 모델’ 구축의 출발점이라는 점에서 의미가 있다.

< 직원용·시민용 통합한 ‘서울형 AI 행정 모델’ 구축 >

□ ‘챗봇 2.0’은 서울시 행정망 내부에 구축한 대규모 언어모델(LLM)을 기반으로 한 직원용 AI 행정 지원 서비스와 생성형 AI를 적용해 기능을 강화한 시민용 챗봇 ‘서울톡’으로 구성된다.

○ 서울시는 직원용 행정 지원과 시민용 서비스에 생성형 AI를 적용하여 행정과 서비스 전반의 혁신을 도모하는 ‘서울형 AI 행정 모델’을 구축했다.

○ 지난해 9월 사업 착수 이후 약 6개월간 개발과 시범운영을 거쳐 응답 정확도와 사용자 편의성을 중심으로 서비스 완성도를 높였으며, 처리 속도는 지속적으로 개선해 나갈 계획이다.

○ 전 직원 대상 AI 활용 교육과 단계적 시범운영을 통해 현장 적용성을 검증하고, 실제 업무 활용 과정에서 도출된 개선 사항을 반영했다.

○ 또한 기술 검증과 적용 과정을 거치며 행정 현장에 AI를 적용하기 위한 운영 경험과 데이터를 축적했다.

< 행정망 내부 LLM 2종 구축… 보안성과 실무 활용성 강화 >

□ 서울시는 보안이 요구되는 행정 환경을 고려해 행정망 내부에 자체 LLM을 구축했다.

○ 상용 및 오픈소스 기반 내부 AI 언어모델을 활용해 다양한 행정 업무에 활용할 수 있도록 했다.

□ 이를 기반으로 질의응답, 문서 생성·요약·분석 등 다양한 AI 행정 지원 기능을 제공한다.

○ 270종의 행정 업무매뉴얼을 기반으로 검색증강생성(RAG) 체계를 구축해 자연어 질의 시 근거 기반 답변과 출처를 함께 제공한다.

○ ‘My 챗봇’ 기능을 통해 부서·개인별 업무자료까지 연계한 맞춤형 검색이 가능하고 보도자료, 민원 답변 등 문서 작성을 지원하는 ‘AI 템플릿’ 기능도 제공한다.

□ 또한 LLM API를 통해 타 행정 시스템에서도 생성·요약·분석 기능을 활용할 수 있도록 연계 기반을 마련했다.

< 자체 LLM 외부 AI 병행… ‘이원화 운영체계’ 구축 >

□ 서울시는 보안성과 활용성을 동시에 확보하기 위해 자체 LLM과 외부 생성형 AI 서비스를 병행하는 ‘이원화 운영체계’를 구축했다.

○ 보안이 필요한 업무는 자체 LLM이, 정보 검색과 아이디어 도출 등 일반 업무는 외부 상용 생성형 AI 서비스인‘서울AI챗’이 담당하는 구조다.

○ 자체 LLM은 보안을 위해 외부 데이터 연계를 제한하고 내부 행정망에서 운영되며, 최신 정보 활용은 외부 AI 서비스가 담당하는 방식으로 이원화했다.

○ 이를 통해 내부 행정 데이터의 안전한 활용과 업무 효율성을 동시에 확보했다.

< 대시민 챗봇 ‘서울톡’, 생성형 AI로 최신 정보 제공 >

□ 시민용 챗봇 ‘서울톡’도 생성형 AI 적용을 통해 한층 고도화했다.

○ 기존 120 상담 중심의 민원 안내에서 벗어나, 최신 정보를 24시간 자동으로 제공하는 AI 기반 서비스로 발전했다. 특히 시나리오 기반 챗봇의 한계를 보완하기 위해 ‘AI에게 물어보기’ 기능을 도입해 서울시 누리집 정보와 외부 웹 검색을 연계한 최신 정보 제공이 가능해졌다.

○ 카카오톡 채널을 통해 이용 가능한 기존 서비스에 생성형 AI를 적용해 답변의 정확성과 최신성을 한층 강화했다.

○ 예를 들어 시민이 “이번 주말 광화문 행사”를 질문하면 공연·축제·행사 정보를 종합해 최신 일정 기준으로 안내한다.

< AI 에이전트로 행정업무 자동화… 연말 시범 적용 >

□ 서울시는 ‘챗봇 2.0’을 기반으로 올해 말 AI 에이전트를 시범 적용할 계획이다.

○ 서울시는 AI를 단순 질의응답을 넘어 실제 업무를 지원하는 단계로 확대하며, AI 에이전트 기반 활용을 추진하고 있다.

○ AI 에이전트는 내부 시스템과 연계해 필요한 정보를 조회하고, 문서 작성·자료 정리 등 반복 업무를 스스로 수행하는 방식으로 운영된다.

○ 예를 들어 직원이 자신에게 필요한 직무교육을 문의하면, AI가 인사정보와 교육과정을 연계해 맞춤형 교육을 추천하고 신청까지 지원한다.

○ 또한 다양한 행정 시스템에서 생성형 AI 기능을 활용할 수 있도록 LLM API 제공 및 공동 활용 체계를 강화해 나갈 방침이다.

□ 강옥현 서울시 디지털도시국장은 “챗봇 2.0은 공무원에게는 지능형 업무 파트너, 시민에게는 생활 밀착형 정보 안내 서비스가 될 것” 이라며 “앞으로도 지속적인 고도화를 통해 서울시 행정의 AI 전환을 가속화하겠다”고 말했다.