사내 AI 챗봇 도입 사례 - 올라핀테크의 챗봇 "올챙이" 구축기 🐸
2026.07.21
“작은 불편에서 출발해, 모두가 편해지는 순간까지. 올라핀테크 팀의 이야기를 공유합니다.”
“기안 상신 규정이 어디 있지?🤔”
“교육 지원 정책 최신 버전 뭐였더라?😥”
사내에서 반복되는 이런 질문들, 이제는 챗봇이 대신 찾아주면 어떨까요?
그렇게 올라핀테크의 사내 AI 챗봇 “올챙이”가 세상에 등장했습니다.
사내 AI 챗봇 “올챙이”가 필요했던 이유
신규 입사자들은 입사 후 일주일 간의 온보딩 과정에서 사내에서 공유되는 다양한 매뉴얼과 문서들을 공유받는데요. 온보딩을 마치고 실무에 투입되고 나면 가장 먼저 “문서는 어디 있고, 규정은 어디 있는지” 헤매는 시간을 겪습니다. 이 헤맴의 연속은 신입만의 문제가 아니었습니다. 성공적으로 온보딩을 마친 기존 구성원들도 같은 질문을 계속하고, 매번 자료를 찾아 시간을 낭비하고 있었죠.
올라핀테크는 대부분의 사내 정보를 노션(Notion)에 저장하지만, 팀별·본부별 관리 체계가 달라 자료가 중복되거나 흩어져 있었습니다. 결국 필요한 정보를 빨리 찾지 못하고, 협업 시 효율이 떨어지는 문제가 발생했죠.
이 문제를 해결하기 위해 탄생한 것이 바로 사내 챗봇 올챙이입니다.
올챙이는 흩어진 정보를 한 곳에서 검색하고, 맥락에 맞는 답변을 제공하는 것을 목표로 삼았어요.
그 결과, 신규 입사자의 온보딩 시간은 단축되고, 기존 구성원들은 반복된 질문과 업무에서 벗어나 본연의 업무에 더 집중할 수 있게 되었죠.
사내 AI 챗봇 “올챙이” 이름의 의미
“올챙이”는 아직은 작지만 무럭무럭 자라나는 존재입니다.
올라핀테크의 “올챙이들”이 더 멋지게 성장할 수 있도록 돕는, 작지만 든든한 동반자가 되길 바라는 마음에서 이 이름을 붙였습니다. ☺️
사내 AI 챗봇 올챙이 v1의 기능
올챙이 v1은 아직 단순한 버전이지만, 실제 업무 효율을 끌어올린 다양한 기능을 갖추고 있습니다.
데이터 소스
- 플로우(올라핀테크에서 사용 중인 협업툴) 공지사항
- 노션 문서
주요 기능
- 일반 질문 응답
기본 LLM을 활용해 간단한 지식이나 일반적인 질문에 답변합니다. - 사내 규정·공지·온보딩 자료 검색
분산되어 있던 정책과 규정을 쉽게 찾아줍니다. 특히 신입사원들이 가장 많이 찾는 자료들이죠. - CX팀 업무 매뉴얼 검색
고객 응대팀이 활용하는 상세 매뉴얼을 빠르게 검색할 수 있습니다. 답변 품질이 고객 경험에 직결되기 때문에 큰 도움이 되었습니다. - 가설검증 아카이빙 검색
그로스본부에서 진행한 실험과 검증 결과가 축적된 자료들을 불러옵니다. 새로운 아이디어를 낼 때 과거 실험을 재활용할 수 있죠. - 야근 시간 계산기
의외로 가장 사랑받은 기능입니다. 올라핀테크는 분 단위 출퇴근제도를 시행하는데, 초과 근무 시간을 일일이 분 단위로 계산해야 했습니다. 이제는 출퇴근 기록만 입력하면 챗봇이 자동 계산해주니, 기안 작성자·관리자·경영지원팀 모두가 편리해졌습니다.
특히 야근 계산기는 “왜 챗봇에 이런 기능이 있어?”라는 놀라움과 함께, 실제로는 가장 실용적이고 많이 쓰이는 기능으로 자리 잡았습니다. 작은 불편을 명확하게 해결했기 때문에 구성원들의 반응이 매우 긍정적이었죠.
사용 환경
올라핀테크에서는 이미 Slack을 사용 중이였기 때문에, Slack Bot을 통해 간편하게 연동 하여 사용하게 되었어요.
사용 방식
Slack 로그인 → [앱] → allchangyi_bot 접속 → 호출 명령어/ {질문} 형식 입력
호출 명령어
슬랙에서 [명령어/ + 질문] 입력만 하면 끝!
👇사내 AI 챗봇 올챙이 활용 예시👀
올챙이의 야근계산기 실제 화면
올챙이의 사내 정보 Q&A 실제 화면
좌충우돌, 사내 AI 챗봇 올챙이 v1 구축기
사내 AI 챗봇을 만드는 과정은 단순하지 않았습니다.
처음에는 아주 단순하게 “Slack → LLM → 답변 → 끝!” 구조로 실험을 시작했습니다. 하지만 이 방식은 문제투성이였죠. LLM이 자신감 있게 틀린 답을 내놓는 환각(Hallucination)이 자주 발생했고, 검색 품질도 만족스럽지 못했습니다.
그래서 우리는 구조를 확 바꾸었습니다.
- 질문이 들어오면 SQS를 통해 비동기 처리하여 안정성을 확보.
- 명령어 파싱 단계에서 질문의 성격을 분류.
→ 팀마다 니즈에 맞는 답변의 포맷이 달랐기 때문에 일반/위키/야근계산/CX/가설검증으로 분류. - Rewrite 단계에서 사용자의 질문을 검색 친화적인 형태로 재구성.
→ 사용자 질문의 종류와 형태가 너무 자유로웠기 때문. - Retriever 단계에서 벡터DB를 활용한 정확한 문서 검색.
- Answer 생성 및 검증 단계에서 신뢰성 있는 답변만 출력.
→ LLM 특유의 자신감(환각 현상) 때문.
이렇게 여러 단계를 거쳐 결국 답변의 품질과 신뢰성을 확보할 수 있었습니다.
특히 Rewrite 단계는 사용자들이 질문을 너무 자유롭게 하기 때문에 필요했어요.
예를 들면 “우리 휴가 규정 어떻게 돼?”와 같은 질문을 “연차 촉진제도 규정 문서”로 Rewrite 해주는 거죠.
이처럼 질문을 검색하기 좋은 형태로 바꿔주니 결과가 눈에 띄게 개선되었습니다.
또한 검증을 위한 로직을 추가했습니다. 프롬프트에 “근거가 충분하지 않으면 모른다고 말한다”는 규칙을 넣어, LLM 특유의 근거 없는 자신감을 줄였습니다.
👇살짝 공개해보는 사내 AI 챗봇 올챙이의 아키텍쳐👀
살짝 공개해보는 올챙이 아키텍쳐👀
- 벡터DB: Confluence → OpenSearch
- LLM Flow: 질문 → SQS → 명령어 파싱 (일반/위키/야근계산/CX/가설검증) → 질문 Rewrite → Retriever → 답변 생성 → 검증 → Slack
실패에서 얻은 교훈
올챙이를 구축하며 많은 시행착오를 겪었고, 그 과정에서 값진 교훈을 얻었습니다.
- 추정 금지
LLM은 모를 때도 아는 척을 합니다. 그래서 아예 “근거가 없으면 모른다”고 답하게 했습니다. 이 규칙 하나만으로도 신뢰도가 크게 올라갔습니다. - 원본 포맷 관리
처음에는 노션 문서를 그대로 넣었지만 검색 성능이 좋지 않았습니다. Confluence로 문서를 재정리해 구조화했더니 답변 품질이 확 달라졌습니다. - 메타데이터 활용
본문만 넣는 것보다 문서 제목, 폴더명까지 같이 저장하니 검색 성능이 대폭 향상되었습니다. 작은 디테일이 품질을 결정했습니다. - 프롬프트 엔지니어링
LLM은 모호한 지시에는 약합니다. 명확하고 구조적인 프롬프트를 주었을 때 비로소 기대한 답변을 얻을 수 있었죠. - Graph 설계
Rewrite–Retriever–Rerank 체인을 어떻게 엮느냐에 따라 답변 품질이 달라졌습니다. 결국 설계가 곧 성능이라는 사실을 체감했습니다. - 문서 청킹 전략
모든 문서를 같은 방식으로 나눌 수는 없었습니다. 절차서는 의미 단위로, 가이드라인은 HTML 헤더 단위로 쪼개야 최적의 성능이 나왔습니다.
앞으로의 계획
올챙이는 이제 막 알에서 깨어난 아기 사내 AI 챗봇입니다.
앞으로는 텍스트 문서 뿐 아니라 엑셀, 구글 시트, 내부 DB까지 연동하여, 올라핀테크 팀 모두가 모든 정보를 검색·추론·연산할 수 있는 완성형 사내 챗봇으로 성장할 예정입니다.
올라핀테크의 작은 올챙이가 언젠가 개구리로 자라나는 여정을, 앞으로도 지켜봐 주세요! 🐸
“올라핀테크 팀은 앞으로도 문제를 해결한 과정을 꾸준히 기록하고 나누겠습니다!”
write. 모델링팀 현윤진, 최은재