Technical Support Specialist

로컬에서 실행하는 소형 모델이 검증되지 않거나 위험한 변경을 권하지 않으면서, 엔지니어가 메시징 시스템 로그를 이해하도록 도울 수 있는지 연구합니다. 이를 위한 학습과 평가 방법을 테스트하고 있습니다.

엔터프라이즈 메시징 브로커에서는 스레드 풀 고갈, 브로커 스토어 한계, 영속성 인덱스 손상, 계단식 타임아웃처럼 장애가 연쇄적으로 발생할 수 있습니다. 소형 언어 모델은 근본 원인을 분리하지 못한 채 그럴듯한 설정을 만들어내거나 위험한 관리 명령을 제안할 수 있습니다.

이 연구는 2단계 지식 아키텍처를 탐색합니다. 안정적인 미들웨어 원리와 구조화된 진단 트리는 시퀀스 증류로 모델 가중치에 학습시키고, 변할 수 있는 환경 설정과 활성 로그는 격리된 로컬 검색 계층에서 처리합니다. 엄격한 원문 인용 검증기와 파괴적 작업을 차단하는 안전 게이트도 함께 적용합니다.

실제 장애 범주(브로커 데드락, 컨슈머 기아 상태, 영속성 저장소 고갈, 메모리 누수)를 다루는 독립적인 엔지니어 골드 벤치마크로 후보 모델을 평가합니다. 각 응답이 1차 병목을 정확히 분리하고, 모든 주장에 근거를 제시하며, 검증되지 않은 위험한 조치를 거부하는지 판정합니다.

데이터 생성부터 검증·미세 조정·양자화·별도 평가까지 이어지는 파이프라인을 구성했습니다. 학생 모델이 요구 수준의 도메인 성능을 확보했는지는 아직 평가 중입니다.

임의의 레거시 환경과 아직 보지 못한 복잡한 네트워크 토폴로지로 일반화하는 일은 여전히 과제입니다. 합성 및 선별 평가 세트만으로는 다양한 운영 장애에서 나오는 노이즈와 모호한 로그를 모두 재현하기 어렵습니다. 모델의 확신과 실제 정확성 사이의 차이를 줄이는 연구도 계속하고 있습니다.