내 개인 업무 자동화를 위한 프로그램 제작(1) - 크롤링 프로그램
프로젝트의 시작: 2024년 7월, "반자동화"의 첫걸음
우리의 일상은 가끔 의미 없는 클릭과 숫자 입력으로 채워지곤 합니다. 제가 소속된 팀도 예외는 아니었죠. 특히 수많은 사건의 송달료를 일일이 조회하고 옮겨 적는 일은 숙명 같은 노가다였습니다. 그래서 결심했습니다. 2024년 7월, 파이썬으로 이 굴레를 끊어보기 위한 도전을 시작했습니다.
초기 버전은 완벽하지 않았습니다. 로그인 과정이나 특정 단계에서 사용자가 직접 개입해야 하는 '반자동화' 수준이었죠. 하지만 그 정도만으로도 업무 효율은 눈에 띄게 좋아지기 시작했습니다.
2024년 11월 27일: 캡차(CAPTCHA)라는 벽을 넘다
프로그램을 고도화하던 중 만난 가장 큰 벽은 캡차 코드였습니다. 보안을 위해 나타나는 이 랜덤한 숫자들이 완전 자동화의 발목을 잡았죠. 하지만 포기하지 않고 딥러닝 기반의 'CaptchaCracker' 라이브러리를 연구했습니다.
마침내 11월 27일, 캡차를 스스로 읽고 입력하는 엔진을 탑재하며 드디어 사람의 손길이 필요 없는 **'완전 자동화'**를 이뤄냈습니다. 모니터 너머로 로그인이 성공하는 순간의 전율은 아직도 잊을 수 없습니다.
2024년 12월: 송달료 조회 기능의 정점
로그인 관문을 넘고 나서 12월에는 실제 업무의 핵심인 '송달료 조회' 기능을 추가했습니다. 여러 사건 번호를 한 번에 리스트업하면, 자동으로 검색부터 결과 추출까지 일사천리로 진행되는 로직을 완성했습니다.
결과와 변화: "덕분에 퇴근이 빨라졌어요"
단순히 저 개인의 편의를 위해 시작한 프로그램이었지만, 완성 후 팀원들에게 배포했습니다. 반응은 폭발적이었죠.
"이거 돌려놓고 커피 한 잔 마시고 오면 다 되어 있네요!"라는 동료의 말 한마디가 제가 개발에 더욱 몰입하게 만든 원동력이 되었습니다. 이제 우리 팀은 단순 반복 작업에서 해방되어, 더 가치 있는 창의적인 업무에 집중할 수 있게 되었습니다.
보강: 운영에서 유효했던 규칙
- 예외가 발생하면 즉시 중단하고 로그를 남긴 뒤, 다음 건으로 넘어가도록 설계했습니다.
- 실패 케이스를 모아 재처리 배치를 따로 두니 운영 피로도가 줄었습니다.
보강: 다음 버전으로 넘어간 계기
반자동화만으로는 담당자의 개입 비용이 계속 남아 있었습니다. 그래서 이후 버전에서는 UI와 질의응답 흐름까지 자동화 범위를 넓혔습니다.