예전부터 보안뉴스 크롤러를 만들면 어떨까 생각했었는데 이번 참에 만들어보기로 했다. 이번 글에서는 단순히 실행하면 최신 뉴스 5개에 대한 제목, 일시, 내용을 띄워주는 스크립트를 만들 것이다. 1. 사이트 분석 크롤러 제작에 앞서 보안뉴스 사이트의 robots.txt를 확인했다. 다행히 /secu_admin/을 제외한 모든 페이지는 크롤링이 가능하다. 시큐리티 카테고리의 주소는 https://www.boannews.com/media/list.asp?mkind=1이다. 기사 제목과 내용을 긁어오려면 첫 번째 기사의 주소를 알아야 한다. 확인을 해본 결과 첫 번째 기사의 주소는https://www.boannews.com/media/view.asp?idx=89847&page=1&mkind=1&kind=이다. ..