스크래핑

* 이 포스팅은 이전 포스팅과 이어집니다. 이전에는 프로그램의 코드내에, 원하는 정보를 입력하여야만 했는데 이보다 더 좋은 방법이 있습니다. 바로 명령줄에서 정보를 입력받는 방법입니다. "sys.argv" 명령줄에서 정보를 입력 받아올 수 있습니다. #!/usr/bin/env python # 라이브러리 불러오기 import sys import urllib.request as req import urllib.parse as parse # 명령줄 매개변수 추출 if len(sys.argv)

스크래핑 (Scraping) 웹 사이트에서 특정 정보를 추출하는 기술 HTML로 이루어진 정보를 가공해서, 필요한 정보만을 가져온다. 로그인 해야만 열람할 수 있는 정보도 가져올 수 있다. 크롤링 (Crawling) 여러 웹사이트를 돌아다니며, 정기적으로 스크래핑을 하는 기술 1. 데이터 추출 2. 데이터 가공 3. 데이터 저장 파일 (csv, json, xml, yaml ... ) 데이터베이스 (mysql ... )