[머신러닝] 머신러닝 위한 데이터 처리 방법 정리 | 스크래핑, 크롤링

스크래핑 (Scraping)

웹 사이트에서 특정 정보를 추출하는 기술

HTML로 이루어진 정보를 가공해서,

필요한 정보만을 가져온다.

로그인 해야만 열람할 수 있는 정보도 가져올 수 있다.

 

크롤링 (Crawling)

여러 웹사이트를 돌아다니며, 정기적으로 스크래핑을 하는 기술

 

1. 데이터 추출

2. 데이터 가공

3. 데이터 저장

• 파일 (csv, json, xml, yaml ... )
• 데이터베이스 (mysql ... )