웹 스크래핑

👩‍💻 웹 스크래핑이란?

웹 사이트의 데이터를 긁어 모으는 것을 뜻한다.

스크래핑 서버	-> request	(기존 회사의) 웹 서버	-> request	(기존 회사의) DB
	response <-		response <-

 

 

✔︎스크래핑의 활용

스크래핑은 쇼핑몰, 금융, 업무 자동화 등등에서 사용되며 백엔드 개발을 하며 웹 스크래핑을 통해 데이터를 가져와서 가공하여 사용하는 일은 빈번하게 일어난다.

파이썬을 사용하면 웹 스크래핑이 보다 간편하기 때문에 파이썬을 많이 이용한다.

당연하게도 스크래핑과 더불어 데이터를 저장하는 DB와 API설계 또한 어떤 형태로 개발해야 효율적일지 생각하는 것이 중요하다.

 

 

✔︎스크래핑 순서

1. 스크래핑으로 데이터 가져오기 (HTML 문서 받기)
2. 서비스를 위한 API개발 (문서를 parsing(파싱) 하기 & 필요한 데이터 추출)
3. 서버 부하를 줄이기 위한 캐시 서버구성

 

✔︎스크래핑시 주의사항

스크래핑시 아무 사이트나 막 데이터를 가져오면 안된다!!! 자칫하면 회사의 중요한 자산인 데이터중 사용하면 안되는 데이터가 있을 수 있고, 해당 웹 서버에 부하를 일으킬 수 있기 때문이다.

그럼 사용해도 되는 데이터인지는 어떻게 확인할까?

바로 robots.txt에 접속하여 /Disallow 처리가 되어 있는지 여부를 확인해보면 된다!

(ex - finance.yahoo.com/robots.txt 접속하여 가져와도 되는 데이터인지 확인)

 

/Disallow 밑에 있는 것들은 사용하면 안되는 것들이며

Allow 로 되어 있는 것들은 긁어와도 되는 것들이다.

 

물론, Allow 처리가 되어 있다고 해서 기존 서버에 무리가 갈만큼 데이터를 요청하면 안된다.

또한 다른 것들도 robots.txt에 정의된 규칙을 준수한다.

 

 

✔︎스크래핑 하기

1. HTML에서 원하는 데이터를 추출
   1. 사용하려는 데이터를 그려주는 웹 사이트 내에서 페이지 우클릭
   2. 검사하기
   3. element(요소) 선택
2. jsoup implement 해주기 (Spring boot 사용시)

implementation 'org.jsoup:jsoup:1.18.1'

 

  3. jsoup API 참고하여 코드짜기 (아래는 참고용 예시)

// 스크래핑 예시 (클래스 등은 따로 설정해야함)
		try {
        // 필요한 데이터 가져오기
			Connection connection = Jsoup.connect("https://finance.yahoo.com/quote/COKE/history/?frequency=1mo&period1=99153000&period2=1725793919");
			Document document = connection.get();


			// 파싱 & 데이터 추출
			Elements tbody = document.getElementsByTag("tbody");

			for(Element ele : tbody){
				Elements eles = ele.getElementsContainingOwnText("dividend").parents();
				System.out.println(eles);
			}


		} catch (IOException e) {
			throw new RuntimeException(e);
		}

 

 

✔︎ jsoup API 정리 참고하기

https://jsoup.org/apidocs/ 에서 jsoup API 정리되어 있는 것을 볼 수 있으므로 해당 사이트에서 클래스와 메소드 확인 후 개발할때 사용

 

-> 사이트 접속 후 class jsoup 클릭 -> connection 메소드 사용방법 등 확인 가능

(ex) connection.get(); connection.post() 등..

 

(cf) Document는 Element를 상속 받은 클래스이므로 Element의 메소드들을 다 사용가능하다***

 

 

 

스크래핑하는 방법은 같은 사이트여도 구조가 바뀌면 방법이 조금씩 달라질 수 밖에 없다.

따라서 스크래핑시 HTML구조에 집중하여 공부하기 보다는 데이터를 파악하고, 분석하는 경험을 해보는 것이 중요하다!