본문 바로가기

크롬 개발자 도구와 웹페이지 urlopen 본문

BF 2024/웹 데이터 수집

크롬 개발자 도구와 웹페이지 urlopen

jaegomhoji 2022. 2. 28. 21:28

** 네이버 금융에서 환전 고시 환율정보 가져오기 

** 불러올 페이지 요소 확인하기 -> 미국 usd 

 

** 우측 옵션에서 막대기 클릭 > 도구 더보기 > 개발자 도구 선택 

** safari 등에서도 개발자 옵션에서 페이지 소스 보기 / 개발자 모드 선택하면 동일함 

 

** 검사할 페이지 요소 선택 버튼을 누르고 , 확인하고자 하는 소스가 있는 곳에 마우스를 오버레이 하면

** 우측에서 해당 소스코드의 태그와 속성 텍스트를 확인해볼 수 있음 

 

** 우선 url을 open 하려면 , url request 를 보내야 한다

 

from urllib.request import urlopen 

from bs4 import BeautifulSoup 

필요한 모듈 호출 

 

이후 url을 가져와서 변수=urlopen()

변수를 호출하면 http 반응을 확인할 수 있다 ( 정상 호출 ). 현재 html 코드가 변수에 담겨져 있다.

 

** 이후 html 정보가 담겨있는 변수를 BeautifulSoup의 html.parser로 가져와준다. 

 

** 우측은 좌측의 print(html_info) -> print(html_info.prettify()) 를 적용하여 들여쓰기를 시행해본 것 

 

** 좌측은 tag = <span> class="value" 이지만 인자를 정해주지 않은 상태, 우측은 인자를 지정 , class_= "value" , 여기서는 동일 

 

** find_all 이후 len으로 길이 확인해 주자 

 

 

** 리스트의 오프셋 인덱스로 단일 정보 접근, 반복문으로 전체 정보 접근 

 

 

'BF 2024 > 웹 데이터 수집' 카테고리의 다른 글

웹 주소와 utf-8 인코딩  (0) 2022.03.01
request & response, http 상태 코드  (0) 2022.02.28
html 태그  (0) 2022.02.28
visual studio code  (0) 2022.02.28
Beautiful Soup와 기본 사용법  (0) 2022.02.24
Comments