본문 바로가기
Crawling

request 라이브러리로 Server에서 데이터 요청하기 / response 오류의 종류 / 딕셔너리 형태의 User-Agent /

by leehii 2022. 7. 1.

import requests as rq

변수명 = rq.get("URL주소") -->> response[200]떠야 정상

변수명.text -> 해당 자료 문자형으로 가져오기

 

(ex)

res=rq.get(url)

res.text

 

 

----------------------------------------------------------------

response 오류 

response 200이 떠야 정상진행

400-> 요청오류 / 500 ->서버오류

 

-----------------------------------------------------------------------

 

request 라이브러리로 불러왔는데 400대 오류가 뜰 경우 

해당 서버에서 코드로 접근하는 것을 막아둔것임

이럴때 사용하는 것이 User-Agent 

개발자도구 > network > document 형태 들어가기 > User-Agent 값 복사하기

해당 값은 딕셔너리 형태 (key : User-Agent , value : 주소)

따라서 딕셔너리 형태로 변수에 담아준다

 

변수명 = { key : value}

 

(ex)

 h= { 'User-Agent' : '주소값'}

 

이후 res = rq.get(url, headers=h)

라고 headers에 해당 변수를 담아주면 정상적으로

res.text로 값을 가져오는게 가능해짐!

 

이렇게 가져온 res.text 값을 컴퓨터언어로 바꿔줘야 함

( parshing 파싱 작업)

 

 

 

 

 

---------------------------------------------------------------------------