selenuim 과 requests 비교

selenuim 과 requests 의 비교 분석

selenium

 

selenium 이란?

selenium은 주로 웹테스트를 하는데 이용하는 프레임 워크로 알려져 있다. 
Webdriver모듈을 이용하여 운영체제에 설치된 크롬및 파이어폭스 등의 브라우저를 제어한다.

장점

requests 와 다르게 사용자가 동작하는 것처럼 시나리오를 통해 동작이 가능하며, 
비동기적으로 불러오는 DOM 및 마우스클릭 및 Over 로 생기는 HTML , 비동기 통신으로 가자오고 javascript에 의해
동적으로 생성되는 DOM 을 랜더링 하여 모두 보여주며 접근이 가능하다.
이에 강력한 웹매크로를 만들어 낼수 있다.

 

단점

requests에 비해 시간이 오래걸리는 단점이 있으며, 멀티로 생성시 브라우저간의 세션공유가 되지 않는다.

 

requests

복잡한 HTTP 요청과 쿠키 헤더를 잘 저리하며 그외에도 많은 기능이 존재한다.

장점 

endpoint 만 알고 있으면 빠르게 요청하고 스크레핑이 가능 하다. (JSON 형식)

단점

requsets 웹데이터에 접근후 BeautifulSoup 와 함게 사용하여야 한다.
BeautifulSoup은 HTML parsing 도구로 DOM parsing은 가능 하나 앞서 이야기한 selenium 과같이 javascript 컨트롤이 불가능 하다.
이는 javascript에 의해 동적으로 생성되는 DOM에는 접근이 불가능 하다.