[기타] Headless browser

• Headless browser 
  • GUI가 없는 웹 브라우저
    • DOM 생성, (선택) Style rendering 후 종료 (Screen Painting 안함)
    • CLI로 동작한다
  • HTTP Client 보다 느리고 UI 기반 Browser 보다 빠르다
    • HTTP Client는 JS 실행하지 않아 데이터가 적은 대신 빠르다.
    • HTTP Client와 달리 마우스, 키보드 액션을 할 수 있어 동적 HTML 크롤링이 가능하다.
    • Rendering, Painting을 스킵해 GUI보다 빠르다.
  • 스크래핑을 막기위해 Headless Browser 를 감지해 차단함
    • detect Request frequency
    • updated blacklist of IPs
    • CAPTCHAs
    • detect User Agent