Crawler? Crawling?

<aside> ❓ crawler?

1. 기는 것
2. 파충류

—> 컴퓨터 언어로 번역하면, 웹사이트를 기어다니면서 데이터를 모아주는 도구

</aside>

<aside> ❓ web crawler? : 웹페이지의 데이터를 모아주는 소프트웨어

web crawling? :크롤러를 사용해 웹 페이지의 데이터를 추출해 내는 행위

</aside>

<aside> 💡 우리가 원하는 정보를 찾고 싶을 때 무한한 정보 속에서 찾을 때 우리는 크롤링을 사용한다.

</aside>

모듈

<aside> 💡 크롤링을 하기 위해선 몇가지 외부 모듈이 필요하다. 해서 우리는 다른사람이 만들어 놓은 모듈(기능)을 사용하기 위해 모듈을 설치해야 한다.

pip install 모듈명 (pip라는 도구가 해당 모듈명의 도구를 찾아 설치를 진행해주는 명령어)

</aside>

<aside> ❓

그럼 이 모듈을 사용하기 위해선 어떤 코드를 써야 할까?

우리가 마을 조립키트에 있는 자동차 조립기계로 자동차 조립을 하고 싶다고 가정하면,

1. 마을 조립 키트에서
2. 자동차 조립 기계를 꺼내
3. 재료들로 자동차를 조립한다

이를 코드로 바꾸면,

1. 모듈에서 (requests 모듈에서)
2. 모듈 안에 있는 함수를 꺼내 (get함수를 꺼내)
3. 필요한 파라미터들을 입력하여 해당 기능을 실행한다. (요청을 보내달라고 명령한다.)

</aside>