Crawling -1 (ft. Twitter developer)

음 그래서 암튼 오늘은 크롤링에 대해서 알아보겠다.

크롤링(Crawling)이란,
Web 상에 존재하는 contents(데이터)를 수집하고 추출하는 작업이다.

(잔재미코딩 참고)

쉽게 설명하면
바다에 쌍끌이 어선이라고 보면 된다.
배가 조를 이루어 바다에 물고기를 끌어오지 않는가.
크롤링은 웹사이트라는 바다에 크롤러라는 쌍끌이 어선이
데이터를 끌어오는것과 흡사하다.

출처: https://www.chosun.com/site/data/html_dir/2010/05/20/2010052002498.html

크롤링을 통해서 데이터 수집 뿐 만 아니라
데이터 검토, 검색, 분류도 가능하다.

 

크롤링을 하는 방법은 여러가지가 있겠지만,
대표적인 방법으로 API 를 활용하는 방법이다.
( 누군가 질문한다. API 는 뭔가요? )
API 는 Application Programming Interface 의 약자로,
애플리케이션 소프트웨어를 구축하고 통합하기 위한 정의 및 프로토콜 세트..

(https://www.redhat.com/ 참고)

블라블라블라... 됬고

출처 : https://wordpresser.co.kr/11362/

여러분이 유명한 횟집에 갔다고 가정해보자.
(오늘은 바다로 가겠다.)
홀직원이 가져다준 메뉴판을 보면서 싱싱한 회를 고르면
홀직원이 가게 사장님한에게 주문을 요청하게 된다.
그러면 사장님은 정성껏 횟감을 썰어서 가지런히 접시에 담는다.
그 접시를 홀직원이 손님에게 가져다주고, 가져다준 회를 맛있게 먹을 수 있게 된다.
여기서 홀직원의 역할은 손님에게 메뉴를 알려주고 사장님에게 메뉴를 요청한다.
이 후 완성된 횟접시를 손님에게 전달한다.
API 는 홀직원과 같은 역할을 한다.
API는 프로그램이 주문할 수 있게 명령 목록을 정리하고,
명령을 받으면 응용프로그램과 작용하여 요청된 명령에 대한 값을 전달한다.
이렇게 API 는 프로그램들이 서로 작용할 수 있도록 해주는 중간 메개체라 할 수 있다.

(https://engkimbs.tistory.com/626 참고)

 

아 이렇게 길게 설명 하려고 한게 아닌데..
지금 부터는 실제 내가 했던
트위터 API 를 이용해서
크롤링을 진행한 내용이다.
(다음 포스팅으로...)