먼저 API 웹 사이트를 엽니다

웹 사이트에서 API 를 열면 JSON 데이터를 직접 얻을 수 있습니다. 한 사이트가 API 를 개방했는지 여부를 판단하는 세 가지 방법이 있다.

1. 역에서 API 포털을 찾았습니다.

검색 엔진을 사용하여 "웹 사이트 API" 를 검색합니다.

3. 가방을 잡아요. 일부 웹 사이트에서는 Ajax 를 사용하지만 XHR 에서 가방을 잡는 방식으로 JSON 데이터를 얻을 수 있습니다 (가방을 잡거나 브라우저를 통해 F 12: F 12-Network-F5 를 눌러 새로 고칠 수 있음).

둘째, API 웹 사이트를 열지 않습니다

1. 웹 사이트가 정적 페이지인 경우 요청 라이브러리를 사용하여 요청을 보낸 다음 HTML 구문 분석 라이브러리 (lxml, parsel 등) 를 사용할 수 있습니다. ) 를 사용하여 텍스트를 구문 분석합니다. 응답, 구문 분석 라이브러리는 Parsel 을 강력히 권장합니다. 구문은 CSS 선택기와 비슷할 뿐만 아니라 매우 빠르기 때문에 Scrapy 에서 사용됩니다.

2. 웹 사이트가 동적 페이지인 경우 먼저 selenium 을 사용하여 JS 를 렌더링한 다음 HTML 구문 분석 라이브러리를 사용하여 구동 page_source 를 확인할 수 있습니다.