지난 게시글1.1 웹 스크래핑 - 방법 알아보기1.2 웹 스크래핑 - urlopen과 beautifulsoup4 사용 방법 (1)1.3 웹 스크래핑 - urlopen과 beautifulsoup4 사용 방법 (2)1.4 웹 스크래핑 - requests 라이브러리도 사용해보기(1)2.1 웹 스크래핑 - 원하는 자료 찾기 (1)2.2 웹 스크래핑 - 원하는 자료 찾기 (2)  종목 코드 가져오기지난 게시글에서 제작한 `i['href']`와 `i['onclick']` 안에 종목코드가 포함되어 있는데, 이 중 `i['href']` 뒤에 있는 숫자들이 바로 그 종목의 종목 코드에 해당한다. 여기서의 `i['href']`는 자료형이 문자열(string)이기 때문에 우리는 인덱싱을 통해 해당 종목의 종목 코드를 가져올..

지난 게시글 1.1 웹 스크래핑 - 방법 알아보기 1.2 웹 스크래핑 - urlopen과 beautifulsoup4 사용 방법 (1) 1.3 웹 스크래핑 - urlopen과 beautifulsoup4 사용 방법 (2) 1.4 웹 스크래핑 - requests 라이브러리도 사용해보기(1) 2.1 웹 스크래핑 - 원하는 자료 찾기 (1) 특정 데이터열에서 원하는 값 가져오기 지난 게시글에서는 test_2 변수 내에 td > a을 통해 a 태그 안에 있는 정보만을 저장하도록 하였고, for문을 통해 데이터 하나하나에 접근하는 방법까지 알아보았다. 하지만 궁극적으로 우리에게 필요한 건 그 안에 있는 데이터들에 어떻게 접근할 수 있는가이다. 데이터에 접근을 해야만 데이터를 사용할 수 있는 것 아닌가? 그 방법은 의..

지난 게시글 1.1 웹 스크래핑 - 방법 알아보기 1.2 웹 스크래핑 - urlopen과 beautifulsoup4 사용 방법 (1) 1.3 웹 스크래핑 - urlopen과 beautifulsoup4 사용 방법 (2) 1.4 웹 스크래핑 - requests 라이브러리도 사용해보기(1) 원하는 태그 찾기 네이버 증권에서 찾고자 하는 데이터의 위치가 이라는 것을 확인했고, 그 안에 있는 데이터를 불러오기까지 성공했다. 그렇다면 이제 그 안에서 원하는 데이터들을 얻어와야 하는데, 이것 역시 우리가 앞서 box_type_l이라는 값을 찾았던 것처럼 동일한 방식으로 진행해서 데이터를 감싸고 있는 태그를 찾아내면 된다. 아래의 결과값을 확인해보자. 1 1 세기상사 16,050 상한 먼저 >> 세기상사 바른손 지에스..

지난 게시글 1.1 웹 스크래핑 - 방법 알아보기 1.2 웹 스크래핑 - urlopen과 beautifulsoup4 사용 방법 (1) 1.3 웹 스크래핑 - urlopen과 beautifulsoup4 사용 방법 (2) requests 라이브러리 사용해보기 지난 게시글에서는 urlopen을 사용해 특정 주소의 html 값을 가져왔다. 다만 이 기능은 requests를 통해서도 동일하게 진행할 수 있다. urlopen과 달라보이지만 다를 것도 없는 것이 url을 따로 입력해주어도 되고, urlopen을 사용할때와 마찬가지로 get() 안에 링크를 직접 입력해주어도 된다. from bs4 import BeautifulSoup as bs import requests url = 'https://finance.na..

지난 게시글 1.1 웹 스크래핑 - 방법 알아보기 1.2 웹 스크래핑 - urlopen과 beautifulsoup4 사용 방법 (1) 원하는 tag 찾기 : F12(개발자 모드) 특정 홈페이지에서 본인이 찾고자 하는 자료의 위치를 확인해보도록 하자. 본인의 경우에는 [네이버 증권] - [국내 증시] - [Top 종목] 내에 있는 자료를 스크래핑할 예정이다. 본인이 사용하고자 하는 자료의 위치를 찾았다면 이제 본인이 찾고자 하는 자료가 html 상에서 어떤 태그로 감싸져 있는지 확인해야 하는데, 이는 F12(개발자 모드)에서 어렵지 않게 사용할 수 있다. ※ 크롬과 인터넷 익스플로러 모두 F12(개발자 모드)가 동작하지만, 가시성은 크롬이 훨씬 좋다. F12를 누르면 오른쪽에 웬 영어만 한가득한 창이 뜰 ..

지난 게시글 2021.12.20 - [PYTHON/Web Scraping] - 1.1 웹 스크래핑 - 방법 알아보기 pip install 여느 라이브러리와 같이, urlopen과 beautifulsoup4도 설치를 해주어야 사용할 수 있다. 물론 명령 프롬프트(prompt)를 통해 설치해도 되긴 하지만, 파이참 등과 같은 프로그램을 사용하는 경우라면 각 프로그램에서 제공하는 터미널(Terminal) 내에서 pip install을 통해 라이브러리를 설치해주자. ※ beautifulsoup4는 pip install bs4라고 입력해야 설치된다. pip install urlopen bs4 from A imprt B as C 설치되었다면 이제 import를 해서 라이브러리를 사용해보자. from urllib.r..