지난 게시글 1.1 웹 스크래핑 - 방법 알아보기 1.2 웹 스크래핑 - urlopen과 beautifulsoup4 사용 방법 (1) 1.3 웹 스크래핑 - urlopen과 beautifulsoup4 사용 방법 (2) 1.4 웹 스크래핑 - requests 라이브러리도 사용해보기(1) 2.1 웹 스크래핑 - 원하는 자료 찾기 (1) 2.2 웹 스크래핑 - 원하는 자료 찾기 (2) 2.3 웹 스크래핑 - 원하는 자료 찾기 (3) 결과물 확인하기 지난 게시글에서 제작했던 코드가 만들어낸 결과물을 보면, 아래의 화면에서 찾아볼 수 있는 8개의 종목 외에도 더 많은 종목들이 출력되는 모습을 확인할 수 있다. 그 이유는 단순하다. 상한가 탭에 있는 8개의 종목에서 끝나지 않고 그 옆에 있는 하한가 탭, 상승 탭,..

지난 게시글1.1 웹 스크래핑 - 방법 알아보기1.2 웹 스크래핑 - urlopen과 beautifulsoup4 사용 방법 (1)1.3 웹 스크래핑 - urlopen과 beautifulsoup4 사용 방법 (2)1.4 웹 스크래핑 - requests 라이브러리도 사용해보기(1)2.1 웹 스크래핑 - 원하는 자료 찾기 (1)2.2 웹 스크래핑 - 원하는 자료 찾기 (2)  종목 코드 가져오기지난 게시글에서 제작한 `i['href']`와 `i['onclick']` 안에 종목코드가 포함되어 있는데, 이 중 `i['href']` 뒤에 있는 숫자들이 바로 그 종목의 종목 코드에 해당한다. 여기서의 `i['href']`는 자료형이 문자열(string)이기 때문에 우리는 인덱싱을 통해 해당 종목의 종목 코드를 가져올..

지난 게시글 1.1 웹 스크래핑 - 방법 알아보기 1.2 웹 스크래핑 - urlopen과 beautifulsoup4 사용 방법 (1) 1.3 웹 스크래핑 - urlopen과 beautifulsoup4 사용 방법 (2) 1.4 웹 스크래핑 - requests 라이브러리도 사용해보기(1) 2.1 웹 스크래핑 - 원하는 자료 찾기 (1) 특정 데이터열에서 원하는 값 가져오기 지난 게시글에서는 test_2 변수 내에 td > a을 통해 a 태그 안에 있는 정보만을 저장하도록 하였고, for문을 통해 데이터 하나하나에 접근하는 방법까지 알아보았다. 하지만 궁극적으로 우리에게 필요한 건 그 안에 있는 데이터들에 어떻게 접근할 수 있는가이다. 데이터에 접근을 해야만 데이터를 사용할 수 있는 것 아닌가? 그 방법은 의..

지난 게시글 1.1 웹 스크래핑 - 방법 알아보기 1.2 웹 스크래핑 - urlopen과 beautifulsoup4 사용 방법 (1) 1.3 웹 스크래핑 - urlopen과 beautifulsoup4 사용 방법 (2) 1.4 웹 스크래핑 - requests 라이브러리도 사용해보기(1) 원하는 태그 찾기 네이버 증권에서 찾고자 하는 데이터의 위치가 이라는 것을 확인했고, 그 안에 있는 데이터를 불러오기까지 성공했다. 그렇다면 이제 그 안에서 원하는 데이터들을 얻어와야 하는데, 이것 역시 우리가 앞서 box_type_l이라는 값을 찾았던 것처럼 동일한 방식으로 진행해서 데이터를 감싸고 있는 태그를 찾아내면 된다. 아래의 결과값을 확인해보자. 1 1 세기상사 16,050 상한 먼저 >> 세기상사 바른손 지에스..

지난 게시글 1.1 웹 스크래핑 - 방법 알아보기 1.2 웹 스크래핑 - urlopen과 beautifulsoup4 사용 방법 (1) 1.3 웹 스크래핑 - urlopen과 beautifulsoup4 사용 방법 (2) requests 라이브러리 사용해보기 지난 게시글에서는 urlopen을 사용해 특정 주소의 html 값을 가져왔다. 다만 이 기능은 requests를 통해서도 동일하게 진행할 수 있다. urlopen과 달라보이지만 다를 것도 없는 것이 url을 따로 입력해주어도 되고, urlopen을 사용할때와 마찬가지로 get() 안에 링크를 직접 입력해주어도 된다. from bs4 import BeautifulSoup as bs import requests url = 'https://finance.na..

지난 게시글 1.1 웹 스크래핑 - 방법 알아보기 1.2 웹 스크래핑 - urlopen과 beautifulsoup4 사용 방법 (1) 원하는 tag 찾기 : F12(개발자 모드) 특정 홈페이지에서 본인이 찾고자 하는 자료의 위치를 확인해보도록 하자. 본인의 경우에는 [네이버 증권] - [국내 증시] - [Top 종목] 내에 있는 자료를 스크래핑할 예정이다. 본인이 사용하고자 하는 자료의 위치를 찾았다면 이제 본인이 찾고자 하는 자료가 html 상에서 어떤 태그로 감싸져 있는지 확인해야 하는데, 이는 F12(개발자 모드)에서 어렵지 않게 사용할 수 있다. ※ 크롬과 인터넷 익스플로러 모두 F12(개발자 모드)가 동작하지만, 가시성은 크롬이 훨씬 좋다. F12를 누르면 오른쪽에 웬 영어만 한가득한 창이 뜰 ..

지난 게시글 2021.12.20 - [PYTHON/Web Scraping] - 1.1 웹 스크래핑 - 방법 알아보기 pip install 여느 라이브러리와 같이, urlopen과 beautifulsoup4도 설치를 해주어야 사용할 수 있다. 물론 명령 프롬프트(prompt)를 통해 설치해도 되긴 하지만, 파이참 등과 같은 프로그램을 사용하는 경우라면 각 프로그램에서 제공하는 터미널(Terminal) 내에서 pip install을 통해 라이브러리를 설치해주자. ※ beautifulsoup4는 pip install bs4라고 입력해야 설치된다. pip install urlopen bs4 from A imprt B as C 설치되었다면 이제 import를 해서 라이브러리를 사용해보자. from urllib.r..

웹 스크래핑은 기본적으로 html 형태로 입력되어 있는 홈페이지 정보를 각 태그 안에 있는 정보들을 가져오는 것이다. html이니 태그니 하는 용어들이 등장하는데, 크게 어려울 것 없다. html은 또는 , 라던가 하는 것들이 모여서 홈페이지를 구성하는 것이고, 여기서의 나 , 가 바로 html의 태그에 해당한다. 따라서 특정 홈페이지 주소의 html 구조를 불러온 후에, 그 값 안에서 각각의 태그 안에 저장되어 있는 값들만 추출하는 것을 웹 스크래핑이라고 보면 된다. 여기서 html 구조 전체를 불러오는 작업은 urlopen 라이브러리(또는 request 라이브러리)를 통해, html 내의 태그를 불러오는 작업은 beautifulsoup4 라이브러리를 통해 진행할 예정이다.

웹 크롤러는 기본적으로 특정 사이트에 있는 여러 내용들 중 원하는 내용을 불러오는 기능이며, 불러온 자료를 바탕으로 자료화하여 별도로 저장을 할 수도 있다. 지난 글에서 PyQt5의 Qt Designer와 파이썬을 연결하는 방법에 대해 알아보았다. 이번 글에서는 Qt Designer 내에서 만들어둔 버튼과 그에 따른 동작에 대한 코드에 대해 알아보고자 한다. 일단 지난 번에 만든 ui 파일에는 버튼 2개가 포함되어 있고, 각 버튼의 객체명은 pushButton_1과 pushButton_2였다. 이 객체명을 알아두어야 한다는 내용을 서술했었는데, 그 이유는 바로 이번 글에서 알 수 있다. 버튼 동작 코드 연결하기 import sys from PyQt5.QtWidgets import * from PyQt5 ..

Qt Designer 사용 방법 지난 글에서 Anaconda Prompt를 이용하여 Pyqt를 설치했고, 파이썬이 설치된 경로에서 Designer 프로그램의 바로가기 아이콘을 바탕화면에 만들었다. 이제 그 바로가기 파일을 실행해보자. 실행하면 아래와 같은 화면이 등장하는데, 기본적인 기능을 알아보기 위함이니 Templates Forms는 맨 아래에 있는 Widget을 클릭한 후 생성해주도록 하자. 이제, 왼쪽에 있는 메뉴 중에서 Push Button이라 적혀 있는 버튼을 드래그해서 방금 새롭게 만들어 둔 창에 올려 놓으면 버튼이 하나가 생긴다. 이 버튼을 두 개 만들어주도록 하자. 버튼을 만든 후에 Qt Designer 화면의 오른쪽을 보면, 아래의 사진과 같이 [객체 탐색기]라는 화면 아래에 [객체] ..

지난 글에서 Anaconda까지 설치를 완료했다. 이번에는 사용하고자 하는 프로그램을 가장 편리하고 빠르게 구현해낼 수 있는 프로그램인 Qt Designer를 설치해보도록 하자. Anaconda Prompt 실행 pip3 install pyqt5 입력 ※ 설치가 제대로 진행되지 않는다면, 아래의 세 문구를 모두 사용해보면 된다. ① pip3 install pyqt5 ② pip install pyqt5 ③ conda install pyqt5 파이썬이 설치된 폴더 경로에서, Library - bin 폴더 내에 있는 designer.exe 오른쪽 클릭을 해서 보내기 - 바탕화면에 바로가기 만들기 를 눌러 바탕화면에 바로가기를 만들어주자.