본문 바로가기

Data Project/Mini Project1

(5)
네이버 금융 웹페이지 스크래핑 0302테마스크래핑-내용 https://finance.naver.com/sise/theme.naver 테마별 시세 : 네이버 증권 관심종목의 실시간 주가를 가장 빠르게 확인하는 곳 finance.naver.com 지난번 네이버 금융 테마별 시세 페이지 목록 스크래핑에 이어 각 테마별 종목(내용)을 스크래핑 해보자. 3-2. 테마별 시세 페이지 스크래핑-내용 1. 필요 라이브러리 로드 2. 테마 목록 수집 파일 불러오기 3. 함수 만들기를 위한 샘플 수집(수집할 페이지 URL 설정, requests 요청, table 정보 확인 + 간단한 전처리) 4. 하나의 함수로 만들기 (+ 경로 오류 해결) 5. 만든 함수와 반복문으로 각 테마별 종목 테이블 파일로 저장하기 1) 필요 라이브러리 로드 # 라이브러리 로드 import time ..
네이버 금융 웹페이지 스크래핑 0301테마스크래핑-목록 네이버 금융 테마별 시세 페이지 목록 스크래핑을 해보자! 앞선 업종별 시세와 다르게, 테마별 시세는 테이블이 여러 페이지로 구분되어 있다. 따라서 함수와 반복문을 활용하여 여러 페이지 수집이 가능하게 구현해야 한다. 업종별 시세 페이지 스크래핑과 마찬가지로, 테마별 시세 페이지 스크래핑도 1) 목록 수집 2) 각 업종의 내용 수집, 두 단계로 진행한다. 이번 포스팅에서는 목록 수집만! 3-1. 테마별 시세 페이지 스크래핑-목록 1. 필요 라이브러리 로드 2. 수집할 페이지 URL 설정 3. requests 요청 4. table 정보 확인 + 간단한 전처리 5. BeautifulSoup으로 html parsing 6. 테마별(목록) 링크 태그 찾기 + 목록별 링크 번호만 가져오기 7. 2)~6) 과정 함수..
네이버 금융 웹페이지 스크래핑 0202업종스크래핑-내용 https://finance.naver.com/sise/sise_group.naver?type=upjong 지난번 네이버 금융 업종별 시세 페이지 목록 스크래핑에 이어 각 업종별 종목(내용)을 스크래핑 해보자. 2-2. 업종별 시세 페이지 스크래핑-내용 각 업종별 종목(내용) 스크래핑을 위한 파이썬 코드는 다음과 같은 순서로 짜보자. 1. 필요 라이브러리 로드 2. 업종 목록 수집 파일 불러오기 3. 함수 만들기를 위한 샘플 수집(수집할 페이지 URL 설정, requests 요청, table 정보 확인 + 간단한 전처리) 4. 하나의 함수로 만들기 5. 만든 함수와 반복문으로 각 업종별 종목 테이블 파일로 저장하기 1) 필요 라이브러리 로드 import time import pandas as pd imp..
네이버 금융 웹페이지 스크래핑 0201업종스크래핑-목록 업종별 시세 페이지 스크래핑은 1) 목록 수집 2) 각 업종의 내용 수집, 두 단계로 진행한다. 이번 포스팅에서는 목록 수집만! 2-1. 업종별 시세 페이지 스크래핑-목록 우선 업종별 시세 페이지 스크래핑을 위한 파이썬 코드를 짜보자. 순서는 다음과 같다. 1. 필요 라이브러리 로드 2. 수집할 페이지 URL 설정 3. requests 요청 4. table 정보 확인 + 간단한 전처리 5. BeautifulSoup으로 html parsing 6. 업종별(목록) 링크 태그 찾기 + 목록별 링크 번호만 가져오기 7. 업종 목록 데이터프레임 완성 + 파일 저장하기. 1) 필요 라이브러리 로드 import time import pandas as pd import numpy as np import requests..
네이버 금융 웹페이지 스크래핑 01시작하기 멋쟁이 사자 Mini Project1-1 Web Scrapping(목록&내용 수집) 시작해볼까... 먼저 스크래핑할 대상 페이지를 살펴보자. (아, 그 전에 먼저 나는 주식, 증권 등등에 대해 무지랭이임을 밝힌다.) 1. 스크래핑 데이터 대상 페이지 | 네이버 증권 업종 및 테마 https://finance.naver.com/sise/sise_group.naver?type=upjong 테마별 시세 : 네이버 증권 관심종목의 실시간 주가를 가장 빠르게 확인하는 곳 finance.naver.com 네이버 증권의 국내증시 탭에서는 다양한 그룹별 시세 정보를 제공한다. (왼쪽 bar) 우리는 그 중에서도 업종과 테마별 시세 정보를 살펴보고자 한다. 업종별 시세 정보는 말 그대로 종목들을 업종에 따라 구분해두었다..