한 번만 더 해보자

[Python] 네이버 뉴스 크롤링 본문

언어/Python

[Python] 네이버 뉴스 크롤링

정 하임 2023. 2. 26. 15:48

 

 

뉴스 제목, 요약을 긁어와서 csv 파일 생성한다.

 

 

import requests
import csv
from bs4 import BeautifulSoup



url = "https://news.naver.com/"
res = requests.get(url)
res.raise_for_status()
soup = BeautifulSoup(res.text, "lxml")

news_list = soup.find_all("div", attrs={"class":"cjs_journal_wrap"}) # 필요한 요소의 class, id 등을 입력하면 됨

output_file_name = "news_summary.csv"

with open(output_file_name, 'w', newline='', encoding="utf-8-sig") as output_file:
    f = csv.writer(output_file)
    f.writerow(['no', '제목', '요약'])
    
    for i, news in enumerate(news_list):
        title = news.find("div", attrs={"class":"cjs_t"}).get_text()
        summary = news.find("p", attrs={"class":"cjs_d"}).get_text()
        f.writerow([i, title, summary])

 

 

결과

반응형

'언어 > Python' 카테고리의 다른 글

[Python] Expected indented blockPylance  (0) 2024.01.04
[Python] corrupt image/label: could not convert string to float: '\ufeff0’  (0) 2024.01.04
[Python] cv2 경로의 한글 깨짐  (0) 2023.09.22
[Python] cv2.error: OpenCV(4.7.0) error: (-2:Unspecified error) The function is not implemented. Rebuild the library with Windows, GTK+ 2.x or Cocoa support.  (0) 2023.02.28
[Python] youtube-dl: Unable to extract uploader id / KeyError: 'like_count'  (0) 2023.02.28
'언어/Python' Related Articles more