5. 다양한 데이터 읽기 - XML/JSON 파일¶

5.1. 다양한 데이터 읽기 - XML 파일¶

• XML(Extensible Markup Language)
  • 특정 목적에 따라 데이터를 태그로 감싸서 마크업하는 범용적인 포멧
  • 마크업 언어는 태그 등을 이용하여 데이터의 구조를 기술하는 언어의 한 가지
  • 가장 친숙한 마크업 언어가 HTML
  • XML은 HTML과 마찬가지로 데이터를 계층 구조로 표현
  • XML 기본 구조

    <태그 속성="속성값">내용
    

- 태그와 속성은 특정 목적에 따라 임의로 이름을 정해서 사용

- 다른 요소와 그룹으로 묶을 수도 있음

• XML 포멧 데이터 읽고, 파싱하기
  • XML 포멧 데이터는 BeautifulSoup으로 HTML과 동일하게 읽고, 파싱할 수 있음
  • 이외에 XML 을 다루기 위해 ElementTree 라이브러리를 활용할 수도 있음
    • https://wikidocs.net/42
      
      
  • html.parser 파서 이외에 XML 파싱을 위해 lxml 파서를 사용할 수도 있음
    • 파서별 차이점: https://www.crummy.com/software/BeautifulSoup/bs4/doc/#differences-between-parsers
  • 예) 기상청 날씨 정보 XML 포멧 데이터 읽고, 파싱하기
  • RSS 정보 링크를 확인해서 직접 크롤링: http://www.kma.go.kr/weather/lifenindustry/sevice_rss.jsp
  • 서울, 경기도 날씨 정보: http://www.kma.go.kr/weather/forecast/mid-term-rss3.jsp?stnId=109

다음과 같이 출력 : 도시별 가장 시간대가 빠른 때의 기상예측
---------
서울: 구름조금
인천: 구름조금
---------

다음 셀에 다음 코드를 넣고 다음 마지막 문장을 입력하여 코드를 완성하시오
from bs4 import BeautifulSoup
import requests
import datetime
import json

info_url = 'http://www.kma.go.kr/weather/forecast/mid-term-rss3.jsp?stnId=109'
response = requests.get(info_url)
soup = BeautifulSoup(response.content, 'lxml')

locations = soup.find_all('location')
for location in locations:
    [----------------------------------------------------------------------]

5.2. 다양한 데이터 읽기 - JSON 파일¶

day1_data_science_crawling.ipynb 파일의 3.2. Open API(Rest API)를 활용한 초간단 크롤링 실습 예제 코드 참고

• JavaScript Object Notation 줄임말
• 웹환경에서 서버와 클라이언트 사이에 데이터를 주고 받을때 많이 사용
  • Rest API가 주요한 예제

• JSON 포멧 예
  { "id":"01", "language": "Java", "edition": "third", "author": "Herbert Schildt" }
  
  

• 참고 (https://books.google.co.kr/books?id=euSiAwAAQBAJ&pg=PT1755&lpg=PT1755&dq=json+%EC%9E%A5%EC%A0%90&source=bl&ots=VjTIoOjbTK&sig=3t7MXA7g2CvEi8SyD0-GQVywzw0&hl=ko&sa=X&ved=0ahUKEwiwo8OvxJfWAhXDsJQKHYaBDpI4ChDoAQhVMAg#v=onepage&q=json%20%EC%9E%A5%EC%A0%90&f=false)

  출처: http://dpug.tistory.com/67#.WbycWshJaUk [퍼그의 전초기지]