03 실습 - 데이터 수집 - 네이버 뉴스, 블로그 수집

{"nbformat":4,"nbformat_minor":0,"metadata":{"colab":{"name":"03 실습 -  데이터 수집 - 네이버 뉴스, 블로그 수집","provenance":[],"collapsed_sections":[]},"kernelspec":{"name":"python3","display_name":"Python 3"}},"cells":[{"cell_type":"markdown","metadata":{"id":"oHn7poEYoQPk"},"source":["# 데이터 수집 - 네이버뉴스, 네이버블로그"]},{"cell_type":"markdown","metadata":{"id":"-uhoaT-OoFKV"},"source":["#1 네이버 뉴스 수집"]},{"cell_type":"code","metadata":{"id":"Ag7nsunbLi92","executionInfo":{"status":"ok","timestamp":1637483122074,"user_tz":-540,"elapsed":411,"user":{"displayName":"이민호","photoUrl":"https://lh3.googleusercontent.com/a-/AOh14GiFPPatrtQJJCEfMd6D3DoTVRog9gVm7Ovj5Lex=s64","userId":"15829449822908558555"}}},"source":["import requests\n","from bs4 import BeautifulSoup\n","\n","def get_naver_news(url) :\n","  h = {'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'}\n","\n","  res = requests.get(url, headers = h)\n","  bs = BeautifulSoup(res.content, 'html.parser')\n","\n","  date = bs.select('span.t11')[0].text\n","  title = bs.select('h3#articleTitle')[0].text\n","  media = bs.select('div.press_logo a img')[0]['title']\n","  content = bs.select('div#articleBodyContents')[0].get_text().replace('\\n','').replace('\\t','')\n","  content = content.replace('// flash 오류를 우회하기 위한 함수 추가function _flash_removeCallback() {}' ,'')\n","  return (date, title, media, content)\n","\n"],"execution_count":27,"outputs":[]},{"cell_type":"code","metadata":{"id":"gXGcHyy9zsFm","colab":{"base_uri":"https://localhost:8080/"},"executionInfo":{"status":"ok","timestamp":1637483137436,"user_tz":-540,"elapsed":1072,"user":{"displayName":"이민호","photoUrl":"https://lh3.googleusercontent.com/a-/AOh14GiFPPatrtQJJCEfMd6D3DoTVRog9gVm7Ovj5Lex=s64","userId":"15829449822908558555"}},"outputId":"3e3edf20-1d85-4391-a334-f945760f499f"},"source":["url = \"https://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=105&oid=030&aid=0002700985\"\n","\n","get_naver_news(url)"],"execution_count":28,"outputs":[{"output_type":"execute_result","data":{"text/plain":["('2018.04.20. 오후 11:47',\n"," '수원시 공유 자전거, 상반기 4050대 추가',\n"," '전자신문',\n"," \"수원시가 지난해 도입한 '스테이션 없는 무인대여자전거' 숫자가 대폭 늘어난다.'모바이크'는 상반기 안에 4050대를 추가한다. 5월 중 1400대, 6월 중 2650대를 배치할 계획이다. 모바이크는 수원시에서 무인대여자전거 950대를 운영하는 공유자전거 업체다.새롭게 배치되는 자전거는 '뉴라이트 모델'로 기존 자전거보다 성능이 개선됐다. 자전거 무게를 6㎏(22㎏→16㎏) 줄였고, 잠금장치 배터리 방전을 방지하기 위한 태양광 패널을 부착했다. 여성·아동도 쉽게 탈 수 있도록 안장 높이 조절 범위를 늘렸다.수원시에 도입되는 모바이크 공유자전거.회원 가입할 때 내야 했던 보증금(5000원)은 23일부터 없앤다. 국내 모든 신용카드로 이용료를 결제할 수 있도록 결제 시스템을 개선한다.수원시는 5월부터 무인대여 자전거 주차구역 관리(자전거 정리정돈·거치대 청소·방치자전거 처리 등)를 민간기관에 위탁해 시민 불편을 최소화한다. 자전거 이용경로를 알려주는 빅데이터를 활용해 자전거 주차장을 확보하고, 자전거도로 정비 우선순위를 정할 예정이다.무인대여자전거 시스템은 자전거 거치대, 무인 정보안내시스템 등이 필요 없다. 스마트폰을 활용해 GPS가 장착된 자전거를 수원시 곳곳에 있는 자전거 주차공간에서 간편하게 대여하고 반납할 수 있다. 수원시에서는 공유자전거 업체인 모바이크와 오바이크가 무인대여 자전거를 운영한다.무인대여 자전거를 이용하려면 먼저 스마트폰 플레이스토어(안드로이드폰), 앱스토어(아이폰)에서 오바이크나 모바이크를 검색해 애플리케이션(앱)을 내려받아야 한다.무인자전거 앱을 활성화하면 주변 자전거 위치를 알려주는 지도가 나온다. 자전거가 있는 장소를 찾아가 앱 하단 '잠금 해제'를 누른 후 스마트폰으로 자전거 핸들 사이에 부착된 QR코드를 스캔하면 잠금이 해제된다.자전거를 타고 목적지까지 이동한 후 목적지 주변에 있는 '공공자전거 주차공간'(노면에 표시)이나 자전거 거치대에 세운 후 뒷바퀴 윗부분에 있는 잠금장치를 채워놓으면 된다. 이용료는 모바이크가 30분에 300원이다.김철우 수원시 도로교통관리사업소장은 “전국 최초로 운영되는 스테이션 없는 무인대여 자전거 시스템이 안착할 수 있도록 지원할 것”이라며 “자전거 이용이 더욱 활성화되도록 노력하겠다”고 밝혔다.김정희기자 jhakim@etnews.com▶ 전자신문 바로가기 [Copyright ⓒ 전자신문 & 전자신문인터넷, 무단전재 및 재배포 금지]\")"]},"metadata":{},"execution_count":28}]},{"cell_type":"markdown","metadata":{"id":"C8DSdmicArDP"},"source":["#2 네이버 블로그 수집"]},{"cell_type":"code","metadata":{"id":"J9fQbvi7ArDP","executionInfo":{"status":"ok","timestamp":1637483706670,"user_tz":-540,"elapsed":341,"user":{"displayName":"이민호","photoUrl":"https://lh3.googleusercontent.com/a-/AOh14GiFPPatrtQJJCEfMd6D3DoTVRog9gVm7Ovj5Lex=s64","userId":"15829449822908558555"}}},"source":["import requests\n","from bs4 import BeautifulSoup\n","\n","def get_naver_blog(url) : \n","  h = {'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'}\n","\n","  res = requests.get(url, headers = h)\n","  bs = BeautifulSoup(res.content, 'html.parser')\n","\n","  new_url = 'https://blog.naver.com/' + bs.select('iframe')[0]['src']\n","  res = requests.get(new_url, headers = h)\n","  bs = BeautifulSoup(res.content, 'html.parser')\n","\n","  date = bs.select('span.se_publishDate')[0].text\n","  title = bs.select('div.se-title-text p span')[0].text\n","  content = bs.select('div.se-main-container')[0].get_text().replace('\\n','')\n","\n","  return (date, title, content)\n"],"execution_count":42,"outputs":[]},{"cell_type":"code","metadata":{"id":"C1c1yXNRArDS","colab":{"base_uri":"https://localhost:8080/"},"executionInfo":{"status":"ok","timestamp":1637483717667,"user_tz":-540,"elapsed":2782,"user":{"displayName":"이민호","photoUrl":"https://lh3.googleusercontent.com/a-/AOh14GiFPPatrtQJJCEfMd6D3DoTVRog9gVm7Ovj5Lex=s64","userId":"15829449822908558555"}},"outputId":"8c8dcb9e-8e47-4fb1-baf2-b7971bba9f45"},"source":["url = \"https://blog.naver.com/biomath2k/221755824489\"\n","\n","get_naver_blog(url)"],"execution_count":43,"outputs":[{"output_type":"execute_result","data":{"text/plain":["('2019. 12. 31. 23:50',\n"," '[IT] 삼성 청년 SW 아카데미 (SSAFY)',\n"," '삼성 청년 SW 아카데미는 삼성전자가 주관하고 고용노동부가 후원하는, 청년들의 취업 성공을 돕는 프로그램입니다.   삼성전자가 2019년 11월18일 서울 멀티캠퍼스 교육센터를 포함해 대전, 광주, 구미 등 4개 교육센터에서 삼성 청년 소프트웨어 아카데미 SSAFY(Samsung Software Academy For Youth) 1기 수료식을 열었다.\\u200b‘삼성 청년 소프트웨어 아카데미’는 청소년 교육을 테마로 한 삼성전자  사회공헌 프로그램 중 하나로, 소프트웨어 경쟁력 강화를 통해 국내 IT 생태계 저변을 확대하고 청년 취업 경쟁력을 높이기 위해 미취업 청년들을 대상으로 실시하는 소프트웨어 교육 프로그램이다.\\u200bSSAFY 제현웅 상무는 “오늘 수료하는 학생들은 모두 1년간 매일 8시간씩의 강도 높은 교육을 성실히 이수했으며 열정과 끈기를 겸비했다”라며 “삼성 청년 소프트웨어 아카데미 출신 인력들이 그동안 쌓은 역량을 발휘하며 여러 기업에서 활약하기를 기대한다”라고 말했다.\\u200b삼성전자는 2018년 12월 고용노동부와 ‘삼성 청년 소프트웨어 아카데미 운영지원을 위한 업무협약(MOU)’을 체결해 교육생 선발을 위한 설명회 실시, 교육과정 홍보, 양질의 소프트웨어 교육 등 전반적인 운영부터 취업활동 지원까지 다방면으로 긴밀하게 협력하고 있다.\\u200b1년간 1∙2학기 과정으로 나눠, 1학기는 기본기를 다지는 코딩 기본 교육, 2학기는 실무 중심의 프로젝트 수행 교육으로 진행되며 교육생 전원은 매달 100만원의 지원비를 받는다.\\u200b1학기 기본과정은 5개월 동안 알고리즘과 코딩의 소프트웨어 기본기를 다지는 과정으로, 개인 역량에 따라 분반해 파이썬, 자바 등 프로그래밍 언어와 알고리즘, 프레임워크, 데이터베이스를 중점 학습한다.\\u200b2학기 심화과정은 인공지능(AI), 사물인터넷(IoT) 등 4차 산업혁명 기술을 활용한 프로젝트를 통해 소프트웨어 실전역량을 기르는 과정으로 5개월 동안 진행된다. \\u200b1학기와 달리 교재나 별도의 이론 강의 없이 100%프로젝트 기반으로 진행되며 자기주도형 학습을 통해 스스로 문제 해결 역량을 기를 수 있다. \\u200b기업 현장에서 소프트웨어 개발자들이 실제로 사용하는 개발툴과 시스템도 적극 활용해 실전 적용에 용이하다.\\u200b또한, 1학기가 끝난 후 선발된 우수교육생 25명은 폴란드, 우크라이나, 인도, 중국, 베트남 등 총 5개국의 삼성전자 해외연구소를 방문해 3주 동안 현지에서 다양한 소프트웨어 과제를 수행했다.\\u200b\\u200b입학생 500명, 200여명은 조기 취업삼성 청년 소프트웨어 아카데미는 2018년 12월 서울, 대전, 광주, 구미 등 전국 4개 지역에서 1기로 선발된 500명을 대상으로 교육을 시작해 200여명이 IT기업, 금융회사 등에 조기 취업하는 소기의 성과를 거두었다.\\u200b 상반기에는 삼성 신입공채 26명을 포함해 KT, 네이버, IBK 기업은행 등 다양한 기업에 채용됐다. \\u200b하반기에는 신한은행, LIG넥스원 등 20여개 기업에서 채용 전형시 우대하는 사례들도 나오고 있다.\\u200b이외에도, 취업지원센터를 운영해 개인별 수준과 적성에 맞는 진로 상담, 취업 특강, 채용정보 제공 등의 서비스를 상시 제공하고 있다.\\u200b삼성 청년 소프트웨어 아카데미는 3주간 잡페어를 운영해 교육생들이 취업역량을 스스로 분석하고 취약점을 보완할 수 있는 취업상담, 면접스터디 등 다양한 프로그램을 진행한다.\\u200b SSAFY는 만 29세 이하 미취업자 중 4년제 대학을 졸업했거나 졸업을 앞둔 예정자가 지원할 수 있다. 교육은 매년 1월부터 시작한다.[출처: 블로터]\\u200b 삼성 청년 SW 아카데미삼성 청년 SW 아카데미| SW 교육, 취업 지원, 코딩 교육www.ssafy.com \\u200b ')"]},"metadata":{},"execution_count":43}]},{"cell_type":"code","metadata":{"id":"Jqy_UYHqmrsO"},"source":[""],"execution_count":null,"outputs":[]}]}