movie_comment_scraper/MOVIE_COMMENT_SCRAPING.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# `TEANAPS` NEWS ARTICLE SCRAPPER\n",
    "- 본 자료는 텍스트 마이닝을 활용한 연구 및 강의를 위한 목적으로 제작되었습니다.\n",
    "- 본 자료를 강의 목적으로 활용하고자 하시는 경우 꼭 아래 메일주소로 연락주세요.\n",
    "- 본 자료에 대한 허가되지 않은 배포를 금지합니다.\n",
    "- 강의, 저작권, 출판, 특허, 공동저자에 관련해서는 문의 바랍니다.\n",
    "- **Contact : ADMIN(admin@teanaps.com)**\n",
    "\n",
    "---"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "> **\\*\\*\\* 주의사항 \\*\\*\\***  \n",
    "본 자료에서 설명하는 웹크롤링하는 방법은 해당 기법에 대한 이해를 돕고자하는 교육과 이를 활용한 연구 목적으로 사용되었으며, 대량의 무단 크롤링 및 상업적 활용을 금합니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 1. 영화리뷰 텍스트 및 작성일자, 평점 수집하기\n",
    "\n",
    "---"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "scrolled": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "2021.06.23 21:31\t6\t한시간 반짜리 제네시스 광고 + 조우진 연기 하드캐리\n",
      "2021.06.23 14:53\t10\t조우진 하드캐리 + 음악 되게 잘쓴듯\n",
      "2021.06.23 14:49\t10\t조우진은 연기 미쳤다.. 재밌음 심장 털리는줄 ㅋㅋ\n",
      "2021.06.23 14:58\t8\t음… 스토리보다는 조우진의 연기가 더 독보이는 영화였다.. 연기는 진짜 최고인듯… 스토리는 살짝 뻔하고 가족애로 약간씩 울컥하게 하는 정도…..\n",
      "2021.06.24 06:43\t9\t이야기(서사)가 좀 더 있었으면 싶지만, 조우진ㆍ지창욱 연기는 진짜 압도적! 볼만한 오락영화!!!!\n",
      "2021.06.23 14:25\t10\t약간의 아쉬움이 있긴 하지만 여러모로 쫄깃하고 긴장감 있게 봤구요. 뜻밖에 부산시내 누비는 차액션 부분이 가장 좋았어요 ㅎㅎㅎ\n",
      "2021.06.24 00:07\t9\t스포일러가 포함된 감상평입니다. 감상평 보기\n",
      "2021.06.23 23:56\t9\t재미있게 봤습니다. 조우진 배우의 재발견이랄까? 사실 영화를 자주 보는 편이 아니라 조우진 배우가 어떤 연기를 하는지 평소엔 잘 몰랐는데 연기 잘 하셔서 약간 개연성 떨어지는 부분도 연기로 커버됐다 생각해요~ 전 추...\n",
      "2021.06.23 12:34\t10\t조우진 연기 볼만함부산 놀러가고싶어지는 영화ㅠㅜㅋㅋ지창욱은 첨엔 목소리가 넘 감미로워서? 오잉 했는데 나중엔 끄덕이게되는 악역이랄까여튼 오랜만에 극장가서 보니까 꽤 재밌었음\n",
      "2021.06.23 17:39\t10\t긴박한 상황을 잘 묘사한듯 글고 무엇보다 배우들 연기가 좋았다\n",
      "2021.06.23 22:56\t1\t스포일러가 포함된 감상평입니다. 감상평 보기\n",
      "2021.06.24 16:29\t10\t제네시스GV80성능테스트   (1)가속력테스트9.7점   (2)제동력테스트8.9점  (3)에어백테스트10점\n",
      "2021.06.26 23:29\t1\tㅋㅋㅋ돈 주고 제네시스 광고 볼 사람은 봐라\n",
      "2021.06.23 18:36\t4\t어디서 본듯한 스토리를 더욱 재미없게 각색해놓았네요.. 추격씬 15분 남짓 재밌고 나머지는 머.. GV80 홍보영화 잘봤슴다\n",
      "2021.06.24 18:14\t1\t개재미없름 도망가세요\n",
      "2021.06.25 11:30\t4\t조우진 배우의 연기력은 좋았습니다.  하지만 긴장감을 유도했던 초반부와 다르게 중 후반부로 가면서 억지스러운 전개와 제대로 해결되지 않는 결말까지 아쉬운 부분 투성이였던 영화였습니다. 영화관에서 보기엔 돈이 아깝고 ...\n",
      "2021.06.23 15:57\t10\t기대이상으로 잘봤음 추격신 ㅇㅈ\n",
      "2021.06.23 19:51\t10\t오오 속도쾌감 오진다!!! 한국형 K-부산분노의질주!!!\n",
      "2021.06.23 16:35\t10\t조우진, 이재인, 지창욱 연기 시너지 장난 아니였어요 오랜만에 영화관에서 제대로된 영화를 본 기분이네요\n",
      "2021.06.23 19:50\t10\t근래 본 영화 중 최고네요! 여름에 딱 어울리는 스릴러 영화였습니다!\n",
      "2021.06.23 16:39\t10\t짜릿한 스릴과 극강의 긴장감을 느끼고 왔습니다\n",
      "2021.06.23 14:18\t10\t배우들 연기 구멍없어서 좋았고개인적으론 부산 가고싶어지는 영화...\n",
      "2021.06.23 12:29\t10\t조우진 연기는 늘 좋았지만, 주연 첫 도전 너무 완벽했다! 캐릭터도 찰떡이고 연기, 연출, 편집 합이 너무 좋았음!\n",
      "2021.06.26 14:33\t1\t와꾸샷 운전와꾸샷 했던말또하기와꾸샷억지감동와꾸샷 운전와꾸샷 했던말 또하기와꾸샷억지감동와꾸샷 폭발 끝\n",
      "2021.06.23 11:02\t10\t완전 쫀쫀하게 봤네. 이런 영화 오랜만이다 ㅠ 지창욱 목소리 연기도 좋고, 조우진 쫀쫀한 연기가 하드캐리!\n",
      "2021.06.24 12:35\t8\t조우진님 연기를 너무잘하셔서 몰입해서 봤어요 재밌었습니다~\n",
      "2021.06.23 13:52\t10\t배우들 연기 머선129,,,조우진 배우 연기에 넋나가서 몰입해 봤습니당\n",
      "2021.06.23 21:59\t10\t배우들 연기 죽여주네용ㅋㅋㅋ 원작이 따로 있는거로 알고 있는데 우리나라 정서에 맞게 잘 만들어진거 같아요!\n",
      "2021.06.23 15:55\t10\t스릴러라는 장르에 맞게 심장 쫄깃쫄깃하고 도심 속 질주 장면은 마음 속까지 시원하게 해준다ㅋㅋㅋ\n",
      "2021.06.23 16:34\t10\t잘봤습니다 조우진배우님 연기 넘 좋았구요!\n",
      "2021.06.23 14:30\t10\t완전 몰입해서 봄! 조우진 연기 대박이다..ㄷㄷ\n",
      "2021.06.27 14:12\t4\t잘만든 GV80 광고네요\n",
      "2021.06.27 06:36\t2\t내용은 삼류 신파느낌을 너무 섞은데다가 연기 디렉팅은 도무지 이해가 안될 방향, 호흡으로 대사를 치고 답답함이 하늘을 찌름배우들이 연기를 못한다기보단 재료를 참 못쓴 디렉팅인듯함, 스토리도 억지스러우며 캐릭터들도 더...\n",
      "2021.06.24 04:03\t8\t킬링타임으로 괜찮음  ~\n",
      "2021.06.23 17:38\t10\t예고편은 아무것도 아니였던ㅋㅋㅋ 조우진 배우님 너무 좋음\n",
      "2021.06.29 15:20\t4\t보는내내 답답합니다.정말 답답합니다.\n",
      "2021.06.23 18:05\t10\t진짜 잘 봤습니다 몰입감 좋고 재밌었어요\n",
      "2021.06.23 21:53\t8\t나름 긴장감도 있고 현실성있게 구성이 짜여진 것 같았어요. 재미있었습니다.\n",
      "2021.06.23 15:21\t4\t뻔한 스토리에  지루해요...연기는 좋지만. 여운이없네여\n",
      "2021.06.23 18:29\t5\t스포일러가 포함된 감상평입니다. 감상평 보기\n",
      "2021.06.23 10:42\t2\t아니 알바를 돌릴꺼면 영화 끝나고 달게하던가 무슨 9시부터 평점만점을 달고자빠졌냐 정신좀차려라 ㅡㅡ;;\n",
      "2021.06.25 18:04\t6\t전개가 빠르고 음악과 어우러진 스릴은 좋았지만, 스토리가 너무 답답했다. 내용도 뻔하고 연출도 진부했다. 새로움은 없지만 볼 만 했다.\n",
      "2021.06.23 16:02\t6\t엉성한 클리셰가 덕지 덕지 범벅! 둘의 시선에서 긴장감 유발을 기대했건만 가족이야기로 긴장감 급하락 역시 또 뻔한 한국영화\n",
      "2021.06.28 09:09\t5\t긴장감은 있지만 뻔한 결말과 답답한 스토리전개\n",
      "2021.06.30 13:22\t2\t차광고 너무 차광고 차광고 끝\n",
      "2021.06.24 21:21\t9\t코로나 때문에 오랜만에 본 영화인데 잼있게 잘봣습니다 그냥 내용이 많이 복잡하지가 않아서 좋았습니다\n",
      "2021.06.24 19:30\t10\t조우진님 연기 최고였어요 뿌린대로 거두니 정직하게 삽시다!\n",
      "2021.06.24 10:44\t10\t조우진 최고된다ㅠㅠㅠㅠ\n",
      "2021.06.24 16:29\t10\t밀폐된 공간 속 극강의 긴장감을 맛보고 왔네요 오랜만에 보는 한국 스릴러 영화였는데 너무 재밌게 봤습니다\n",
      "2021.06.25 00:47\t1\t놀랄정도로 재미없어요 나중에 ocn에서 보세요\n",
      "2021.06.23 14:28\t1\t이거 gv80 광고영화 맞재??\n",
      "2021.07.01 01:58\t6\t제네시스 gv80광고 잘봤습니다\n",
      "2021.07.01 05:25\t6\t바닷가 앞 포위되기 직전까지만 본 걸로 칠래. 진짜 너무 아쉽다\n",
      "2021.06.24 19:47\t10\t몰입감이 쩔어요 내용은 그냥 다보고나면 엥? 하는데 카메라 무빙이나 연기들이 좋아요\n",
      "2021.06.23 22:51\t10\t조연과 주연이 종이 한 장 차이라는 걸 알게 된 영화. 상영시간을 꽉채워내는 연기력이 압도적이고 절절하다.\n",
      "2021.06.23 12:13\t10\t조우진 배우 첫 주연에 하드캐리\n",
      "2021.06.24 22:34\t1\t스포일러가 포함된 감상평입니다. 감상평 보기\n",
      "2021.06.24 20:51\t1\t아 ㅋㅋ 시잇펄 이게 그 해운대 일방통행 길에서 역주행 조온나 하면서 찍은 그 영화였네 ㅋㅋ 무슨 영화고 언제 개봉하나 했더니 이거 였구만? 그리고 센텀 해운대 장산에서 찍은거 같은데, 우동으로 돈가져와 해놓고 돈 ...\n",
      "2021.06.24 20:44\t1\t보고있는데 증말 재미없네요 이천원 관람이라서 다행이다\n",
      "2021.06.24 21:01\t1\t진짜 재미없어요 너무뻔하고 돈이아까움\n",
      "2021.06.25 12:41\t7\t배우분들 연기는 좋았지만 스토리는...\n",
      "2021.06.24 18:19\t1\t진짜.. 노잼.. 나는.. 진짜.. 충격적..\n",
      "2021.06.27 19:00\t7\t초중반의 몰입도가 끝에와서는 구멍난 현실성으로인해 반감된다. 배우들의 연기는 최고수준.\n",
      "2021.06.23 12:56\t2\t연기 잘하네요 다들.. 근데 스토리 너무 구려요. 재미도 감동도 연민도 못 느낌…….. 연출은 모르는 분야라 평하기 어렵지만 특별해보이는 건 없었네요.\n",
      "2021.06.29 00:22\t9\t아무리봐도 g80ppl...인듯한 영화..\n",
      "2021.06.24 22:32\t2\t처음부터끝까지 어이가없네\n",
      "2021.06.26 17:52\t5\t\n",
      "2021.06.24 23:57\t1\t재미도 없고 감동도 없음\n",
      "2021.06.24 17:46\t1\t홍길동도 아니고 리메이크를 리메이크라 말을 못하네\n",
      "2021.06.27 18:03\t6\t제네시스와 조우진이 다 했다.\n",
      "2021.06.28 12:11\t6\t그저 그랬어요 킬링타임용도 ..굳이\n",
      "2021.06.24 21:28\t8\t액션은 약간 부족연기는 최고\n",
      "2021.06.23 21:52\t5\t경찰이 용의자 동생이랍시고 갑작스럽게 나타난 사람의 신원조회 하나 해보지 않는 게 말이 안된다.\n",
      "2021.06.25 14:56\t10\t몰입감도 좋고 배우들의 연기도 잘함ㅋㅋ 착하게 삽니다ㅋㅋ\n",
      "2021.06.23 13:48\t3\tㅈㄴ 진부한 영화였음… 배우들 연기만 좋았고 진짜 전형적인 한국 범죄영화… 보너스! 댓글알바 구별법 -> 간만에 재밌게 볼 수 있었던 영화, 연기 진짜 좋았네요, 올 여름에 보기 좋은 영화 이 OO의 늬앙스 뿐...\n",
      "2021.06.23 12:35\t1\t솔직히 재밌는지 잘 모르겠음… 답답한 상황들 밖에 없어서ㅠㅠ 배우들 연기만 좋았음!\n",
      "2021.06.30 21:37\t8\t머 주인공 연기가 다햇음\n",
      "2021.06.25 23:26\t1\t초반 30분까지는 긴장감도 있고 연기도 볼만했는데 그후부터는 루즈하고 뻔한 스토리에 뻔한감동임. 더 테러 라이브가 백배낫고 연기나 연출 스토리 백배 나음. 광고 오지게 해서 볼만한가싶어서 봤더니 형편 없네. 감상포인...\n",
      "2021.06.25 22:10\t1\t현대차 광고네요ㅋㅋ진짜 평점 노이해..알바 푼듯말도안되는 전개에 어이없는 CG까지 총체적 난국\n",
      "2021.06.25 18:33\t1\t알바들 극혐이네 이게 어딜봐서 10점 짜리 영화냐 양심을 돈때문에 밥말아먹었ㄴㅑ??\n",
      "2021.06.27 16:52\t6\t제네시스 광고.. 조우진님 연기랑 지창욱님 목소리 빼고 크게 볼 거 없었네요\n",
      "2021.06.25 16:47\t7\t긴장감도 있고 나름 볼만했어요 근데 큰 기대는 하지마세요\n",
      "2021.06.30 04:49\t6\t조우진님은 진짜 열심히 하셨음\n",
      "2021.06.25 21:40\t1\t\n",
      "2021.06.25 19:15\t1\t진부함의 끝. 하… 저혈압 환자들에게 추천. 헛웃음 계속 나옴\n",
      "2021.06.25 18:19\t1\tㅋㅋㅋㅋ진짜 말도 안되는 영화다 아무런 개연성도 없고 억지 스토리 배우들의 연기 또한 너무 티나는 연기지만 이게 배우 탓인지 연출 탓인지 모르겠다 절대 보지 마세요\n",
      "2021.06.25 16:32\t2\t내용없음 최악  전반적으로    많이  부족하다\n",
      "2021.06.25 12:57\t1\t돈과 시간이 진짜 너무도 아까웠다그냥 현대전시장을 가고말지\n",
      "2021.06.24 16:44\t1\t부산인데 부산 사투리 쓰는 사람 2명GV80 멋지다 사고싶다\n",
      "2021.06.24 16:38\t1\t초반에 너무 지루하고 재미없음...\n",
      "2021.06.29 07:08\t5\t배우들 연기는 훌륭 했으나 자동차 광고 보는 줄 알았어요\n",
      "2021.06.27 16:02\t7\t좀은 어설픈 스토리와 전개로 결말까지가 아쉽지만 초반의 몰입력과 조우진 배우의 연기는 최고였어요. 신파를 없애고 좀더 쫄깃한 스토리로 가면 더 좋았을... 하지만 킬링타임용으로 나쁘지 않습니다.\n",
      "2021.06.24 00:27\t8\t조우진 지창욱 연기는 진짜다. 특히 지창욱 등장씬은 압도당한 느낌 // 다만 제네시스에 너무 집중된 영화? 연기는 10점만점에 10점 연출은 10점만점에 5점 // 연출보다 연기가 돋보이는 영화\n",
      "2021.06.23 15:54\t10\t몰입감 좋고 재밌었어요 긴장감과 스릴이 넘치는 영화입니다\n",
      "2021.06.23 13:12\t10\t스피디한 전개, 높은 몰입감\n",
      "2021.06.29 23:45\t8\t조우진 연기 넘 잘한다. 스릴넘치는 자동차씬\n",
      "2021.06.29 21:07\t1\t제네시스 광고를 왜 돈 내고 봐야하는지그냥 내 돈 개 아까워\n",
      "2021.06.28 09:39\t6\t괜찮은 팝콘무비. 조우진님의 연기가 훌륭하다.\n",
      "2021.06.26 21:47\t1\t내 인생 최악의 영화… 스릴도 없고 억지감동 끼워넣기.. 차만 신나게 보고왔네요 기분이 나쁜 영화였습니다\n",
      "2021.06.26 17:53\t1\t초반엔 몰입되다가 중반부 딸내미가 뒷좌석에선 앞좌석으로 옮긴 후 갑분싸부터 매순간이 억지에다 이 때부터 하품하면서 봄\n"
     ]
    }
   ],
   "source": [
    "from bs4 import BeautifulSoup \n",
    "import requests\n",
    "\n",
    "# 수집할 영화리뷰 정보를 입력합니다.\n",
    "PAGE_LIMIT = 10                         # 수집할 영화리뷰 페이지 개수\n",
    "SAVE_FILE_PATH = \"movie_comment.txt\"    # 영화리뷰 저장 파일명\n",
    "MOVIE_CODE = 194205                     # 영화 코드\n",
    "\n",
    "f = open(SAVE_FILE_PATH, \"w\", encoding=\"utf-8\")\n",
    "for page in range(1, PAGE_LIMIT+1):\n",
    "    print(page, end=\"\\r\")\n",
    "    URL = \"https://movie.naver.com/movie/bi/mi/pointWriteFormList.nhn?code=\"\n",
    "    URL += str(MOVIE_CODE) + \"&type=after&isActualPointWriteExecute=false\"\n",
    "    URL += \"&isMileageSubscriptionAlready=false&isMileageSubscriptionReject=false&page=\"\n",
    "    URL = URL + str(page)\n",
    "    response = requests.get(URL)\n",
    "    soup = BeautifulSoup(response.text, \"html.parser\")\n",
    "    comment_list = soup.findAll(\"div\", {'class': \"score_reple\",})     # 댓글/작성일자 추출\n",
    "    score_list = soup.findAll(\"div\",{'class': \"star_score\",})         # 평점 추출\n",
    "\n",
    "    for comment, score in zip(comment_list, score_list):\n",
    "        # 댓글\n",
    "        p_span_tag_list = comment.find(\"p\").findAll(\"span\")\n",
    "        if p_span_tag_list[0].text == \"관람객\":\n",
    "            commtnet_text = p_span_tag_list[1].text.strip()\n",
    "        else:\n",
    "            commtnet_text = p_span_tag_list[0].text.strip()\n",
    "        \n",
    "        # 작성일자\n",
    "        dt_em_tag_list = comment.find(\"dt\").findAll(\"em\")\n",
    "        datetime = dt_em_tag_list[1].text.strip()\n",
    "        \n",
    "        # 평점\n",
    "        em_tag = score.find(\"em\")\n",
    "        score = em_tag.text.strip()\n",
    "        \n",
    "        # 파일쓰기\n",
    "        f.write(datetime+\"\\t\"+ score+ \"\\t\"+ commtnet_text + \"\\n\")\n",
    "        print(datetime+\"\\t\"+ score+ \"\\t\"+ commtnet_text)\n",
    "    f.flush()\n",
    "f.close()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}