yes24 크롤링3.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "import pandas as pd\n",
    "import requests as rq\n",
    "from bs4 import BeautifulSoup\n",
    "from selenium import webdriver\n",
    "from selenium.webdriver.common.keys import Keys\n",
    "import requests\n",
    "from selenium.common.exceptions import NoSuchElementException\n",
    "from selenium.common.exceptions import ElementNotInteractableException\n",
    "import time\n",
    "import re"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 리스트 생성\n",
    "- 새로 데이터 객체 생성을 위해 실행 필요\n",
    "- 만약 기존 리스트에다 계속 이어서 데이터 쌓을꺼면 추가로 실행하지 말것"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 56,
   "metadata": {},
   "outputs": [],
   "source": [
    "book_titles = list()\n",
    "book_abstract = list()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 연도 및 월 설정\n",
    "- 크롤릴할 연도와 크롤링을 시작할 월 설정\n",
    "- 만약 2021년 3월 입력시, 2021년 3월부터 12월에 대한 데이터 수집"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "metadata": {},
   "outputs": [],
   "source": [
    "year = 2021\n",
    "month = 1\n",
    "n = 1"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 자기 계발서 크롤링"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 58,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "*************  년도: 2021 월: 1  ****************\n",
      "1 나의 하루는 4시 30분에 시작된다\n",
      "2 5년 후 나에게 Q&A a day (2021 메모리아 화이트 Gift Edition)\n",
      "3 더 해빙 The Having (40만부 기념 리커버 에디션)\n",
      "4 다산의 마지막 습관\n",
      "5 기분이 태도가 되지 않게 (10만 부 기념 봄 에디션)\n",
      "6 데일 카네기 인간관계론\n",
      "7 하버드 상위 1퍼센트의 비밀\n",
      "8 0430 TIME TO PLAN : 일어나라, 삶이 바뀐다\n",
      "9 멘탈의 연금술\n",
      "10 성숙한 어른이 갖춰야 할 좋은 심리 습관\n",
      "11 타이탄의 도구들 (리커버 에디션)\n",
      "12 김미경의 리부트\n",
      "13 아주 작은 습관의 힘\n",
      "14 습관의 디테일\n",
      "15 폴리매스\n",
      "16 한 번이라도 모든 걸 걸어본 적 있는가\n",
      "17 자존감 수업\n",
      "18 오은영의 화해\n",
      "19 알면서도 알지 못하는 것들 (YES24 스페셜 에디션)\n",
      "20 라이브 커머스 성공 전략\n",
      "21 미라클 모닝\n",
      "22 마음이 무기가 될 때\n",
      "23 말의 결\n",
      "24 그림의 힘 (리커버 에디션)\n",
      "25 나를 사랑하는 연습\n",
      "26 어웨이크\n",
      "27 빨강 머리 앤이 5년 후 나에게 : Q & A a day\n",
      "28 지금, 인생의 체력을 길러야 할 때\n",
      "29 AI 최강의 수업\n",
      "30 관계에도 연습이 필요합니다\n",
      "31 프레임\n",
      "32 말센스\n",
      "33 슬로싱킹\n",
      "34 다산의 마지막 공부\n",
      "35 보도 섀퍼의 돈\n",
      "36 문해력 공부\n",
      "37 말 그릇 (벚꽃 에디션)\n",
      "38 실무에 바로 쓰는 일잘러의 보고서 작성법\n",
      "39 운의 그릇\n",
      "40 시작의 기술\n",
      "41 그릿 Grit : 100쇄 기념 리커버 에디션\n",
      "42 나는 왜 네 말이 힘들까\n",
      "43 말투 하나 바꿨을 뿐인데 (리커버 에디션)\n",
      "44 설득의 심리학 1\n",
      "45 [예스리커버] 에이트\n",
      "46 변호사세요? 유튜버세요?\n",
      "47 가면과 본색\n",
      "48 신경 끄기의 기술\n",
      "49 생각의 비밀\n",
      "50 하버드 100년 전통 말하기 수업 (리커버 에디션)\n",
      "51 생각정리 스킬\n",
      "52 뜨겁게 나를 응원한다\n",
      "53 에이트 : 씽크\n",
      "54 90일 챌린지\n",
      "55 마인드셋\n",
      "56 오래된 비밀\n",
      "57 50부터, 운을 내 편으로 만드는 좋은 습관\n",
      "58 체인저블 CHANGEABLE\n",
      "59 끌리는 말투에는 비밀이 있다\n",
      "60 말의 품격\n",
      "61 나는 무조건 합격하는 공부만 한다\n",
      "62 백만장자 시크릿\n",
      "63 하루 5분 아침 일기\n",
      "64 타인의 속마음, 심리학자들의 명언 700\n",
      "65 위대한 나의 발견 강점혁명\n",
      "66 다꿈 플래너 vol. 2\n",
      "67 거울명상\n",
      "68 해빙 노트 Having Note\n",
      "69 일 잘하는 사람은 단순하게 말합니다\n",
      "70 [예스리커버] 타인의 해석\n",
      "71 백만장자 메신저\n",
      "72 어른의 습관\n",
      "73 데일 카네기 인간관계론 & 자기관리론\n",
      "74 나를 잃어가면서 지켜야 할 관계는 없다\n",
      "75 이건희의 말\n",
      "76 해빗 HABIT (스페셜 에디션)\n",
      "77 Do it! 첫 코딩 with 자바\n",
      "78 The Secret 시크릿\n",
      "79 어린 왕자 5년 후 나에게 : Q&A a day\n",
      "80 파이어족의 재테크\n",
      "81 욕망의 진화\n",
      "82 50부터는 인생관을 바꿔야 산다\n",
      "83 성공하는 사람들의 7가지 습관\n",
      "84 심리학이 이렇게 나를 변화시킬 줄이야\n",
      "85 내가 예민한 게 아니라 네가 너무한 거야\n",
      "86 부자의 말센스\n",
      "87 오십부터는 우아하게 살아야 한다\n",
      "88 아티스트 웨이\n",
      "89 STICK 스틱!\n",
      "90 나는 4시간만 일한다\n",
      "91 닥터 도티의 삶을 바꾸는 마술가게\n",
      "92 더 시스템 THE SYSTEM\n",
      "93 생각정리 스피치\n",
      "94 하버드 새벽 4시 반 (리커버 에디션)\n",
      "95 더 플러스\n",
      "96 모두에게 사랑받을 필요는 없다\n",
      "97 심리학을 만나 행복해졌다\n",
      "98 어떻게 살아야 할지 막막한 너에게\n",
      "99 파리에서 도시락을 파는 여자\n",
      "100 서른다섯, 출근하기 싫어졌습니다\n",
      "101 리딩으로 리드하라\n",
      "102 조셉 머피 잠재의식의 힘\n",
      "103 뇌는 팩트에 끌리지 않는다\n",
      "104 끌리는 단어 혹하는 문장\n",
      "105 통찰과 역설\n",
      "106 나는 오늘도 아무렇지 않은 척합니다\n",
      "107 눈치\n",
      "108 주식회사 랩추종윤\n",
      "109 말습관을 바꾸니 인정받기 시작했다\n",
      "110 1만 시간의 재발견\n",
      "111 남들이 나를 함부로 하지 못하게 하라\n",
      "112 바쁨 중독\n",
      "113 내가 처음 뇌를 열었을 때\n",
      "114 될 일은 된다\n",
      "115 빨강 머리 앤이 3년 후 나에게 : Q & A a day\n",
      "116 시간 낭비를 확 줄여주는 초효율 공부법\n",
      "117 피터 드러커 자기경영노트\n",
      "118 절제의 성공학\n",
      "119 왓칭 Watching\n",
      "120 횡설수설하지 않고 정확하게 설명하는 법\n",
      "121 당신도 초자연적이 될 수 있다\n",
      "122 운, 준비하는 미래\n",
      "123 생각하라! 그러면 부자가 되리라\n",
      "124 저, 죄송한데 무슨 말인지 모르겠어요\n",
      "125 일 잘하는 사람은 단순하게 합니다\n",
      "126 원씽 THE ONE THING\n",
      "127 완벽한 공부법\n",
      "128 운의 힘\n",
      "129 나를 믿고 일한다는 것\n",
      "130 사람은 어떻게 생각하고 배우고 기억하는가\n",
      "131 이지성의 꿈꾸는 다락방\n",
      "132 일을 잘 맡긴다는 것\n",
      "133 리얼리티 트랜서핑 1\n",
      "134 모든 것은 태도에서 결정된다\n",
      "135 어린 왕자 3년 후 나에게 : Q&A a day\n",
      "136 지금 하지 않으면 언제 하겠는가\n",
      "137 모든 관계는 말투에서 시작된다\n",
      "138 1년 안에 AI 빅데이터 전문가가 되는 법\n",
      "139 화성에서 온 남자 금성에서 온 여자 (100만 부 기념 리커버 에디션)\n",
      "140 내가 춤추면 코끼리도 춤춘다\n",
      "141 당신의 삶에 명상이 필요할 때\n",
      "142 하루 10분 나를 생각해\n",
      "143 기획자의 습관\n",
      "144 엄마의 20년\n",
      "145 기브 앤 테이크\n",
      "146 린치핀\n",
      "147 혼자 잘해주고 상처받지 마라\n",
      "148 생각 정리 습관\n",
      "149 초집중\n",
      "150 그림의 힘 2\n",
      "151 몰입 합본판 (100쇄 기념 합본 에디션)\n",
      "152 적을 만들지 않는 대화법\n",
      "153 생각정리 기획력\n",
      "154 도쿄R부동산 이렇게 일 합니다\n",
      "155 공부, 이래도 안되면 포기하세요\n",
      "156 무기가 되는 스토리\n",
      "157 사람을 얻는 지혜\n",
      "158 행복한 이기주의자\n",
      "159 권력의 법칙\n",
      "160 10대, 인생을 바꾸는 진로 수업\n",
      "161 누가 내 치즈를 옮겼을까?\n",
      "162 영어책 한 권 외워봤니?\n",
      "163 습관이 답이다\n",
      "164 움직임의 힘\n",
      "165 취업 끝판왕 옴스에게 배우는 스펙을 뛰어넘는 자소서\n",
      "166 회복탄력성\n",
      "167 이익을 내는 사장은 말투가 다르다\n",
      "168 후배 하나 잘 키웠을 뿐인데\n",
      "169 THE ONE PAGE PROPOSAL\n",
      "170 혼자 있는 시간의 힘\n",
      "171 안티프래질 Antifragile\n",
      "172 오늘 나에게 정말 필요했던 말\n",
      "173 어떻게 원하는 것을 얻는가 밀리언 특별판\n",
      "174 선물 (스페셜 에디션)\n",
      "175 감사하면 달라지는 것들\n",
      "176 취업 끝판왕 옴스에게 배우는 스펙을 뛰어넘는 면접의 기술\n",
      "177 150년 하버드 글쓰기 비법\n",
      "178 이 한마디가 나를 살렸다\n",
      "179 미러\n",
      "180 리얼리티 트랜서핑 2\n",
      "181 심플하게 산다\n",
      "182 70년대생이 운다\n",
      "183 단 한 권을 읽어도 제대로 남는 메모 독서법\n",
      "184 지금까지 산 것처럼 앞으로도 살 건가요?\n",
      "185 왜 나는 법을 공부하는가\n",
      "186 자존감 회복 프로젝트\n",
      "187 나는 왜 도와달라는 말을 못할까\n",
      "188 내 인생을 바꾼 한 권의 책\n",
      "189 마케터의 문장\n",
      "190 기획의 정석\n",
      "191 심리학이 이렇게 쓸모 있을 줄이야\n",
      "192 신의 직장은 아니지만 공기업은 가고 싶어\n",
      "193 한 장 보고서의 정석\n",
      "194 빨강 머리 앤이 3년 후 나에게 : Q & A a day (램스킨 리미티드 에디션)\n",
      "195 치유\n",
      "196 50부터는 물건은 뺄셈 마음은 덧셈\n",
      "197 돈보다 운을 벌어라\n",
      "198 말투 하나로 의외로 잘 되기 시작했다\n",
      "199 몰입 Think hard!\n",
      "200 감정의 발견\n",
      "*************  년도: 2021 월: 2  ****************\n",
      "5 마음챙김\n",
      "13 객관적이고 과학적인 공부법\n",
      "14 아침이 달라지는 저녁 루틴의 힘\n",
      "16 그렇게 말해줘서 고마워\n",
      "27 단단한 여자\n",
      "29 일을 잘한다는 것\n",
      "30 타인을 읽는 말\n",
      "32 압축 공부\n",
      "35 불렛저널\n",
      "39 도티의 플랜B\n",
      "41 실행이 답이다\n",
      "42 1페이지 꿈지도\n",
      "47 어른의 말공부\n",
      "53 인생도 복리가 됩니다\n",
      "55 메타인지, 생각의 기술\n",
      "63 하루 한 장 마음챙김\n",
      "68 리더는 칭찬하지 않는다\n",
      "70 하루 3줄 영어 일기\n",
      "76 포뮬러\n",
      "80 변화의 시작 5AM 클럽\n",
      "84 심리학을 만나 행복해졌다 (리커버 에디션)\n",
      "91 놓치고 싶지 않은 나의 꿈 나의 인생 1\n",
      "93 무기가 되는 책쓰기\n",
      "96 이런 세상에서 지혜롭게 산다는 것\n",
      "97 대화의 품격\n",
      "98 메이크 타임\n",
      "104 2억 빚을 진 내게 우주님이 가르쳐준 운이 풀리는 말버릇\n",
      "105 이번 생은 N잡러\n",
      "107 적게 일하고 잘사는 기술\n",
      "110 C의 유전자\n",
      "112 트랜서핑 현실의 지배자\n",
      "114 내일의 나를 위한 다짐\n",
      "118 회사를 다닐 수도, 떠날 수도 없을 때\n",
      "125 데일 카네기 자기관리론\n",
      "129 레오나르도 다 빈치의 두뇌 사용법\n",
      "131 야, 너두 할 수 있어\n",
      "132 나를 몰랐기 때문이다\n",
      "134 결국 해내는 사람들의 원칙 (리커버 에디션)\n",
      "143 생각대로 살지 않으면 사는 대로 생각하게 된다 1\n",
      "146 서른 넘어 찾아온 다섯 가지 기회\n",
      "150 유머라면 유대인처럼\n",
      "152 다시, 대화가 필요한 시간\n",
      "157 네 안에 잠든 거인을 깨워라\n",
      "163 2억 빚을 진 내가 뒤늦게 알게 된 소~오름 돋는 우주의 법칙\n",
      "169 불행한 관계 걷어차기\n",
      "170 공부 마스터 플랜\n",
      "171 습관을 조금 바꿨을 뿐인데 잘 풀리기 시작했다\n",
      "173 내일을 위한 내 일\n",
      "177 세도나 마음혁명\n",
      "178 루틴의 힘\n",
      "179 나는 당신이 스트레스 없이 말하면 좋겠습니다\n",
      "183 인생의 차이를 만드는 독서법 본깨적\n",
      "186 청소력\n",
      "187 습관을 만드는 뇌\n",
      "188 헤어디자이너를 위한 고객과의 대화법\n",
      "189 고수의 보고법\n",
      "191 나는 공부하는 엄마다\n",
      "193 젊은 리더들을 위한 철학 수업\n",
      "195 기버1\n",
      "196 로지컬 씽킹\n",
      "197 굿 라이프\n",
      "199 허브 코헨의 협상의 기술 1\n",
      "*************  년도: 2021 월: 3  ****************\n",
      "5 유리멘탈을 위한 심리책\n",
      "10 조금 알고 적당히 모르는 오십이 되었다\n",
      "11 우유곽 대학을 빌려 드립니다\n",
      "22 김미경의 리부트 (20만부 기념 리커버 에디션)\n",
      "28 마지막 몰입 : 나를 넘어서는 힘\n",
      "29 방구석 노트북 하나로 월급 독립 프로젝트\n",
      "34 코딩 진로\n",
      "37 생각을 걸러내면 행복만 남는다\n",
      "38 관점을 디자인하라\n",
      "41 초조하지 않게 사는 법\n",
      "55 사랑한다면 거리를 두는 게 좋아 (특별판 리커버 에디션)\n",
      "60 8등급 꼴찌, 수석 졸업하게 된 9가지 공부 비결\n",
      "87 부자의 1원칙, 몸에 투자하라\n",
      "93 영향력을 돈으로 만드는 기술\n",
      "103 자소서 바이블\n",
      "104 밤의 숨소리\n",
      "108 말 좀 잘하고 싶어\n",
      "118 사람은 무엇으로 움직이는가\n",
      "119 확신\n",
      "121 레이트 블루머\n",
      "124 사장의 탄생\n",
      "125 새로운 열정으로 시작하라\n",
      "142 절대 배신하지 않는 공부의 기술\n",
      "143 1페이지 공부법\n",
      "152 행복도 배워야 합니다\n",
      "154 쫓기지 않는 50대를 사는 법\n",
      "155 인간관계론 (스페셜 에디션)\n",
      "159 케이스 인 포인트\n",
      "162 나는 꽤 괜찮은 사람입니다\n",
      "163 사람이 운명이다\n",
      "168 마음챙김의 인문학\n",
      "169 폰더 씨의 위대한 하루 실천편\n",
      "172 놓치고 싶지 않은 나의 꿈 나의 인생 2\n",
      "177 불광불급 : 미치려면 미쳐라\n",
      "178 실전 보고서 작성 기술 with 파워포인트, 워드, 한글\n",
      "179 놓치고 싶지 않은 나의 꿈 나의 인생 3\n",
      "183 200가지 고민에 대한 마법의 명언\n",
      "187 커피 한 잔의 명상으로 10억을 번 사람들\n",
      "189 바야흐로, 품격영업\n",
      "190 허브 코헨의 협상의 기술 2\n",
      "191 일본 최고의 대부호에게 배우는 돈을 부르는 말버릇\n",
      "192 공부하기가 죽기보다 싫을 때 읽는 책\n",
      "194 면접 바이블 The Myunjub Bible\n",
      "195 나는 전략적으로 살 것이다\n",
      "197 이젠, 책쓰기다\n",
      "199 백만장자의 아주 작은 성공 습관\n",
      "*************  년도: 2021 월: 4  ****************\n",
      "13 위대한 시크릿\n",
      "20 생각의 각도\n",
      "23 타이탄의 지혜들\n",
      "26 일은 배신하지 않는다\n",
      "29 끌리는 말투 호감 가는 말투\n",
      "30 프로페셔널 스튜던트\n",
      "39 의미 있는 삶을 위하여\n",
      "40 횡설수설하지 않고 핵심만 말하는 법\n",
      "41 당신의 생각을 정리해드립니다\n",
      "42 탤런트 코드 (특별합본판)\n",
      "43 운을 부르는 습관\n",
      "46 은둔의 즐거움\n",
      "48 유머의 마법\n",
      "51 결혼은 신중하게 이혼은 신속하게\n",
      "63 여기가 끝이 아니다\n",
      "67 혼자 사는데 돈이라도 있어야지\n",
      "77 하나를 비우니 모든 게 달라졌다\n",
      "79 인간 욕망의 법칙\n",
      "80 딱 1년만 계획적으로 살아보기\n",
      "83 초집중의 힘\n",
      "90 산으로 가지 않는 정리법\n",
      "93 싱크 어게인\n",
      "97 운의 속성\n",
      "99 물러서지 않을 용기\n",
      "100 커리어디자인\n",
      "101 카네기 인간관계론\n",
      "116 인생을 바꾸는 생각들\n",
      "125 당신과 나의 아이디어\n",
      "131 2배속으로 월급 독립\n",
      "132 인간 관찰\n",
      "133 소녀는 어떻게 어른이 되는가\n",
      "141 에너지 버스\n",
      "144 루틴의 힘 2\n",
      "148 데일리 루틴\n",
      "154 그래서 역사가 필요해\n",
      "155 책읽기가 필요하지 않은 인생은 없다\n",
      "159 프레젠테이션 코칭 북 PresenTation Coaching Book\n",
      "166 심리학이 돈을 말하다\n",
      "168 3개의 소원 100일의 기적\n",
      "174 짧은 말이 무기가 된다\n",
      "176 나는 자는 동안에도 돈을 번다\n",
      "183 나는 디지털노마드맘으로 살기로 했다\n",
      "184 종이 위의 기적 쓰면 이루어진다\n",
      "185 파워블로거 핑크팬더의 블로그 글쓰기\n",
      "188 5초의 법칙\n",
      "197 일 잘하는 사람은 글을 잘 씁니다\n",
      "*************  년도: 2021 월: 5  ****************\n",
      "5 무조건 팔리는 카피 단어장\n",
      "8 똑똑하게 생존하기\n",
      "10 눈치껏 못 배웁니다, 일센스\n",
      "14 인간을 바꾸는 5가지 법칙\n",
      "28 프리워커스\n",
      "35 생각의 쓰임\n",
      "38 나는 이제 마음 편히 살기로 했다\n",
      "47 리더의 말 그릇\n",
      "68 나는 아침마다 삶의 감각을 깨운다\n",
      "76 당신은 다른 사람의 성공에 기여한 적 있는가?\n",
      "81 오늘부터 나는 브랜드가 되기로 했다\n",
      "89 팀장의 말투\n",
      "93 클린 CLEAN\n",
      "95 나폴레온 힐 부자 수업\n",
      "97 생각하라 그리고 부자가 되어라\n",
      "105 나는 저녁마다 삶의 방향을 잡는다\n",
      "112 서동주의 합격 공부법\n",
      "113 1회성 고객을 100번 방문 고객으로 만드는 비밀\n",
      "119 오늘부터 그 자리에 의자를 두기로 했다\n",
      "125 터지는 콘텐츠는 이렇게 만듭니다\n",
      "127 못난 게 아니라, 조금 서툰 겁니다\n",
      "130 핵심만 남기고 줄이는 게 체질\n",
      "132 조인트 사고\n",
      "135 마음챙김이 일상이 되면 달라지는 것들\n",
      "138 아마존처럼 회의하라\n",
      "144 운의 알고리즘\n",
      "147 당신만을 위한 100개의 질문\n",
      "149 THE MAGIC 매직\n",
      "150 승리, 패배, 그리고 교훈\n",
      "151 더 룰 (THE RULE) - 리치 편\n",
      "160 페어 플레이 프로젝트\n",
      "166 이왕 시작한 거 딱, 100일만 달려 볼게요\n",
      "173 폰더 씨의 위대한 하루\n",
      "175 행복의 선택\n",
      "177 그렇게 심각할 필요 없어\n",
      "178 루이스 헤이의 치유 수업\n",
      "181 도파민형 인간\n",
      "187 리얼리티 트랜서핑 3\n",
      "189 어떻게 인생을 살 것인가 (특별판 양장)\n",
      "190 요즘 것들의 사생활 : 먹고사니즘\n",
      "194 경험의 함정\n",
      "196 맥스웰 몰츠 성공의 법칙\n",
      "*************  년도: 2021 월: 6  ****************\n"
     ]
    },
    {
     "ename": "NoSuchElementException",
     "evalue": "Message: no such element: Unable to locate element: {\"method\":\"css selector\",\"selector\":\"#category_layout > tbody > tr:nth-child(1) > td.goodsTxtInfo > p:nth-child(1) > a:nth-child(1)\"}\n  (Session info: chrome=90.0.4430.212)\n",
     "output_type": "error",
     "traceback": [
      "\u001b[1;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[1;31mNoSuchElementException\u001b[0m                    Traceback (most recent call last)",
      "\u001b[1;32m<ipython-input-58-82213593faff>\u001b[0m in \u001b[0;36m<module>\u001b[1;34m\u001b[0m\n\u001b[0;32m     10\u001b[0m         \u001b[0mdriver\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mimplicitly_wait\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;36m3\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m     11\u001b[0m         \u001b[0mmap\u001b[0m \u001b[1;33m=\u001b[0m \u001b[1;34m'#category_layout > tbody > tr:nth-child('\u001b[0m \u001b[1;33m+\u001b[0m \u001b[0mstr\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mm\u001b[0m\u001b[1;33m*\u001b[0m\u001b[1;36m2\u001b[0m\u001b[1;33m+\u001b[0m\u001b[1;36m1\u001b[0m\u001b[1;33m)\u001b[0m \u001b[1;33m+\u001b[0m \u001b[1;34m') > td.goodsTxtInfo > p:nth-child(1) > a:nth-child(1)'\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m---> 12\u001b[1;33m         \u001b[0mtitle\u001b[0m \u001b[1;33m=\u001b[0m \u001b[1;33m(\u001b[0m\u001b[0mdriver\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mfind_element_by_css_selector\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mmap\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mtext\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m\u001b[0;32m     13\u001b[0m         \u001b[1;32mif\u001b[0m \u001b[0mtitle\u001b[0m \u001b[1;32mnot\u001b[0m \u001b[1;32min\u001b[0m \u001b[0mbook_titles\u001b[0m\u001b[1;33m:\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m     14\u001b[0m             \u001b[0mprint\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mm\u001b[0m\u001b[1;33m+\u001b[0m\u001b[1;36m1\u001b[0m\u001b[1;33m,\u001b[0m\u001b[0mtitle\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n",
      "\u001b[1;32m~\\anaconda3\\lib\\site-packages\\selenium\\webdriver\\remote\\webdriver.py\u001b[0m in \u001b[0;36mfind_element_by_css_selector\u001b[1;34m(self, css_selector)\u001b[0m\n\u001b[0;32m    596\u001b[0m             \u001b[0melement\u001b[0m \u001b[1;33m=\u001b[0m \u001b[0mdriver\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mfind_element_by_css_selector\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;34m'#foo'\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m    597\u001b[0m         \"\"\"\n\u001b[1;32m--> 598\u001b[1;33m         \u001b[1;32mreturn\u001b[0m \u001b[0mself\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mfind_element\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mby\u001b[0m\u001b[1;33m=\u001b[0m\u001b[0mBy\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mCSS_SELECTOR\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mvalue\u001b[0m\u001b[1;33m=\u001b[0m\u001b[0mcss_selector\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m\u001b[0;32m    599\u001b[0m \u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m    600\u001b[0m     \u001b[1;32mdef\u001b[0m \u001b[0mfind_elements_by_css_selector\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mself\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mcss_selector\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m:\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n",
      "\u001b[1;32m~\\anaconda3\\lib\\site-packages\\selenium\\webdriver\\remote\\webdriver.py\u001b[0m in \u001b[0;36mfind_element\u001b[1;34m(self, by, value)\u001b[0m\n\u001b[0;32m    974\u001b[0m                 \u001b[0mby\u001b[0m \u001b[1;33m=\u001b[0m \u001b[0mBy\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mCSS_SELECTOR\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m    975\u001b[0m                 \u001b[0mvalue\u001b[0m \u001b[1;33m=\u001b[0m \u001b[1;34m'[name=\"%s\"]'\u001b[0m \u001b[1;33m%\u001b[0m \u001b[0mvalue\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m--> 976\u001b[1;33m         return self.execute(Command.FIND_ELEMENT, {\n\u001b[0m\u001b[0;32m    977\u001b[0m             \u001b[1;34m'using'\u001b[0m\u001b[1;33m:\u001b[0m \u001b[0mby\u001b[0m\u001b[1;33m,\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m    978\u001b[0m             'value': value})['value']\n",
      "\u001b[1;32m~\\anaconda3\\lib\\site-packages\\selenium\\webdriver\\remote\\webdriver.py\u001b[0m in \u001b[0;36mexecute\u001b[1;34m(self, driver_command, params)\u001b[0m\n\u001b[0;32m    319\u001b[0m         \u001b[0mresponse\u001b[0m \u001b[1;33m=\u001b[0m \u001b[0mself\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mcommand_executor\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mexecute\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mdriver_command\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mparams\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m    320\u001b[0m         \u001b[1;32mif\u001b[0m \u001b[0mresponse\u001b[0m\u001b[1;33m:\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m--> 321\u001b[1;33m             \u001b[0mself\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0merror_handler\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mcheck_response\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mresponse\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m\u001b[0;32m    322\u001b[0m             response['value'] = self._unwrap_value(\n\u001b[0;32m    323\u001b[0m                 response.get('value', None))\n",
      "\u001b[1;32m~\\anaconda3\\lib\\site-packages\\selenium\\webdriver\\remote\\errorhandler.py\u001b[0m in \u001b[0;36mcheck_response\u001b[1;34m(self, response)\u001b[0m\n\u001b[0;32m    240\u001b[0m                 \u001b[0malert_text\u001b[0m \u001b[1;33m=\u001b[0m \u001b[0mvalue\u001b[0m\u001b[1;33m[\u001b[0m\u001b[1;34m'alert'\u001b[0m\u001b[1;33m]\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mget\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;34m'text'\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m    241\u001b[0m             \u001b[1;32mraise\u001b[0m \u001b[0mexception_class\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mmessage\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mscreen\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mstacktrace\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0malert_text\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m--> 242\u001b[1;33m         \u001b[1;32mraise\u001b[0m \u001b[0mexception_class\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mmessage\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mscreen\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mstacktrace\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m\u001b[0;32m    243\u001b[0m \u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m    244\u001b[0m     \u001b[1;32mdef\u001b[0m \u001b[0m_value_or_default\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mself\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mobj\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mkey\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mdefault\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m:\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n",
      "\u001b[1;31mNoSuchElementException\u001b[0m: Message: no such element: Unable to locate element: {\"method\":\"css selector\",\"selector\":\"#category_layout > tbody > tr:nth-child(1) > td.goodsTxtInfo > p:nth-child(1) > a:nth-child(1)\"}\n  (Session info: chrome=90.0.4430.212)\n"
     ]
    }
   ],
   "source": [
    "for month in list(range(month, 13)):\n",
    "    url = 'http://www.yes24.com/24/category/bestseller?CategoryNumber=001001026&sumgb=09&year=' + str(year) + '&month=' + str(month).zfill(2) + '&FetchSize=200'\n",
    "    print('*************  년도: ' + str(year) + ' 월: ' + str(month) +'  ****************')\n",
    "    driver = webdriver.Chrome()\n",
    "    driver.get(url)\n",
    "    driver.implicitly_wait(3)\n",
    "    driver.find_element_by_css_selector('#divYes24SCMEvent > div.yPopBot > div.pTxt > label').click()\n",
    "\n",
    "    for m in list(range(n-1,200)):    \n",
    "        driver.implicitly_wait(3)\n",
    "        map = '#category_layout > tbody > tr:nth-child(' + str(m*2+1) + ') > td.goodsTxtInfo > p:nth-child(1) > a:nth-child(1)'\n",
    "        title = (driver.find_element_by_css_selector(map)).text\n",
    "        if title not in book_titles:\n",
    "            print(m+1,title)\n",
    "            yes = driver.find_element_by_css_selector(map).click()\n",
    "            driver.implicitly_wait(3)\n",
    "            book_titles.append(title)\n",
    "            try:\n",
    "                abstract1 = (driver.find_element_by_css_selector('#infoset_introduce > div.infoSetCont_wrap > table')).text\n",
    "            except NoSuchElementException:\n",
    "                try:\n",
    "                    abstract1 = (driver.find_element_by_css_selector('#infoset_introduce > div.infoSetCont_wrap > div.infoWrap_txt')).text\n",
    "                except NoSuchElementException:\n",
    "                    pass\n",
    "            try:\n",
    "                abstract2 = (driver.find_element_by_css_selector('#infoset_toc > div.infoSetCont_wrap > div.infoWrap_txt')).text\n",
    "            except NoSuchElementException:\n",
    "                try:\n",
    "                    abstract2 = '' #단원목록이 없는 경우에 해당\n",
    "                except NoSuchElementException:\n",
    "                    pass\n",
    "            book_abstract.append(abstract1 + abstract2 )\n",
    "#             print(abstract1 + abstract2)\n",
    "            driver.back()\n",
    "        else:\n",
    "            pass\n",
    "    driver.close()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 데이터 점검"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 59,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>0</th>\n",
       "      <th>0</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>386</th>\n",
       "      <td>폰더 씨의 위대한 하루</td>\n",
       "      <td>지금의 고통은 불공평한 세상의 장난일 뿐일까?\\n행복한 이는 행복하기를, 불행한 이...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>387</th>\n",
       "      <td>행복의 선택</td>\n",
       "      <td>완전한 행복이란 무엇인가?\\n\\n완전한 행복이란 괴롭지 않게 살아가는 것이다. 그런...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>388</th>\n",
       "      <td>그렇게 심각할 필요 없어</td>\n",
       "      <td>산전수전 공중전 다 겪어 본 인생 선배 유인경 작가가 전하는,\\n주변에 흔들리지 않...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>389</th>\n",
       "      <td>루이스 헤이의 치유 수업</td>\n",
       "      <td>전 세계 5천만 독자의 삶을 바꾼 마법의 긍정 확언\\n\\n미국의 대표 심리치료사이자...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>390</th>\n",
       "      <td>도파민형 인간</td>\n",
       "      <td>잘 중독되는 사람이 더 성공한다?\\n쉽게 불타오르고 쉽게 권태로워지는 사람이 더 성...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>391</th>\n",
       "      <td>리얼리티 트랜서핑 3</td>\n",
       "      <td>당신도 운명을 조종할 수 있다! 인간의 힘은 우리가 생각하는 것 이상으로 다양하게 ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>392</th>\n",
       "      <td>어떻게 인생을 살 것인가 (특별판 양장)</td>\n",
       "      <td>당신을 특별하게 만드는 인생 특강\\n하버드 엘리트들의 성공 노하우!\\n\\n미국의 명...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>393</th>\n",
       "      <td>요즘 것들의 사생활 : 먹고사니즘</td>\n",
       "      <td>요즘 것들은 무엇을 꿈꾸고, 왜 일하며, 어떻게 먹고살고 있을까?\\n나다운 일을 찾...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>394</th>\n",
       "      <td>경험의 함정</td>\n",
       "      <td>경험의 '이율배반성'을 냉철하게 분석한 책\\n\\n조지 워싱턴 미 초대 대통령의 사망...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>395</th>\n",
       "      <td>맥스웰 몰츠 성공의 법칙</td>\n",
       "      <td>“눈을 감아라! 상상하라! 믿어라!”\\n3,000만 명이 경험한 부정적인 자아 이미...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                          0                                                  0\n",
       "386            폰더 씨의 위대한 하루  지금의 고통은 불공평한 세상의 장난일 뿐일까?\\n행복한 이는 행복하기를, 불행한 이...\n",
       "387                  행복의 선택  완전한 행복이란 무엇인가?\\n\\n완전한 행복이란 괴롭지 않게 살아가는 것이다. 그런...\n",
       "388           그렇게 심각할 필요 없어  산전수전 공중전 다 겪어 본 인생 선배 유인경 작가가 전하는,\\n주변에 흔들리지 않...\n",
       "389           루이스 헤이의 치유 수업  전 세계 5천만 독자의 삶을 바꾼 마법의 긍정 확언\\n\\n미국의 대표 심리치료사이자...\n",
       "390                 도파민형 인간  잘 중독되는 사람이 더 성공한다?\\n쉽게 불타오르고 쉽게 권태로워지는 사람이 더 성...\n",
       "391             리얼리티 트랜서핑 3  당신도 운명을 조종할 수 있다! 인간의 힘은 우리가 생각하는 것 이상으로 다양하게 ...\n",
       "392  어떻게 인생을 살 것인가 (특별판 양장)  당신을 특별하게 만드는 인생 특강\\n하버드 엘리트들의 성공 노하우!\\n\\n미국의 명...\n",
       "393      요즘 것들의 사생활 : 먹고사니즘  요즘 것들은 무엇을 꿈꾸고, 왜 일하며, 어떻게 먹고살고 있을까?\\n나다운 일을 찾...\n",
       "394                  경험의 함정  경험의 '이율배반성'을 냉철하게 분석한 책\\n\\n조지 워싱턴 미 초대 대통령의 사망...\n",
       "395           맥스웰 몰츠 성공의 법칙  “눈을 감아라! 상상하라! 믿어라!”\\n3,000만 명이 경험한 부정적인 자아 이미..."
      ]
     },
     "execution_count": 59,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "titles = pd.DataFrame(book_titles)\n",
    "abstract = pd.DataFrame(book_abstract)\n",
    "final_data= pd.concat([titles, abstract],axis=1)\n",
    "final_data.tail(10)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 60,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "396"
      ]
     },
     "execution_count": 60,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(final_data)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 엑셀 파일로 저장"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 62,
   "metadata": {},
   "outputs": [],
   "source": [
    "final_data.to_csv(f'{year}년 yes24 자기계발서 수집 데이터.csv')#, encoding='cp949')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.3"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {},
   "toc_section_display": true,
   "toc_window_display": false
  },
  "varInspector": {
   "cols": {
    "lenName": 16,
    "lenType": 16,
    "lenVar": 40
   },
   "kernels_config": {
    "python": {
     "delete_cmd_postfix": "",
     "delete_cmd_prefix": "del ",
     "library": "var_list.py",
     "varRefreshCmd": "print(var_dic_list())"
    },
    "r": {
     "delete_cmd_postfix": ") ",
     "delete_cmd_prefix": "rm(",
     "library": "var_list.r",
     "varRefreshCmd": "cat(var_dic_list()) "
    }
   },
   "types_to_exclude": [
    "module",
    "function",
    "builtin_function_or_method",
    "instance",
    "_Feature"
   ],
   "window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}