wallhaven图片爬取1.5/wallhaven_toplist_2022.03.25.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "441945c9",
   "metadata": {},
   "source": [
    "# 导入相关库"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "9465d749",
   "metadata": {},
   "outputs": [],
   "source": [
    "import requests\n",
    "from lxml import etree\n",
    "import os"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "1a7c7725",
   "metadata": {},
   "outputs": [],
   "source": [
    "img_url_list=[]#用于存放图片详情页的地址"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "1a1ac528",
   "metadata": {},
   "outputs": [],
   "source": [
    "tree=etree.parse('./1.html',etree.HTMLParser())#图片最后一次更新时间2022.03.25/wallhaven/toplist"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "793b05b6",
   "metadata": {},
   "outputs": [],
   "source": [
    "page_list=tree.xpath('//*[@id=\"thumbs\"]/section')#xpath定位到页面标签section，获取到section组成的列表"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "34b206c9",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "60\n"
     ]
    }
   ],
   "source": [
    "print(len(page_list))#section的个数，即刚才复制的页面的数量"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "3714b616",
   "metadata": {},
   "outputs": [],
   "source": [
    "headers={\n",
    "        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36 SLBrowser/7.0.0.12151 SLBChan/25'\n",
    "            }"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "b9676cf6",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "第0张图片下载完成1kmk39.jpg 下载完成...\n",
      "第1张图片下载完成j3ov85.png 下载完成...\n",
      "第2张图片下载完成j3o8ym.jpg 下载完成...\n",
      "第3张图片下载完成1kmwkw.jpg 下载完成...\n",
      "第4张图片下载完成q28gj7.jpg 下载完成...\n",
      "第5张图片下载完成k762j7.png 下载完成...\n",
      "第6张图片下载完成l37w6q.jpg 下载完成...\n",
      "第7张图片下载完成72qg3v.jpg 下载完成...\n",
      "第8张图片下载完成q28z67.jpg 下载完成...\n",
      "第9张图片下载完成l37992.jpg 下载完成...\n",
      "第10张图片下载完成y83yox.jpg 下载完成...\n",
      "第11张图片下载完成dpq88g.jpg 下载完成...\n",
      "第12张图片下载完成o3edql.png 下载完成...\n",
      "第13张图片下载完成k76xd1.jpg 下载完成...\n",
      "第14张图片下载完成3ze9gv.png 下载完成...\n",
      "第15张图片下载完成72qq29.png 下载完成...\n",
      "第16张图片下载完成k7vpr6.jpg 下载完成...\n",
      "第17张图片下载完成x82lxo.jpg 下载完成...\n",
      "第18张图片下载完成rdz7rq.jpg 下载完成...\n",
      "第19张图片下载完成x82d83.jpg 下载完成...\n",
      "第20张图片下载完成6ozg2w.jpg 下载完成...\n",
      "第21张图片下载完成8o16oj.jpg 下载完成...\n",
      "第22张图片下载完成578yl7.jpg 下载完成...\n",
      "第23张图片下载完成g7l673.png 下载完成...\n",
      "第24张图片下载完成dpqjwj.jpg 下载完成...\n",
      "第25张图片下载完成dpqxxg.jpg 下载完成...\n",
      "第26张图片下载完成6ozy57.jpg 下载完成...\n",
      "第27张图片下载完成1kmlr9.jpg 下载完成...\n",
      "第28张图片下载完成y8rqkl.jpg 下载完成...\n",
      "第29张图片下载完成578pl1.jpg 下载完成...\n",
      "第30张图片下载完成k768vd.jpg 下载完成...\n",
      "第31张图片下载完成1kmg19.jpg 下载完成...\n",
      "第32张图片下载完成g7lwzq.jpg 下载完成...\n",
      "第33张图片下载完成k76kzm.jpg 下载完成...\n",
      "第34张图片下载完成3zev16.jpg 下载完成...\n",
      "第35张图片下载完成z8r9qw.jpg 下载完成...\n",
      "第36张图片下载完成q2vwyq.jpg 下载完成...\n",
      "第37张图片下载完成5787d5.jpg 下载完成...\n",
      "第38张图片下载完成x828gd.jpg 下载完成...\n",
      "第39张图片下载完成g7l57d.jpg 下载完成...\n",
      "第40张图片下载完成k763jd.jpg 下载完成...\n",
      "第41张图片下载完成72q3l3.jpg 下载完成...\n",
      "第42张图片下载完成y8r5rd.png 下载完成...\n",
      "第43张图片下载完成y8rvj7.png 下载完成...\n",
      "第44张图片下载完成pkxoz9.jpg 下载完成...\n",
      "第45张图片下载完成o3e9k7.jpg 下载完成...\n",
      "第46张图片下载完成3zeq56.jpg 下载完成...\n",
      "第47张图片下载完成v9vwlm.jpg 下载完成...\n"
     ]
    }
   ],
   "source": [
    "count=1\n",
    "for page in range(1,3):\n",
    "    li_list=page_list[page].xpath('./ul/li')\n",
    "    for li in li_list:\n",
    "        #分别对图片详情页请求之后实例化对象并且提取图片源地址\n",
    "        tree=etree.HTML(requests.get(url=li.xpath('./figure/a/@href')[0],headers=headers).text)\n",
    "        img_url=tree.xpath('//*[@id=\"wallpaper\"]/@src')\n",
    "        #如果爬取到图片源地址\n",
    "        if img_url:\n",
    "            img_url=img_url[0]\n",
    "            img_url_list.append(tree.xpath('//*[@id=\"wallpaper\"]/@src')[0])\n",
    "            #对源地址请求获取图片二进制形式\n",
    "            file=requests.get(img_url).content\n",
    "            file_name=img_url.split('-')[-1]\n",
    "            #文件夹不存在则新建\n",
    "            if 'wallhaven_toplist_2' not in os.listdir('./'):\n",
    "                os.makedirs('wallhaven_toplist_2')\n",
    "            #持久化存储\n",
    "            with open('./wallhaven_toplist_2/'+file_name,'wb') as f:\n",
    "                f.write(file)\n",
    "            print(f'第{count}张图片下载完成'+img_url.split('-')[-1],'下载完成...')\n",
    "            count+=1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "3c2a9d8b",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.7"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}