upload2huggingface_hub.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "f9ec27c5-38a5-4a34-9893-6ffe8f0fb6d1",
   "metadata": {
    "tags": []
   },
   "outputs": [],
   "source": [
    "import glob\n",
    "import os\n",
    "import pandas as pd\n",
    "import re\n",
    "from unicodedata import normalize\n",
    "from tqdm.auto import tqdm\n",
    "import re\n",
    "# as per recommendation from @freylis, compile once only\n",
    "CLEANR = re.compile('<.*?>') \n",
    "\n",
    "def cleanhtml(raw_html):\n",
    "  cleantext = re.sub(CLEANR, '', raw_html)\n",
    "  return cleantext"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "4581ef41-b6ce-43dd-8788-d53952fa7478",
   "metadata": {
    "tags": []
   },
   "outputs": [],
   "source": [
    "list_all_txt_files=list(glob.glob(os.path.join(\".\",\"data\",\"*\",\"*\",\"*\",\"*.txt\")))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "6f5f3fb8-8734-459b-bc23-b015c0699619",
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "44680"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(list_all_txt_files)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "5305eae8-7608-41d6-becf-2bed52121a00",
   "metadata": {
    "tags": []
   },
   "outputs": [],
   "source": [
    "def read_file(path):\n",
    "    text={\"title\":\"\",\"context\":\"\",\"url\":\"\"}\n",
    "    page_view_line = 0\n",
    "    with open(path, 'r', encoding='utf-8-sig') as f:\n",
    "        for n, line in enumerate(f):\n",
    "            line = line.strip()\n",
    "            if n == 0: # title line\n",
    "                text[\"title\"] = line.strip()\n",
    "            else:\n",
    "                if line:\n",
    "                    if re.match(r'^[\\d,]+$', line):\n",
    "                        page_view_line = n\n",
    "                        continue\n",
    "                    if line == 'พิมพ์' or page_view_line and page_view_line < n: # skip 'print'\n",
    "                        continue\n",
    "                    if re.match(r'^ที่มา : http', line):\n",
    "                        text[\"url\"] = line.strip().split(\" \")[-1]\n",
    "                    else:\n",
    "                        text[\"context\"] +=line.strip().replace(\"\\xa0\",\"\")+\"\\n\"\n",
    "    text[\"context\"]=cleanhtml(normalize('NFKD', text[\"context\"])).strip()\n",
    "    text[\"raw\"]=text[\"title\"]+\"\\n\"+text[\"context\"]\n",
    "    return text"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "f031d1ef-c40f-4da9-8c82-dee791a8877f",
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'title': 'รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-รมช.มนัญญา ประชุมตรวจติดตามการดำเนินงานขับเคลื่อนไทยไปด้วยกันจังหวัดอุทัยธานี เพื่อพัฒนาและแก้ไขปัญหาระดับจังหวัด สามารถขับเคลื่อนไปได้โดยเร็ว', 'context': 'วันพฤหัสบดีที่ 24 ธันวาคม 2563\\nรมช.มนัญญา ประชุมตรวจติดตามการดําเนินงานขับเคลื่อนไทยไปด้วยกันจังหวัดอุทัยธานี เพื่อพัฒนาและแก้ไขปัญหาระดับจังหวัด สามารถขับเคลื่อนไปได้โดยเร็ว\\nรมช.มนัญญา ประชุมตรวจติดตามการดําเนินงานขับเคลื่อนไทยไปด้วยกันจังหวัดอุทัยธานี เพื่อพัฒนาและแก้ไขปัญหาระดับจังหวัด สามารถขับเคลื่อนไปได้โดยเร็ว\\nนางสาวมนัญญา ไทยเศรษฐ์ รัฐมนตรีช่วยว่าการกระทรวงเกษตรและสหกรณ์ เป็นประธานการประชุมตรวจติดตามการดําเนินงานขับเคลื่อนไทยไปด้วยกันระดับพื้นที่จังหวัด (จังหวัดอุทัยธานี) ณ ห้องประชุมสะแกกรัง ศาลากลางจังหวัดอุทัยธานี พร้อมรับฟังสรุปปัญหาในแต่ละด้านที่สําคัญ โดยจังหวัดอุทัยธานีให้ความสําคัญกับแนวทางการขับเคลื่อนไทยไปด้วยกัน ให้เป็นวาระและภารกิจสําคัญของจังหวัด เพื่อพัฒนาและแก้ไขปัญหาระดับจังหวัดสามารถขับเคลื่อนไปได้โดยเร็ว ลดปัญหาและอุปสรรค รวมทั้งใช้ทรัพยากรต่างๆ ได้อย่างมีประสิทธิภาพ ทั้งนี้ ได้มอบนโยบายแนวทางการดําเนินงาน ให้ทุกหน่วยงานบูรณาการร่วมกัน โดยเฉพาะเรื่องการบริหารจัดการน้ําให้เกษตรกรสามารถทําการเกษตรได้ และประชาชนมีน้ําอุปโภคบริโภคเพียงพอ พร้อมส่งเสริมสนับสนุนให้ชาวจังหวัดอุทัยธานีประกอบอาชีพปลูกหม่อนเลี้ยงไหม เนื่องจากผ้าไหมจังหวัดอุทัยธานีเป็นที่ต้องการของตลาด โดยมีหัวหน้าส่วนราชการจังหวัดอุทัยธานี และเจ้าหน้าที่ที่เกี่ยวข้อง เข้าร่วมการประชุม\\nรมช.มนัญญา กล่าวว่า เป็นนโยบายของนายกรัฐมนตรี พลเอกประยุทธ์ จันทร์โอชา ได้ให้ความสําคัญกับการแก้ไขปัญหาความเดือดร้อนของประชาชน การยกระดับคุณภาพชีวิตความเป็นอยู่ของประชาชน และการเสริมสร้างศักยภาพในการพัฒนาประเทศ สืบเนื่องจากสถานการณ์การแพร่ระบาดของโรคติดเชื้อไวรัสโคโรนาสายพันธุ์ใหม่ (COVID-19) เมื่อปลายปี 2560 จนถึงปัจจุบัน ส่งผลกระทบอย่างมากต่อการดําเนินชีวิตของประชาชน เศรษฐกิจ และสังคมของประเทศ จึงเห็นควรให้มีการดําเนินงานติดตาม เร่งรัด ช่วยเหลือ เยียวยา และขับเคลื่อนการแก้ไขปัญหาดังกล่าวในระดับพื้นที่ โดยเริ่มจากปัญหาที่เป็นความเดือดร้อนเร่งด่วน เพื่อให้เกิดผลสัมฤทธิ์อย่างเป็นรูปธรรมและรวดเร็วทันเหตุการณ์ ด้วยการบูรณาการการทํางานร่วมกันของทุกภาคส่วนในพื้นที่แต่ละจังหวัดอย่างเป็นระบบตามหลักปรัชญาเศรษฐกิจพอเพียง และการดําเนินชีวิตวิถีใหม่ (New Normal)', 'url': 'https://www.thaigov.go.th/news/contents/details/37878', 'raw': 'รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-รมช.มนัญญา ประชุมตรวจติดตามการดำเนินงานขับเคลื่อนไทยไปด้วยกันจังหวัดอุทัยธานี เพื่อพัฒนาและแก้ไขปัญหาระดับจังหวัด สามารถขับเคลื่อนไปได้โดยเร็ว\\nวันพฤหัสบดีที่ 24 ธันวาคม 2563\\nรมช.มนัญญา ประชุมตรวจติดตามการดําเนินงานขับเคลื่อนไทยไปด้วยกันจังหวัดอุทัยธานี เพื่อพัฒนาและแก้ไขปัญหาระดับจังหวัด สามารถขับเคลื่อนไปได้โดยเร็ว\\nรมช.มนัญญา ประชุมตรวจติดตามการดําเนินงานขับเคลื่อนไทยไปด้วยกันจังหวัดอุทัยธานี เพื่อพัฒนาและแก้ไขปัญหาระดับจังหวัด สามารถขับเคลื่อนไปได้โดยเร็ว\\nนางสาวมนัญญา ไทยเศรษฐ์ รัฐมนตรีช่วยว่าการกระทรวงเกษตรและสหกรณ์ เป็นประธานการประชุมตรวจติดตามการดําเนินงานขับเคลื่อนไทยไปด้วยกันระดับพื้นที่จังหวัด (จังหวัดอุทัยธานี) ณ ห้องประชุมสะแกกรัง ศาลากลางจังหวัดอุทัยธานี พร้อมรับฟังสรุปปัญหาในแต่ละด้านที่สําคัญ โดยจังหวัดอุทัยธานีให้ความสําคัญกับแนวทางการขับเคลื่อนไทยไปด้วยกัน ให้เป็นวาระและภารกิจสําคัญของจังหวัด เพื่อพัฒนาและแก้ไขปัญหาระดับจังหวัดสามารถขับเคลื่อนไปได้โดยเร็ว ลดปัญหาและอุปสรรค รวมทั้งใช้ทรัพยากรต่างๆ ได้อย่างมีประสิทธิภาพ ทั้งนี้ ได้มอบนโยบายแนวทางการดําเนินงาน ให้ทุกหน่วยงานบูรณาการร่วมกัน โดยเฉพาะเรื่องการบริหารจัดการน้ําให้เกษตรกรสามารถทําการเกษตรได้ และประชาชนมีน้ําอุปโภคบริโภคเพียงพอ พร้อมส่งเสริมสนับสนุนให้ชาวจังหวัดอุทัยธานีประกอบอาชีพปลูกหม่อนเลี้ยงไหม เนื่องจากผ้าไหมจังหวัดอุทัยธานีเป็นที่ต้องการของตลาด โดยมีหัวหน้าส่วนราชการจังหวัดอุทัยธานี และเจ้าหน้าที่ที่เกี่ยวข้อง เข้าร่วมการประชุม\\nรมช.มนัญญา กล่าวว่า เป็นนโยบายของนายกรัฐมนตรี พลเอกประยุทธ์ จันทร์โอชา ได้ให้ความสําคัญกับการแก้ไขปัญหาความเดือดร้อนของประชาชน การยกระดับคุณภาพชีวิตความเป็นอยู่ของประชาชน และการเสริมสร้างศักยภาพในการพัฒนาประเทศ สืบเนื่องจากสถานการณ์การแพร่ระบาดของโรคติดเชื้อไวรัสโคโรนาสายพันธุ์ใหม่ (COVID-19) เมื่อปลายปี 2560 จนถึงปัจจุบัน ส่งผลกระทบอย่างมากต่อการดําเนินชีวิตของประชาชน เศรษฐกิจ และสังคมของประเทศ จึงเห็นควรให้มีการดําเนินงานติดตาม เร่งรัด ช่วยเหลือ เยียวยา และขับเคลื่อนการแก้ไขปัญหาดังกล่าวในระดับพื้นที่ โดยเริ่มจากปัญหาที่เป็นความเดือดร้อนเร่งด่วน เพื่อให้เกิดผลสัมฤทธิ์อย่างเป็นรูปธรรมและรวดเร็วทันเหตุการณ์ ด้วยการบูรณาการการทํางานร่วมกันของทุกภาคส่วนในพื้นที่แต่ละจังหวัดอย่างเป็นระบบตามหลักปรัชญาเศรษฐกิจพอเพียง และการดําเนินชีวิตวิถีใหม่ (New Normal)'}\n"
     ]
    }
   ],
   "source": [
    "print(read_file(list_all_txt_files[-1]))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "86c06c28-0b81-46d8-9187-83aa692a0fa8",
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "1c20bfdee36a43d3bd8f669e847f99ec",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "  0%|          | 0/44680 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "title=[]\n",
    "context=[]\n",
    "url=[]\n",
    "raw=[]\n",
    "for i in tqdm(list_all_txt_files):\n",
    "    d=read_file(i)\n",
    "    title.append(d[\"title\"])\n",
    "    context.append(d[\"context\"])\n",
    "    url.append(d[\"url\"])\n",
    "    raw.append(d[\"raw\"])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "f094b0a7-2ea1-40e8-8d6a-cfde0f933d23",
   "metadata": {
    "tags": []
   },
   "outputs": [],
   "source": [
    "df = pd.DataFrame.from_dict(\n",
    "    {\n",
    "        \"title\": title,\n",
    "        \"context\": context,\n",
    "        \"raw\":raw,\n",
    "        \"url\": url,\n",
    "    }\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "a798a718-ecce-4921-bf4a-0c4b09e7d70d",
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>title</th>\n",
       "      <th>context</th>\n",
       "      <th>raw</th>\n",
       "      <th>url</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-โฆษกรัฐบาลแจงสิทธิ...</td>\n",
       "      <td>วันศุกร์ที่ 15 กรกฎาคม 2565\\nโฆษกรัฐบาลแจงสิทธ...</td>\n",
       "      <td>รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-โฆษกรัฐบาลแจงสิทธิ...</td>\n",
       "      <td>https://www.thaigov.go.th/news/contents/detail...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-ออมสินร่วมงาน Thai...</td>\n",
       "      <td>วันพฤหัสบดีที่ 9 ธันวาคม 2564\\nออมสินร่วมงาน T...</td>\n",
       "      <td>รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-ออมสินร่วมงาน Thai...</td>\n",
       "      <td>https://www.thaigov.go.th/news/contents/detail...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-รัฐบาลแจงผลงานขับเ...</td>\n",
       "      <td>วันพฤหัสบดีที่ 6 มกราคม 2565\\nรัฐบาลแจงผลงานขั...</td>\n",
       "      <td>รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-รัฐบาลแจงผลงานขับเ...</td>\n",
       "      <td>https://www.thaigov.go.th/news/contents/detail...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-“อนุทิน” เปิดใช้เค...</td>\n",
       "      <td>วันจันทร์ที่ 13 กันยายน 2564\\n“อนุทิน” เปิดใช้...</td>\n",
       "      <td>รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-“อนุทิน” เปิดใช้เค...</td>\n",
       "      <td>https://www.thaigov.go.th/news/contents/detail...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-“เฉลิมชัย” ประธานฟ...</td>\n",
       "      <td>วันศุกร์ที่ 15 ตุลาคม 2564\\n“เฉลิมชัย” ประธานฟ...</td>\n",
       "      <td>รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-“เฉลิมชัย” ประธานฟ...</td>\n",
       "      <td>https://www.thaigov.go.th/news/contents/detail...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>44675</th>\n",
       "      <td>รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-ออมสินแจ้งเหตุการณ...</td>\n",
       "      <td>วันพฤหัสบดีที่ 24 ธันวาคม 2563\\nออมสินแจ้งเหตุ...</td>\n",
       "      <td>รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-ออมสินแจ้งเหตุการณ...</td>\n",
       "      <td>https://www.thaigov.go.th/news/contents/detail...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>44676</th>\n",
       "      <td>รัฐบาลไทย-ข่าวทำเนียบรัฐบาล- กระทรวงเกษตรฯ จัด...</td>\n",
       "      <td>วันพฤหัสบดีที่ 24 ธันวาคม 2563\\nกระทรวงเกษตรฯ ...</td>\n",
       "      <td>รัฐบาลไทย-ข่าวทำเนียบรัฐบาล- กระทรวงเกษตรฯ จัด...</td>\n",
       "      <td>https://www.thaigov.go.th/news/contents/detail...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>44677</th>\n",
       "      <td>รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-รมว.มท. ประชุมร่วม...</td>\n",
       "      <td>วันพฤหัสบดีที่ 24 ธันวาคม 2563\\nรมว.มท. ประชุม...</td>\n",
       "      <td>รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-รมว.มท. ประชุมร่วม...</td>\n",
       "      <td>https://www.thaigov.go.th/news/contents/detail...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>44678</th>\n",
       "      <td>รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-อิสราเอลยังต้องการ...</td>\n",
       "      <td>วันพฤหัสบดีที่ 24 ธันวาคม 2563\\nอิสราเอลยังต้อ...</td>\n",
       "      <td>รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-อิสราเอลยังต้องการ...</td>\n",
       "      <td>https://www.thaigov.go.th/news/contents/detail...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>44679</th>\n",
       "      <td>รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-รมช.มนัญญา ประชุมต...</td>\n",
       "      <td>วันพฤหัสบดีที่ 24 ธันวาคม 2563\\nรมช.มนัญญา ประ...</td>\n",
       "      <td>รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-รมช.มนัญญา ประชุมต...</td>\n",
       "      <td>https://www.thaigov.go.th/news/contents/detail...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>44680 rows × 4 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                   title  \\\n",
       "0      รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-โฆษกรัฐบาลแจงสิทธิ...   \n",
       "1      รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-ออมสินร่วมงาน Thai...   \n",
       "2      รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-รัฐบาลแจงผลงานขับเ...   \n",
       "3      รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-“อนุทิน” เปิดใช้เค...   \n",
       "4      รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-“เฉลิมชัย” ประธานฟ...   \n",
       "...                                                  ...   \n",
       "44675  รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-ออมสินแจ้งเหตุการณ...   \n",
       "44676  รัฐบาลไทย-ข่าวทำเนียบรัฐบาล- กระทรวงเกษตรฯ จัด...   \n",
       "44677  รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-รมว.มท. ประชุมร่วม...   \n",
       "44678  รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-อิสราเอลยังต้องการ...   \n",
       "44679  รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-รมช.มนัญญา ประชุมต...   \n",
       "\n",
       "                                                 context  \\\n",
       "0      วันศุกร์ที่ 15 กรกฎาคม 2565\\nโฆษกรัฐบาลแจงสิทธ...   \n",
       "1      วันพฤหัสบดีที่ 9 ธันวาคม 2564\\nออมสินร่วมงาน T...   \n",
       "2      วันพฤหัสบดีที่ 6 มกราคม 2565\\nรัฐบาลแจงผลงานขั...   \n",
       "3      วันจันทร์ที่ 13 กันยายน 2564\\n“อนุทิน” เปิดใช้...   \n",
       "4      วันศุกร์ที่ 15 ตุลาคม 2564\\n“เฉลิมชัย” ประธานฟ...   \n",
       "...                                                  ...   \n",
       "44675  วันพฤหัสบดีที่ 24 ธันวาคม 2563\\nออมสินแจ้งเหตุ...   \n",
       "44676  วันพฤหัสบดีที่ 24 ธันวาคม 2563\\nกระทรวงเกษตรฯ ...   \n",
       "44677  วันพฤหัสบดีที่ 24 ธันวาคม 2563\\nรมว.มท. ประชุม...   \n",
       "44678  วันพฤหัสบดีที่ 24 ธันวาคม 2563\\nอิสราเอลยังต้อ...   \n",
       "44679  วันพฤหัสบดีที่ 24 ธันวาคม 2563\\nรมช.มนัญญา ประ...   \n",
       "\n",
       "                                                     raw  \\\n",
       "0      รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-โฆษกรัฐบาลแจงสิทธิ...   \n",
       "1      รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-ออมสินร่วมงาน Thai...   \n",
       "2      รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-รัฐบาลแจงผลงานขับเ...   \n",
       "3      รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-“อนุทิน” เปิดใช้เค...   \n",
       "4      รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-“เฉลิมชัย” ประธานฟ...   \n",
       "...                                                  ...   \n",
       "44675  รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-ออมสินแจ้งเหตุการณ...   \n",
       "44676  รัฐบาลไทย-ข่าวทำเนียบรัฐบาล- กระทรวงเกษตรฯ จัด...   \n",
       "44677  รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-รมว.มท. ประชุมร่วม...   \n",
       "44678  รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-อิสราเอลยังต้องการ...   \n",
       "44679  รัฐบาลไทย-ข่าวทำเนียบรัฐบาล-รมช.มนัญญา ประชุมต...   \n",
       "\n",
       "                                                     url  \n",
       "0      https://www.thaigov.go.th/news/contents/detail...  \n",
       "1      https://www.thaigov.go.th/news/contents/detail...  \n",
       "2      https://www.thaigov.go.th/news/contents/detail...  \n",
       "3      https://www.thaigov.go.th/news/contents/detail...  \n",
       "4      https://www.thaigov.go.th/news/contents/detail...  \n",
       "...                                                  ...  \n",
       "44675  https://www.thaigov.go.th/news/contents/detail...  \n",
       "44676  https://www.thaigov.go.th/news/contents/detail...  \n",
       "44677  https://www.thaigov.go.th/news/contents/detail...  \n",
       "44678  https://www.thaigov.go.th/news/contents/detail...  \n",
       "44679  https://www.thaigov.go.th/news/contents/detail...  \n",
       "\n",
       "[44680 rows x 4 columns]"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "af930fbf-62a7-4687-9bac-a414322ef032",
   "metadata": {
    "tags": []
   },
   "outputs": [],
   "source": [
    "from datasets import Dataset\n",
    "\n",
    "ds = Dataset.from_pandas(df)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "d7531bfb-bcc7-46a9-bfc9-ee97e3c24511",
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "4413ce9149c1479b9ddac3d250ba2537",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Uploading the dataset shards:   0%|          | 0/2 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "c3c73d4b8f9844fe84ac8ed53023e620",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Creating parquet from Arrow format:   0%|          | 0/23 [00:00<?, ?ba/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "21dc6dc7dc664d6fb90f69ad4d9588c0",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Creating parquet from Arrow format:   0%|          | 0/23 [00:00<?, ?ba/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "ds.push_to_hub(\"pythainlp/thaigov-v2-corpus-31032024\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "fc11f7b9-c262-4017-8d24-ae7032e5d7d2",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3.8.13 ('base')",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.13"
  },
  "vscode": {
   "interpreter": {
    "hash": "a1d6ff38954a1cdba4cf61ffa51e42f4658fc35985cd256cd89123cae8466a39"
   }
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}