大數據

一篇文章教會你用Python爬取淘寶評論數據(寫在記事本)

【一、項目簡介】

本文主要目標是採集淘寶的評價,找出客戶所需要的功能。統計客戶評價上面誇哪個功能多,比如防水,容量大,好看等等。

【二、項目準備工作】

1. 準備Pycharm,下載安裝等,可以參考這篇文章:Python環境搭建—安利Python小白的Python和Pycharm安裝詳細教程

2. 爬取商品地址,如下所示:

https://detail.tmall.com/item.htm?spm=a230r.1.14.1.55a84b1721XG00&id=552918017887&ns=1&abbucket=17

3. 需要下載幾個庫,如何下載呢?

打開pycharm軟件點擊File在點擊setting選項,再選擇Project:你的文件名下邊的Project:Interpreter選項。

點擊+號,安裝這個項目需要用的庫,例如:requests、beautifulsoup4、simplejson。

【三、項目實現】

1. 導入需要的庫

import requests
from bs4 import  BeautifulSoup as bs
import json
import csv
import re

2. 需要登錄淘寶網,選擇谷歌瀏覽器選擇開發者工具或按F12有個Network選項,查找list_detail_rate.htm?文件

定義一個變量存儲URL地址PAGE_URL = []

定義一個生成鏈接列表函數,使用字符串拼接形成評論的頁數

定義一個獲取評論數據函數內定義需要用到的字段例如:用戶名、評論時間、顏色分類、評論,如下圖所示。

那個cookie值在在開發者工具Network有個item.htm?spm文件有個cookie複製過來就好了。

解析JS文件內容、將數據寫入TEXT文件中,如下圖所示。

最後定義一個主函數爬取需要的評論頁數,如下圖所示。

最後得到的結果如圖所示:

【四、總結】

1. 本文基於Python網絡爬蟲,採集了淘寶商品的評價,方法行之有效。但是建議不要抓取太多,以免對服務器造成壓力。

2. 如果需要本文源碼,請在公眾號後臺回覆“淘寶評論”獲取。

Leave a Reply

Your email address will not be published. Required fields are marked *