一篇文章教會你利用Python網絡爬蟲獲取Mikan動漫資源

【一、項目背景】

[蜜柑計劃 - Mikan Project] ：新一代的動漫下載站。是一個專門為喜歡動漫的小夥伴們打造的動漫視頻在線播放網站，為大家第一時間分享最新動漫資源，每日精選最優質的動漫推薦。

【二、項目目標】

實現獲取動漫種子鏈接，並下載保存在文檔。

【三、涉及的庫和網站】

1、網址如下：

https://mikanani.me/Home/Classic/{}

2、涉及的庫：requests、lxml、fake_useragent

3、軟件：PyCharm

【四、項目分析】

首先需要解決如何對下一頁的網址進行請求的問題。可以點擊下一頁的按鈕，觀察到網站的變化分別如下所示：

https://mikanani.me/Home/Classic/1

https://mikanani.me/Home/Classic/2

https://mikanani.me/Home/Classic/3

點擊下一頁時，每增加一頁Classic/()自增加1，用{}代替變換的變量，再用for循環遍歷這網址，實現多個網址請求。

【五、反爬措施】

1、獲取正常的 http請求頭，並在requests請求時設置這些常規的http請求頭。

2、使用 fake_useragent ，產生隨機的UserAgent進行訪問。

【六、項目實施】

1、我們定義一個class類繼承object，然後定義init方法繼承self，再定義一個主函數main繼承self。導入需要的庫和網址。

import requests
from lxml import etree
from fake_useragent import UserAgent

class  Mikan(object):
    def __init__(self):
      self.url = "https://mikanani.me/Home/Classic/{}"

    def main(self):
        pass

if __name__ == '__main__':
    Siper = Mikan()
    Siper.main()

2、主方法（main）：for循環實現多個網頁請求。

stat = int(input("start :"))
end = int(input(" end:"))
for page in range(stat, end + 1):
    url = self.url.format(page)
    print(url)

3、隨機產生UserAgent。

for i in range(1, 50):
            self.headers = {
                'User-Agent': ua.random,
            }

4、發送請求獲取響應, 頁面回調，方便下次請求。

def get_page(self, url):
    res = requests.get(url=url, headers=self.headers)
    html = res.content.decode("utf-8")
    return html

5、xpath解析一級頁面數據,for循環遍歷補全網址，獲取二級頁面網址。

parse_html = etree.HTML(html)
one = parse_html.xpath('//tbody//tr//td[3]/a/@href')
for li in one:
    yr = "https://mikanani.me" + li

6、二級頁面請求，先找到頁面父節點，for循環遍歷，再用path獲取到種子的下載地址。補全種子鏈接地址。

tow = parse_html2.xpath('//body')
for i in tow:
    four = i.xpath('.//p[@class="episode-title"]//text()')[0].strip()
    fif = i.xpath('.//div[@class="leftbar-nav"]/a[1]/@href')[0].strip()
    # print(four)
    t = "https://mikanani.me" + fif
    print(t)

7、保存在word文檔。

 dirname = "./種子/" + four[:15] + four[-20:] + '.torrent'
  # print(dirname)
  html3 = requests.get(url=t, headers=self.headers).content
  with open(dirname, 'wb') as f:
      f.write(html3)
      print("\n%s下載成功" % four)

8、調用方法，實現功能。

 html = self.get_page(url)
 self.parse_page(html)

【七、效果展示】

1、運行程序，在控制檯輸入起始頁，終止頁，如下圖所示。

2、將下載成功的圖片信息顯示在控制檯，如下圖所示。

3、保存.torrent文檔。

4、如何打開種子文件？先上傳到百度雲盤，如下圖所示。

5、雙擊解析下載，如下圖所示。

【八、總結】

1、不建議抓取太多數據，容易對服務器造成負載，淺嘗輒止即可。

2、本文章就python爬取Mikan Project，在下載種子的難點和重點，以及如何防止反爬，做出了相對於的解決方案。

3、介紹瞭如何去拼接字符串，以及列表如何進行類型的轉換。

4、歡迎大家積極嘗試，有時候看到別人實現起來很簡單，但是到自己動手實現的時候，總會有各種各樣的問題，切勿眼高手低，勤動手，才可以理解的更加深刻。

5、Mikan Project還提供了星期的專欄。每一天都可以看到好看的動漫。專門為喜歡動漫的小夥伴們打造的動漫視頻。

6、需要本文源碼的小夥伴，後臺回覆“動漫資源”四個字，即可獲取。

看完本文有收穫？請轉發分享給更多的人

IT共享之家

入群請在微信後臺回覆【入群】

想學習更多Python網絡爬蟲與數據挖掘知識，可前往專業網站：http://pdcfighting.com/

Leave a Reply Cancel reply