信息：通过模仿学会Python爬虫(一):零基础上手

2023-06-18 05:54:07 来源：博客园

好家伙，爬虫来了

爬虫，这玩意，不会怎么办，

诶，先抄一份作业回来

1.别人的爬虫

Python爬虫史上超详细讲解（零基础入门，老年人都看的懂）_ChenBinBini的博客-CSDN博客

# -*- codeing = utf-8 -*-from bs4 import BeautifulSoup  # 网页解析，获取数据import re  # 正则表达式，进行文字匹配`import urllib.request, urllib.error  # 制定URL，获取网页数据import xlwt  # 进行excel操作#import sqlite3  # 进行SQLite数据库操作findLink = re.compile(r"")  # 创建正则表达式对象，标售规则   影片详情链接的规则findImgSrc = re.compile(r"(.*)")findRating = re.compile(r"(.*)")findJudge = re.compile(r"(\d*)人评价")findInq = re.compile(r"(.*)")findBd = re.compile(r"(.*?)
", re.S)def main():    baseurl = "https://movie.douban.com/top250?start="  #要爬取的网页链接    # 1.爬取网页    datalist = getData(baseurl)    savepath = "豆瓣电影Top250.xls"    #当前目录新建XLS，存储进去    # dbpath = "movie.db"              #当前目录新建数据库，存储进去    # 3.保存数据    saveData(datalist,savepath)      #2种存储方式可以只选择一种    # saveData2DB(datalist,dbpath)# 爬取网页def getData(baseurl):    datalist = []  #用来存储爬取的网页信息    for i in range(0, 10):  # 调用获取页面信息的函数，10次        url = baseurl + str(i * 25)        html = askURL(url)  # 保存获取到的网页源码        # 2.逐一解析数据        soup = BeautifulSoup(html, "html.parser")        for item in soup.find_all("div", class_="item"):  # 查找符合要求的字符串            data = []  # 保存一部电影所有信息            item = str(item)            link = re.findall(findLink, item)[0]  # 通过正则表达式查找            data.append(link)            imgSrc = re.findall(findImgSrc, item)[0]            data.append(imgSrc)            titles = re.findall(findTitle, item)            if (len(titles) == 2):                ctitle = titles[0]                data.append(ctitle)                otitle = titles[1].replace("/", "")  #消除转义字符                data.append(otitle)            else:                data.append(titles[0])                data.append(" ")            rating = re.findall(findRating, item)[0]            data.append(rating)            judgeNum = re.findall(findJudge, item)[0]            data.append(judgeNum)            inq = re.findall(findInq, item)            if len(inq) != 0:                inq = inq[0].replace("。", "")                data.append(inq)            else:                data.append(" ")            bd = re.findall(findBd, item)[0]            bd = re.sub("(\s+)?", "", bd)            bd = re.sub("/", "", bd)            data.append(bd.strip())            datalist.append(data)    return datalist# 得到指定一个URL的网页内容def askURL(url):    head = {  # 模拟浏览器头部信息，向豆瓣服务器发送消息        "User-Agent": "Mozilla / 5.0(Windows NT 10.0; Win64; x64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 80.0.3987.122  Safari / 537.36"    }    # 用户代理，表示告诉豆瓣服务器，我们是什么类型的机器、浏览器（本质上是告诉浏览器，我们可以接收什么水平的文件内容）    request = urllib.request.Request(url, headers=head)    html = ""    try:        response = urllib.request.urlopen(request)        html = response.read().decode("utf-8")    except urllib.error.URLError as e:        if hasattr(e, "code"):            print(e.code)        if hasattr(e, "reason"):            print(e.reason)    return html# 保存数据到表格def saveData(datalist,savepath):    print("save.......")    book = xlwt.Workbook(encoding="utf-8",style_compression=0) #创建workbook对象    sheet = book.add_sheet("豆瓣电影Top250", cell_overwrite_ok=True) #创建工作表    col = ("电影详情链接","图片链接","影片中文名","影片外国名","评分","评价数","概况","相关信息")    for i in range(0,8):        sheet.write(0,i,col[i])  #列名    for i in range(0,250):        # print("第%d条" %(i+1))       #输出语句，用来测试        data = datalist[i]        for j in range(0,8):            sheet.write(i+1,j,data[j])  #数据    book.save(savepath) #保存if __name__ == "__main__":  # 当程序执行时    # 调用函数     main()    # init_db("movietest.db")     print("爬取完毕！")

卧槽，有点东西

这东西看上去挺nb啊，

也很方便，把我想要的一些数据直接总结到一个excel表格中了

我们来看看这些字段是如何匹配的

.xls

代码：

findLink = re.compile(r"")  # 创建正则表达式对象，标售规则   影片详情链接的规则findImgSrc = re.compile(r"(.*)")findRating = re.compile(r"(.*)")findJudge = re.compile(r"(\d*)人评价")findInq = re.compile(r"(.*)")findBd = re.compile(r"(.*?)
", re.S)

此处,使用正则表达式去匹配对应标签

正则表达式 – 简介 | 菜鸟教程 (runoob.com)

于是看了这个案例之后，我们就可以大概去分析以下爬虫到底干了什么:

1.发请求，随后拿到服务器发过来的.html文件

2.用正则表达式去套对应的，我们需要的数据

3.处理数据，最后把他们以某种方式呈现

具体来说，爬虫通常会执行以下步骤：

开干

2.我的爬虫

好了，我们自己写一个爬虫试试

import requestsfrom bs4 import BeautifulSoupimport xlwtimport re# 创建Excel文件workbook = xlwt.Workbook(encoding="utf-8")worksheet = workbook.add_sheet("kugou_rank")# pattern = re.compile(r"(?<=- ).*")# 构造请求头headers = {    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"}# 定义排行榜页面的URLurl = "https://www.kugou.com/yy/rank/home/1-6666.html?from=rank"# 发送请求并获取响应r = requests.get(url, headers=headers)# 解析HTMLsoup = BeautifulSoup(r.text, "html.parser")# 定位歌曲排行榜列表song_list = soup.find("div", {"class": "pc_temp_songlist"}).find_all("li")# 将数据写入Excel文件worksheet.write(0, 0, "排名") #写入对应的字段worksheet.write(0, 1, "歌名")worksheet.write(0, 2, "歌手")worksheet.write(0, 3, "专辑")worksheet.write(0, 4, "播放时长")worksheet.write(0, 5, "链接地址")row = 1for song in song_list:    song_name = song.find("a", {"class": "pc_temp_songname"}).text.strip()     #筛选出歌名     song_title = song.get("title")    singer_pattern = re.compile(r".*(?= - )")    song_singer = singer_pattern.findall(song_title)    song_title = song.get("title")    print(song_title)    album_pattern = re.compile(r"(?<=- ).*")    song_album = album_pattern.findall(song_title)    # song_album = pattern.findall(song)    song_time = song.find("span", {"class": "pc_temp_time"}).text.strip()    link_pattern = re.compile(r"href="(.*?)"")    worksheet.write(row, 0, song["data-index"]) #将排行写入excel表格    worksheet.write(row, 1, song_name)          #将歌名写入excel表格    worksheet.write(row, 2, song_singer)        #将歌手写入excel表格    worksheet.write(row, 3, song_album)         #将歌曲专辑写入excel表格    worksheet.write(row, 4, song_time)          #将歌曲时长写入excel表格    song =str(song)    song = song.split("javascript：")[0]    song_link = link_pattern.findall(song)    worksheet.write(row, 5, song_link)          #将歌曲时长写入excel表格    row += 1# 保存Excel文件workbook.save("C:/Users/10722/Desktop/python答辩/kugou_rank.xls")

说明:

# 构造请求头headers = {    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"}

带着请求头去请求,一个简单的"反爬"机制,模仿浏览器去发请求,非常实用

(其实没什么乱用,你能想到的,网站的开发者大概也能想到,所以你要是乱来还是会封你IP的)

没什么难度

这爬了酷狗的一个音乐榜单

然后记录了一些音乐数据，还有歌曲的地址。

还行,

关键词：