python基于爬虫+django,打造个性化API接口

时间:2021-05-23

简述

今天也是同事在做微信小程序的开发,需要音乐接口的测试,可是用网易云的开放接口比较麻烦,也不能进行测试,这里也是和我说了一下,所以就用爬虫写了个简单网易云歌曲URL的爬虫,把数据存入mysql数据库,再利用django封装装了一个简单的API接口,给同事测试使用。

原理

创建django项目,做好基础的配置,在views里写两个方法,一个是从mysql数据库中查数据然后封装成API,一个是爬虫方法,数据扒下来以后,通过django的ORM把数据插入到mysql数据库中。
这里的路由也是对应两个,一个是爬虫的请求路由(就是运行路由),一个是接口路由,MODEL层里也是为了方便,就设了两个字段,一个是歌曲名称,一个是URL地址。

代码如下

views文件代码

from django.shortcuts import render,HttpResponseimport requestsfrom lxml import etreefrom .models import Api# Create your views here.def api_wy(request): api = Api.objects.all() return render(request, "index.html",locals())def pc(request): url = 'https://music.163.com/discover/toplist?id=3779629' headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400' } data = requests.get(url=url, headers=headers) html = etree.HTML(data.text) music_list = html.xpath('//ul[@class="f-hide"]/li/a') music_lis = [] # 存放歌曲信息 for music in music_list: music_name = music.xpath('./text()')[0] # 获取歌曲名称 music_id_all = music.xpath('./@href')[0] # 获取a标签内容 music_id = music_id_all.split('=')[-1] # 将a标签内容进行数据清洗,提取歌曲的id download_music = music_name + ' ' + f'http://music.163.com/song/media/outer/url?id={music_id}.mp3' # 将歌曲名称和url进行拼接 music_lis.append(download_music) print(download_music) for url in music_lis: try: url_name = url.split(' ')[0] # 获取名称 url_music = url.split(' ')[1] # 获取url Api.objects.create(name=url_name,url=url_music) print("正在插入数据") except: print("charushibai") return HttpResponse("正在下载")

URL路由文件

from django.contrib import adminfrom django.urls import pathfrom api.views import api_wy,pcurlpatterns = [ path('admin/', admin.site.urls), path('api/',api_wy), path("pc/",pc),]

Models层面

from django.db import models# Create your models here.class Api(models.Model): name = models.CharField('歌曲名称', max_length=100) url = models.CharField("歌曲地址",max_length=300) class Meta: verbose_name = '歌曲API' verbose_name_plural = verbose_name def __str__(self): return self.name

其他的也就没什么可说的了,也是一个比较简单的测试需求,就是为了省点事情才弄得
好了,今天就到这了,拜拜

以上就是python基于爬虫+django,打造个性化API接口的详细内容,更多关于python api接口的资料请关注其它相关文章!

声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。

相关文章