Python爬虫常用库的安装及其环境配置

时间：2021-05-23

Python常用库的安装

urllib、re这两个库是Python的内置库，直接使用方法import导入即可。

在python中输入如下代码：

import urllibimport urllib.requestresponse=urllib.request.urlopen("http://')>>> driver.page_source'<!DOCTYPE html><!--STATUS OK--><html><head>\n

lxml

使用pip3 install lxml安装

beautifulsoup是一个网络解析库，依赖于lxml库

使用pip3安装。必须安装pip3 install beautifulsoup4，因为beautifulsoup已经停止维护了。安装验证

>>> from bs4 import BeautifulSoup>>> soup = BeautifulSoup('<html></html>','lxml')>>>

pyquery也是网页解析库

较bs4更加方便，语法和Jquery无异。也是使用pip3 安装

>>> from pyquery import PyQuery as pq #将其重命名>>> doc = pq('<html></html>')>>> doc = pq('<html>hello world</html>')>>> result = doc('html').text()>>> result'hello world'

pymysql是一个操作mysql数据库的库

使用pip3 安装

>>> import pymysql>>> conn = pymysql.connect(host='localhost',user='root',password = '123456',port=3306,db='mysql')>>> cursor = conn.cursor()>>> cursor.execute('select * from db')0

pymongo操作数据库MongoDB的库

需要开启MongoDB服务，在计算机管理当中的服务寻找。也是使用pip3安装

>>> import pymongo>>> client = pymongo.MongoClient('localhost')>>> db = client['newtestdb']>>> db['table'].insert({'name':'tom'})ObjectId('5b868ee4c4d17a0b2466f748')>>> db['table'].find_one({'name':'tom'}){'_id': ObjectId('5b868ee4c4d17a0b2466f748'), 'name': 'tom'}>>> #完成了单条数据的查询

redis一个非关系型数据库，运行效率高

使用pip3 install redis安装

>>> import redis>>> r = redis.Redis ('localhost',6379)>>> r.set('name','tom')True>>> r.get('name')b'tom'>>> #是一个byte型数据类型

flask做代理时可能会用到

详细内容可以在flask官网查看flask文档

使用pip3 安装pip3 install flask

django是一个web服务器框架

提供了一个完整的后台管理，引擎、接口等，可以使用它做一个完整的网站。可在django的官网查看文档。使用pip3 install django安装

jupyter可以理解为一个记事本

运行网页端，可以进行写代码，调试，运行。在官网可以下载jupyter，也可以用pip3 安装，相关库非常多，安装比较久。安装后可以在命令行直接运行jupyter notebook，因为此文件在scrips目录下。
C:\Users\dell>jupyter notebook
[I 20:32:37.552 NotebookApp] The port 8888 is already in use, trying another port.
[I 20:32:37.703 NotebookApp] Serving notebooks from local directory: C:\Users\dell


可以在选项 new 中建立新python3文件，并且可以编写代码。

默认的文件名为unite，此处将其改为testDemo，使用快捷键ctrl+回车 运行，按键B跳转至新的编辑行。

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对的支持。如果你想了解更多相关内容请查看下面相关链接

声明：本页内容来源网络，仅供用户参考；我单位不保证亦不表示资料全面及准确无误，也不保证亦不表示这些资料为最新信息，如因任何原因，本网内容或者用户因倚赖本网内容造成任何损失或损害，我单位将不会负任何法律责任。如涉及版权问题，请提交至online#300.cn邮箱联系删除。

相关文章