时间:2021-05-23
Python 内置了 sockets 可以实现与网络连接并通过 Python 提取数据的功能。
socket 是可以提供双向连接的,我们可以对同一个 socket 进行读写操作。比方说,A 对 socket 写入信息,并且将其发送给 socket 连接另一端 B;那么 B 读取 socket 的内容就可以得到 A 的信息。但是这样会有一个问题,比如说, A端并没有发送任何信息,而 B 端一直在尝试读取 socket 的内容,那么 A 端和 B 端只能陷入漫长的等待。所以就引入了通信协议。协议通过规定谁先发送,谁后响应等来规避上述的问题。
import socketmysock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)mysock.connect(('fakeserver.com', 80)) # connect to servercmd = 'GET http://fakeserver.com/fake.txt HTTP/1.0\r\n\r\n'.encode()# send GET command followed by a blank linemysock.send(cmd) while True: # receive data and print out data = mysock.recv(512) if (len(data) < 1): break print(data.decode())mysock.close()利用 socket 我们可以与网站服务器,邮件服务器等建立连接。但是在建立连接之前,我们需要查询文档了解通信协议,然后根据协议编写程序。所以相较于 socket 这种黑魔法,我们可以利用更为简单的 Python Package。
利用 urllib.urlopen() 打开网页后,我们就可以读取数据,像读取本地文件一样。
import urllib.requestfhand = urllib.request.urlopen('http://fakeserver.com/fake.txt')for line in fhand: #convert UTF-8 to unicode string and print out print(line.decode().strip())因为 urllib 使用简洁方便,所以也常用与网络爬虫。网络爬虫除了要网页读取数据以外还需要在 HTML 格式中解释出可用数据,所以除了 urllib 还有另一常用利器就是 BeautifulSoup。
import urllib.request, urllib.parse, urllib.errorfrom bs4 import BeautifulSoupimport ssl# Ignore SSL certificate errorsctx = ssl.create_default_context()ctx.check_hostname = Falsectx.verify_mode = ssl.CERT_NONEhtml = urllib.request.urlopen('http://fakeserver.com/fake.html', context=ctx).read()soup = BeautifulSoup(html, 'html.parser')tags = soup('a')# Retrieve all of the anchor tagsfor tag in tags: print(tag.get('href', None))在网络交换数据,我们常用的格式有两种,一是 XML; 二是 JSON。
XML 长得就像是 HTML 的近亲,可以看做是树的一种。利用 Python Package ElementTree 我们可以将 XML 文件转换为树,这样可以方便我们后续提取有效的数据。
import xml.etree.ElementTree as ETdata = ''' <person> <name>Jack</name> <phone>+123456789</phone> <email office="yes"/> </person> '''tree = ET.fromstring(data) # convert xml into a treeprint('Name:', tree.find('name').text)print('Attr:', tree.find('email').get('office'))JSON 结构相较于 XML 来说更为简单,所以他的功能就没有那么强大。但是 JSON 有一个优势就是可以直接映射到 Python 的 dictionaries 和 lists 中,非常实用。
我们可以直接利用 Python Package json 来解释 JSON。
import jsondata = ''' { "name" : "Jack", "phone" : { "type" : "intl", "number" : "+123456789" }, "email" : { "office" : "yes" } } '''info = json.loads(data) # convert json into a dictianaryprint('Name:', info['name'])print('Attr:', info['email']['office'])作者:Yuki
出处:https:///yukiwu/
以上就是python如何获取网络数据的详细内容,更多关于python获取网络数据的资料请关注其它相关文章!
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
很多用Python的人可能都写过网络爬虫,自动化获取网络数据确实是一件令人愉悦的事情,而Python很好的帮助我们达到这种愉悦。然而,爬虫经常要碰到各种登录、验
如何用python做后端写网页-flask框架什么是Flask安装flask模块HelloWorld更深一步:数据绑定后端传入数据从前端获取数据数据库连接scr
1前言Python开发网络爬虫获取网页数据的基本流程为:发起请求通过URL向服务器发起request请求,请求可以包含额外的header信息。获取响应内容服务器
在Python中通过GET来获取页面的COOKIE是非常简单的事情,下面的代码实例演示了如何利用Python获取COOKIE内容#!/usr/bin/envpy
熟悉python语言,以及学会python的编码方式。熟悉python库,遇到开发任务的时候知道如何去找对应的模块。知道如何查找和获取第三方的python库,以