一、操作系统基础
操作系统(Operating System):OS是管理和控制计算机硬件和软件资源的计算机程序,是直接运行在“裸机”上的最基本的系统软件,任何其他软件都必须在操作系统的支持下才能运行。
二、网络通信原理
互联网的本质就是一系列的协议,总称为“互联网协议(Internet Protocol Suite)”。
互联网协议的功能:定义计算机如何接入Internet,以及接入Internet的计算机的通信的标准。
互联网协议按照功能不同分为osi七层协议或tcp/ip五层协议或tcp/ip四层协议
每层运行常见物理设备
详细内容:http://www.cnblogs.com/linhaifeng/articles/5937962.html#_label1
三、SOCKET(套接字)
Socket是应用层与TCP/IP协议族通讯的中间软件抽象层,它是一组接口。
在设计模式中,Socket其实就是一个门面模式,它把复杂的TCP/IP协议族隐藏在Socket接口后面,对用户来说,一组简单的接口就是全部,让Socket去组织数据,以符合指定的协议。
套接字起源于 20 世纪 70 年代加利福尼亚大学伯克利分校版本的 Unix,即人们所说的 BSD Unix。 因此,有时人们也把套接字称为“伯克利套接字”或“BSD 套接字”。
一开始,套接字被设计用在同 一台主机上多个应用程序之间的通讯。这也被称进程间通讯,或 IPC。套接字有两种(或者称为有两个种族),分别是基于文件型的和基于网络型的。
基于文件类型的套接字家族:AF_UNIX
unix一切皆文件,基于文件的套接字调用的就是底层的文件系统来取数据,两个套接字进程运行在同一机器,可以通过访问同一个文件系统间接完成通信。
基于网络类型的套接字家族:AF_INWT
(还有AF_INET6被用于ipv6,还有一些其他的地址家族,不过,他们要么是只用于某个平台,要么就是已经被废弃,或者是很少被使用,或者是根本没有实现,所有地址家族中,
AF_INET是使用最广泛的一个,python支持很多种地址家族,但是由于我们只关心网络编程,所以大部分时候我么只使用AF_INET)
3.1 套接字工作流程
先从服务器端说起。服务器端先初始化Socket,然后与端口绑定(bind),对端口进行监听(listen),调用accept阻塞,等待客户端连接。在这时如果有个客户端初始化一个Socket,然后连接服务器(connect),
如果连接成功,这时客户端与服务器端的连接就建立了。客户端发送数据请求,服务器端接收请求并处理请求,然后把回应数据发送给客户端,客户端读取数据,最后关闭连接,一次交互结束。
socket()函数模块用法
# import socket# socket.socket(socket_family,socket_type,protocal=0)# socket_family 可以是 AF_UNIX 或 AF_INET。socket_type 可以是 SOCK_STREAM 或 SOCK_DGRAM。protocol 一般不填,默认值为 0。## 获取tcp/ip套接字# tcpSock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)## 获取udp/ip套接字# udpSock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)## 由于 socket 模块中有太多的属性。我们在这里破例使用了'from module import *'语句。使用 'from socket import *',我们就把 socket 模块里的所有属性都带到我们的命名空间里了,这样能 大幅减短我们的代码。# 例如tcpSock = socket(AF_INET, SOCK_STREAM)
套接字模块的使用方法
# 服务端套接字函数s.bind() 绑定(主机,端口号)到套接字s.listen() 开始TCP监听s.accept() 被动接受TCP客户的连接,(阻塞式)等待连接的到来# 客户端套接字函数s.connect() 主动初始化TCP服务器连接s.connect_ex() connect()函数的扩展版本,出错时返回出错码,而不是抛出异常# 公共用途的套接字函数s.recv() 接收TCP数据s.send() 发送TCP数据(send在待发送数据量大于己端缓存区剩余空间时,数据丢失,不会发完)s.sendall() 发送完整的TCP数据(本质就是循环调用send,sendall在待发送数据量大于己端缓存区剩余空间时,数据不丢失,循环调用send直到发完)s.recvfrom() 接收UDP数据s.sendto() 发送UDP数据s.getpeername() 连接到当前套接字的远端的地址s.getsockname() 当前套接字的地址s.getsockopt() 返回指定套接字的参数s.setsockopt() 设置指定套接字的参数s.close() 关闭套接字# 面向锁的套接字方法s.setblocking() 设置套接字的阻塞与非阻塞模式s.settimeout() 设置阻塞套接字操作的超时时间s.gettimeout() 得到阻塞套接字操作的超时时间# 面向文件的套接字的函数s.fileno() 套接字的文件描述符s.makefile() 创建一个与该套接字相关的文件
3.2 基于TCP的套接字
tcp是基于链接的,必须先启动服务端,然后再启动客户端去链接服务端。
服务端和客户端进行通讯
#服务端import socketservers = socket.socket(socket.AF_INET,socket.SOCK_STREAM) #实例化一个对象:serversservers.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1) #配置socket,重用ip和端口,防止端口被占用servers.bind(('127.0.0.1',8080)) #servers绑定IP和端口,端口范围:0-65535,1-1024系统占用while True: servers.listen(5) #servers监听链接 road,address = servers.accept() #接收客户端的链接,返回一个新套接字表示客户端的链接和地址 while True: try: data = road.recv(1024) #接收客户端的数据 road.send(data.upper()) #处理数据,并把数据发送给客户端 except ConnectionResetError: #处理异常:如果客户端断开链接 break road.close()servers.close()#客户端import socketclient = socket.socket(socket.AF_INET,socket.SOCK_STREAM) #实例化一个对象:clientclient.connect(('127.0.0.1',8080)) #client链接IP和端口while True: msg = input('>>:').strip() if not msg:continue #如果数据为空,不发送 client.send(msg.encode('utf-8')) #client向客户端发送数据 data = client.recv(1024) #client接收数据 print(data.decode('utf-8'))client.close()
服务端执行客户端发送的命令并把命令结果返回:使用subproccess模块,解决粘包问题,使用自定义报头,报头包含发送内容的大小,再将报头的长度使用struct模块转化成固定长度的bytes类型传到客户端,这样客户端就能准确接收,解决粘包问题。
import subprocessimport structimport socketimport jsonserver = socket.socket(socket.AF_INET,socket.SOCK_STREAM)server.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1)server.bind(('127.0.0.1',8080))server.listen(5)while True: conn,addr = server.accept() print(addr) while True: try: cmd = conn.recv(1024) if not cmd:break #在linux系统,如果客户端端口链接,服务端不会报错,而是不断接收空的内容 cmd = cmd.decode('utf-8') obj = subprocess.Popen(cmd,shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE) stdout = obj.stdout.read() stderr = obj.stderr.read() header_dic = { #自定义报头 'total_size':len(stdout)+len(stderr), 'md5':'abcdefg1234', 'filename':'xxxxxxxx' } header_json = json.dumps(header_dic) #将字典序列化成字符串 header_bytes = header_json.encode('utf-8') #将字符串编码成bytes类型 header_size = struct.pack('i',len(header_bytes)) #将报头长度变成固定格式的bytes类型 conn.send(header_size) conn.send(header_bytes) conn.send(stdout) conn.send(stderr) except ConnectionResetError: break conn.close()server.close()import structimport jsonimport socketclient = socket.socket(socket.AF_INET,socket.SOCK_STREAM)client.connect(('127.0.0.1',8080))while True: cmd = input('>>:').strip() if not cmd:continue client.send(cmd.encode('utf-8')) obj = client.recv(4) #接收固定格式的报头长度 header_size = struct.unpack('i',obj)[0] #将报头的长度由bytes类型转成数字 header_bytes = client.recv(header_size) #根据报头长度接收报头 header_json = header_bytes.decode('utf-8') header_dic = json.loads(header_json) print(header_dic) total_size = header_dic['total_size'] #拿到内容的长度 recv_size = 0 res = b'' while recv_size < total_size: #循环接收内容,保证内容被全部接收 recv_data = client.recv(1024) res += recv_data recv_size += len(recv_size) print(res.decode('gbk'))client.close()
3.3 基于UDP的套接字
udp协议称之为数据报协议SOCK_DGRAM
udp协议是无连接的
udp协议传输数据不可靠(tcp可靠)
应用:DNS,聊天,ntp服务