Python之路【第⑦篇】: python基础之socket编制程序

socket 实例类(8-10分钟)

socket.socket(family=AF_INET, type=SOCK_STREAM, proto=0, fileno=None)

 family***(*socke*t家族)***

  • socket.AF_UNIX:用于本机进度间通信,为了确定保证程序安全,七个单身的次序(进度)间是无法相互走访相互的内部存款和储蓄器的,但为了完成进度间的简报,能够透过创设2个当地的socket来达成
  • socket.AF_INET:(还有AF_INET6被用于ipv6,还有一部分其余的地方家族,但是,他们还是是只用于有些平台,要么正是一度被丢掉,或然是很少被选择,恐怕是根本未曾完成,全部地方家族中,AF_INET是使用最广泛的三个,python支持很多样地方家族,可是出于大家只关心网络编制程序,所以超过58%时候笔者么只利用AF_INET)

 socket type***类型***

  • socket.SOCK_STREAM #for tcp
  • socket.SOCK_DGRAM #for udp
  • socket.SOCK_RAW
    #原始套接字,普通的套接字不可能处理ICMP、I地霉素P等互联网报文,而SOCK_RAW可以;其次,SOCK_RAW也得以处理万分的IPv4报文;其余,利用原始套接字,能够因而IP_HDLANDINCL套接字选项由用户构造IP头。
  • socket.SOCK_RDM
    #是一种保证的UDP方式,即确认保障交到数据报但不保证顺序。SOCK_RAM用来提供对本来协议的低档访问,在须要实行有些特殊操作时利用,如发送ICMP报文。SOCK_RAM日常仅限于高级用户或领队运转的先后采用。
  • socket.SOCK_SEQPACKET #废弃了

(Only SOCK_STREAM and SOCK_DGRAM appear to be generally useful.)

 proto=0 请忽略,特殊用途

 fileno=None 请忽略,特殊用途

tcp基于链接通讯

  • 根据链接,则必要listen(backlog),钦命连接池的尺寸
  • 传闻链接,必须先运转的服务端,然后客户端发起链接请求
  • 对此mac系统:假若一端断开了链接,那其它一端的链接也随后完蛋recv将不会阻塞,收到的是空(消除措施是:服务端在收新闻后拉长if判断,空音讯就break掉通讯循环)
  • 对此windows/linux系统:假设一端断开了链接,那此外一端的链接也随之完蛋recv将不会卡住,收到的是空(解决措施是:服务端通讯循环内加特别处理,捕捉到分外后就break掉通信循环)

十五. socketserver完成产出

待补充…

 

 

 

 

参考资料: 

 

六、粘包

  粘包现象只会时有发生在tcp的链接进度中,udp是不会发生粘包现象的(UDP是面向消息的协议,每一个UDP段都以一条信息,应用程序必须以消息为单位领取数额,无法二次提取任意字节的数量)。

图片 1

  上海体育场地是socket收发音讯的规律图,TCP协议是面向流的商议,应用程序得到的数据是3个完整数据流(stream),一条音信有多少字节对于应用程序是不可见的,新闻从哪初叶到哪截止,应用程序一窍不通,那就招致出现粘包难题了。

  粘包难题本质正是因为接收方不晓得音讯之间的尽头,不驾驭2次性领取多少字节的数目所导致的。

   从尾部数据报文来看:tcp收发两端(客户端和服务器端)都要有各样成对的socket,由此,发送端为了将多少个发往接收端的包,更有效的发到对方,使用了优化措施(Nagle算法),将反复区间较小且数据量小的数量,合并成1个大的数据块,然后进行封包。那样,接收端,就欲罢无法分辨出来了。而udp协理的是一对多的情势,所以接收端的skbuff(套接字缓冲区)选用了链式结构来记录每贰个抵达的UDP包,在各类UDP包中就有了音信头(音信来源地址,端口等新闻),那样,对于接收端来说,就简单举办区分处理了。

  因为那么些出入,tcp收发音信都不可能为空,在客户端和服务端都要添加空音讯处理体制,幸免程序卡死。udp不是基于流的数据报,尽管你输入的内容是空发出去的数额报或然由新乡申明自个儿的尺寸是0。

  udp固然不粘包不过也有她的瑕疵,我们都叫他不得靠传输,udp的recvfrom是阻塞的,3个recvfrom(x)必须对唯一贰个sendinto(y),收完了x个字节的数量正是完事,借使y>x数据就丢掉,那表示udp根本不会粘包,可是会丢数据,不可信赖 tcp的商谈数据不会丢,没有收完包,下次吸收接纳,会持续上次无冕接受,己端总是在吸收接纳ack时才会免去缓冲区内容。数据是牢靠的,不过会粘包。

  粘包的二种情景:

  1.在发送端发送数据的时日距离相当短,数据自身非常小见面到一起产生粘包现象。

  2.客户端发送的多寡比较大跨越了服务端二次能够接纳的界定,所以服务端只收了一小部分,服务端下次再收的时候依旧从缓冲区拿上次遗留的数目,发生粘包。大的数目报在出殡和埋葬端的缓冲区长度超越网卡的最大传输数据单元,tcp会将数据拆分成多少个数据包再发送出去。

udp无链接

udp 不需要经过3次握手和4次挥手,不需要提前建立连接,直接发数据就行。
  • 无链接,由此无需listen(backlog),特别没有何样连接池之说了
  • 无链接,udp的sendinto不用管是或不是有3个正在运行的服务端,能够己端一个劲的发音讯,只不过数据丢失
  • recvfrom收的数码低于sendinto发送的数额时,在mac和linux系统上数据直接丢掉,在windows系统上发送的比收受的大学一年级直报错
  • 唯有sendinto发送数据没有recvfrom收多少,数据丢失
  • 1个sendto对应1个recvfrom,不会时有产生粘包难点

     
 udp协议纵然不会时有爆发粘包,但
udp协议不安全,tcp协议会在发多少前发个音信,在接收端回复确认能够接收数据后,才会发送数据,发送数据
       
 后还要静观其变接收端回复已吸收接纳后才会三番五次发送,因而tcp协议是政通人和安全的。

client.py 

图片 2图片 3

 1 import socket
 2 # 建立套接字对象
 3 client = socket.socket(socket.AF_INET,socket.SOCK_DGRAM)
 4 #client.connect(('127.0.0.0',8080)) #udp没有链接
 5 
 6 
 7 while True:
 8     msg = input('>>:').strip()
 9     client.sendto(msg.encode('utf-8'),('127.0.0.1',8080)) #udp没有链接,发送信息必须指定ip和端口
10 
11     data,server_addr = client.recvfrom(1024)
12     print(data,server_addr)
13 
14 client.close()

udp套接字 client

>>:hah
b'HAH' ('127.0.0.1', 8080)
>>:yy
b'YY' ('127.0.0.1', 8080)
>>:

service.py

图片 4图片 5

 1 import socket
 2 # 建立套接字对象
 3 server = socket.socket(socket.AF_INET,socket.SOCK_DGRAM)
 4 server.bind(('127.0.0.1',8080))
 5 
 6 #server.listen() #监听最大链接数,udp没有链接
 7 #server.accept() #建立链接,udp无链接
 8 
 9 while True:
10     data,client = server.recvfrom(1024)
11     print(data,client) #返回数据和数据发送端的ip和端口
12     server.sendto(data.upper(),client) #udp没有链接,发送信息必须指定ip和端口
13 
14 server.close()

udp套接字 server

b'hah' ('127.0.0.1', 59001)
b'yy' ('127.0.0.1', 59001)

  

 

 

 

socket type类型

 9.1 send与sendinto

tcp是依据数据流的,而udp是依照数据报的:

  • send(bytes_data):发送数据流,数据流bytes_data若为空,本人那段的缓冲区也为空,操作系统不会决定tcp协议发空包
  • sendinto(bytes_data,ip_port):发送数据报,bytes_data为空,还有ip_port,全部即正是发送空的bytes_data,数据报其实也不是空的,本人那端的缓冲区收到内容,操作系统就会决定udp协议发包。

一 、客户端/服务器架设

  网络中四处都应有了C/S架构,大家学习socket便是为了成功C/S架构的开发。

tcp套接字

1.简单套接字
客户端和服务端:两个主要功能,1、建立链接 2、数据通讯
服务端程序会产生两个套接字socket,一个用于三次握手建立链接,另一个用于收发消息数据通讯;
客户端产生一个套接字socket,既可以用于建立链接后,再用于收发消息数据通讯。

client.py

图片 6图片 7

 1 import socket
 2 
 3 #1.买手机
 4 phone = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
 5 print(phone)
 6 
 7 #2.拨号
 8 phone.connect(('127.0.0.1',8081)) 
 9 #端口范围0-65535,0-1024给操作系统用的,若一直无法连接上server,则会一直停留在这一步
10 
11 #3.发收消息
12 phone.send('hello'.encode('utf-8'))
13 data = phone.recv(1024)
14 print(data)
15 
16 #4.关闭
17 phone.close()

View Code

 service.py

图片 8图片 9

 1 import socket
 2 
 3 #1.买手机
 4 phone = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
 5 print(phone)
 6 
 7 #2.绑定手机卡
 8 phone.bind(('127.0.0.1',8081)) #端口范围0-65535,0-1024给操作系统用的
 9 
10 #3.开机
11 phone.listen(5) # 参数表示最大监听数
12 
13 #4.等电话链接
14 print('starting...')
15 conn,client = phone.accept() #返回一个新的套接字conn用于通讯,client为发起通讯链接的客户端的ip和端口号
16 print(conn,client)
17 # print('===>')
18 
19 #5.收,发消息
20 data = conn.recv(1024) # 单位:bytes,  1024代表最大接收1024个bytes
21 print('客户端的数据',data)
22 conn.send(data.upper())
23 
24 #6.挂电话
25 conn.close()
26 
27 #7.关机
28 phone.close()

View Code

 

由于重启时系统还没赶趟回收端口,由此会唤起端口已被侵占。

本条是由于你的服务端依旧存在8次挥手的time_wait状态在挤占地址(假如不懂,请深切钻研1.tcp一回握手,肆遍挥手
2.syn洪流攻击 3.服务器高并发意况下会有雅量的time_wait状态的优化措施)

消除格局:参加一条socket配置,重用ip和端口。

phone.setsockopt(SOL_SOCKET,SO_REUSEADDR,1) #就是它,在bind ip和端口
前加。

或者:

实验之前要全部关闭掉所用占用端口的程序,用以下指令
linux:pkill -9 python
windows:taskkill python

 

一. 客户端/服务器架设

  1. 两种情景
  • C/S架构 客户端/服务器端(打字与印刷机)
  • B/S架构 浏览器/服务器端(web服务)

C/S架构与socket的关系:大家上学socket就是为了做到C/S架构的花费

 

④ 、基于tcp的套接字代码完结

  tcp是依据链接的,必须先运转服务端,然后再开发银行客户端去链接服务端。

  server:

图片 10图片 11

ss = socket() #创建服务器套接字
ss.bind()      #把地址绑定到套接字
ss.listen()      #监听链接
inf_loop:      #服务器无限循环
    cs = ss.accept() #接受客户端链接
    comm_loop:         #通讯循环
        cs.recv()/cs.send() #对话(接收与发送)
    cs.close()    #关闭客户端套接字
ss.close()        #关闭服务器套接字

View Code

  client:

图片 12图片 13

 cs = socket()    # 创建客户套接字
 cs.connect()    # 尝试连接服务器
 comm_loop:        # 通讯循环
     cs.send()/cs.recv()    # 对话(发送/接收)
 cs.close()            # 关闭客户套接字

View Code

  socket通讯与打电话的艺术很相像:

  server:

图片 14图片 15

#_*_coding:utf-8_*_
import socket
ip_port=('127.0.0.1',8080)#电话卡
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) #买手机
s.bind(ip_port) #手机插卡
s.listen(5)     #手机待机,监听最多五个

while True:                         #新增接收链接循环,可以不停的接电话
    conn,addr=s.accept()            #手机接电话
    print('接到来自%s的电话' %addr[0])
    while True:                         #新增通信循环,可以不断的通信,收发消息
        msg=conn.recv(BUFSIZE)             #听消息,听话

        # if len(msg) == 0:break        #如果不加,那么正在链接的客户端突然断开,recv便不再阻塞,死循环发生

        print(msg,type(msg))

        conn.send(msg.upper())          #发消息,说话

    conn.close()                    #挂电话

s.close()                       #手机关机

server

  client:

图片 16图片 17

#_*_coding:utf-8_*_
import socket
ip_port=('127.0.0.1',8081)
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)

s.connect_ex(ip_port)           #拨电话

while True:                             #新增通信循环,客户端可以不断发收消息
    msg=input('>>: ').strip()
    if len(msg) == 0:continue
    s.send(msg.encode('utf-8'))         #发消息,说话(只能发送字节类型)

    feedback=s.recv(BUFSIZE)                           #收消息,听话
    print(feedback.decode('utf-8'))

s.close()                                       #挂电话

client

  在操作的进度中重启服务端大概会并发OSError,地址早就在利用了,出现那种题材的原委是因为依照tcp四遍挥手并不曾终结,所以端口仍被占据,所以须求插足一条socket配置重新利用ip和端口。

图片 18图片 19

phone=socket(AF_INET,SOCK_STREAM)
phone.setsockopt(SOL_SOCKET,SO_REUSEADDR,1) #就是它,在bind前加
phone.bind(('127.0.0.1',8080))

View Code

  我们还是能效仿ssh完成远程模拟命令:

图片 20图片 21

import socket
import subprocess
phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
phone.bind(('127.0.0.1',8080))
phone.listen(5)

print('starting...')
while True:
    conn,client_addr=phone.accept()

    while True:
        try:
            cmd=conn.recv(1024)
            #if not cmd:break #针对linux
            #执行cmd命令,拿到cmd的结果,结果应该是bytes类型
            res = subprocess.Popen(cmd.decode('utf-8'), shell=True,
                                   stdout=subprocess.PIPE,
                                   stderr=subprocess.PIPE)
            stdout=res.stdout.read()
            stderr=res.stderr.read()

            #发送命令的结果
            conn.send(stdout+stderr)
        except Exception:
            break
    conn.close() #挂电话
phone.close() #关机

server

图片 22图片 23

import socket
phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM) 
phone.connect(('127.0.0.1',8080))

while True:
    cmd=input('>>: ').strip()
    if not cmd:continue
    phone.send(cmd.encode('utf-8'))
    cmd_res=phone.recv(1024)
    print(cmd_res.decode('gbk'))
phone.close()

client

  那里大家用到了subprocess模块,允许你去成立二个新的历程让其进行其余的次序,并与它举办通信,获取标准的输入、标准输出、标准错误以及重回码等。

  subprocess模块中定义了1个波普n类,通过它能够来制程,并与其开始展览复杂的互相。subprocess模块的结果的编码是以当下所在的系统为准的,即使是windows,那么res.stdout.read()读出的正是GBK编码的,在接收端须要用GBK解码。

  他的init函数是那样的:

__init__(self, args, bufsize=0, executable=None, 
stdin=None, stdout=None, stderr=None, preexec_fn=None, 
close_fds=False, shell=False, cwd=None, env=None, 
universal_newlines=False, startupinfo=None, 
creationflags=0)

  args:必须是二个字符串或然种类类型,用于钦赐进度的可执行文件及其参数。如果是三个队列类型参数,则类别的第③个成分平常都不可能不是二个可执行文件的门路。当然也可以使用executeable参数来钦定可执行文件的门道。

  stdin,stdout,stderr:分别表示程序的正规输入、标准输出、标准错误。有效的值可以是PIPE,存在的文件描述符,存在的文书对象或None,假使为None需从父进度继续过来,stdout能够是PIPE,表示对子过程成立一个管道,stderr能够是STDOUT,表示行业内部错误数据应该从应用程序中捕获并作为正式输出流stdout的文书句柄。

  shell:若是那个参数被设置为True,程序将经过shell来施行。 
  env:它讲述的是子进度的环境变量。借使为None,子进度的环境变量将从父进程继续而来。

res = subprocess.Popen(r'dir', shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE)

5.粘包化解办法

粘包难点的来头在于接收端不知底发送端将要传送的字节流的长短,所以消除粘包的方法就是环绕,怎样让发送端在发送数据前,把自个儿快要发送的字节流总大小让接收端知晓,然后接收端来三个死循环接收完全部数据。

第2步:先得到数量的长度

其次步:接收真实的多寡

 先来介绍下struct模块

该模块可以把3个项目,如数字,转成固定长度的bytes类型

图片 24

 

但注意类型如数字是有限量的,超出范围就会报错

>>>
struct.pack(‘i’,1111111111111)

。。。。。。。。。

struct.error:
‘i’ format requires -2147483648 <= number <= 2147483647
 #以此是限量

图片 25图片 26

1 import struct
2 
3 res = struct.pack('i', 1235)
4 print(res,type(res), len(res))
5 
6 obj = struct.unpack('i', res)
7 print(obj)

struct 用法

输出结果

b'\xd3\x04\x00\x00' <class 'bytes'> 4
(1235,)

在数码发送端将数据长度打包,发送给接收端,解包获取实际多少的尺寸。

 

 简单版本报头自制

client.py

图片 27图片 28

 1 import socket, struct
 2 
 3 phone = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
 4 print(phone)
 5 
 6 phone.connect(('127.0.0.1',9900)) #端口范围0-65535,0-1024给操作系统用的
 7 
 8 while True:
 9     #1、发命令
10     msg = input('>>:').strip()
11     if not msg:continue
12     phone.send(msg.encode('utf-8'))
13 
14     #2、拿到命令的结果,并打印
15 
16     #第一步:先收报头
17     header = phone.recv(4)
18     #第二步:从报头中解析出对真实数据的描述信息
19     total_size = struct.unpack('i',header)[0]
20 
21     #第三部:接收真实数据
22     recv_size = 0
23     recv_data = b''
24     while recv_size < total_size:
25         data = phone.recv(1024)
26         recv_data += data
27         recv_size += len(data)
28 
29     print(data.decode('gbk'))
30     # windows上,res.stdout.read()读出的就是GBK编码,因此此处也用GBK编码,linux上默认是utf-8
31 
32 phone.close()

自制报头

service.py

图片 29图片 30

 1 import socket,subprocess,struct
 2 
 3 phone = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
 4 phone.bind(('127.0.0.1',9900)) #端口范围0-65535,0-1024给操作系统用的
 5 phone.listen(5) #最大链接挂起数
 6 
 7 print('starting...')
 8 while True:
 9     conn,client = phone.accept() #监听
10 
11     while True: #通讯循环
12         try:
13             #1、收命令
14             cmd = conn.recv(1024) # 单位:bytes,  1024代表最大接收1024个bytes
15             #conn tcp协议三次握手的成果,双向链接
16             if not cmd: break
17             #2、执行命令、拿到结果,命令的结果存入stdout=subprocess.PIPE管道,而不是直接输出到终端
18             obj = subprocess.Popen(cmd.decode('utf-8'),shell=True,
19                                    stdout=subprocess.PIPE,
20                                    stderr=subprocess.PIPE)
21             print(obj)
22             stdout = obj.stdout.read()
23             stderr = obj.stderr.read() #s收发都是bytes格式
24 
25             #3、把命令的结果返回给客户端
26             #第一步:制作固定长度的报头
27             total_size = len(stdout)+len(stderr)
28             header = struct.pack('i', total_size)
29 
30             #第二步:把报头(固定长度)发送给客户端
31             conn.send(header)
32 
33             #第三步:再发送真实数据
34             conn.send(stdout)
35             conn.send(stderr)
36 
37         except ConnectionResetError:
38             break
39     conn.close()
40 
41 phone.close()

自制报头

 

高阶报头自制

以上讲解了简约报头的自制,但有缺陷:

一 、报头存有的音信少。

② 、struct模块打包的int数字有限量,普通指令的结果长度即使不会超越这些限制,不过上传下载文件时就很有大概会超越此限制,因而下边介绍同样应用struct模块来自制跟高端的报头。

以字典的方式营造报头,字典中得以存文件名、文件md5值、文件大小等,再将字典连串化,将连串化的字符串长度通过struct
pack,那样既可让报头存有丰富的新闻,又不会高于struct模块打包的int的数字范围。

client.py

图片 31图片 32

 1 import socket, struct, json
 2 
 3 phone = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
 4 print(phone)
 5 
 6 phone.connect(('127.0.0.1',9900)) #端口范围0-65535,0-1024给操作系统用的
 7 
 8 while True:
 9     #1、发命令
10     msg = input('>>:').strip()
11     if not msg:continue
12     phone.send(msg.encode('utf-8'))
13 
14     #2、拿到命令的结果,并打印
15 
16     #第一步:先收报头长度
17     obj = phone.recv(4)
18     header_size = struct.unpack('i',obj)[0]
19     # 第二步:再收报头
20     header = phone.recv(header_size)
21 
22     #第三步:从报头中解析出对真实数据的描述信息
23     header_dic = json.loads(header)
24     total_size = header_dic['total_size']
25 
26     #第三部:接收真实数据
27     recv_size = 0
28     recv_data = b''
29     while recv_size < total_size:
30         data = phone.recv(1024)
31         recv_data += data
32         recv_size += len(data)
33 
34     print(data.decode('gbk'))
35     # windows上,res.stdout.read()读出的就是GBK编码,因此此处也用GBK编码,linux上默认是utf-8
36 
37 phone.close()

高阶报头自制

service.py

图片 33图片 34

 1 import socket, subprocess, struct, json
 2 
 3 phone = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
 4 phone.bind(('127.0.0.1',9900)) #端口范围0-65535,0-1024给操作系统用的
 5 phone.listen(5) #最大链接挂起数
 6 
 7 print('starting...')
 8 while True:
 9     conn,client = phone.accept() #监听
10 
11     while True: #通讯循环
12         try:
13             #1、收命令
14             cmd = conn.recv(1024) # 单位:bytes,  1024代表最大接收1024个bytes
15             #conn tcp协议三次握手的成果,双向链接
16             if not cmd: break
17             #2、执行命令、拿到结果,命令的结果存入stdout=subprocess.PIPE管道,而不是直接输出到终端
18             obj = subprocess.Popen(cmd.decode('utf-8'),shell=True,
19                                    stdout=subprocess.PIPE,
20                                    stderr=subprocess.PIPE)
21             print(obj)
22             stdout = obj.stdout.read()
23             stderr = obj.stderr.read() #s收发都是bytes格式
24 
25             #3、把命令的结果返回给客户端
26             #第一步:制作报头
27 
28             header_dic = {
29                 'filename':'a.txt',
30                 'md5':'xxfdxxx',
31                 'total_size': len(stdout)+len(stderr)
32             }
33             header_json = json.dumps(header_dic)
34             header_types = header_json.encode('utf-8')
35 
36             #第二步:把报头(固定长度)发送给客户端
37             conn.send(struct.pack('i',len(header_types)))
38 
39             #第三步:再发送报头、
40             conn.send(header_types)
41 
42             #第四步:再发送真实数据
43             conn.send(stdout)
44             conn.send(stderr)
45 
46         except ConnectionResetError:
47             break
48     conn.close()
49 
50 phone.close()

高阶报头自制

 

三. socket层

在图第11中学,大家平昔不见到Socket的影子,那么它毕竟在哪儿啊?依旧用图来说话,一目明白。

图片 35

                                                        图2

 

五、基于udp的套接字

  udp是无链接的,先运维哪一端都不会报错。

ss = socket()   #创建一个服务器的套接字
ss.bind()       #绑定服务器套接字
while True :       #服务器无限循环
    cs = ss.recvfrom()/ss.sendto() # 对话(接收与发送)
ss.close()                         # 关闭服务器套接字

cs = socket()   # 创建客户套接字
while True :      # 通讯循环
    cs.sendto()/cs.recvfrom()   # 对话(发送/接收)
cs.close()                      # 关闭客户套接字

  基于udp套接字的简单示例

图片 36图片 37

import socket
ip_port=('127.0.0.1',9000)
udp_server_client=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)

udp_server_client.bind(ip_port)

while True:
    msg,addr=udp_server_client.recvfrom(1024)
    print(msg,addr)

    udp_server_client.sendto(msg.upper(),addr)

udpserver

图片 38图片 39

from socket import *

udp_cs=socket(AF_INET,SOCK_DGRAM)

while True:
    msg=input('>>: ').strip()
    if not msg:continue
    udp_cs.sendto(msg.encode('utf-8'),('127.0.0.1',9000))
    msg,addr=udp_cs.recvfrom(1024)
    print(msg.decode('utf-8'),addr)

udpclient

  qq聊天正是基于udp实现的,由于udp无连接,所以可以而且多少个客户端去跟服务端通信。

图片 40图片 41

from socket import *

udp_ss=socket(AF_INET,SOCK_DGRAM)
udp_ss.bind(('127.0.0.1',8081))

while True:
    msg,addr=udp_ss.recvfrom(1024)
    print('来自[%s]的一条消息:%s' %(addr,msg.decode('utf-8')))
    msg_b=input('回复消息: ').strip()
    udp_ss.sendto(msg_b.encode('utf-8'),addr)

qqserver

图片 42图片 43

from socket import *

udp_cs = socket(AF_INET,SOCK_DGRAM)

while True :
    msg = input('请输入消息,回车发送: ').strip()
    if msg == 'quit' : break
    if not msg : continue
    udp_cs.sendto(msg.encode('utf-8'),('127.0.0.1',8081))

    back_msg,addr = udp_cs.recvfrom(1024)
    print('来自[%s]的一条消息:%s' %(addr,back_msg.decode('utf-8')))

udp_cs.close()

qqclient

  client可以敞开多个。

 udp 协议套接字

 

fileno=None 请忽略,特殊用途

十四.  认证客户端的链接合法性

要是您想在分布式系统中落到实处四个粗略的客户端链接验证作用,又不像SSL那么复杂,那么利用hmac+加盐的法门来贯彻。

图片 44图片 45

from socket import *
import hmac,os

secret_key=b'linhaifeng bang bang bang'
def conn_auth(conn):
    '''
    认证客户端链接
    :param conn:
    :return:
    '''
    print('开始验证新链接的合法性')
    msg=os.urandom(32)
    conn.sendall(msg)
    h=hmac.new(secret_key,msg)
    digest=h.digest()
    respone=conn.recv(len(digest))
    return hmac.compare_digest(respone,digest)

def data_handler(conn,bufsize=1024):
    if not conn_auth(conn):
        print('该链接不合法,关闭')
        conn.close()
        return
    print('链接合法,开始通信')
    while True:
        data=conn.recv(bufsize)
        if not data:break
        conn.sendall(data.upper())

def server_handler(ip_port,bufsize,backlog=5):
    '''
    只处理链接
    :param ip_port:
    :return:
    '''
    tcp_socket_server=socket(AF_INET,SOCK_STREAM)
    tcp_socket_server.bind(ip_port)
    tcp_socket_server.listen(backlog)
    while True:
        conn,addr=tcp_socket_server.accept()
        print('新连接[%s:%s]' %(addr[0],addr[1]))
        data_handler(conn,bufsize)

if __name__ == '__main__':
    ip_port=('127.0.0.1',9999)
    bufsize=1024
    server_handler(ip_port,bufsize)

服务端

图片 46图片 47

from socket import *
import hmac,os

secret_key=b'linhaifeng bang bang bang'
def conn_auth(conn):
    '''
    验证客户端到服务器的链接
    :param conn:
    :return:
    '''
    msg=conn.recv(32)
    h=hmac.new(secret_key,msg)
    digest=h.digest()
    conn.sendall(digest)

def client_handler(ip_port,bufsize=1024):
    tcp_socket_client=socket(AF_INET,SOCK_STREAM)
    tcp_socket_client.connect(ip_port)

    conn_auth(tcp_socket_client)

    while True:
        data=input('>>: ').strip()
        if not data:continue
        if data == 'quit':break

        tcp_socket_client.sendall(data.encode('utf-8'))
        respone=tcp_socket_client.recv(bufsize)
        print(respone.decode('utf-8'))
    tcp_socket_client.close()

if __name__ == '__main__':
    ip_port=('127.0.0.1',9999)
    bufsize=1024
    client_handler(ip_port,bufsize)

客户端(合法)

图片 48图片 49

from socket import *

def client_handler(ip_port,bufsize=1024):
    tcp_socket_client=socket(AF_INET,SOCK_STREAM)
    tcp_socket_client.connect(ip_port)

    while True:
        data=input('>>: ').strip()
        if not data:continue
        if data == 'quit':break

        tcp_socket_client.sendall(data.encode('utf-8'))
        respone=tcp_socket_client.recv(bufsize)
        print(respone.decode('utf-8'))
    tcp_socket_client.close()

if __name__ == '__main__':
    ip_port=('127.0.0.1',9999)
    bufsize=1024
    client_handler(ip_port,bufsize)

客户端(违法:不通晓加密方法)

图片 50图片 51

from socket import *
import hmac,os

secret_key=b'linhaifeng bang bang bang1111'
def conn_auth(conn):
    '''
    验证客户端到服务器的链接
    :param conn:
    :return:
    '''
    msg=conn.recv(32)
    h=hmac.new(secret_key,msg)
    digest=h.digest()
    conn.sendall(digest)

def client_handler(ip_port,bufsize=1024):
    tcp_socket_client=socket(AF_INET,SOCK_STREAM)
    tcp_socket_client.connect(ip_port)

    conn_auth(tcp_socket_client)

    while True:
        data=input('>>: ').strip()
        if not data:continue
        if data == 'quit':break

        tcp_socket_client.sendall(data.encode('utf-8'))
        respone=tcp_socket_client.recv(bufsize)
        print(respone.decode('utf-8'))
    tcp_socket_client.close()

if __name__ == '__main__':
    ip_port=('127.0.0.1',9999)
    bufsize=1024
    client_handler(ip_port,bufsize)

客户端(非法:不知道secret_key)

 

  如何消除粘包难点?

  客户端每一次都把温馨的长度告诉服务端,那样可以做到不粘包。

图片 52图片 53

#_*_coding:utf-8_*_
import socket,subprocess
ip_port=('127.0.0.1',8080)
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
s.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)

s.bind(ip_port)
s.listen(5)

while True:
    conn,addr=s.accept()
    print('客户端',addr)
    while True:
        msg=conn.recv(1024)
        if not msg:break
        res=subprocess.Popen(msg.decode('utf-8'),shell=True,\
                            stdin=subprocess.PIPE,\
                         stderr=subprocess.PIPE,\
                         stdout=subprocess.PIPE)
        err=res.stderr.read()
        if err:
            ret=err
        else:
            ret=res.stdout.read()
        data_length=len(ret)
        conn.send(str(data_length).encode('utf-8'))
        data=conn.recv(1024).decode('utf-8')
        if data == 'recv_ready':
            conn.sendall(ret)
    conn.close()

View Code

图片 54图片 55

import socket,time
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
res=s.connect_ex(('127.0.0.1',8080))

while True:
    msg=input('>>: ').strip()
    if len(msg) == 0:continue
    if msg == 'quit':break

    s.send(msg.encode('utf-8'))
    length=int(s.recv(1024).decode('utf-8'))
    s.send('recv_ready'.encode('utf-8'))
    send_size=0
    recv_size=0
    data=b''
    while recv_size < length:
        data+=s.recv(1024)
        recv_size+=len(data)


    print(data.decode('utf-8'))

View Code

  那种方法只是一种缓解难题的艺术,实际上并不会那样做,程序的运作速度远快于互连网传输速度,所以在发送一段字节前,先用send去发送该字节流长度,那种格局会加大互连网延迟带来的性质损耗。那里用来援助大家更好的了然粘包的难点。

  在那几个基础上,大家得以考虑将团结的尺寸等新闻,写到报头尾部,这样接收端拆开报头就能分晓长度,就不会生出粘包的风貌了。

  大家先要认识一下struct模块。

  该模块能够把一个类型,如数字,转成固定长度的bytes。

图片 56

图片 57图片 58

from socket import *
import subprocess
import struct
ss=socket(AF_INET,SOCK_STREAM)
ss.bind(('127.0.0.1',8082)) 
ss.listen(5)

print('starting...')
while True:
    conn,addr=ss.accept()
    print('-------->',conn,addr)

    while True:
        try:
            cmd=conn.recv(1024)
            res = subprocess.Popen(cmd.decode('utf-8'), shell=True,
                                   stdout=subprocess.PIPE,
                                   stderr=subprocess.PIPE)
            stdout=res.stdout.read()
            stderr=res.stderr.read()

            #先发报头(转成固定长度的bytes类型)
            header = struct.pack('i',len(stdout)+len(stderr))
            conn.send(header)
            #再发送命令的结果
            conn.send(stdout)
            conn.send(stderr)
        except Exception:
            break
    conn.close()
ss.close()

客户端

图片 59图片 60

from socket import *
import struct
cs=socket(AF_INET,SOCK_STREAM)
cs.connect(('127.0.0.1',8082))

while True:
    cmd=input('>>: ').strip()
    if not cmd:continue

    cs.send(cmd.encode('utf-8'))
    #先收报头
    header_struct=cs.recv(4)
    unpack_res = struct.unpack('i', header_struct)
    total_size=unpack_res[0]

    #再收数据
    recv_size=0 #10241=10240+1
    total_data=b''
    while recv_size < total_size:
        recv_data=cs.recv(1024)
        recv_size+=len(recv_data)
        total_data+=recv_data
    print(total_data.decode('gbk'))
cs.close()

服务端

  struct的i模式:

struct.pack('i',11111111)
#struct.error: 'i' format requires -2147483648 <= number <= 2147483647 #这个是范围

  struct.pack用于将Python的值依照格式符,转换为字符串(因为Python中尚无字节(Byte)类型)。它的函数原型为:struct.unpack(fmt,
string)。

  struct.unpack做的做事刚刚与struct.pack相反,用于将字节流转换来python数据类型。它的函数原型为:struct.unpack(fmt,
string),该函数重回三个元组。

图片 61图片 62

import json,struct
#假设通过客户端上传1T:1073741824000的文件a.txt

#为避免粘包,必须自定制报头
header={'file_size':1073741824000,'file_name':'/a/b/c/d/e/a.txt','md5':'8f6fbf8347faa4924a76856701edb0f3'} #1T数据,文件路径和md5值

#为了该报头能传送,需要序列化并且转为bytes
head_bytes=bytes(json.dumps(header),encoding='utf-8') #序列化并转成bytes,用于传输

#为了让客户端知道报头的长度,用struck将报头长度这个数字转成固定长度:4个字节
head_len_bytes=struct.pack('i',len(head_bytes)) #这4个字节里只包含了一个数字,该数字是报头的长度

#客户端开始发送
conn.send(head_len_bytes) #先发报头的长度,4个bytes
conn.send(head_bytes) #再发报头的字节格式
conn.sendall(文件内容) #然后发真实内容的字节格式

#服务端开始接收
head_len_bytes=s.recv(4) #先收报头4个bytes,得到报头长度的字节格式
x=struct.unpack('i',head_len_bytes)[0] #提取报头的长度

head_bytes=s.recv(x) #按照报头长度x,收取报头的bytes格式
header=json.loads(json.dumps(header)) #提取报头

#最后根据报头的内容提取真实的数据,比如
real_data_len=s.recv(header['file_size'])
s.recv(real_data_len)

View Code

  使用自定制报头的艺术来化解粘包难题。

图片 63图片 64

import socket,struct,json
import subprocess
phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
phone.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1) 
phone.bind(('127.0.0.1',8080))

phone.listen(5)

while True:
    conn,addr=phone.accept()
    while True:
        cmd=conn.recv(1024)
        if not cmd:break
        print('cmd: %s' %cmd)

        res=subprocess.Popen(cmd.decode('utf-8'),
                             shell=True,
                             stdout=subprocess.PIPE,
                             stderr=subprocess.PIPE)
        err=res.stderr.read()
        print(err)
        if err:
            back_msg=err
        else:
            back_msg=res.stdout.read()


        conn.send(struct.pack('i',len(back_msg))) #先发back_msg的长度
        conn.sendall(back_msg) #在发真实的内容

    conn.close()

服务端自定制报头

图片 65图片 66

import socket,time,struct

s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
res=s.connect_ex(('127.0.0.1',8080))

while True:
    msg=input('>>: ').strip()
    if len(msg) == 0:continue
    if msg == 'quit':break

    s.send(msg.encode('utf-8'))

    l=s.recv(4)
    x=struct.unpack('i',l)[0]
    print(type(x),x)
    # print(struct.unpack('I',l))
    r_s=0
    data=b''
    while r_s < x:
        r_d=s.recv(1024)
        data+=r_d
        r_s+=len(r_d)

    # print(data.decode('utf-8'))
    print(data.decode('gbk')) #windows默认gbk编码

客户端自定制报头

  当然我们的报头能够增进越来越多音信。

  我们把报头做成字典,字典里含有将要发送的忠实数据的详细消息,然后json类别化,然后用struck将连串化后的多寡长度打包成五个字节(五个祥和充足用了)

  发送时头阵报头长度,再编码报头内容然后发送,最终发真实内容。

  接收时先将报头长度,用struct取出来,遵照取出的尺寸收取报头内容,然后解码,反系列化,从反种类化的结果中取出待取数据的详细音讯,然后去取真实的数额内容。

图片 67图片 68

from socket import *
import subprocess
import struct
import json
ss = socket(AF_INET,SOCK_STREAM)
ss.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)
ss.bind(('127.0.0.1',8082))
ss.listen(5)

print('starting...')
while True : #链接循环
    conn,addr = ss.accept() #链接,客户的的ip和端口组成的元组
    print('-------->',conn,addr)

    #收,发消息
    while True :#通信循环
        try :
            cmd = conn.recv(1024)
            res = subprocess.Popen(cmd.decode('utf-8'), shell = True,
                                   stdout = subprocess.PIPE,
                                   stderr = subprocess.PIPE)
            stdout = res.stdout.read()
            stderr = res.stderr.read()
            #制作报头
            h_dic = {
                'total_size': len(stdout) + len(stderr),
                'filename': None,
                'md5': None}

            h_json = json.dumps(h_dic)
            h_bytes = h_json.encode('utf-8')
            #发送阶段
            #先发报头长度
            conn.send(struct.pack('i',len(h_bytes)))
            #再发报头
            conn.send(h_bytes)

            #最后发送命令的结果
            conn.send(stdout)
            conn.send(stderr)
        except Exception :
            break
    conn.close()
ss.close()

json系列化报头server

图片 69图片 70

from socket import *
import struct
import json
cs = socket(AF_INET,SOCK_STREAM) #买手机
cs.connect(('127.0.0.1',8082)) #绑定手机卡

#发,收消息
while True :
    cmd = input('>>: ').strip()
    if not cmd : continue

    cs.send(cmd.encode('utf-8'))
    #先收报头的长度
    h_len = struct.unpack('i',cs.recv(4))[0]

    #再收报头
    h_bytes = cs.recv(h_len)
    h_json = h_bytes.decode('utf-8')
    h_dic = json.loads(h_json)
    total_size = h_dic['total_size']

    #最后收数据
    recv_size = 0
    total_data = b''
    while recv_size < total_size :
        recv_data = cs.recv(1024)
        recv_size += len(recv_data)
        total_data += recv_data
    print(total_data.decode('gbk'))
cs.close()

client

 

服务端套接字函数(2分钟)

  • s.bind()
    绑定(主机,端口号)到套接字
  • s.listen()
    TCP初步监听传入连接。backlog钦点在拒绝连接在此以前,能够挂起的最奥斯汀接数量。 backlog等于5,表示内核已经接受了连年请求,但服务器还没有调用accept实行处理的连日个数最大为5, 那么些值无法无限大,因为要在基本中保险连接队列
  • s.accept()
    被动接受TCP客户的连天,(阻塞式)等待连接的到来 

  服务程序调用accept函数从处于监听状态的流套接字s的客户连接请求队列中取出排在最前的一个客户请求,并且创建一个新的套接字来与客户套接字创建连接通道,如果连接成功,就返回新创建的套接字的描述符,以后与客户套接字交换数据的是新创建的套接字;如果失败就返回 INVALID_SOCKET。该函数的第一个参数指定处于监听状态的流套接字;操作系统利用第二个参数来返回新创建的套接字的地址结构;操作系统利用第三个参数来返回新创建的套接字的地址结构的长度。

 

family(socket家族)

开卷目录

贰 、scoket与互连网协议

  假诺想要达成网络通讯我们供给对tcpip,http等很多网络文化有比较深刻的读书未来才有如此的能力,但是对于大家先后开发程序员来说是一件漫长的时日,所以就有了包装相比较好的socket来帮咱们缓解那几个标题,使得我们的关心点不再是乱套的网络协议等题材。socket已经为我们封装好了,大家只必要根据socket的规定去编制程序,写出的主次自然正是鲁人持竿tcp/udp标准的。

  socket是应用层与TCP/IP协议族通讯的中等软件抽象层,它是一组接口。在设计情势中,Socket其实正是一个伪装方式,它把复杂的TCP/IP协议族隐藏在socket接口前面,对用户来说,一组大约的接口正是整整,让Socket去组织数量,以契合内定的协议。

图片 71

  不难的话大家能够把socket说成ip+端口,所以标识了网络中惟一的三个应用程序。

发表评论

电子邮件地址不会被公开。 必填项已用*标注