便宜linux服务器linux为啥便宜

  • 本人是某云计算小厂的一名运维工程师,在一次协助用户上云实践中,性能压力测试场景是: 用客户机去测服务端(云上),测20W业务并发,检查服务器有没有请求中断,请求超时,请求错误等情况,错误率0.5%以下即为正常 。 最终测试结果只能到6W ,离20W 的业务要求差距很大 。

针对Linux性能问题,做以下内核参数性能调整 ,最终达到用户需求。总结出来,具有通用配置的意义,对于大并大业务场景可以默认配置


实现一台服务器的大并发,服务器支撑百万连接会出现哪些问题 ,需要说明的是:

  • 服务器能够同时建立连接的数量 不是 并发量,它只是并发量一个基础。
  • 服务器的并发量:一个服务器能够同时承载客户端的数量;
  • 承载:服务器能够稳定的维持这些连接,能够响应请求,在200ms内返回响应就认为是ok的,其中这200ms包括数据库的操作,网络带宽,内存操作,日志等时间。

1 . 对Linux fd 的配置优化 :

大量连接建立后 ,检查用于客户端内核日志 ,报错: Too many open files , 检查ulimt 参数,ulimit -a |grep 'open file' 发现 open files 仅为1024

检查file-max(系统一共可以打开的最大文件数 [root@master temp]# cat /proc/sys/fs/file-max 值为378548

## ulimit和file-max, 但这两者之间的关系差别

  • file-max是设置 系统所有进程一共可以打开的文件数量 。同时一些程序可以通过setrlimit调用,设置每个进程的限制。如果得到大量使用完文件句柄的错误信息,是应该增加这个值。也就是说,这项参数是系统级别的
  • 即设置当前shell以及由它启动的进程的资源限制

open files 参数修改:

  • 临时修改,只在当前这个会话有效:ulimit -n 1048576
  • 永久修改,对所有会话有效:添加下面两行代码

[root@master temp]# vim /etc/security/limits.conf #

* soft nofile 1048576
* hard nofile 1048576

file-max参数修改:

  • 临时生效: sysctl -w fs.file-max = 1048576
  • 永久生效: vim /etc/sysctl.conf

2. 对Linux 端口资源的配置优化

检查内核及应用的日志 ,发现报错: Cannot assign requested address , 从报错来看是是客户端端口资源耗尽 , 从业务分析来看,这台虚拟机只对外开放了一个端口 , 客户端一直访问这个端口,但是创建了有2.8W 个fd

# 执行命令可以看到socket fd 使用情况 : cat /proc/net/sockstat

#注:
sockets: used:已使用的所有协议套接字总量
TCP: inuse:正在使用(正在侦听)的TCP套接字数量。其值≤ netstat –lnt | grep ^tcp | wc –l
TCP: orphan:无主(不属于任何进程)的TCP连接数(无用、待销毁的TCP socket数)
TCP: tw:等待关闭的TCP连接数。其值等于netstat –ant | grep TIME_WAIT | wc –l
TCP:alloc(allocated):已分配(已建立、已申请到sk_buff)的TCP套接字数量。其值等于netstat –ant | grep ^tcp | wc –l
TCP:mem:套接字缓冲区使用量
UDP:inuse:正在使用的UDP套接字数量
FRAG:使用的IP段数量

/proc/sys/net/ipv4/ip_local_port_range范围定义TCP和UDP通信用于选择本地端口的本地端口范围。在该文件的参数中看到两个数字:第一个数字是服务器上允许TCP和UDP通信的第一个本地端口,第二个是最后一个本地端口号。对于高使用率的系统,可以将其默认参数更改为32768-61000(first-last)或者更高

说明: net.ipv4.ip_local_port_range的默认值为32768 61000,指的是对同一个服务器的ip+port创建28233个连接

net.ipv4.ip_local_port_range参数修改:

  • 临时生效: sysctl -w net.ipv4.ip_local_port_range = 32768 63999
  • 永久生效: vim /etc/sysctl.conf

3. netfilter 参数: CT 表 的配置优化

在排查日志的时候发现报错: Connection timed out 。 修改完步骤2之后,端口范围增加了3000 个,应该可以增加几百万客户端连接最少280万 ,与预期不符合

网卡接收的数据,会发送到协议栈里面,通过sk_buff将数据传到协议栈,协议栈处理完再交给应用程序。由于操作系统在使用的时候,为防止被攻击,在数据发送给协议栈之前进行一个过滤,在协议栈前面加了一个小组件:过滤器,叫做netfilter 。

便宜linux服务器linux为啥便宜

便宜linux服务器linux为啥便宜

从分析来看,是 netfilter 这层超时 : netfilter不管对发送的数据,还是对接收的数据,都是可以过滤的。当连接数量达到一定数量的时候,netfilter就会不允许再对外发连接了。所以现在推测是情况1造成的,发送的SYN被netfilter拦截了 。

检查CT表情况,cat /proc/sys/net/netfilter/nf_conntrack_max 只有13w

通过设置 通过设置netfilter允许对外最大连接数量,来解决这个问题:

nf_conntrack_max参数修改:

  • 临时生效: sysctl -w net.nf_conntrack_max = 1048576
  • 永久生效: vim /etc/sysctl.con

4 tcp接收缓冲区和tcp发送缓冲区参数调整

继续压力测试,跑到20W 的时候会报错: Out of memory: Kill process (C1000Kclient) score 1 or sacrifice child

这是内存不够用了,简单粗暴直接扩容内存可以让并发量跑得更高 ,实际当中我也是通过内存扩容,最终达到了压力测试要求。但是在实际分析问题中我们应该着眼问题本身 :

tcp 连接由内核来维护,系统会为每个TCP socket创建一个发送缓冲区和一个接收缓冲区。应用程序调用write向套接字写数据时,内核从应用进程缓冲区中拷贝数据到套接字的发送缓冲区中

关于: tcp接收缓冲区和tcp发送缓冲区的逻辑,首先搞明白BDP 的概念:

BDP(带宽时延积)= RTT x 带宽

比如最大带宽是 100 MB/s,网络时延(RTT)是 10ms 时,意味着客户端到服务端的网络一共可以存放 100MB/s * 0.01s = 1MB 的字节。这个 1MB 是带宽和时延的乘积,所以它就叫「带宽时延积」(缩写为 BDP,Bandwidth Delay Product)。同时,这 1MB 也表示「飞行中」的 TCP 报文大小,它们就在网络线路、路由器等网络设备上。如果飞行报文超过了 1 MB,就会导致网络过载,容易丢包。

发送缓冲区与带宽时延积的关系:

  • 如果发送缓冲区「超过」带宽时延积,超出的部分就没办法有效的网络传输,同时导致网络过载,容易丢包;
  • 如果发送缓冲区「小于」带宽时延积,就不能很好的发挥出网络的传输效率。

所以,发送缓冲区的大小最好是往带宽时延积靠近

查看TCP 发送缓冲区发送缓冲区是自行调节的,当发送方发送的数据被确认后,并且没有新的数据要发送,就会把发送缓冲区的内存释放掉

查看发送缓存区:cat /proc/sys/net/ipv4/tcp_wmem

便宜linux服务器linux为啥便宜

  • 第一个数值是动态范围的最小值,4096 byte = 4K;
  • 第二个数值是初始默认值,87380 byte ≈ 86K;
  • 第三个数值是动态范围的最大值,4194304 byte = 4096K(4M);

查看接受缓冲区:cat /proc/sys/net/ipv4/tcp_rmem

便宜linux服务器linux为啥便宜

上面三个数字单位都是字节,它们分别表示:

第一个数值是动态范围的最小值,表示即使在内存压力下也可以保证的最小接收缓冲区大小,4096 byte = 4K;
第二个数值是初始默认值,87380 byte ≈ 86K;
第三个数值是动态范围的最大值,6291456 byte = 6144K(6M);

在高并发场景中,为了兼顾网速与大量的并发连接,我们应当保证缓冲区的动态调整的最大值达到带宽时延积,而最小值保持默认的 4K 不变即可。而对于内存紧张的服务而言,调低默认值是提高并发的有效手段。同样,如果这是网络 IO 型服务器,那么,调大 tcp_mem 的上限可以让 TCP 连接使用更多的系统内存,这有利于提升并发能力

那么怎么判断tcp 内存是否紧张或充分呢?这是通过 tcp_mem 配置完成:

一般情况下这些值是在系统启动时根据系统内存数量计算得到的。根据当前 tcp_mem 最大内存页面数是 177120,当内存为 (177120 * 4) / 1024K ≈ 692M 时,系统将无法为新的 TCP 连接分配内存,即 TCP 连接将被拒绝

好了,这篇文章的内容就和大家分享到这里,如果大家对网赚副业项目资源感兴趣,可以添加微信:beng6655  备注:项目

本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 sumchina520@foxmail.com 举报,一经查实,本站将立刻删除。
如若转载,请注明出处:https://www.hzy3.com/435.html