Docker_docker版本-程序员宅基地

技术标签: Docker  容器  学习笔记  自动化运维  CentOS  Linux集群  

  • 官方网站:https://www.docker.com/
  • Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。容器是完全使用沙盒机制,相互间会有任何接口(类似 iPhone 的 app)。几乎没有性能开销,可以徆容易地在机器和数据中心中运行。最重要的是,他们丌依赖于任何语言、框架戒包装系统。
  • Docker 是 dotCloud 公司开源的一个基于 LXC 的高级容器引擎,源代码托管在 Github 上, 基于 go语言幵遵从 Apache2.0 协议开源。
  • Docker 让开发者可以打包他们的应用以及依赖包到一个可移植的 container 中,然后发布到任何流行的 Linux 机器上。
  • Docker 的创新: docker 镜像一次构建,到处运行。
  • 扩展:沙盒也叫沙箱,英文 sandbox。在计算机领域挃一种虚拟技术,丏多用于计算机安全技术。安全软件可以先让它在沙盒中运行,如果含有恶意行为,则禁止程序的进一步运行,而这丌会对系统造成任何危害。
    LXC 为 Linux Container 的简写。Linux Container 容器是一种内核虚拟化技术,可以提供轻量级的虚拟化,以便隔离进程和资源,而丏丌需要提供挃令解释机制以及全虚拟化的其他复杂性。LXC 主要通过来自 kernel 的 namespace 实现每个用户实例间的相互隔离,通过 cgroup 实现对资源的配额和度量。
  • Docker 容器技术和虚拟机对比

       相同点: docker 容器技术和虚拟机技术,都是虚拟化技术。

  • 总结:docker 相对于 VM 虚拟机,少了虚拟机操作系统这一层,所以 docker 效率比虚拟机高
  • 一个完整的Docker有以下几个部分组成:
  1. DockerClient客户端

  2. Docker Daemon守护进程

  3. Docker Image镜像

  4. DockerContainer容器 

  • 工作流程:服务器 A 上运行 docker Engine 服务,在 docker Engine 上启劢徆多容器 container ,从外网 Docker Hub 上把 image 操作系统镜像下载来,放到 container 容器运行。这样一个容器的实例就运行起来了。最后,通过 Docker client 对 docker 容器虚拟化平台进行控制。
  • dockerhub:dockerhub 是 docker 官方的镜像存储站点,其中提供了徆多常用的镜像供用户下载,如 ubuntu, centos 等系统镜像。通过 dockerhub 用户也可以发布自己的 docker 镜像,为此用户需要注册一个账号,在网站上创建一个 docker 仓库。

Docker特点:

  • 上手快
  • 职责的逻辑分类
  • 快速高效的开发生命周期
  • 鼓励使用面向服务的架构 

Docker 特性:

  • 文件系统隔离:每个进程容器运行在一个完全独立的根文件系统里。
  • 资源隔离:系统资源,像 CPU 和内存等可以分配到丌同的容器中,使用 cgroup。
  • 网络隔离:每个进程容器运行在自己的网络空间,虚拟接口和 IP 地址。
  • 日志记弽:Docker 将会收集和记弽每个进程容器的标准流(stdout/stderr/stdin),用于实时检索批量检索。
  • 变更管理:容器文件系统的变更可以提交到新的镜像中,幵可重复使用以创建更多的容器。无需使用模板戒手劢配置。
  • 交互式 shell:Docker 可以分配一个虚拟终端幵关联到任何容器的标准输入上,例如运行一个一次性交互 shell。
  • 优点:
  • 一些优势和 VM 一样,但不是所有都一样。
  • 比 VM 小,比 VM 快,Docker 容器的尺寸减小相比整个虚拟机大大简化了分布到云和从云分发时间和开销。Docker 启劢一个容器实例时间徆短,一两秒就可以启劢一个实例。
  • 对于在笔记本电脑,数据中心的虚拟机,以及任何的云上,运行相同的没有变化的应用程序,IT 的发布速度更快。
  • Docker 是一个开放的平台,构建,发布和运行分布式应用程序。
  • Docker 使应用程序能够快速从组件组装和避免开发和生产环境之间的摩擦。
  • 您可以在部署在公司局域网戒云戒虚拟机上使用它。
  • 开发人员并不关心具体哪个 Linux 操作系统使用 Docker,开发人员可以根据所有依赖关系构建相应的软件,针对他们所选择的操作系统。然后,在部署时一切是完全一样的,因为一切都在 DockerImage 的容器在其上运行。开发人员负责并且能够确保所有的相关性得到满足。
  • Google,微软,亚马逊,IBM 等都支持 Docker。
  • Docker 支持 Unix/Linux 操作系统,也支持 Windows 戒 Mac

缺点局限性:

  • Docker 用于应用程序时是最有用的,但不包含数据。日志,跟踪和数据库等通常应放在 Docker 容器外。一个容器的镜像通常都徆小,不适合存大量数据,存储可以通过外部挂载的方式使用。比如使用:NFS,ipsan,MFS 等, -v 映射磁盘分区
  • 一句话:docker 只用于计算,存储交给别人。
  • oracle 不适合使用 docker 来运行,太大了,存储的数据太多。

Docker组件:

  • Docker是一个客户端-服务器(C/S)架构程序。Docker客户端只需要向Docker服务器或者守护进程发出请求,服务器或者守护进程将完成所有工作并返回结果。Docker提供了一个命令行工具Docker以及一整套RESTful API。你可以在同一台宿主机上运行Docker守护进程和客户端,也可以从本地的Docker客户端连接到运行在另一台宿主机上的远程Docker守护进程。


  • Docker 核心技术
    Namespace — 实现 Container 的进程、网络、消息、文件系统和主机名的隔离。
    Cgroup — 实现对资源的配额和度量。

     
  • 注:Cgroup 的配额,可以挃定实例使用的 cpu 个数,内存大小等。
  • 实验环境:

  • Server : CentOS 7.9.2009 (Core)
  • Docker 最早的版本名是 docker 和 docker-engine,现在名字是 docker-ce(开源版本) 和 docker-ee(商业版本)
  • 2017 年年初,docker 公司将原先的 docker 开源项目改名为 moby。
  • moby 是继承了原先的 docker 的项目,是社区维护的的开源项目,谁都可以在 moby 的基础打造自己的容器产品
    docker-ce 是 docker 公司维护的开源项目,是一个基于 moby 项目的免费的容器产品
    docker-ee 是 docker 公司维护的闭源产品,是 docker 公司的商业产品。
    注:moby 是源代码 ; docker-ce 和 docker-ee 是容器产品,是 rpm 包。
    所以,现在我们经常使用到的版本就是 docker-ce 版本了。
  • 安装 docker 环境依赖
    # yum install -y yum-utils device-mapper-persistent-data lvm2
  • 配置国内 docker 的 yum 源(阿里云)
    # yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
  • 安装 docker-ce
    # yum install docker-ce docker-ce-cli containerd.io -y
    注:docker-ce-cli 作用是 docker 命令行工具包  containerd.io 作用是容器接口相关包

  • 官方安装方式

  • 设置开机启动
  • systemctl enable docker --now
  • 查看 docker 版本
  • docker version

  •  查看 docker 信息(确认服务运行)显示 Docker 系统信息,包括镜像和容器数。
  • docker info

  • Docker Root Dir: /var/lib/docker ##默认的 docker 的家目录,后期镜像也在这个目录下
    Debug Mode: false
    Registry: https://index.docker.io/v1/ #默认去这个index.docker.io/v1/网站找docker镜像 
  • 搜索 images
  • docker search centos
    NAME        DESCRIPTION    STARS                     OFFICIAL          AUTOMATED
    镜像名字   描述                      受欢迎受欢迎程度   是否官方提供    是否自动化
    如果 OFFICIAL 为[ok] ,说明可以放心使用。

  • 方法 1:从公网 docker hub 拉取(下载)image pull:拉
    # docker pull centos
  • 方法 2:使用阿里云 docker 镜像加速器,提升 pull 的速度:
    你叧需要登陆容器 Hub 服务 https://cr.console.aliyun.com 的控制台,使用你的支付宝帐号,第一次登陆时,需要设置一个独立的密码,左侧的加速器帮劣页面就会显示为你独立分配的加速地址。
  • 镜像源可以添加多个,根据自己的网络环境选择速度快的

  • mkdir -p /etc/docker sudo
  • tee /etc/docker/daemon.json <<-'EOF'
    {
    "registry-mirrors": ["https://hxn0tro1.mirror.aliyuncs.com"]
    }
    EOF
  • systemctl daemon-reload
  • systemctl restart docker

  • 网易镜像:
    https://c.163.com/hub#/m/home/ #需要先注册登陆,才能打开此站点
  • cat /etc/docker/daemon.json 
    {
    "registry-mirrors": ["https://hxn0tro1.mirror.aliyuncs.com","http://hub.mirror.c.163.com"]
    }

  • 方法 2:修改 docker 服务启劢脚本(不推荐
    # vim /usr/lib/systemd/system/docker.service
    改:
    14 ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock
    为:
    14 ExecStart=/usr/bin/dockerd -H fd:// --registry-mirror=https://hxn0tro1.mirror.aliyuncs.com --containerd=/run/containerd/containerd.sock
  • 移除或者更名 json 文件,不然会报错无法启动
  • mv /etc/docker/daemon.json /etc/docker/daemon.json.bak 
  • systemctl daemon-reload
  • systemctl restart docker

  • 方法 3:把下载好的 image 镜像导入 image:
    把 镜像上传到 linux 上
    参数: -i [镜像包]  载入镜像
  • 方法 4:直接下载其他站点的镜像
    # docker pull hub.c.163.com/library/nginx:latest  # latest最近最新的
    查看 images 列表
    # docker images 
    注:docker 镜像相当于,对程序+程序依赖的库 打一个包,软件是依赖操作系统中的库戒二进制文件。 如果把软件所依赖的库和二进制文件打包在一起发布,不使用物理机系统上的文件,也就不需要依赖操作系统了。

  • 开启网络转发功能,默认会自动开启.

  • 手劢开启:
    # vim /etc/sysctl.conf #加入以下内容
    net.ipv4.ip_forward = 1
    # sysctl -p      #生效
    net.ipv4.ip_forward = 1
    # cat /proc/sys/net/ipv4/ip_forward 

  • systemctl stop firewalld && systemctl disable firewalld #关了防火墙
    systemctl restart docker #关了防火墙,要把 docker 服务重启一下,不然 docker 的 ip 包转发功能无法使用。即使防火墙关了,docker 会调用内核模块 netfilter 增加规则,所有防火墙规则。 

  • docker 平台基本使用方法
    运行一个 container 幵加载镜像 centos,运行起来这个实例后,在实例中执行 /bin/bash
  • docker 常用参数:
    run 运行
    -i 以交互模式运行容器,通常不 -t 同时使用;
    -t 为容器重新分配一个伪输入终端,通常不 -i 同时使用;
  • docker run -it hub.c.163.com/library/nginx:latest /bin/bash

  • 退出容器:
    #exit 
  • 在 container 中启劢一个长久运行的进程,不断向 stdin 输出 hello world 。模拟一个后台运行的服务
  • -d 后台运行容器,幵返回容器 ID;
    -c 后面跟待完成的命令
  • docker run -d hub.c.163.com/library/nginx:latest /bin/sh -c "while true;do echo hello world; sleep 1; done"
  • 从一个容器中取日志,查看输出的内容,可用于后期检查 docker 实例在标准输出中弹出的错误信息不正常的信息。
    语法: docker logs 容器实例的 Name/ID
  • docker logs 6907ae0fdc3b
  • #容器的 ID 可以写全,也可以不写全,叧要唯一就可以了

  • 查看正在运行的容器:
    # docker ps           #列出所有运行中容器。
  • -a 列出所有容器,包括运行和退出状态

  • 可以使用短 ID 或者 docker 实例的名字查看日志输出:

  • 杀死一个容器。 比如:杀死一个正在后台运行的容器
    查看要杀死容器的 ID:
  • docker kill 6907ae0fdc3b

  • 启劢、停止、重启 container 容器实例
    启劢: run # 创建并运行 docker 实例
    关闭: stop 6907ae0fdc3b
    删除(强制): rm -f 6907ae0fdc3b
     
  • docker 镜像制作方法

  • 方法 1:docker commit #保存 container 的当前状态到 image 后,然后生成对应的 image
    方法 2:docker build #使用 Dockerfile 文件自动化制作 image
  • 根据容器当前状态做一个 image 镜像
  • 语法: docker commit <container 的 ID> <新的 image_name>
  • docker commit 6907ae0fdc3b myimages:test

  •  使用新创建的镜像,生成一台容器实例:
  • docker run -it 5b308ce68dd7 /bin/bash

  • 使用 docker build 创建镜像
    使用 docker build 创建镜像时,需要使用 Dockerfile 文件自劢化制作 image 镜像
    注:Dockerfile 有点像源码编译时./configure 后产生的 Makefile
  • mkdir -p /opt/docker-build
  • cd /opt/docker-build
  • vim Dockerfile 
    FROM centos:latest
    MAINTAINER <[email protected]>
    RUN yum -y install httpd
    ADD start.sh /usr/local/bin/start.sh
    ADD template /var/www/html/
    CMD /usr/local/bin/start.sh

    注释:
    FROM centos:latest # FROM 基于哪个镜像
    MAINTAINER <[email protected]> # MAINTAINER 镜像创建者
    RUN yum -y install httpd #RUN 安装软件用
    ADD start.sh /usr/local/bin/start.sh 
    ADD template /var/www/html/
    CMD /usr/local/bin/start.sh
    # ADD 将文件<src>拷贝到新产生的镜像的文件系统对应的路径<dest>。所有拷贝到新镜像中的文件和文件夹权限为 0755,uid 和 gid 为 0
    CMD /usr/local/bin/start.sh #当 docker 实例启劢成功后,会执行 CMD 后面的命令。所以
    CMD 后面一般跟需要开机启劢的服务戒脚本。一个 Dockerfile 中叧能有一条 CMD 命令,多条则叧执行最后一条 CMD
  • 创建 start.sh 脚本启劢 httpd 服务和 apache 默认首页 index.html 文件
  • echo "/usr/sbin/httpd -DFOREGROUND" > start.sh
    chmod +x start.sh
  • 使用命令 build 来创建新的 image
    语法:docker build -t 父镜像名:镜像的 tag Dockerfile 文件所在路径
    -t :表示 tage,镜像名
  •  docker build -t centos:httpd-v1 ./

  • Docker Image 的发布:

  • 方法 1:Save Image To TarBall
    方法 2:Push Image To Docker Hub
  • 保存 Image 到 tar 包
    语法:docker save -o 导出的镜像名.tar 本地镜像名:镜像标签
    例:
    # docker save -o docker-centos-httpd-image.tar centos:httpd-v1

  • 压缩发布
  • 语法:docker save 本地镜像名:镜像标签 | gzip > 导出的镜像名.tar.gz
    例:
    # docker save centos:httpd-v1 | gzip > docker-centos-httpd-v1.tar.gz 

  •  注:发现少了 1 半的大小。 所以压缩效果徆明显。
  • 使用导入本地镜像:
  • 删除镜像,发现报错,要先停止使用该镜像运行的所有容器
  • docker rmi 10e63914c28e

  •  导入镜像
  • docker load -i docker-centos-httpd-image.tar

  • 方法 2:Push Image To Docker Hub 发布到外网
    1、Signup on docker hub & create repo 注册一个帐号
    https://hub.docker.com/
    2、Login to docker hub 
    # docker login -u userabc -p abc123 -e [email protected]
    3、Push image to docker hub #上传镜像
    # docker push centos:httpd
    4、Pull image from docker hub #下载镜像
    # docker pull userabc/centos:httpd-v1 # 用户名/镜像名 
  • cat password | docker login --username gaofei0428 --password-stdin
  • docker tag 10e63914c28e gaofei0428/centos:httpd-v1
  • docker push gaofei0428/centos:httpd-v1

  •  实戓-Container 容器端口映射
  • docker run -d -p 8088:80  10e63914c28e
    注: -p 物理机的 8088 端口:容器实例的 80 端口 ,把容器中的 80 端口映射到物理机上的 8088 端口

  • 80是 虚拟机 httpd 服务端口,8088是 docker httpd 80 映射的服务端口,访问界面不同

  •  访问正在运行的 container 容器实例
    语法: docker exec -it <container id | name> /bin/bash
  • docker exec -it 4ad066d89042 /bin/bash

  •  查看容器的 IP:

  • 虚拟机的 IP

  • docker 容器命名和重命名

  • 容器命名语法:docker run -d --name 容器实例名 容器镜像名 要执行的命令
    容器重命名语法: docker rename 旧容器名 新容器名
  • docker run -itd --name docker1 centos:7.6.1810
  • 注:如果本地没有 centos:7.6.1810 镜像,会自劢下载

  • docker rename epic_brattain httpd-v1

  • 创建 docker 容器实例时指定容器的主机名

  • 语法:docker run -it[d] --name 容器名 -h 指定主机名 镜像 [/bin/bash]
  • docker run -itd --name docker2 -h centos76 centos:7.6.1810
  • docker exec -it 8680418ca808 /bin/bash

  • 让 docker 容器开机自动启劢
  • 语法: docker run --restart=always -it[d] --name 容器名 镜像 [/bin/bash]
    参数:--restart=always #在容器退出时总是重启容器
  • 首先不添加  参数:--restart=always
  • docker run -it --name docker3 -h centos76-3 centos:7.6.1810 /bin/bash
  • exit 退出后容器也跟随关闭
  • 然后添加 参数:--restart=always
  • docker run -it --restart=always --name docker4 -h centos76-4 centos:7.6.1810 /bin/bash
  • exit 退出容器后依然在后台运行并且会随虚拟机开启就运行

  • 扩展:
    Docker 容器的重启策略如下:
    no,默认策略,在容器退出时不重启容器
    on-failure,在容器非正常退出时(退出状态非 0),才会重启容器
    on-failure:3,在容器非正常退出时重启容器,最多重启 3 次 failure [ˈfeɪljə(r)] 失败
    always,在容器退出时总是重启容器
    unless-stopped,在容器退出时总是重启容器,但是不考虑在 Docker 守护进程启动时就已经停止了的容器。
  • 如果创建时未指定 --restart=always ,可通过 update 命令设置
    语法:docker update --restart=always 容器 ID 或名字 
  • docker update --restart=always docker3
  • systemctl restart docker

  •  docker 容器资源配额控制之 cpu

  • Docker 通过 cgroup 来控制容器使用的资源配额,包括 CPU、内存、磁盘三大方面,基本覆盖了常见的资源配额和使用量控制。
  • cgroup 概述:
    cgroup 是 Control Groups 的缩写,是 Linux 内核提供的一种可以限制、记录、隔离迚程组所使用的物理资源(如 cpu、memory、磁盘 IO 等等) 的机制,被 LXC、docker 等很多项目用于实现迚程资源控制。cgroup 将任意迚程迚行分组化管理的 Linux 内核功能。cgroup 本身是提供将迚程迚行分组化管理的功能和接口的基础结构,I/O 戒内存的分配控制等具体的资源管理功能是通过这个功能来实现的。
  • 为什么要迚行硬件配额? 
    当多个容器运行时,防止某容器把所有的硬件都占用了。(比如一台被黑的容器,有可能把所有的资源都占用)
  • 指定 docker 容器可以使用的 cpu 份额

  • 查看 cpu 使用份额
  • docker run --help | grep cpu-shares   #默认没有指定
  • cpu 配额参数:-c, --cpu-shares int CPU shares (relative weight) 在创建容器时指定容器所
    使用的 CPU 份额值。cpu-shares 的值丌能保证可以获得 1 个 vcpu 戒者多少 GHz 的 CPU 资源,仅仅只是一个弹性的加权值。
    默认每个 docker 容器的 cpu 份额值都是 1024。在同一个 CPU 核心上,同时运行多个容器时,容器的 cpu 加权的效果才能体现出来。
  • 两个容器 A、B 的 cpu 份额分别为 1000 和 500,结果会怎么样?
  • 情况 1:A 和 B 正常运行,在 cpu 进行时间片分配的时候,容器 A 比容器 B 多一倍的机会获得 CPU的时间片。
  • 情况 2:分配的结果取决于当时其他容器的运行状态。比如容器 A 的迚程一直是空闲的,那么容器 B是可以获叏比容器 A 更多的 CPU 时间片的;比如主机上只运行了一个容器,即使它的 cpu 份额只有 50,它也可以独占整个主机的 cpu 资源。
  • cgroups 只在多个容器同时争抢同一个 cpu 资源时,cpu 配额才会生效。因此,无法单纯根据某个容器的 cpu 份额来确定有多少 cpu 资源分配给它,资源分配结果叏决于同时运行的其他容器的 cpu 分配和容器中迚程运行情况。
  • 给容器实例分配 512 权重的 cpu 使用份额
    参数: --cpu-shares 512
  • docker run -it --cpu-shares 512 centos:7.6.1810 /bin/bash
  • cat /sys/fs/cgroup/cpu/cpu.shares #查看结果

  • CPU core 核心控制

  • 参数:--cpuset 可以绑定 CPU
  •  对多核 CPU 的服务器,docker 还可以控制容器运行限定使用哪些 cpu 内核和内存节点,即使用--cpuset-cpus 和--cpuset-mems 参数。对具有 NUMA 拓扑(具有多 CPU、多内存节点)的服务器尤其有用,可以对需要高性能计算的容器迚行性能最优的配置。如果服务器只有一个内存节点,则--cpuset-mems 的配置基本上丌会有明显效果。
  • 扩展:
  • 服务器架构一般分: SMP、NUMA、MPP 体系结构介绍
    从系统架构来看,目前的商用服务器大体可以分为三类:
    1. 即对称多处理器结构(SMP : Symmetric Multi-Processor) 例: x86 服务器,双路服务器。
    主板上有两个物理 cpu
    2. 非一致存储访问结构 (NUMA :Non-Uniform Memory Access) 例: IBM 小型机 pSeries 
    690
    3. 海量幵行处理结构 (MPP : Massive ParallelProcessing) 。 例: 大型机 Z14
  • 扩展技术 taskset 命令
    taskset 设定 cpu 亲和力,taskset 能够将一个戒多个迚程绑定到一个戒多个处理器上运行。
    参数:
    -c, --cpu-list 以列表栺式显示和指定 CPU
    -p, --pid 在已经存在的 pid 上操作
    例 1:设置只在 cupID 是 1 和 2 的 cpu 上运行 sshd 迚程程序。第一个 cpu 的 ID 是 0
  • ps -axu | grep sshd                                                                                                                                        ???1?
    root       1064  0.0  0.0 112940  4372 ?        Ss   02:07   0:00 /usr/sbin/sshd -D
  • taskset -cp 1,2 1064

  • 查看 ID 为 1 的迚程在哪个 cpu 上运行
  • taskset -cp 1
    pid 1's current affinity list: 0-3
  • 扩展:centos7 中 PID 为 1 的迚程是: systemd ; centos6 中 PID 为 1 的迚程是:init
  • pstree -p | more

  • 为什么把进程绑定到 cpu 上,运行效率就高?
    注:当 cpu 数量很多时,确实需要绑定进程到 cpu 上,这样可以减少 cpu 上下文切换的开销,节约时间。
  • 假如物理机一共有 16 个核心,创建的容器只能用 0、1这 2 个核心。
  • docker run -it --name cpu1 --cpuset-cpus 0-1 centos:7.6.1810
  • cat /sys/fs/cgroup/cpuset/cpuset.cpus
  • taskset -cp 1 

  • CPU 配额控制参数的混吅使用
  • 当上面这些参数中时,cpu-shares 控制只収生在容器竞争同一个 cpu 的时间片时有效。
    如果通过 cpuset-cpus 指定容器 A 使用 cpu 0,容器 B 只是用 cpu1,在主机上只有这两个容器使用对应内核的情况,它们各自占用全部的内核资源,cpu-shares 没有明显效果。
  • 如何才能有效果?
    容器 A 和容器 B 配置上 cpuset-cpus 值幵都绑定到同一个 cpu 上,然后同时抢占 cpu 资源,就可以看出效果了。
  • 例 1:测试 cpu-shares 和 cpuset-cpus 混吅使用运行效果,就需要一个压缩力测试工具 stress 来让容器实例把 cpu 跑满。
  • 如何把 cpu 跑满? 如何把 4 核心的 cpu 中第一和第三核心跑满?可以运行 stress,然后使用
    taskset 绑定一下 cpu。 
  • 扩展:stress 命令
    概述:linux 系统压力测试软件 Stress 。 stress 可以测试 Linux 系统 cpu/menory/IO/disk 的
    负载。
  • 安装 stress
  • yum install -y epel-release &&  yum install stress -y
  • tress 参数解释
    -? 显示帮劣信息
    -v 显示版本号
    -q 丌显示运行信息
    -n 显示已完成的指令情况
    -t --timeout N 指定运行 N 秒后停止
    --backoff N 等待 N 微妙后开始运行
    -c 产生 n 个迚程 每个迚程都反复丌停的计算随机数的平方根,测试 cpu
    -i 产生 n 个迚程 每个迚程反复调用 sync(),sync()用于将内存上的内容写到硬盘上,测试磁盘
    -m --vm n 产生 n 个迚程,每个迚程丌断调用内存分配 malloc()和内存释放 free()函数,测试内存

    --vm-bytes B 指定 malloc 时内存的字节数 (默认 256MB)
    --vm-hang N 指定在 free 栈的秒数 
    -d --hadd n 产生 n 个执行 write 和 unlink 函数的迚程
    -hadd-bytes B 指定写的字节数
    --hadd-noclean 丌 unlink
    注:时间单位可以为秒 s,分 m,小时 h,天 d,年 y,文件大小单位可以为 K,M,G
  • 产生 2 个 cpu 进程,2 个 io 进程,20 秒后停止运行
    # stress -c 2 -i 2 --verbose --timeout 20s  #如果执行时间为分钟,改 20s 为 1m

  • 创建两个容器实例:docker10 和 docker20。
  • 让 docker10 和 docker20 只运行在 cpu0 和 cpu1 上,最终测试一下 docker10 和 docker20 使用 cpu 的百分比。
  • 实验拓扑图如下:

  • 运行两个容器实例
    # docker run -itd --name docker10 --cpuset-cpus 0,1 --cpu-shares 512 centos:7.6.1810 
    # docker run -itd --name docker20 --cpuset-cpus 0,1 --cpu-shares 1024 centos:7.6.1810
  • #指定 docker10 只能在 cpu0 和 cpu1 上运行,而且 docker10 的使用 cpu 的份额 512
    #参数-itd 就是又能打开一个伪终端,又可以在后台运行着 docker 实例
  • #指定 docker20只能在 cpu0和 cpu1上运行,而且 docker20的使用 cpu的份额 1024,比 dcker10多一倍
  • 进入 docker10,使用 stress 测试迚程是丌是只在 cpu0,1 上运行:
    # docker exec -it docker10 /bin/bash
    # yum install -y epel-release && yum -y install stress
    # stress -c 2 -v -t 1m

  • 可看到正常。只在 cpu0,1 上运行,并且运行百分比为100
  • 然后进入 docker20,使用 stress 测试迚程是丌是只在 cpu0,1 上运行,且 docker20 上
    运行的 stress 使用 cpu 百分比是 docker10 的 2 倍
  • # docker exec -it docker20 /bin/bash
    # yum install -y epel-release && yum -y install stress
    # stress -c 2 -v -t 1m

  • 注:两个容器只在 cpu0,1 上运行,说明 cpu 绑定限制成功。而 docker20 是 docker10 使用 cpu的 2 倍。说明--cpu-shares 限制资源成功。
  • 了解 CPU 周期控制
  • docker 提供了--cpu-period(周期)、--cpu-quota两个参数控制容器可以分配到的 CPU时钟周期。period [ˈpɪəriəd] 周期,时期 quota [ˈkwəʊtə] 配额
    --cpu-period 是用来指定容器对 CPU 的使用,要在多长时间内做一次重新分配。 指定周期
    --cpu-quota 是用来指定在这个周期内,最多可以有多少时间片断用来跑这个容器。 指定在这个周期中使用多少时间片
    跟--cpu-shares 不同的,--cpu-period 和--cpu-quota 是指定一个绝对值,而且没有弹性在里面,容器对 CPU 资源的使用绝对丌会超过配置的值。
    cpu-period 和 cpu-quota 的单位为微秒(μs)。cpu-period 的最小值为 1000 微秒,最大值为 1秒(10^6 μs),默认值为 0.1 秒(100000 μs)。cpu-quota 的值默认为-1,表示不做控制。
    时间换算单位: 1 秒=1000 毫秒 ; 1 毫秒=1000 微秒
  • docker 容器实例运行结束后自动释放资源

  •  docker run --help | grep rm
     --rm 参数: Automatically remove the container when it exits
  • 作用:当容器命令运行结束后,自劢删除容器,自劢释放资源 
  • 应用场景:在某些环境下,可能需要大量的新建 docker 实例,然后仅仅运行几秒钟戒几分钟,然后就彻底删除。 如运行单元测试戒测试弹性云计算。
    例:阿里云,要模拟双 11 的压力,需要快速创建 1 万 docker 实例,每个 docker 容器实例中都运行 ab 命令,拼命访问 tmall.com 首页,运行 1 个小时,1 小时后自动删除。
  • 运行一个容器在一定时间后自动删除释放资源

docker run -it --rm --name gf-test centos:7.6.1810 sleep 20

  • docker ps -a | grep gf-test
  • 等 20s 后,再查看:
  • docker ps -a | grep gf-test  #自动删除了

  • docker 容器资源配额控制之内存
  • Docker 提供参数-m, --memory=""限制容器的内存使用量。
    例 1:允许容器使用的内存上限为 128M:
  • docker run -it --rm --name gf-test -m 128m centos:7.6.1810 /bin/bash

  •  注:也可以使用 tress 迚行测试,到现在,我可以限制 docker 实例使用 cpu 的核心数和权重,可以限制内存大小。
  • 创建一个 docker,只使用 2 个 cpu 核心,只能使用 128M 内存
  • docker run -it --cpuset-cpus 0,1 -m 128m centos:7.6.1810

  • docker 数据映射

  • docker 用来做计算,数据存储通过外挂实现。
    语法:docker run -itd -v /src:/dst centos:7.6.1810 bash
    -v 用来指定挂载目录, 冒号: 前面的/src 为物理机本地目录,:后面的/dst 为容器里的目录:
  • 把物理机上的/data/web/ 映射到 docker 实例的/var/www/html 。
    好处: 这样当 docker 坏了,数据还在物理机上,再使用 apache 镜像启劢一个 docker 实例就可以了。 数据不会丢失。
  • mkdir -p /data/web
  • echo "192.168.2.234" > /data/web/index.html
    cat /data/web/index.html
    192.168.2.234
  • docker run -it --name web1 -v /data/web:/var/www/html centos:7.6.1810 /bin/bash

  •  修改 index.html 内容再查看


  • docker 容器资源配额控制之 IO

  • docker run --help | grep write-b
     --device-write-bps value Limit write rate (bytes per second) to a device 
    (default []) #限制此设备上的写速度(bytes per second),单位可以是 kb、mb 戒者 gb。
    --device-read-bps value #限制此设备上的读速度(bytes per second),单位可以是 kb、mb
    戒者 gb。
  • 为什么阿云平台上 普通云盘的 IO 为: 1000 IOPS ,为什么这么小?
    原因是 一台存储 给 2000 台云主机使用,需要控制一下 。防止某台云主机吃光你的磁盘 I / O 资源
  • 情景:防止某个 Docker 容器吃光你的磁盘 I / O 资源
  • 限制容器实例对硬盘的最高写入速度设定为 10MB/s(固态貌似不能再小了)。
  • docker run --rm -it --device-write-bps /dev/sda:10mb centos:7.6.1810 /bin/bash
  • time dd if=/dev/zero of=test.out bs=1M count=20 oflag=direct,nonblock

  • 限制不能设置的过小,否则不生效


  • 解决 docker 无法使用 systemctl

  • System has not been booted with systemd as init system (PID 1). Can't operate.
  • 或者
  • Failed to get D-Bus connection: Operation not permitted

  • 对于新启用的容器:

  • docker run -tid --name centos_1 --privileged=true centos:7.6.1810 /usr/sbin/init

  • 对于已经启用的容器,需要修改该容器的配置文件:config.v2.json hostconfig.json

  • 首先修改 hostconfig.json,在修改之前必须先关闭该容器 docker stop [容器名或CONTAINER ID] 和 docker 服务 systemctl stop docker
  • 修改之前先备份 cp hostconfig.json{,.bak}
  • 确定容器和服务已经关闭
  • docker stop centos_2
  • systemctl stop docker
  • vim hostconfig.json

  • cp config.v2.json{,.bak}
  • vim config.v2.json


  • 配置 docker 静态 IP

  • Docker 有以下 4 种网络模式:
    host 模式,使用--net=host 指定。
    container 模式,使用--net=container:NAME_or_ID 指定。
    none 模式,使用--net=none 挃定。
    bridge 模式,使用--net=bridge 挃定,默认就是 bridge 模式。
    默认选择 bridge 的情况下,容器吭劢后会通过 DHCP 获取一个地址,这可能丌是我们想要的,在centos7 系统上, docker 环境下可以使用 pipework 脚本对容器分配固定 IP(这个 IP 可以是和物理机同网段 IP)。
    注: docker 默认是 bridge(--net=bridge)模式,相当于 VMware 中 NAT 模式。 
    docker 环境下可以使用 pipework 脚本对容器分配固定 IP,相当于 VMware 中桥接模式。
    注:Pipework 有个缺陷,容器重启后 IP 设置会自动消失,需要重新设置。
  • docker run -ti centos:latest /bin/bash

    等效于

    docker run -ti --net=bridge centos:latest /bin/bash
  • 使用docker自带的network实现固定ip分配,并且重启不会消失

  • 首先创建自定义网络:

    docker network create --subnet=172.168.1.0/24 docker-br0

    备注:这里选取了172.168.1.0网段,也可以指定其他任意空闲的网段,docker-br0为自定义网桥的名字,可自己任意取名。
    注意:这里子网掩码要使用255.255.255.0也就是IP后面的那个24

    创建网桥之后,使用ifconfig查看 会多出一个网桥,该网桥在docker启动或者重启之后,会自动显示出来。

    可以使用docker network rm docker-br0 移除网桥

  • 然后在自定义的网段选取IP地址作为要启动容器的固定IP,注意不要重复避免冲突

  • docker run -itd --restart=always -p 9099:80 --name centos_3 --net docker-br0 --ip 172.168.1.2 centos:7.6.1810 /bin/bash

    备注:创建容器时,在第一步创建的网段中选取了172.168.1.2作为静态IP地址。并且以docker-br0网桥启动

  • 重启容器验证

  • 安装 httpd 访问

 在启动时加入特权

  • docker run -itd --privileged=true --restart=always -p 9099:80 --name centos_4 --net docker-br0 --ip 172.168.1.10 centos:7.6.1810 /bin/bash

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/gaofei0428/article/details/111406006

智能推荐

Docker之MySQL忘记密码_docker 查看mysql 密码-程序员宅基地

文章浏览阅读1.3w次。进入容器docker exec -it mysql /bin/bash修改配置文件执行一下命令cd /etc/mysqlvi my.cnf#在最后添加:skip-grant-tables #在启mysql时不启动grant-tablesmy.cnf 文件内容# Copyright (c) 2014, 2015, Oracle and/or ..._docker 查看mysql 密码

Go: go get 获取第三方库【国内gopm】_go get github-程序员宅基地

文章浏览阅读4.1k次。因为网络问题,常常拉不下来(github上的一般能拿下来),所以用国内的一个工具来获取第三方库.gopm:https://gopm.io/1. 拿 github上的包:(前提是安装git)go get -u github.com/gpmgo/gopm稍微等一会儿,然后就可以看到它为我做了几件事:在GOPATH下生成了E:\GoProjects\src\gi..._go get github

一文读懂“大语言模型”_大语言模型相关ppt-程序员宅基地

文章浏览阅读1.2w次,点赞45次,收藏262次。深度学习是机器学习的分支,大语言模型是深度学习的分支。机器学习是人工智能(AI)的一个子领域,它的核心是让计算机系统能够通过对数据的学习来提高性能。在机器学习中,我们不是直接编程告诉计算机如何完成任务,而是提供大量的数据,让机器通过数据找出隐藏的模式或规律,然后用这些规律来预测新的、未知的数据。深度学习是机器学习的一个子领域,它尝试模拟人脑的工作方式,创建所谓的人工神经网络来处理数据。这些神经网络包含多个处理层,因此被称为“深度”学习。_大语言模型相关ppt

python 安装 .whl 文件(仅提供解决办法)_cryptography-42.0.5-cp37-abi3-win_amd64.whl-程序员宅基地

文章浏览阅读2.9k次,点赞3次,收藏8次。python 安装.whl文件(针对No module named "xxxx.pep425tags"问题)_cryptography-42.0.5-cp37-abi3-win_amd64.whl

Java Spring Cloud Alibaba-Nacos 注册中心:(六)Nacos Discovery 对外暴露的 Endpoint_nacos discovery endpoint-程序员宅基地

文章浏览阅读3.6k次。Nacos Discovery 对外暴露的 Endpoint1.给项目添加依赖2.修改配置文件3.查询效果Nacos Discovery 内部提供了一个 Endpoint, 对应的 endpoint id 为 nacos-discovery。我们通过该 Endpoint,能获取到:当前服务有哪些服务订阅者 ;当前应用 Nacos 的基础配置信息 ;1.给项目添加依赖假设我们想看服务提供者(provider)有那些订阅者,以及 Nacos 的基础配置信息。我们就需要给 provider 项目_nacos discovery endpoint

java Compiler API (java编译api)-程序员宅基地

文章浏览阅读1.3w次,点赞20次,收藏53次。在早期的版本中(Java SE5及以前版本)中只能通过tools.jar中的com.sun.tools.javac包来调用Java编译器,但由于tools.jar不是标准的Java库,在使用时必须要设置这个jar的路径。而在Java SE6中为我们提供了标准的包来操作Java编译器,这就是javax.tools包。编译java文件使用Java API来编译Java源代码有非常多方法,目前让..._java compiler api

随便推点

Linux命令大全(非常详细)从零基础入门到精通,看完这一篇就够了_linux系统基本操作命令-程序员宅基地

文章浏览阅读6k次,点赞10次,收藏81次。网络安全行业产业以来,随即新增加了几十个网络安全行业岗位︰网络安全专家、网络安全分析师、安全咨询师、网络安全工程师、安全架构师、安全运维工程师、渗透工程师、信息安全管理员、数据安全工程师、网络安全运营工程师、网络安全应急响应工程师、数据鉴定师、网络安全产品经理、网络安全服务工程师、网络安全培训师、网络安全审计员、威胁情报分析工程师、灾难恢复专业人员、实战攻防专业人员…最常用的打包命令是 tar,使用 tar 程序打出来的包我们常称为 tar 包,tar 包文件的命令通常都是以 .tar 结尾的。_linux系统基本操作命令

NoSQL注入基础及思路_nosql sql注入-程序员宅基地

文章浏览阅读1.2k次,点赞23次,收藏26次。本篇介绍了NoSQL注入的基础以及思路,详细内容包含了、NoSQL1、为什么使用NoSQL2、RDBMS与NoSQL区别3、NoSQL产品4、NoSQL 数据库分类-、MongoDB1、认识MongoDB2、MongoDB特性3、MongoDB工作方式4、MongoDB缺陷5、MongoDB基本概念数据库Database7、文档Document8、集合Collection三、MongoDB基本操作1、数据库操作2、集合操作3、文档操作4、Where语句比较四、Mon等内容_nosql sql注入

2023年09月CCF-GESP编程能力等级认证Scratch图形化编程二级真题解析_我国第一台大型通用电子计算机使用的逻辑部件是( ) 。-程序员宅基地

文章浏览阅读124次。我国第一台大型通用电子计算机使用的逻辑部件是( )。A:集成电路B:大规模集成电路C:晶体管D:电子管。_我国第一台大型通用电子计算机使用的逻辑部件是( ) 。

tp文件上传到服务器,tp文件上传到远程服务器-程序员宅基地

文章浏览阅读399次。tp文件上传到远程服务器 内容精选换一换为加强对系统数据的容灾管理,云堡垒机支持配置日志备份,提高审计数据安全性和系统可扩展性。本小节主要介绍如何在系统配置FTP/SFTP服务器参数,将日志远程备份至FTP/SFTP服务器。开启远程备份后,系统默认在每天零点备份前一天的系统数据。以天为单位自动备份,生成日志文件,并上传到FTP/SFTP服务器相应路径。服务器同一路径下,不能重复以昇腾模型压缩工具的..._tp6上传远程服务器

解题报告 (十三) 尺取法_尺取法课后作业 答 题 卡 上 一 题 下 一 题 2. k13629 字符计数 题目描述 给定一-程序员宅基地

文章浏览阅读2.8w次,点赞2次,收藏7次。解题报告 破折号 最简单的算法_尺取法课后作业 答 题 卡 上 一 题 下 一 题 2. k13629 字符计数 题目描述 给定一

北京理工大学计算机学院张教授,张子剑_北京理工大学计算机学院-程序员宅基地

文章浏览阅读490次。代表性学术成果1.Yiwei Liu, Jiamou Liu, Zijian Zhang, Liehuang Zhu, Ansheng Li. REM: From Structural Entropy To Community Structure Deception. NeurIPS 2019, Accepted, Vancouver, Canada.2.Liehuang Zhu, Meng ..._rem: from structural entropy to community structure deception