摘要：一、系统信息 $ arch #显示机器的处理器架构(1) $ uname -m #显示机器的处理器架构(2) $ uname -r #显示正在使用的内核版本 $ dmidecode -q #显示硬件系统部件 - (SMBIOS / DMI) $ hdparm -i /dev/hda #罗列一个磁盘的 摘要：一、xargs命令简介 xargs可以将stdin中以空格或换行符进行分隔的数据，形成以空格分隔的参数（arguments），传递给其他命令。因为以空格作为分隔符，所以有一些文件名或者其他意义的字符串内含有空格的时候，xargs可能会误判。简单来说，xargs的作用是给其他命令传递参数，是构建单行命 摘要：一、客户端挂载 可以使用Gluster Native Client方法在GNU / Linux客户端中实现高并发性，性能和透明故障转移。可以使用NFS v3访问gluster卷。已经对GNU / Linux客户端和其他操作系统中的NFS实现进行了广泛的测试，例如FreeBSD，Mac OS X，以及 摘要：一、GlusterFS简介 GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBand RDMA网络将物理分布的存储资源聚集在一 摘要：一、创建卷 $ gluster volume create 例子：gluster volume create gv0 replica 2 server1:/data/brick1/gv0 server2:/data/brick1/gv0 报错 发现报错了，这是因为我们创建的brick在系统盘，这个在 摘要：一、环境说明 hostname IP disk role gluster-node1 192.168.99.251 /dev/sdb、/dev/sdc、/dev/sdd server、client gluster-node12 192.168.99.252 /dev/sdb、/dev/sdc、/de 摘要：一、roles简介 将多种不同的tasks的文件集中存储在某个目录下，则该目录就是角色，角色一般存放在/etc/ansible/roles/目录下，可通过ansible的配置文件来调整默认的角色目录，/etc/ansible/roles/目录下有很多子目录，其中每一个子目录对应一个角色，每个角色也有 摘要：一、Ansible基础概述 1.1 什么是Ansible Ansible是一个IT自动化的配置管理工具，自动化主要体现在Ansible集成了丰富模块、丰富的功能组件，可以通过一个命令完成一系列的操作。进而减少我们重复性的工作和维护成本，以提高工作效率！ 1.2 Ansible 可以完成哪些功能 批量 摘要：一、模板（template）简介 文件文件，嵌套有脚本（使用模板编程语言编写）； jinja2语言，使用字面量，有以下形式： 字符串：使用单引号或双引号； 数字：整数，浮点数； 列表：[ item1,item2,……] 元组：(item1,item2,……) 字典：{key1:value1,key2 摘要：一、部署环境 系统版本 主机名 IP地址 运行的服务 Centos 7.5 node 192.168.1.1 ES、Kibana Centos 7.5 logstash 192.168.1.2 Logstash Centos 7.5 redis 192.168.1.3 Redis Centos 7. 摘要：一、环境准备 系统版本 主机名 IP地址 所运行的服务 Centos 7.5 kafka01 192.168.1.1 zookeeper、kafka、ES、kibana Centos 7.5 kafka02 192.168.1.2 zookeeper、kafka、logstash Centos 7. 摘要：一、初始化环境 1.1 环境准备 系统版本 主机名 IP地址 服务 Centos 7.5 node 192.168.1.1 es、kibana Centos 7.5 test 192.168.1.2 filebeat 1.2 安装es $ wget https://artifacts.elastic 摘要：一、通过zabbix监控vCenter虚拟化 1）使用zabbix自带的模板监控vCenter。 2）需要管理员手动添加vCnter主机，esxi，存储和vm主机，可以通过自动发现获取。 3）vm建议通过agent的方式获取监控数据，如果开启，数据会产生很多冗余数据，建议关闭vm的自动发现功能。只采 摘要：一、安装grafana $ wget https://dl.grafana.com/oss/release/grafana-6.3.2-1.x86_64.rpm $ yum -y localinstall grafana-6.3.2-1.x86_64.rpm $ systemctl start gr 摘要：一、概述 我们可以给zabbix某些组或者某些Hosts设置维护时间,zabbix提供两种维护类型：依旧收集数据、暂停收集数据 在 服务器维护期间不会生成报警（前提：触发器设置了Maintenance status = not in “maintenance”），如果在维护期间出现故障，并且没有解决 摘要：一、监控知识概述 1.1 为什么要使用监控 1）对系统不间断实时监控； 2）实时反馈系统当前状态； 3）保证服务可靠性安全性； 4）保证业务持续稳定运行； 1.2 如何进行监控，比如监控磁盘使用率 1）如何查看磁盘使用率 df -h； 2）监控磁盘的那些指标 block、 inode； 3）如何获取 摘要：Zabbix 5.0 版本于 5 月 12日正式发布，是最新的 LTS（长期支持）版本，5.0 带来很多功能和特性，后面会陆续推出文章介绍，下面主要介绍 5.0 版本的安装。 一、环境要求 5.0 版本对基础环境的要求有大的变化，最大的就是对 php 版本的要求，最低要求 7.2.0 版本,对 ph 摘要：一、文本处理小工具 1.1 grep小工具 grep是行过滤工具，用于根据关键字对行进行过滤！ 1）常用选项 -i: 不区分大小写 -v: 查找不包含指定内容的行,反向选择 -w: 按单词搜索 -o: 打印匹配关键字 -c: 统计匹配到的行数 -n: 显示行号 -r: 逐层遍历目录查找 -A: 显示 摘要：不管是哪种语言，日期/时间都是一个非常重要的值。比如我们保存日志的时候，往往是某个前缀再加上当前时间，这样日志文件名称就可以做到唯一。 在Shell环境里，我们获取时间的命令是date，但date出来的时间日期格式、内容可能不是我们所想要的，所以我们可能需要对它进行一些格式化输出。 常用的选项： - 摘要：一、uptime $ uptime 19:08:17 up 127 days, 3:00, 1 user, load average: 0.00, 0.01, 0.05 命令返回的信息： 19:08:17 //系统当前时间 up 127 days, 3:00 //主机已运行时间,时间越大，说明你的机 摘要：一、变量 一句话概括：变量就是用来临时保存数据的，该数据可以是变化的数据。 变量的使用场景： 如果某个内容需要被多次使用，并且在代码中重复出现，那么就应该考虑使用使用变量来代表该内容，这样在修改内容的时候，仅仅需要修改变量的值即可； 在代码运行的过程中，可能会把某些命令的执行结果保存起来，后续代码需 摘要：一、条件判断语法结构 1.1 条件判断语法格式 格式1：test 条件表达式 格式2： [ 条件表达式 ] 格式3： [[ 条件表达式 ]] 注意：如何使用格式2或格式3，条件表达式两侧必须有空格！ 1.2 条件判断相关参数 1）判断文件类型 判断参数 含义 -e 判断文件是否存在（任何类型文件） 摘要：一、for循环语句 1.1 for循环语句结构 1）列表循环 列表for循环：用于将一组命令执行已知的次数！ 语法结构： for variable in {list} do command command … done 或者 for variable in a b c do command comm 摘要：一、随机数 1.1 如何生成随机数？ 系统默认变量——RANDOM，默认会产生0~32767的随机整数。 echo $RANDOM //打印一个随机数 # set|grep RANDOM //查看系统上一次生成的随机数 echo $[$RANDOM%2] //产生0~1之间的随机数 echo $[$ 摘要：一、case语句 1.1 语法结构 case var in 定义变量;var代表是变量名 pattern 1) 模式1;用 | 分割多个模式，相当于or command1 需要执行的语句 ;; 两个分号代表命令结束 pattern 2) command2 ;; pattern 3) command3 摘要：一、正则表达式简介 正则表达式，也成为正规表示法、常规表示法，是一种字符模式，用于在查找过程中匹配指定的字符。 许多程序设计语言都支持利用正则表达式进行字符串操作。 二、正则表达式可以做什么？ 1）匹配邮箱、身份证号、手机号、银行卡号等； 2）匹配某些特定字符，做特定处理等； 三、第一类正则表达式 摘要：一、sed简介 1.1 sed是什么？ sed简称流编辑器：主要用于处理文件！ 1.2 sed如何处理文件？ sed是一行一行读取文件内容按照要求进行处理，并把处理后的结果输出到屏幕！ sed处理文件的流程： 1）首先sed读取文件的一行内容，将其保存在一个临时缓冲区中（也成为模式空间）； 2）然后 摘要：一、awk简介 1.1 awk概述 awk是一种编程语言，主要用于在Linux/UNIX下对文件和数据进行处理，是Linux/UNIX下的一个工具。数据可以来自标准输入、一个或多个文件，或其它命令的输出； awk的处理文件和数据的方式：逐行扫描文件，默认从第一行到最后一行，寻找匹配的特定模式的行，并 摘要：echo输出颜色具体使用方法！ 语法介绍： echo -e "\e[31m 输入的内容 \e[0m" #输出内容为红色 示例： # 字颜色: 30--37 echo -e "\033[30m 黑颜色字 \033[0m" echo -e "\033[31m 红颜色字 \033[0m" echo -e 摘要：有些时候我们需要生成自签名的ssl证书，该博文用于记录下生成ssl证书的两种方式。 一、通过github上的项目来生成（比较简单） 此方式不要求域名可以在公网解析（其实此项目就是封装了openssl指令，做了一个自动版的openssl生成证书）。 1.1 下载项目并设置有效期 [root@test 摘要：使用脚本的方式批量分发公钥信息！ 一、定义需要管理的主机 [root@localhost ~]# cat ip.txt 192.168.1.2 root 123.com 192.168.1.3 root 123456 二、编写批量分发公钥的脚本 [root@localhost ~]# cat aut 摘要：一、awk ① 基本使用 [root@localhost ~]# cat /var/log/nginx/access.log | awk 'substr($9,1,3)!=200' #查看访问日志中，过滤非200状态码的日志请求； # substr($4,20) ：表示从第四个字段里的第20个字符开 摘要：本篇博文主要记录一些终端欢迎信息，通过编写/etc/motd文件可以实现登录终端的欢迎信息！ 一、搞笑文字一 // I am not sure why this works but it fixes the problem. // 虽然我不知道为什么这样管用，但它却是修复了问题 // drunk, 摘要：一、 yum方式安装 通过yum的方式是最简单、最方便的，不过安装的版本较低，版本为2.4.5！ 1.1 安装opencv及依赖 $ yum install opencv opencv-devel opencv-python -y 1.2 查看opencv的版本 1.2.1 方法一(通过命令行的方式 摘要：一、Chrony简介 Chrony是一个开源的自由软件，像CentOS 7或基于RHEL 7操作系统，已经是默认服务，默认配置文件在 /etc/chrony.conf 它能保持系统时间与时间服务器（NTP）同步，让时间始终保持同步。相对于NTP时间同步软件，占据很大优势。其用法也很简单。 Chron 摘要：Lysncd 实际上是lua语言封装了 inotify 和 rsync 工具！ lsyncd官方文档 一、 环境描述 hostname OS IP server centos 7.2 192.168.99.181 client centos 7.2 192.168.99.237 将server端的/ 摘要：iptables命令 是Linux上常用的防火墙软件，是netfilter项目的一部分。可以直接配置，也可以通过许多前端和图形界面配置。 一、iptables工作流程 iptables是采用数据包过滤机制工作的，所以它会对请求的数据包的包头进行分析，并根据我们预先设定的规则进行匹配来决定是否可以进入 摘要：在nginx中配置proxy_pass代理转发时，如果在proxy_pass后面的url加/，表示绝对根路径；如果没有/，表示相对路径，把匹配的路径部分也给代理走。 假设下面四种情况分别用 http://192.168.1.1/proxy/test.html 进行访问。 第一种： location 摘要：一、playbook 1.1 playbook是什么 根本上说playbook和shell脚本没有任何的区别，playbook就像shell一样，也是把一堆的命令组合起来，然后加入对应条件判断等等，在shell脚本中是一条一条的命令，而在playbook中是一个一个的task任务构成，每个task任 摘要：1）创建测试所用表 create table fruits ( f_id char(10) not null, s_id int not null, f_name char(255) not null, f_price decimal(8,2) not null, primary key(f_id) 摘要：一、索引概述 Mysql索引的简历对于Mysql的高效运行是很重要的，索引可以大大提高Mysql的检索速度！ 创建索引时，需要确保索引是应用在SQL查询语句的条件（一般作为WHERE子句的条件）！ 建立索引会占用磁盘空间的索引文件！ 每种搜索引擎支持的索引是不同的，如下： MylSAM、InnoDB 摘要：MySQL的高可用方案有很多种，双主、MHA、MMM等等，这里只是写下最简单的双主这种高可用方案。 一、配置MySQL互为主从 1.1 环境准备 OS IP hostname service Centos 7.5 192.168.1.1 db01 MySQL+Keepalived Centos 7. 摘要：数据库中事务的重要性，就不多说了！本篇博文主要针对MySQL数据库介绍事务的重要性！ 一、事务概述 事务是程序中一系列严密的操作，所有操作执行必须成功完成，否则每个操作所有的更改将会被撤销，这也是事务的原子性（要么成功，要么失败）。 MySQL的事务是在存储引擎曾实现的。MySQL的事务有ACID： 摘要：在MySQL 5.7中，关于用户及用户权限的相关信息，都保存在了mysql库中的user表中，可以将user表中大致分为用户列、权限列、安全列、资源控制列这几种。 一、用户、权限概述 1.1 用户列 user表的用户列包括 Host、 User、password，分别表示主机名、用户名和密码。其中 摘要：不管对于哪种服务，对于其优化，无非是从两个方面着手，第一个是对于硬件方面的优化，第二个是对系统以及服务本身的优化。 一、常用查询 1.1 查询链接MySQL服务器的次数 mysql> show status like 'connections'; + + + | Variable_name | Va 摘要：一、RANGE分区 RANGE分区是基于属于一个给定连续区间的列值，把多行分配给分区。这些区间要连续且不能相互重叠，使用values less than操作符来进行定义。 mysql> create table test01 ( id int not null, fname varchar(30), 摘要：一、主从复制简介 基于二进制日志恢复的； 主库的修改操作记录会记录二进制日志； 从库会请求新的二进制日志并回放，最终达到主从数据同步； 主从复制核心功能：辅助备份，处理物理损坏； 二、搭建主从复制的过程 1）至少两台mysql实例，server_id，server_uuid不同； 2）主库开启二进制 摘要：一、GTID简介 GTID是对于一个已提交事务的唯一编号，并且是一个全局(主从复制)唯一的编号！ GTID官方定义如下： GTID = source_id ：transaction_id 7E11FA47-31CA-19E1-9E56-C43AA21293967:29 什么是sever_uuid，和 摘要：一、认识MHA 1.1 MHA概述 MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，在MySQL故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中，MHA能在最大程度上保证数据的一致性，以 摘要：一、MyCAT准备环境 两台虚拟机 db01 db02 每台创建四个mysql实例：3307 3308 3309 3310 节点主从规划 箭头指向谁是主库 192.168.1.1:3307 < > 192.168.1.2:3307 192.168.1.1:3309 > 192.168.1.1:330 摘要：一、PXC简介 PXC集群是一个开源的MySQL高可用解决方案，它将Percona Server和Xtrabackup与Galera库集成，以实现同步多主复制。基于Galera的高可用方案主要有MariaDB Galera Cluster（MGC）和Percona XtraDB Cluster（PX 摘要：对于终端的美化,可以通过对PS1变量进行赋值来进行！ $ vim .bashrc PS1="\[\033[0;32m\][\A \[\033[0;31m\]\u\[\033[0;34m\]@\[\033[0;35m\]\h\[\033[0;34m\]:\[\033[00;36m\]\w\[\033[ 摘要：一、存储过程概述 存储过程是一组为了完成特定功能的SQL语句集合。使用存储过程的目的就是将常用或复杂的工作预先用SQL语句写好并用一个指定名称存储起来，这个过程编译和优化后存储在数据库服务器中，因此称为存储过程。当以后需要数据库提供与定义好的存储过程的功能相同的服务时，只需要调用“CALL 存储过程 摘要：在MySQL中，自带了许多功能比较强大的工具，如mysql、mysqladmin、mysqldump等。下面简单介绍这些工具！ 一、mysql Mysql命令是用的最多的一个命令工具了，为用户提供一个命令行接口来操作管理MySQL 服务器。可以通过mysql --help来查看其详细使用方法。 选项 摘要：一、基于python安装pip [root@db01 ~]# yum -y install python-pip python-devel [root@db01 ~]# curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py [root@db0 摘要：优化有风险，涉足需谨慎！ 一、优化可能带来的问题？ 优化不总是对一个单纯的环境进行，还很可能是一个复杂已投产的系统环境； 优化手段本身就有很大的风险，只不过我们可能没有能力意识到和预见到； 任何的技术可以解决一个问题，但必然存在带来一个问题的风险； 对于优化来说解决问题而带来的问题，控制在可接受的范 摘要：一、Atlas介绍 Atlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上，对其进行了优化，增加了一些新的功能特性。360内部使用Atlas运行的mysql业务，每天承载的读写请求数达几十亿 摘要：MySQL日志记录了MySQL数据库日常操作和错误信息。MySQL有不同类型的日志文件（各自存储了不同类型的日志），从日志当中可以查询到MySQL数据库的运行情况、用户的操作、错误的信息等。 MySQL的日志分为四大类： 错误日志：记录MySQL服务的启动、运行或停止MySQL服务时出现的问题； 查 摘要：数据库存储引擎是数据库底层软件组件，数据库管理系统（DBMS）使用数据引擎进行创建、查询、更新和删除数据操作。不同的存储引擎提供不同的存储机制、索引技巧、锁定水平等功能。使用不同的存储引擎，还可以获得特定的功能。现在许多不同的数据库管理系统都支持多种不同的数据引擎。Mysql的核心就是存储引擎。 M 摘要：一、使用MySQL本身的Mysqlslap工具 mysqlslap是mysql自带的基准测试工具,该工具查询数据,语法简单,灵活容易使用.该工具可以模拟多个客户端同时并发的向服务器发出查询更新,给出了性能测试数据而且提供了多种引擎的性能比较。mysqlslap为mysql性能优化前后提供了直观的验证 摘要：MySQL5.7破解root密码，跳过密码认证登录到数据库，直接修改表中的密码即可，但是MySQL 8.0则不可以这样修改root密码，需要跳过密码认证登录到数据库后，先将root密码设置为空，然后才可以登录到数据库，修改root密码。 一、遗忘MySQL 5.7数据库的root密码解决办法 ① 方 摘要：一、约束条件相关语句 1.1 主键约束 简单来说就是要求主键列的数据唯一，并且不允许为空！ ① 创建列时便指定主键 create database t1; #创建数据库，名称为t1 use t1; #切换到t1数据库 create table t1( id int(10), name varchar 摘要：一、为什么要分表？ 数据库数据越来越大，随之而来的是单个表中数据太多。以至于查询速度慢，而且由于表的锁机制导致应用操作也受到影响，出现了数据库性能瓶颈。 MySQL中有一种机制是表锁定和行锁定，是为了保证数据的完整性。 表锁定：表示你们都不能对这张表进行操作，必须等我对表操作完成之后才可以进行操作； 摘要：一、体系结构 1.1 C/S模型 客户端连接数据的方法： 1）TCP/IP连接方式（远程和本地）； 2）Socket连接方式（仅本地）； mysql -uroot -p123.com -h 192.168.1.12 -P3306 #TCP/IP连接方式 mysql -uroot -p123.com 摘要：一、算数运算符 运算符 作用 + 加法运算 - 减法运算 * 乘法运算 /或DIV 除法运算 %或MOD 取余运算 注意：在除法运算和模运算中，如果除数为0，将是非法除法，返回结果为NULL！ 示例： create table t1(num int); insert into t1 values(6 摘要：一、视图 1.1 视图概述 一张虚表，和真实的表一样。视图包含一系列带有名称的行和列数据。视图是从一个或多个表中导出来的，可以通过insert、update、delete来操作视图。当通过视图看到的数据被修改时，相应的表中的数据也会发生变化。同时元表发生变化，则这种变化可以自动反映到视图中。 1.2 摘要：一、整数类型 类型 含义(有符号) tinyint(m) 1个字节，范围(-128~127) smallint(m) 2个字节，范围(-32768~32767) mediumint(m) 3个字节，范围(-8388608~8388607) |int(m) | 4个字节，范围(-2147483648~ 摘要：MySQL备份一般采用全库备份加日志备份的方式，根据业务的需要，可以采用每周日凌晨1点进行完全备份以及每小时进行一次增量备份，这样在MySQL故障后可以使用完全备份和日志备份尽可能的去恢复最完整的数据。 一、binlog日志恢复 MySQL的二进制日志记录着该数据库所有增删改的操作日志（前提是需要自 摘要：一、Harbor简介 1.1 Harbor介绍 Harbor是一个用于存储和分发Docker镜像的企业级Registry服务器，通过添加一些企业必需的功能特性，例如安全、标识和管理等，扩展了开源Docker Distribution。作为一个企业级私有Registry服务器，Harbor提供了更好的 摘要：一、环境准备 OS hostname IP centos 7.2 kafka01 192.168.99.233 centos 7.2 kafka02 192.168.99.234 centos 7.2 kafka03 192.168.99.235 1.1 配置hosts文件 $ cat >> /et 摘要：一、fluentd简介 fluentd是一个针对日志的收集、处理、转发系统。通过丰富的插件系统， 可以收集来自于各种系统或应用的日志，转化为用户指定的格式后，转发到用户所指定的日志存储系统之中。 通过 fluentd，你可以非常轻易的实现像追踪日志文件并将其过滤后转存到 MongoDB 这样的操作。 摘要：es 集群里面的分片是分配在多台node上的，为的就是高可用，比如你的某台机器crash了，那么集群就会让其他副本顶上来，免得出现某个分片不能提供服务的情况。 既然这样，难免还是会出现 UNASSIGNED shards 的错误，今天我们来探究下原因和解决之道。 如果你的数据无关紧要（比如监控数据， 摘要：kubernetes高可用部署参考： https://kubernetes.io/docs/setup/independent/high-availability/ https://github.com/kubernetes-sigs/kubespray https://github.com/wis 摘要：今天，配置nginx反向代理时遇到一个问题，当设置nginx监听80端口时转发请求没有问题。但一旦设置为监听其他端口，就一直跳转不正常；如，访问欢迎页面时应该是重定向到登录页面，在这个重定向的过程中端口丢失了。 这里给出一个简短的解决方案，修改nginx的配置文件。 一、配置文件 server { 摘要：参考文档：https://kubernetes.io/zh/docs/tasks/configure-pod-container/pull-image-private-registry/ 一、生成secret $ docker login lvzhenjiang.harbor.com Login S 摘要：这几天在写一个脚本，其中有个问题，就是替换文本中的\001,\002等不可见字符，这2个字符在vi里是^A,^B,但是在脚本里该怎么写啊，用sed替换，或者有没有其他的方式。 ^A在终端下通常按CTRL+V+A组成。 那么用sed的时候照此输入即可，这样试试看： sed 's/^A//' # ^A由 摘要：一、准备工作 CentOS Linux release 7.6.1810 (Core)（系统版本） 3.10.0-957.el7.x86_64（内核版本） kernel-ml-5.13.0-1.el7.elrepo.x86_64.rpm（https://elrepo.org/linux/kernel 摘要：一、基本概念 mongodb分片集群的实例有5种类型。 配置节点config，用来存储元数据，即存储数据的位置信息等，配置节点1M的空间约等于数据节点存储200M的数据； 主分片节点shard，用来存储数据，被查询； 分片复本节点replication，用来存储数据，当主分片挂了之后，会被选为主分片