配置ElasticSearch支持对象存储备份

发表于： 2025/09/05 分类于： DB

1.1 前提条件

对象存储创建 bucket，获取 AK 和 SK

1.2 安装 s3 插件

`1`	`/usr/share/elasticsearch/bin/elasticsearch-plugin install repository-s3`

1.3 配置 s3 访问权限

1
2
/usr/share/elasticsearch/bin/elasticsearch-keystore add s3.client.default.access_key
/usr/share/elasticsearch/bin/elasticsearch-keystore add s3.client.default.secret_key

1.4 配置 ElasticSearch

vim /etc/elasticsearch/elasticsearch.yml

1
2
s3.client.default.endpoint: http://backup-bucket.jzzx.stor.oss.ztcloud:80
s3.client.default.protocol: http

1.5 重启 ElasticSearch 服务

1
systemctl enable --now elasticsearch

1.6 创建快照仓库

1
curl -s -u elastic:123456 -w "\n%{http_code}" -X PUT "http://localhost:9200/_snapshot/${仓库名}" -H 'Content-Type: application/json' -d '{ "type": "s3", "settings": { "bucket": "backup-bucket", "endpoint": "http://s3.xxx.com", "base_path": "elasticsearch", "compress": true, "max_snapshot_bytes_per_sec": "50mb" } }'

1.7 验证存储库

1
curl -u elastic:123456 -X POST "http://localhost:9200/_snapshot/${仓库名}/_verify"

1.8 创建快照

1
curl -s -u elastic:123456 -w "\n%{http_code}" -X PUT "http://localhost:9200/_snapshot/${仓库名}/${快照名}?wait_for_completion=true" -H 'Content-Type: application/json' -d "{ "indices": "${index}", "ignore_unavailable": true, "include_global_state": false }"

1.9 验证备份

1
curl -u elastic:123456 -XGET http://localhost:9200/_snapshot/${仓库名}/_all?pretty

1.10 恢复

1
curl -u elastic:123456 -XPOST http://localhost:9200/_snapshot/${仓库名}/${快照名}/_restore

Consul集群部署

发表于： 2025/09/05 分类于： Consul

集群环境

节点IP	节点名称
192.168.1.181	consul-01
192.168.1.182	consul-02
192.168.1.183	consul-03

配置

节点一配置

创建目录

1
mkdir -p /data/consul/{data,conf,bin,logs}

下载、解压安装包
下载consul压缩包，解压到/data/consul/bin/目录下
创建配置文件

Consul备份与还原

发表于： 2025/09/04 分类于： Consul

一、备份与还原

1.1 备份

1
consul snapshot save --http-addr=http://127.0.0.1:8500 -token=98633362-4795-75e0-2c4b-849a7195e3c9 consul.snap

查看备份状态

`1`	`consul snapshot inspect consul.snap`

1.2 还原

1
consul snapshot restore --http-addr=http://127.0.0.1:8500 -token=98633362-4795-75e0-2c4b-849a7195e3c9 consul.snap

二、导出与导入

2.1 导出

1
2
# 导出所有kv键值对，最后一个参数是导出键值对的前缀，为空时说明要导出所有
consul kv export --http-addr=http://127.0.0.1:8500 -token=98633362-4795-75e0-2c4b-849a7195e3c9 '' > kv.json

2.2 导入

1
2
# 导入，最后一个@consul_kv.sjon也可以指定绝对路径@/data/consul/consul_kv.json
consul kv import --http-addr=http://127.0.0.1:8500 -token=98633362-4795-75e0-2c4b-849a7195e3c9 @kv.json

dig 的用法

发表于： 2025/09/03 更新于： 2025/09/03 分类于： OS

基本语法

1
dig [@DNS服务器] 域名 [查询类型] [选项]

查询类型

A 查询 IPV4 地址
AAAA 查询 IPV6 地址
CNAME 别名记录
NS 权威 DNS 服务器
MX 邮件服务器
TXT 文本记录
SOA 权威起始记录
PTR 反向解析

Consul单机部署

发表于： 2025/09/01 分类于： Consul

一、下载解压包

1
2
3
4
5
wget https://releases.hashicorp.com/consul/1.11.4/consul_1.11.4_linux_amd64.zip

mkdir -p /data/consul/{conf,data,logs,bin}

unzip consul_1.11.4_linux_amd64.zip -d /data/consul/bin/

命令自动补全

1
2
consul -autocomplete-install
complete -C /usr/local/bin/consul consul

二、安装

2.1 创建配置文件

vim /data/consul/conf/consul.json

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
{
       "bind_addr": "192.168.1.100",
       "bootstrap_expect": 1,
       "client_addr": "192.168.1.100",
       "data_dir": "/data/consul/data/",
       "datacenter": "dec1",
       "disable_update_check": false,  
       "enable_syslog": true,
       "log_level": "INFO",
       "server": true, 
       "syslog_facility": "local0",
       "ui": true,
       "performance": {
            "raft_multiplier": 1
      }
}

2.2 创建启动脚本

vim /usr/lib/systemd/system/consul.service

rclone 工具使用

发表于： 2025/07/23 更新于： 2025/07/23 分类于： rclone

安装 rclone

官方下载地址

配置 rclone

输入rclone config添加一个名为 huaweiobs的 remote

Caddy

发表于： 2025/07/11 分类于： caddy 评论：

Caddy 是一个强大的、企业级的、开源的 web 服务器，使用 go 语言编写，并且可以自动配置管理HTTPS

安装

Ubuntu 安装

1
2
3
4
5
sudo apt install -y debian-keyring debian-archive-keyring apt-transport-https
curl -1sLf 'https://dl.cloudsmith.io/public/caddy/stable/gpg.key' | sudo apt-key add -
curl -1sLf 'https://dl.cloudsmith.io/public/caddy/stable/debian.deb.txt' | sudo tee /etc/apt/sources.list.d/caddy-stable.list
sudo apt update
sudo apt install caddy

RHEL 安装

部署 WireGuard 实现两个机房之间互通

发表于： 2025/07/11 更新于： 2025/07/11 分类于： VPN

需求

两个数据中心内网之间互通

环境

环境	公网IP	内网IP	OS
华为云-广州	110.41.20.135	172.16.0.133	Ubuntu 22.04
华为云-北京	114.114.131.37	192.168.2.152	Ubuntu 22.04

部署 WireGuard

RockyLinux10基于 cephadm 部署Ceph

发表于： 2025/07/06 分类于： OS

Ceph 组件介绍

组件名称	描述
monitors	监视器，对应的守护进程为 ceph-mon，维护集群状态的映射，包括监视器映射，管理器映射，OSD映射，MDS映射和 CRUSH映射，还负责守护进程和客户端之间身份验证，至少需要三个监视器才能实现冗余和高可用性。
managers	管理器，对应守护进程 ceph-mgr，负责跟踪运行时和 ceph 集群的当前状态，包括存储利用率，当前性能指标和系统负载，通常至少需要二个管理器才能实现高可用。
osds	对象存储这幅图对应守护进程 ceph-osd，负责存储数据，处理数据复制，恢复，重新平衡，至少需要3个 ceph osd 来实现冗余和高可用，本质上 osd 就是一个 host 主机上的磁盘。
mds	元数据服务器对应守护进程 ceps-mds ，负责 cephFS 存储元数据。
cephfs	分布式文件系统，类似于高可用的 NFS。
RGW	对象存储网关，提供 http

环境

IP	主机名
192.168.200.125	ceph01
192.168.200.126	ceph02
192.168.200.127	ceph03

基础环境配置

修改三个节点主机名

1
2
3
[root@ceph01 ~]# hostnamectl set-hostname ceph01
[root@ceph02 ~]# hostnamectl set-hostname ceph02
[root@ceph03 ~]# hostnamectl set-hostname ceph03

修改三个节点的 hosts 文件

vim /etc/hosts

Pulsar集群部署

发表于： 2025/06/04 更新于： 2025/06/04 分类于： OS

一、环境

IP	主机名	JDK版本
192.168.1.160	pulsar-01	OpenJDK21
192.168.1.162	pulsar-02	OpenJDK21
192.168.1.166	pulsar-03	OpenJDK21

二、部署 zookeeper 集群

三、部署 Pulsar 集群

3.1 创建目录

`1`	`mkdir /data/`

3.2 下载、解压安装包

1
2
3
4
5
wget https://archive.apache.org/dist/pulsar/pulsar-3.0.2/apache-pulsar-3.0.2-bin.tar.gz

tar zxvf apache-pulsar-3.0.2-bin.tar.gz -C /data/

ln -s apache-pulsar-3.0.2 apache-pulsar