Elasticsearch集群架构 #

Elasticsearch集群
├── 一个或多个节点组成
├── 集群名称唯一标识
├── 自动发现和加入节点
└── 数据自动分布和均衡

集群架构
┌─────────────────────────────────────────────┐
│              Cluster: production            │
├─────────────┬─────────────┬─────────────────┤
│   Node-1    │   Node-2    │     Node-3      │
│  (Master)   │  (Master)   │    (Master)     │
│   候选      │   候选      │     候选        │
├─────────────┼─────────────┼─────────────────┤
│   Node-4    │   Node-5    │     Node-6      │
│   (Data)    │   (Data)    │     (Data)      │
├─────────────┼─────────────┼─────────────────┤
│   Node-7    │   Node-8    │                 │
│ (Coordinat) │ (Coordinat) │                 │
└─────────────┴─────────────┴─────────────────┘

node.roles: [master]

node.roles: [data]

node.roles: [master, data]

node.roles: []

node.roles: [data_content]

node.roles: [data_hot]

node.roles: [data_warm]

node.roles: [data_cold]

Master节点职责
├── 集群状态管理
│   ├── 创建/删除索引
│   ├── 节点加入/离开
│   └── 分片分配
├── 避免数据节点角色
│   └── 减轻负担
└── 建议数量
    └── 3个（奇数）

Data节点职责
├── 存储数据
├── 执行搜索和聚合
├── 执行CRUD操作
└── 建议配置
    ├── 大内存
    ├── SSD存储
    └── 多核CPU

Coordinating节点职责
├── 请求路由
├── 结果聚合
├── 查询缓存
└── 建议场景
    ├── 高并发查询
    └── 复杂聚合

GET /_cluster/health

{
  "cluster_name": "production",
  "status": "green",
  "timed_out": false,
  "number_of_nodes": 6,
  "number_of_data_nodes": 3,
  "active_primary_shards": 30,
  "active_shards": 60,
  "relocating_shards": 0,
  "initializing_shards": 0,
  "unassigned_shards": 0,
  "delayed_unassigned_shards": 0,
  "number_of_pending_tasks": 0,
  "number_of_in_flight_fetch": 0,
  "task_max_waiting_in_queue_millis": 0,
  "active_shards_percent_as_number": 100.0
}

GET /_cluster/state

GET /_cat/nodes?v

GET /_nodes/stats

发现机制
├── Zen Discovery
│   ├── 单播发现
│   └── 多播发现（已废弃）
├── 配置
│   ├── discovery.seed_hosts
│   └── cluster.initial_master_nodes
└── 选举
    └── 基于Bully算法

cluster.name: production

discovery.seed_hosts: ["node1", "node2", "node3"]

cluster.initial_master_nodes: ["node1", "node2", "node3"]

discovery.seed_providers: file

discovery.type: zen

脑裂原因
├── 网络分区
│   └── 节点间网络断开
├── 节点负载过高
│   └── 响应超时
└── 配置不当
    └── 最小主节点数配置错误

discovery.zen.minimum_master_nodes: 2

discovery.zen.fd.ping_timeout: 30s
discovery.zen.fd.ping_retries: 3
discovery.zen.master_election.wait_for_joins_timeout: 30s

小规模集群（< 3TB）
├── 3节点
│   └── 每节点: master + data
├── 配置
│   ├── 32GB内存
│   ├── 2TB SSD
│   └── 8核CPU
└── 分片
    └── 每索引3主分片

中等规模集群（3-10TB）
├── 3 Master节点
│   └── 16GB内存
├── 6+ Data节点
│   └── 64GB内存, 4TB SSD
└── 2 Coordinating节点
    └── 32GB内存

大规模集群（> 10TB）
├── 3 Master节点
│   └── 专用主节点
├── 10+ Data节点
│   ├── 热数据节点
│   ├── 温数据节点
│   └── 冷数据节点
├── 3+ Coordinating节点
│   └── 负载均衡
└── 监控节点
    └── Kibana + 监控

容量规划原则
├── 内存
│   ├── 50%给JVM堆
│   └── 50%给Lucene
├── 存储
│   ├── 数据大小 × 1.5
│   └── 预留增长空间
├── 分片
│   ├── 单分片10-50GB
│   └── 每节点< 20分片/GB堆
└── CPU
    └── 根据查询复杂度

POST /_cluster/settings
{
  "persistent": {
    "cluster.routing.allocation.enable": "primaries"
  }
}

POST /_flush/synced

POST /_cluster/settings
{
  "persistent": {
    "cluster.routing.allocation.enable": "all"
  }
}

PUT /_cluster/settings
{
  "persistent": {
    "cluster.routing.allocation.exclude._name": "node_to_exclude"
  }
}

GET /_cluster/settings?include_defaults=true

PUT /_cluster/settings
{
  "persistent": {
    "cluster.max_shards_per_node": 1000
  }
}

节点规划建议
├── 专用主节点
│   └── 3个，避免数据角色
├── 数据节点分离
│   ├── 热温冷分离
│   └── 根据访问模式
├── 协调节点
│   └── 高并发场景
└── 监控节点
    └── 独立部署

配置建议
├── 集群名称
│   └── 有意义的名称
├── 发现配置
│   └── 列出所有种子节点
├── 最小主节点数
│   └── 防止脑裂
└── 内存锁定
    └── bootstrap.memory_lock: true