dimgigov
095698ba82
CI / test (push) Has been cancelled
CI / verify (push) Has been cancelled
Clients CI / build-server (push) Has been cancelled
Clients CI / test-python (push) Has been cancelled
Clients CI / test-javascript (push) Has been cancelled
Clients CI / test-nim (push) Has been cancelled
Clients CI / test-rust (push) Has been cancelled
- isRaftDdl + leader-only gate for CREATE/DROP/ALTER (not DATABASE) - appendDdlToRaft ships original SQL; applyCommand re-executes via applyReplicatedDdl (idempotent on leader double-apply) - Mixed DDL+DML batches use the DDL path so order is preserved - Fix secondary-index point lookup to use entry.lsmKey (not filter col) - E2E: CREATE only on leader, schema + index SELECT on follower
124 lines
4.7 KiB
Markdown
124 lines
4.7 KiB
Markdown
# Разпределена Система
|
|
|
|
BaraDB поддържа разпределено внедряване с Raft консенсус, шардиране, репликация и gossip протокол.
|
|
|
|
> ⚠️ **Ограничение при множество бази данни**
|
|
> Разпределените модули (Raft, шардиране и репликация) в момента работят само с **`default`** базата данни. Ако използвате множество бази (`CREATE DATABASE`, `USE DATABASE`), разпределените функции още не ги обхващат. Всяка база данни се нуждае от отделна кластър конфигурация.
|
|
|
|
## Raft Консенсус
|
|
|
|
Leader election и log репликация през TCP. Включване:
|
|
|
|
| Env | Значение |
|
|
|-----|----------|
|
|
| `BARADB_RAFT_ENABLED=true` | Включва Raft |
|
|
| `BARADB_RAFT_NODE_ID` | Id на този възел |
|
|
| `BARADB_RAFT_PORT` | Raft TCP порт |
|
|
| `BARADB_RAFT_PEERS` | Списък `id@host:port` (вкл. себе си) |
|
|
| `BARADB_RAFT_WRITE_TIMEOUT_MS` | Макс. изчакване за majority commit при SQL записи (по подразбиране 5000) |
|
|
|
|
Когато Raft е активен, SQL DML (`INSERT`/`UPDATE`/`DELETE`/`MERGE` и транзакционен `COMMIT`) и schema DDL (`CREATE`/`DROP`/`ALTER` table, index, view, graph, …) се приемат само от лидера на **`default`** базата. DML отива като put/delete; DDL — като `ddl` запис с оригиналния SQL, преизпълнен на всеки възел при apply. Followers отказват и двете с `not leader; leader is '…'`. Записи към друга database name се отказват. `CREATE`/`DROP DATABASE` не се репликират през raft (multi-DB е извън v1). Приложен DML обновява и secondary B-tree/FTS/HNSW индекси и in-memory графи.
|
|
|
|
```nim
|
|
import barabadb/core/raft
|
|
|
|
var cluster = newRaftCluster()
|
|
cluster.addNode("node1")
|
|
cluster.addNode("node2")
|
|
cluster.addNode("node3")
|
|
|
|
let n1 = cluster.nodes["n1"]
|
|
n1.becomeCandidate()
|
|
n1.becomeLeader()
|
|
let entry = n1.appendLog("SET key1 value1")
|
|
```
|
|
|
|
## Шардиране
|
|
|
|
Разпределение на данни между възли:
|
|
|
|
```nim
|
|
import barabadb/core/sharding
|
|
|
|
var router = newShardRouter(ShardConfig(
|
|
numShards: 4,
|
|
replicas: 2,
|
|
strategy: ssHash
|
|
))
|
|
router.rebalance(@["node1", "node2", "node3"])
|
|
let shard = router.getShard("user_123")
|
|
```
|
|
|
|
### Стратегии за Шардиране
|
|
|
|
| Стратегия | Описание |
|
|
|-----------|----------|
|
|
| `ssHash` | Хеш-базирано шардиране |
|
|
| `ssRange` | Range-базирано шардиране |
|
|
| `ssConsistent` | Consistent hashing |
|
|
|
|
## Репликация
|
|
|
|
```nim
|
|
import barabadb/core/replication
|
|
|
|
var rm = newReplicationManager(rmSync)
|
|
rm.addReplica(newReplica("r1", "10.0.0.1", 9472))
|
|
rm.connectReplica("r1")
|
|
let lsn = rm.writeLsn(@[1'u8, 2, 3])
|
|
rm.ackLsn("r1", lsn)
|
|
```
|
|
|
|
### Режими на Репликация
|
|
|
|
| Режим | Описание |
|
|
|--------|----------|
|
|
| `rmSync` | Синхронна репликация |
|
|
| `rmAsync` | Асинхронна репликация |
|
|
| `rmSemiSync` | Полу-синхронна репликация |
|
|
|
|
## Gossip Протокол
|
|
|
|
Управление на членство и детекция на откази:
|
|
|
|
```nim
|
|
import barabadb/core/gossip
|
|
|
|
var g = newGossipProtocol("node1", "localhost", 9472, gossipPort = 9572)
|
|
g.join(newGossipNode("node2", "10.0.0.2", 9472))
|
|
```
|
|
|
|
## Разпределени Транзакции
|
|
|
|
Two-phase commit между възли:
|
|
|
|
```nim
|
|
import barabadb/core/disttxn
|
|
|
|
var tm = newDistTxnManager()
|
|
let txn = tm.beginTransaction("node1")
|
|
txn.addParticipant("node2", "10.0.0.2", 9472)
|
|
txn.prepare()
|
|
txn.commit()
|
|
```
|
|
|
|
## Формална Верификация
|
|
|
|
Основните разпределени алгоритми са формално специфицирани в TLA+ и проверени с TLC:
|
|
|
|
- **Raft Консенсус** — `formal-verification/raft.tla`
|
|
- Проверено: ElectionSafety, StateMachineSafety
|
|
- **Two-Phase Commit** — `formal-verification/twopc.tla`
|
|
- Проверено: Atomicity, NoOrphanBlocks
|
|
- **Репликация** — `formal-verification/replication.tla`
|
|
- Проверено: MonotonicLsn, AcksRemovePending
|
|
|
|
Пускане на TLC локално:
|
|
|
|
```bash
|
|
cd formal-verification
|
|
java -cp tla2tools.jar tlc2.TLC -config models/raft.cfg raft.tla
|
|
java -cp tla2tools.jar tlc2.TLC -config models/twopc.cfg twopc.tla
|
|
java -cp tla2tools.jar tlc2.TLC -config models/replication.cfg replication.tla
|
|
```
|