dimgigov
c55d3080cf
CI / test (push) Has been cancelled
CI / verify (push) Has been cancelled
Clients CI / build-server (push) Has been cancelled
Clients CI / test-python (push) Has been cancelled
Clients CI / test-javascript (push) Has been cancelled
Clients CI / test-nim (push) Has been cancelled
Clients CI / test-rust (push) Has been cancelled
Documentation updates: - Fix v0.1.0 → v1.1.0 version numbers in en, ru, fa, zh docs - Add missing Window Functions, Multi-Tenant ERP, Supported Keywords sections to ru, fa, zh baraql.md (~105 lines each) - Expand Turkish and Arabic baraql.md (110 → 268 lines) - Expand Turkish and Arabic installation.md (62 → 307 lines) - Add new Bulgarian documentation files (18 new files) Client updates: - Python: Full async/await rewrite with asyncio, request queueing - Rust: Full async/await rewrite with tokio, async examples - Nim: Update README to v1.1.0 - All clients now support async patterns consistently
88 lines
2.3 KiB
Markdown
88 lines
2.3 KiB
Markdown
# Full-Text Search Engine
|
||
|
||
Inverted индекс с BM25 и TF-IDF ранжиране за текстово търсене.
|
||
|
||
## Употреба
|
||
|
||
```nim
|
||
import barabadb/fts/engine
|
||
|
||
var idx = newInvertedIndex()
|
||
idx.addDocument(1, "Nim is a fast programming language")
|
||
idx.addDocument(2, "Python is popular for data science")
|
||
|
||
# BM25 търсене
|
||
let results = idx.search("programming language")
|
||
|
||
# TF-IDF търсене
|
||
let tfidf = idx.searchTfidf("programming language")
|
||
|
||
# Fuzzy търсене (толеранс на печатни грешки)
|
||
let fuzzy = idx.fuzzySearch("programing", maxDistance = 2)
|
||
|
||
# Wildcard търсене
|
||
let wild = idx.regexSearch("prog*")
|
||
```
|
||
|
||
## Методи за Ранжиране
|
||
|
||
### BM25
|
||
|
||
Best matching алгоритъм за ранжиране:
|
||
|
||
```nim
|
||
let bm25 = idx.searchBM25("query terms")
|
||
```
|
||
|
||
### TF-IDF
|
||
|
||
Term Frequency-Inverse Document Frequency:
|
||
|
||
```nim
|
||
let tfidf = idx.searchTfidf("query terms")
|
||
```
|
||
|
||
## Функции за Търсене
|
||
|
||
| Функция | Описание |
|
||
|---------|----------|
|
||
| Fuzzy търсене | Levenshtein distance толеранс |
|
||
| Wildcard | Префиксни, суфиксни и инфиксни wildcards |
|
||
| Regex | Регулярни изрази |
|
||
| Фразово търсене | Точно съвпадение на фраза |
|
||
| Булево | AND, OR, NOT оператори |
|
||
|
||
## SQL Интерфейс
|
||
|
||
Пълнотекстовото търсене е достъпно и директно в BaraQL:
|
||
|
||
```sql
|
||
-- Създаване на таблица с текстова колона
|
||
CREATE TABLE articles (id INT PRIMARY KEY, title TEXT, body TEXT);
|
||
|
||
-- Създаване на FTS индекс
|
||
CREATE INDEX idx_fts ON articles(body) USING FTS;
|
||
|
||
-- Търсене с оператора @@ (BM25 ранжиране)
|
||
SELECT * FROM articles WHERE body @@ 'machine learning';
|
||
|
||
-- Търсене с множество термини
|
||
SELECT * FROM articles WHERE body @@ 'quick brown fox';
|
||
```
|
||
|
||
## Многоезична Поддръжка
|
||
|
||
```nim
|
||
import barabadb/fts/multilang
|
||
|
||
# Поддържани езици: EN, BG, DE, FR, RU
|
||
var tokenizer = newTokenizer("bg") # Български
|
||
let tokens = tokenizer.tokenize("Търсене в пълен текст")
|
||
```
|
||
|
||
Функции за всеки език:
|
||
- Токенизация
|
||
- Stop думи
|
||
- Стеминг
|
||
- Детекция на език
|