pgvector 技能

PostgreSQL + pgvector 扩展，用于向量相似性搜索。

快速连接

bash

连接到 pgvector 数据库（默认端口 5433）

或使用环境变量

环境

• - 主机: localhost
• 端口: 5433
• 用户: damien
• 密码: (空)
• 数据库: postgres

核心能力

1. 创建向量表

sql
-- 基础向量表（OpenAI 嵌入使用 1536 维）
CREATE TABLE IF NOT EXISTS documents (
id BIGSERIAL PRIMARY KEY,
content TEXT NOT NULL,
embedding vector(1536) NOT NULL,
metadata JSONB,
created_at TIMESTAMPTZ DEFAULT NOW()
);

-- 创建 HNSW 索引以实现快速相似性搜索
CREATE INDEX ON documents USING hnsw (embedding vectorcosineops)
WITH (m = 16, ef_construction = 64);

-- 或使用 IVFFlat 索引（构建更快，搜索较慢）
CREATE INDEX ON documents USING ivfflat (embedding vectorcosineops)
WITH (lists = 100);

2. 插入嵌入向量

sql
-- 手动插入（替换为实际嵌入向量）
INSERT INTO documents (content, embedding)
VALUES (您的文本在此, [0.1, 0.2, ..., 0.1536]);

-- 带元数据插入
INSERT INTO documents (content, embedding, metadata)
VALUES (
人工智能正在改变技术,
[0.1, 0.3, ..., 0.5],
{source: article, author: John}::jsonb
);

3. 向量相似性搜索

sql
-- 余弦相似度（最常用）
SELECT id, content, (1 - (embedding <=> [query_embedding])) AS similarity
FROM documents
ORDER BY embedding <=> [query_embedding]
LIMIT 5;

-- 欧几里得距离
SELECT id, content, (embedding <-> [query_embedding]) AS distance
FROM documents
ORDER BY embedding <-> [query_embedding]
LIMIT 5;

-- 内积（用于归一化向量）
SELECT id, content, (embedding <#> [query_embedding]) AS similarity
FROM documents
ORDER BY embedding <#> [query_embedding]
LIMIT 5;

4. 混合搜索（向量 + 关键词）

sql
-- 结合向量搜索与全文搜索
SELECT id, content,
(1 - (embedding <=> [queryembedding])) AS vectorscore,
tsrank(totsvector(english, content), plaintotsquery(english, search terms)) AS textscore
FROM documents
WHERE content ILIKE %search terms%
ORDER BY (vectorscore 0.7 + textscore 0.3) DESC
LIMIT 10;

5. RAG 管道示例

sql
-- 存储带嵌入向量的文档片段
CREATE TABLE document_chunks (
id BIGSERIAL PRIMARY KEY,
document_id BIGINT REFERENCES documents(id),
chunk_text TEXT NOT NULL,
chunk_embedding vector(1536) NOT NULL,
chunk_index INT NOT NULL
);

-- 检索相关片段用于 LLM 上下文
SELECT chunk_text
FROM document_chunks
WHERE document_id = ?
ORDER BY chunkembedding <=> [questionembedding]
LIMIT 5;

管理命令

检查 pgvector 扩展

sql
SELECT * FROM pg_extension WHERE extname = vector;

表信息

sql
-- 列出所有包含向量的表
SELECT tablename FROM pg_tables WHERE schemaname = public;

-- 检查索引大小
SELECT pgsizepretty(pgtotalrelation_size(documents));

监控

sql
-- 检查查询性能
EXPLAIN ANALYZE
SELECT * FROM documents
ORDER BY embedding <=> [query_embedding]
LIMIT 5;

-- 索引使用统计
SELECT * FROM pgstatuser_indexes
WHERE indexname LIKE %embedding%;

常见操作

更新嵌入向量

sql
UPDATE documents
SET embedding = [new_embedding]
WHERE id = 1;

删除

sql
DELETE FROM documents WHERE id = 1;

批量插入（Python）

python
import psycopg2
import numpy as np

conn = psycopg2.connect(
host=localhost,
port=5433,
user=damien,
password=,
database=postgres
)

cur = conn.cursor()
for text, embedding in documents:
cur.execute(
INSERT INTO documents (content, embedding) VALUES (%s, %s),
(text, embedding.tolist())
)
conn.commit()

距离运算符

使用场景

1. 1. 语义搜索 - 按含义而非关键词查找文档
2. RAG - 为 LLM 提示检索相关上下文
3. 推荐系统 - 查找相似物品/产品
4. 异常检测 - 在嵌入向量中发现异常值
5. 图像/视频搜索 - 存储和查询视觉嵌入向量

注意事项

• - 向量维度必须与您的嵌入模型匹配
• HNSW 更适合准确性，IVFFlat 更适合大数据集
• 对向量进行归一化以使用余弦相似度
• pgvector 支持最多 16,000 维