向量搜索技术：基于Elasticsearch/PostgreSQL/Redis扩展的向量搜索数据库或独立向量搜索引擎方案参考

太白的技术笔记 / 2023-09-03 / 原文

理论基础与研究

　　向量数据库用于非结构化文本、图片、音频、视频搜索、推荐，将他们转换为数字向量表示来进行相似性(ANN)搜索。存储和搜索高维向量是其特征之一，通常采用高级索引技术和算法如HNSW, Annoy, 或Faiss来实现。不同于SQL数据库，向量数据库更像nosql，用户接受使用sdk/API来执行搜索（虽然这个声明式不如SQL强大）。

　　向量数据库使用的底层搜索、索引技术和推荐系统中的向量召回是高度重合的。

向量数据库内核面临的技术挑战及应对措施

百亿级向量检索的向量数据库是如何构建的？

星环科技向量数据库从 0 到 1 技术实践：提升数据处理的精确度是重中之重

深入理解搜索引擎-搜索召回

推荐系统之召回

「向量召回」相似检索算法——HNSW（pg_embedding使用的就是HNSW算法）

使用向量召回的一些经验

深入浅出推荐系统（四）：召回：向量化的潮流（重点讲embedding）

向量检索：提升召回场景下的信息检索精度

向量嵌入(vector embeddings)

推荐策略产品经理必读系列—第五讲推荐系统的向量召回

【推荐系统】向量召回算法 HNSW

搜索召回 | Facebook: 亿级向量相似度检索库Faiss原理+应用

Faiss向量召回引擎如何做到快速查找最近邻

向量检索速度慢？看看这个Faiss索引实操

向量数据库应用场景

向量数据库个人笔记

向量数据库在大模型中扮演什么角色

AI行业专题报告：向量数据库，AI时代的Killer App

What is a Vector Database?

GPT成功背后的秘密--向量数据库简介

langchain(3)—向量数据库调研及简单性能测试（包括测试数据集，建模方法）

向量数据库排名

https://byby.dev/vector-databases

https://github.com/topics/vector-database

https://press.ai/best-vector-databases/#

综合github/国外排名/国内分析来看，开源中基于es，faiss，milvus的方案比较有较大竞争力。

基于ElasticSearch的方案参考

使用向量检索插件（aliyun-knn）

向量数据库：使用Elasticsearch实现向量数据存储与搜索

高维向量搜索：在 Elasticsearch 8.X 中利用 dense_vector 的实战探索

什么？！Elasticsearch也可以用作向量数据库？

基于postgresql的方案参考

https://github.com/pgvector/pgvector

https://neon.tech/blog/pg-embedding-extension-for-vector-search（采用HNSW算法）

https://access.crunchydata.com/documentation/pgvector/latest/pdf/pgvector.pdf

AI大模型与向量数据库 PGVECTOR

https://github.com/yoshioterada/PostgreSQL-Vector-Search-pgvector--for-PDF-file-on-Blob-Storage-english

比 pgvector 快 20 倍的 Postgres 向量运算插件：pg_embedding

PASE: PostgreSQL Ultra-High-Dimensional Approximate Nearest Neighbor Search Extension

基于 PostgreSQL 构建 AI 电商产品图片相似度搜索方案

谈论AI 时被经常提及的“嵌入（embedding）”和“向量（Vector）”到底是个啥？

一文带您了解向量数据库：大模型场景下知识管理新方式

基于redis的参考方案

将Redis向量相似性搜索应用于文档搜索和检索的用例】'Redis arXiv Search - Vector search demo with the arXiv paper dataset, HuggingFace, OpenAI, FastAPI, React, and Redis as the vector database.' Redis Ventures GitHub: github.com/RedisVentures/redis-arXiv-search

Redis arXiv Search

Redis 7.2 里程碑版本发布，向量搜索速度提高 16 倍

利用Redis实现向量相似度搜索：解决文本、图像和音频之间的相似度匹配问题