SEATTLE — Внедрение генеративного ИИ и векторных возможностей в уже используемые клиентами системы — это основная идея Amazon Web Services с PG Vector, открытым инструментом, который добавляет поиск векторного сходства в Postgres.
«Подумайте об расширениях как о плагинах», — сказал Сириш Чандрасекар, генеральный менеджер Amazon relational database services, в эпизоде On the Road программы The New Stack Makers, записанном на Open Source Summit North America. «Вы можете добавить свое расширение и значительно изменить возможности Postgres. Это одна из сильных сторон Postgres. PG Vector позволяет хранить векторные типы данных в Postgres и также выполняет поиск по сходству.»
С генеративным ИИ, добавил он, «вы не ищете точные результаты, верно? Это не то, что делает [большая языковая модель]. Но вы ищете знания, которые близки. И концепция поиска по сходству, или приблизительного ближайшего соседа, это то, что PG Vector делает очень хорошо.»
Признание «Фантастического» Разработчика
Чандрасекар отметил заслуги Эндрю Кейна, которого он назвал «этим фантастическим разработчиком» PG Vector: «Он работает над этим уже несколько лет. И мы были первым облачным поставщиком, который сотрудничал с ним и предложил его. Это всегда был open source проект. Но мы предложили его в Aurora и RDS в начале прошлого года.»
Изначально PG Vector использовал схему индексирования под названием IVFFlat. Она основана на связанных списках и хорошо подходит для быстрого построения индексов, сказал Чандрасекар. Однако ее пропускная способность запросов не так хороша при поиске с высокими показателями точности, как процент ожидаемых и полученных результатов.
С Кейном AWS начал работать над Hierarchical Navigable Small World (HNSW), который предлагает графовый подход по сравнению с IVFFlat, который использовался в PG Vector. Согласно странице PG Vector на GitHub, HNSW имеет лучшую производительность запросов по сравнению со скоростью-отзывом IVFFlat, но более медленное время построения и требует больше памяти.
«Большая часть работы заключалась в том, чтобы сделать HNSW таким же производительным, как IVFFlat», — сказал Чандрасекар. «Это быстро развивающаяся область. Так что многое нам еще неизвестно. Поэтому мы внимательно прислушиваемся к тому, что просят клиенты.
«Речь идет о масштабе и производительности, обычных вещах, которые вы ожидаете от базы данных. Но в контексте векторов графовый подход — это то, что нравится клиентам.»
Преимущества Графов
Графы упрощают клиентам поиск ближайших соседей, что является основой генеративного ИИ. Идея заключается в том, чтобы найти похожие точки к запросу, отобразить точки и рассчитать их сходство.