Какую степень магистра права лучше всего открыть локально?

Быстрые выводы

• AnythingLLM, Ollama и GPT4All — это программы LLM с открытым исходным кодом, доступные на GitHub.
• Вы можете получить больше функциональных возможностей, используя некоторые платные адаптации этих LLM.
• Все они будут отлично работать в операционных системах Windows и Mac, но будут иметь разные требования к памяти и хранению.

1. Сходства и различия

LLMFeaturesAnythingLLMУстановка и настройка: могут потребоваться дополнительные шаги для настройки
Сообщество и поддержка: небольшое, на базе GitHub, техническая направленность
Интеграция с облаком: OpenAI, Azure OpenAI, Claude V2 от Anthropic
Локальная интеграция: Hugging Face, Lance DB, Pinecone, Chroma, Quadrant
Варианты использования: пользовательские помощники с искусственным интеллектом, требующие больших знаний, корпоративный уровеньOllamaУстановка и настройка: требуется установщик; просто
Сообщество и поддержка: активное, на базе GitHub, больше, чем AnythingLLM
Интеграция с облаком: –
Локальная интеграция: библиотека Python, REST API, фреймворки, такие как LangChain
Варианты использования: персональные помощники ИИ, написание, реферирование, перевод, автономный анализ данных, образованиеGPT4AllУстановка и настройка: требуется установщик; просто
Сообщество и поддержка: Большое присутствие на GitHub; активность на Reddit и Discord
Интеграция с облаком: –
Локальная интеграция: привязки Python, CLI и интеграция в пользовательские приложения
Варианты использования: эксперименты с ИИ, разработка моделей, приложения, ориентированные на конфиденциальность, с локализованными данными.

2. Требования к ресурсам

Что угодноLLM

Одним из преимуществ локального запуска AnythingLLM на Windows, Mac или даже Raspberry Pi является его настраиваемость. Следовательно, точное требование определит, какую настройку вы используете. Однако таблица ниже должна дать вам приблизительную оценку минимальных стандартов.

КомпонентЗначениеЦП2-ядерный ЦПОЗУ2 ГБПамять5 ГБ

Обратите внимание, что это позволит вам использовать только самые необходимые функции, такие как хранение нескольких документов или отправка чатов.

Быть

Вы можете запускать модели Ollama на macOS, Linux или Windows. Вы можете выбрать между моделями 3B, 7B и 13B. Таблица ниже дает разбивку.

КомпонентЗначениеЦПСовременный ЦП с не менее чем 4 ядрами: Intel 11-го поколения или ЦП AMD на базе Zen4ОЗУ8 ГБ для моделей 3B
16 ГБ для моделей 7B
32 ГБ для моделей 13BПамять12 ГБ для моделей Ollama и базовых моделей

GPT4All

Его системные требования аналогичны требованиям Ollama. Вы можете запустить его локально на macOS, Linux или Windows. Ниже мы приводим разбивку.

КомпонентЗначениеЦПСовременный ЦП с инструкциями AVX или AVX2ОЗУМалая модель: 8 ГБ
Средняя модель: 16 ГБ
Большая модель: 32 ГБ или большеПамять12 ГБ для установки, дополнительное место для данных модели

3. Простота установки и настройки

Хотя установка может различаться в зависимости от операционной системы, GPT4All обычно требует установщика. Установщики для Windows, Mac и Linux доступны на официальный сайтПосле запуска установщика вам необходимо загрузить языковую модель для взаимодействия с ИИ.

Это тот же процесс для Ollama; однако, AnythingLLM может иметь немного другой шаг. Поэтому вам необходимо загрузить и установить установочный пакет, необходимый для вашей операционной системы, выбрать предпочитаемый LLM, создать свое рабочее пространство, импортировать локальные документы и начать общаться с документами.

Хотя все три процесса установки и настройки просты, AnythingLLM может потребовать дополнительных действий.

4. Сообщество и поддержка

Что угодноLLM

Из трех LLM, которые мы изучаем, AnythingLLM имеет наименьшее сообщество. Его сообщество в основном На основе Github и фокусируется на обсуждениях разработки проекта и более технических аспектах. Он активен, но может быть не лучшим, если вы ищете общую поддержку и устранение неполадок.

Быть

Хотя сообщество Ollama меньше, чем GPT4All, оно активнее и больше, чем AnthingLLM. Его сообщество также сосредоточено вокруг GitHubгде вы можете вносить вклад в проекты, обсуждать функции или делиться своим опытом. Вы также получите много технической помощи от GitHub.

Официальная поддержка ограничена, как и в случае с AnythingLLM, и это может вызвать некоторые разногласия, поскольку у вас нет обширной специализированной поддержки.

GPT4All

На GPT4All нет централизованного официального сообщества, но оно имеет гораздо большее GitHub присутствие. Вам также понравится следить за ним на Реддит и Раздор. В остальном поддержка аналогична Ollama и AnythingLLM.

5. Производительность

Производительность LLM, работающего локально, часто зависит от характеристик вашего оборудования (ЦП, ГП, ОЗУ), размера модели и конкретных деталей реализации. Это один из элементов, где трудно отличить одну из моделей от другой.

GPT4All предлагает варианты для различных настроек оборудования, Ollama предоставляет инструменты для эффективного развертывания, а конкретные характеристики производительности AnythingLLM могут зависеть от аппаратной и программной среды пользователя.

Мы запустили все модели на компьютере под управлением Windows 11 со следующими характеристиками:

• Оперативная память: 16 ГБ (доступно 15,7 ГБ)
• Процессор: Intel(R) Core(TM) i7-1165G7 11-го поколения @ 2,80 ГГц 2,80 ГГц

Все они продемонстрировали конкурентоспособную производительность, и мы не заметили задержек и отставаний при запуске моделей.

6. Интеграция

Что угодноLLM

AnythingLLM предлагает несколько возможностей интеграции, включая облачную интеграцию с OpenAI, Azure OpenAI и Claude V2 от Anthropic. Он также имеет растущую поддержку сообщества для локальных LLM, таких как Hugging Face. Однако вы не получите много поддержки LLM.

AnythingLLM поставляется с интеграцией Lance DB по умолчанию, которая является его векторной базой данных по умолчанию. Однако вы можете интегрировать сторонние опции, такие как ШишкаChroma или Quadrant для определенных функций.

AnythingLLM позволяет вам создавать и интегрировать собственные агенты для расширения его функциональности.

Быть

Ollama позволяет осуществлять прямое взаимодействие через терминал с помощью простых команд. Библиотека Ollama Python может использоваться для программного взаимодействия, позволяя вам взаимодействовать с другими приложениями Python. Кроме того, вы можете использовать REST API для интеграции с другими сервисами.

Ollama также допускает интеграцию с другими фреймворками, такими как LangChain, Home Assistant, Haystack и Jan.ai.

GPT4All

С GPT4All у вас есть прямая интеграция в ваши приложения Python с использованием привязок Python, что позволяет вам программно взаимодействовать с моделями. У вас также есть интерфейс командной строки (CLI) для базового взаимодействия с моделью. GPT4All является гибким и позволяет вам интегрироваться в пользовательские приложения.

7. Варианты использования и приложения

AnythingLLM отлично подходит для создания пользовательских помощников на основе искусственного интеллекта, приложений с интенсивным использованием знаний, требующих больших объемов данных, а также приложений корпоративного уровня.

Ollama полезна для персональных помощников ИИ для написания, резюмирования или перевода задач. Она также может применяться в образовательных приложениях, офлайн-анализе и обработке данных, а также в разработке приложений с низкой задержкой.

GPT4All хорошо подходит для экспериментов с ИИ и разработки моделей. Он также подходит для создания приложений с открытым исходным кодом ИИ или приложений, ориентированных на конфиденциальность, с локализованными данными.