«Инфраструктура ИИ»
Материалы 1develop по теме «Инфраструктура ИИ»: подборка статей и разборов.
ЗаметкиLiteLLM Proxy: единый шлюз к моделям на своём сервере
Подключаем Gemini и DeepSeek к LiteLLM, выдаём приложению ограниченный ключ и проверяем маршруты и учёт расходов.
Читать →
ЗаметкиvLLM: как запустить сервер локальной модели с API
Установка vLLM на Linux, запуск Qwen, проверка API и план измерения памяти и задержки при параллельных запросах.
Читать →
Cyber NewsMistral открыла Managed Agents для фоновых задач
В публичной предварительной версии агенты на Python сохраняют состояние, продолжают работу после сбоя и могут ждать согласования.
Читать →
ЗаметкиOpen WebUI: установка и подключение локальных моделей
Запускаем Open WebUI и Ollama, подключаем модель, проверяем историю и разбираемся, почему список моделей может быть пустым.
Читать →
Cyber NewsИИ-агенты помогают управлять радиотелескопом и искать сигналы
NVIDIA рассказала о работе ИИ-агентов на Allen Telescope Array: управление наблюдениями, обработка потока на GPU и проверка на пульсаре.
Читать →
ЗаметкиТемпература нейросети: как настроить разнообразие ответов
Как температура генерации меняет выбор токенов, чем отличается от top_p и thinking и почему в некоторых моделях её нужно убрать из запроса.
Читать →
Cyber NewsClaude подготовил доказательства для кода из 123 библиотек
Anthropic и Theorem показали машинно проверяемые доказательства для 239 точек входа. Разбираем роль Rocq, открытые результаты и границы гарантий.
Читать →
ЗаметкиАренда GPU-сервера для ИИ: когда свой инференс выгоднее API
Как выбрать GPU-сервер для своей модели, оценить видеопамять и сравнить полную стоимость инференса с API. Расчёт на примере и план проверки перед арендой.
Читать →
Cyber NewsAMD и Intel объединят оптимизации PyTorch в oneDNN
AMD перенесёт наработки ZenDNN в общую библиотеку oneDNN. Разбираем, что это меняет для CPU-инференса и почему универсальное ускорение пока не обещано.
Читать →