Adept | Машинное обучение | Открытое ПО

Результат 12ти часов тренировки на локальном ноутбуке с RTX 4070 8GB на датасете MS COCO с 80 классами. Кажется что тренировка может сойтись к чему-то полезному, пусть продолжается. Я пока исследую облачные сервисы с более мощным оборудованием чтобы быстрее тренировать и проверить распределённое обучение на нескольких GPU.

Привет! Я уже несколько недель работаю над тем, чтобы фреймворк Adept мог обучать YOLOv11 полностью на GPU и без NumPy. Я наконец-то довёл Adept до состояния, в котором он может полностью тренировать YOLOv11 на GPU без NumPy. Делюсь тем, что пришлось починить и дописать. 🛠 Ядро и Автоград • In-place broadcast: a -= b больше не падает, левый операнд корректно ресайзится. • Редукция градиентов: при broadcast для + - * / градиенты теперь сворачиваются к форме операндов. • Matmul backward: поддержка 1D тензоров (вектор-матрица и т.д.). • Vulkan Convs: переписал накопление bias-градиента (считается один раз, без лишних аллокаций). 🧩 API для YOLO-loss (прощай, CPU) Чтобы IoU и assigner работали на GPU, реализовал: • Индексация: gather, scatter/add, masked_select/fill, where, topk, unique. • Форма: expand, permute, flatten, cat, stack, reshape. • Математика: clamp, pow, arctan, min/max, argmax. • Скаляры: перегрузки операторов типа 2 * tensor • Создание: arange, detach. 📉 Loss, Оптимизатор и Модули • Добавлены BCE (для DFL) и CE без усреднения (per-position loss). • Фикс Python-операторов: a + b теперь возвращает новый тензор, а не мутирует a (сохраняет граф!). • SGD с momentum и weight decay. • BatchNorm: инициализация дисперсии = 1 (убрал деление на ноль). • Чекпоинты: префиксы имён корректно пробрасываются во вложенные модули. ⚙️ Пайплайн тренировки • Loss, IoU и assigner переведены на нативный clamp`/`min`/`max. Сетки координат - через adept.arange. • Warmup + Cosine LR, логирование box/cls/dfl loss. • Упаковка нескольких GT через scatter_add (меньше синков). • Инференс: новый CLI (`--image`, --weights и т.д.). Починил letterbox — confidence вернулась с 0.08 до 0.61. 📊 Результаты и Перф Тренировал на синтетике (геометрические фигуры). Eval total loss стабильно упал с 13.2 (эпоха 1) до 6.5 (эпоха 24). Градиенты сходятся, детектор учится. ⚡ Оптимизировал Vulkan memory pool: выравнивание 4096, кэш 10000 буферов - заметно меньше аллокаций в train-loop. 🎯 Планы Стек от ядра до высокоуровневого API готов. Следующий шаг - полноценное обучение на MS COCO, сбор метрик AP и дальнейший тюнинг скорости. Теперь есть инструмент для настоящих экспериментов! #Adept #YOLO #DeepLearning #Vulkan #MachineLearning #MSCOCO

Привет! Последние две недели занимаюсь расширением тензорного API и развитием функциональности, необходимой для обучения YOLOv11. Часть времени на прошлой неделе ушла на подготовку к конференции, поэтому темп оказался ниже, чем планировал. Но, несмотря на это, работа над задачами для YOLOv11 продолжается. Что сделано: 🔹 Тензорные операции Добавил arange для генерации последовательностей, утилиты создания тензоров и element-wise min/max. Реализовал clamp с forward/backward и Python-биндингами. Для sum() и mean() добавил keepdim, чтобы поведение было ближе к привычным ML-фреймворкам. 🔹 Скаляры и типы Перешёл от явных типов в аргументах к более гибкому std::variant для поддержки всего набора используемых типов. Сделал типизированную поддержку скаляров в Tensor::full() и Tensor::item(), включая динамический вывод формы. Это уменьшило количество неявных преобразований и сделало API более предсказуемым. 🔹 Boolean и unsigned integer Отдельная история — поддержка boolean. Сначала она выглядела как небольшая задача, но на практике потребовала заметно больше времени. Нужно было аккуратно продумать хранение bool в тензорах, взаимодействие со скалярами, приведение типов, проверки на уровне backend и корректный проброс в Python. Плюс добавил поддержку unsigned integer. В результате эти изменения затронули не одну точку в коде, а потребовали согласованной работы нескольких слоёв. 🔹 Контроль памяти Добавил проверки на contiguous-тензоры в backend-операциях. Это помогает раньше ловить ошибки, связанные с layout и памятью, и делает поведение операций более явным. 🔹 Python bindings Продолжаю приводить в порядок Python-слой. Добавил биндинги для новых операций, и сделал skill создания Python-биндингов для LLM агентов. 🔹 GPU backend Подготовил skills для разработки GPU-шейдеров и регистрации dispatcher. Это больше инфраструктурная работа, поэтому неплохо автоматизируется агентами. 🔹 YOLOv11 Продолжаю двигаться к обучению YOLOv11: обновил план реализации, добавил прототип loss-функции и подготовил inference pipeline с учётом нового tensor API. Итог: Базовый tensor API становится более зрелым, появляются элементы, необходимые для обучения моделей, и YOLOv11 уже выглядит как вполне достижимая цель 🚀 #tensor #cpp #python #machinelearning #deeplearning #yolo #yolov11 #gpu #autograd #computervision