LightAutoML framework

📔 Мы внимательно следим за последними статьями в области ML, и сегодня хотим обратить ваше внимание на модель TabPFN v2 из статьи “Accurate predictions on small data with a tabular foundation model”, опубликованную в январе 2025 года в Nature. Модель работает на табличных данных, первая версия TabPFN была опубликована в октябре 2022, во второй версии помимо классификации появилась регрессия.

💡 Идея TabPFN v2:
В классических алгоритмах для решения suprevised задач на табличных данных модель обучается с нуля, в статье используется подход с предобучением:
1. Генерируются 130 миллионов синтетических датасетов с помощью каузальных графов, которые имитируют сложные зависимости в данных, пропуски, выбросы.
2. На сгенерированных данных предобучается трансформер, предсказывая таргет test выборки, получая на вход train как контекст. Для каждой ячейки таблицы используется отдельная репрезентация. Используется механизм внимания как по строкам, так и по столбцам таблицы.
3. Вместо привычных отдельных "fit" и "predict", трансформер за один проход получая и train, и test новой задачи одновременно, делает инференс на test, используя in-context learning. Простыми словами, модель обучена однажды, но подхватывает зависимости в данных из подаваемого в контекст датасета и сразу делает предсказания.

🥇 Результаты авторов:
1. Скорость и качество: в задачах классификации и регрессии на данных до 10к строк и 500 признаков за несколько секунд получает качество лучше, чем ансамбль из базовых алгоритмов (бустинги, лес, линейные), которые тюнились в течение нескольких часов.
2. Минимум работы: алгоритм не нужно тюнить, имеет отбор признаков, нативно работает с числовыми и категориальными признаками, а также с пропусками.
3. Плюсы foundation моделей: возможность получить распределение таргета, генерировать данные итд.
4. Неплохо показывает себя на временных рядах.

🤔 Выводы:
1. Статья показала эффективность foundation моделей в домене табличных данных, теперь у бустингов сильные конкуренты.
2. Пока есть вопросы с точки зрения эффективности инференса, ограниченности контекста, но дальше будут улучшения.
3. Интересно, что TabPFN v2 можно назвать AutoML решением, ведь для решения задачи он не требует ни настройки гиперпараметров, ни предобработки данных.

Тема интересная, у нас имеются наработки по этой теме, и мы работаем над их применением в LightAutoML🦙, stay tuned!

#обзор

Всем привет, друзья!

Напоминаем, что наш конкурс на 5 Telegram Premium подписок на год заканчивается уже сегодня в 16.00 (проходит он довольно интересно, конечно 🙈).

В качестве интересного интерактива для конца конкурса предлагаю вам послушать подборку сгенерированных треков про LightAutoML, PyTorch-LifeStream и AutoML Grand Prix - есть ощущение что получилось прям неплохо 🔥

Также, если вы по доброте душевной хотите поддержать нас звездой на GitHub - будем только рады ⭐

Please enjoy 🦙

🔝Как опыт Avito подтверждает ценность наших open-source продуктов

Команда Avito рассказала на Хабре, как использовала нашу либу AutoWoE для повышения ликвидности объявлений на площадке.

Модель анализирует успешные объявления и подсказывает, что можно улучшить: добавить фото, скорректировать цену, активнее отвечать или включить продвижение. AutoWoE разбивает фичи на бины, оценивает их влияние на отклики и формирует скор-карту инструментов, переведённую в рекомендации пользователям.

A/B-тесты показали рост целевых контактов и увеличение числа сделок.

Круто, когда open-source находит применение в реальных задачах!


#новости
❤@sb_ai_lab

Привет! Мы очень рады, что вы с нами и хотим отблагодарить вас за ваше внимание! 💚

В честь этого разыгрываем 5 подписок Telegram Premium на год 🔥🔥🔥

Никаких сложных условий! 🎉
Для участия в розыгрыше необходимо:

— Быть подписанным на канал ИИ песочница
— Быть подписанным на канал LightAutoML
— Дождаться результатов

Итоги подведем 12 февраля в 16:00, так что следите за новостями, вдруг именно вы заберёте приз! 🎁

Всем привет!

🏆 Коллеги из ICT.Moscow опубликовали подборку из 80 Open Source решений для ИИ-разработки, в которую вошли многие наши open-source проекты:

- Py-Boost
- Stalactite
- RePlay
- Sim4Rec
- RIDE
- ESGify
- MedBench

К сожалению, по неведомым нам причинам в эту подборку не попали еще два флагманских продукта нашей лаборатории (но мы-то о них помним 🙃) - LightAutoML и PyTorch-LifeStream

Также хотел бы сказать спасибо всем тем, кто пользуется нашими решениями и делится обратной связью по ним, позволяя делать их лучше 🫶

Всем привет!

Подъехали новости о LAMA из нашего научного канала Лабы ИИ - опубликована статья в журнале уровня Q1, где в экспериментах участвовали модели из LightAutoML 🔥

В канале будем радовать вас интересными новостями из мира AI, делиться обзорами и кейсами.
Подписывайтесь, чтобы быть в курсе! ❤️

Лайк, шер, подписка приветствуются 💬

🎄 С наступающимНовым годом, друзья!

Пусть 2025 станет годом технологических прорывов, гениальных идей и амбициозных исследований!

Создавайте, экспериментируйте, меняйте мир — и пусть ваша нейронка счастья всегда выдаёт 100%!

Спасибо, что вы с нами! 👀

🚩🚩Последний рабочий день года — пора запасаться полезным чтивом на праздники!🚩🚩

Иван Юрашку снова радует нас своими статьями на Хабре. 💡 Сегодня вышла вторая часть цикла о Causal Inference. В ней вы узнаете всё про рандомизированные контролируемые испытания (РКИ) — метод, который лежит в основе A/B-тестов и помогает проводить эксперименты правильно. 📊 Примеры на Python включены! 👩‍💻

📌 Читать статью: Ссылка на Хабр🤗

🎄 Почему это стоит прочитать?
Эти статьи идеально подходят для праздничных вечеров с чашкой чая или какао. ☕️ Вместо просмотра бесконечных фильмов — разберитесь, как тестировать гипотезы и оценивать причинно-следственные связи.

💬 А теперь немного магии:
— Накидайте ❤️ реакций, чтобы мы поскорее опубликовали третью статью!
— И поставьте ⭐️ на наш GitHub, чтобы вдохновить нас на новые проекты в 2025 году.👩‍💻

С Новым годом, друзья! Пусть ваш праздник будет не только весёлым, но и полезным. ✨

Добрый день, коллеги!

От лица команды LightAutoML поздравляю всех с наступающим 2025 годом! Хотим пожелать вам всем побольше качественных датасетов, ML моделей и счастливых бизнес-заказчиков 🎄

Со своей стороны мы подвели итоги 2024 года, среди которых можно отметить следующие:

1) Победа на Kaggle AutoML Grand Prix 2024, где мы были единственной командой, выигравшей 2 из 5 этапов

2) Фактически двукратный рост ⭐ на основном GitHub репозитории sb-ai-lab/LightAutoML

3) Чуть более трети от всех 230k загрузок LightAutoML с PyPI произошли в 2024 году

4) В 2024 году в журнале JMLR вышла статья по прогону OpenML AutoML benchmark, в которой мы попали в топ-3 общемирового рейтинга AutoML решений для различных задач

5) В мае 2024 более недели находились в топе рейтинга Trending Research на сайте paperswithcode.com

6) Руководитель команды LightAutoML Александр Рыжковполностью прошел Kaggle - стал 4x Kaggle Grandmaster (теперь их 10 человек по миру)

Счастливого 2025-ого года и спасибо, что вы с нами 🦙

P.S. Верю в силу 6 рукопожатий - если вдруг кто-то из ваших друзей/коллег еще не знает про lama, приглашайте к нам в канал 🙃

👋 Всем привет!

🎁 Принесли вам под елочку релиз LightAutoML 0.4.0, в котором:
* Поддержка Pandas v2+, LightGBM v4+, python: 3.8 - 3.12
* Добавлен XGBoost в качестве MLAlgo
* Автоматический маппинг колонок на выходе мультикласса (теперь не нужно использовать руками длинные конструкции с class_mapping)
* Автосохранение модели сразу после обучения (path_to_save в fit_predict) -- больше вы не потеряете результаты обучения
* OptunaTuner толерантнее к падениям триалов (параметр fail_tolerance)
* Автоматическая подстройка параметра кросс-валидации для работы в малым числом исходов
* HypEx выделился в отдельную библиотеку
* И много-много фиксов небольших багов

🎄с наступающим Новым годом!

🚀Запускаем соревнование по AutoML для студентов

🌿 Настало время оправдать название курса AutoML in Practice и закрепить полученные в нем знания. Каждый курс от Лаборатории обязательно подкрепляется соревнованием по анализу данных и в этом году мы не стали делать исключение. Уверен, оно вам точно зайдет, ведь на этот раз его готовили исключительно kaggle-мастера из нашей команды. Соревнование будет состоять из отборочного онлайн-этапа и очного офлайн-этапа.

1️⃣ В отборочном испытании вам предстоит решить одну из трех наших актуальных задач:

🔹Кредитный скоринг ЮЛ (вероятность дефолта, PD модели)
🔹Склонность физических лиц к инвестициям (Look-alike модели)
🔹Отток юридических лиц из расчётно-кассового обслуживания (CLTV модели)

2️⃣ В финальном этапе участники соревнования напишут свой AutoML, который сможет решить 15различных задач.

Распределение призовых:
🥇1 место - 250 000 ₽
🥈2 место - 150 000 ₽
🥉3 место - 100 000 ₽

🗓Ключевые этапы:
🔹 22-31.10 — Подача заявок (дедлайн)
🔹 1-12.11 — Отборочный этап - онлайн
🔹 18.11-7.12 — Финальный этап -онлайн
🔹 7-8.12 — Финальный этап - офлайн

🚫Ограничения: К участию допускаются студенты 18-25 лет.

👉Регистрируйся по ссылке на соревнование сейчас, чтобы закрепить полученные знания из нашего курса.