Feature engineering: мистецтво підготовки ознак

Серед фахівців із машинного навчання є відома приказка: дані та ознаки визначають верхню межу якості, а моделі й алгоритми лише наближають до неї. Іншими словами, часто вигідніше вкласти час у підготовку ознак, ніж у пошук складнішого алгоритму. Цей процес називають feature engineering.

Що таке ознака

Ознака (feature) — це вимірювана характеристика, яку модель використовує для прогнозу. Наприклад, у задачі оцінки вартості квартири ознаками будуть площа, кількість кімнат, поверх і район. Feature engineering — це мистецтво перетворювати сирі дані на ознаки, з яких модель здатна витягти максимум користі.

Чому це так важливо

Алгоритм бачить лише ті ознаки, які ви йому дали. Навіть найпотужніша модель не знайде закономірності, якщо потрібна інформація не представлена в даних належним чином. І навпаки — одна вдало сконструйована ознака часто дає більший приріст якості, ніж заміна алгоритму на складніший.

Основні прийоми

Обробка пропусків. Реальні дані завжди мають прогалини. Їх або заповнюють (середнім, медіаною, спеціальним значенням), або прибирають — залежно від ситуації.

Кодування категоріальних ознак. Моделі працюють із числами, тож текстові категорії треба перетворити. Популярні способи — one-hot encoding (окремий стовпець для кожної категорії) і label encoding (заміна категорій числами).

Масштабування. Багато алгоритмів чутливі до масштабу ознак. Якщо одна ознака вимірюється в тисячах, а інша в частках одиниці, їх варто привести до спільного масштабу через нормалізацію чи стандартизацію.

Створення нових ознак. Найтворчіша частина. З дати можна виділити день тижня чи місяць, з двох стовпців — їхнє відношення, із тексту — довжину чи кількість слів. Саме тут знання предметної області дає найбільшу віддачу.

Обробка викидів. Екстремальні значення можуть спотворювати модель. Їх або прибирають, або обмежують, або перетворюють, наприклад логарифмуванням.

Роль знання предметної області

Найкращі ознаки часто народжуються не з математики, а з розуміння задачі. Той, хто знає бізнес, здогадається, що для прогнозу відтоку клієнтів важливий не просто вік акаунта, а час від останньої покупки. Тому дата саєнтист, який спілкується з експертами галузі, майже завжди будує кращі моделі.

Обережно: витік даних

Небезпечна пастка feature engineering — витік даних (data leakage), коли в ознаки випадково потрапляє інформація, недоступна на момент прогнозу. Наприклад, ознака, що непрямо містить відповідь. На тренуванні модель покаже блискучий результат, а на практиці провалиться. Тому завжди питайте себе: чи буде ця інформація доступна в реальний момент прогнозу?

Автоматизація й межі

Існують інструменти автоматичного генерування ознак, а глибоке навчання частково вчиться будувати ознаки саме. Проте для табличних даних продумана ручна робота досі часто перемагає автоматику. Feature engineering залишається одним із навичок, що найсильніше відрізняють досвідченого фахівця.

Підсумок

Feature engineering — це перетворення сирих даних на ознаки, з яких модель здатна витягти максимум. Обробка пропусків, кодування категорій, масштабування, створення нових ознак і боротьба з викидами часто дають більший ефект, ніж вибір складнішого алгоритму. А головна суперсила тут — поєднання технічних прийомів зі знанням предметної області та пильністю щодо витоку даних.