Табличное мастерство. Осваиваем модели машинного обучения для анализа табличных данных

Алексей Михнин, 2023

Машинное обучение становится ключевым фактором успеха в повседневной жизни, бизнесе и науке. Эта книга – комплексное руководство по анализу табличных данных с помощью машинного обучения. Она полезна для бизнеса, руководителей проектов и всех, кто интересуется данной темой. Книга рассматривает классические алгоритмы, ансамблирование, AutoML и нейронные сети. Охватывает предобработку данных, отбор признаков, разработку и валидацию моделей, внедрение и мониторинг решений, а также этику и законодательные требования. Практические примеры и пошаговые инструкции помогут разобраться в процессе разработки проектов машинного обучения. Книга подходит для людей с разным уровнем опыта, от новичков до опытных специалистов, предлагая материалы различного уровня сложности.

Задачи, решаемые с помощью анализа табличных данных

Анализ табличных данных с использованием машинного обучения позволяет решать различные задачи, такие как:

Регрессия — предсказание непрерывной переменной на основе входных данных.

Примеры: прогнозирование цен на жилье, автомобилей или акций и т.п.

Вот пример табличных данных, используемых для регрессии цен на автомобили:

В этом примере каждая строка представляет автомобиль, а столбцы содержат информацию о его марке, модели, годе выпуска, пробеге, типе топлива, литраже двигателя, мощности двигателя и цене.

Цель — предсказать цену автомобиля на основе его характеристик, например, для оценки стоимости при продаже или покупке. Эти данные могут быть использованы для создания модели машинного обучения, которая автоматически предсказывает цену автомобиля на основе его характеристик.

Классификация — определение категории или класса объекта на основе входных данных.

Примеры: определение кредитного риска, диагностика заболеваний или фильтрация спама.

Вот пример табличных данных, используемых для классификации диагнозов пациентов:

В этом примере каждая строка представляет пациента, а столбцы содержат информацию о его поле, возрасте, симптомах и диагнозе.

Цель — определить диагноз пациента на основе симптомов, например, для правильного назначения лечения. Эти данные могут быть использованы для создания модели машинного обучения, которая автоматически классифицирует диагноз пациента на основе его симптомов.

Кластеризация — группировка объектов на основе их схожести или близости друг к другу.

Примеры: сегментация клиентов, выявление аномалий в данных и т.п.

Вот пример табличных данных, используемых для кластеризации клиентов:

В этом примере каждая строка представляет клиента, а столбцы содержат информацию о его поле, возрасте, доходе и количестве покупок.

Цель — разбить клиентов на группы на основе их схожести, например, для улучшения маркетинговых кампаний или персонализированного обслуживания. Эти данные могут быть использованы для создания модели машинного обучения, которая автоматически разбивает клиентов на группы (кластеры) на основе их характеристик.

Ранжирование — упорядочивание объектов по определенному критерию или степени предпочтения.

Примеры: рекомендательные системы, поисковые движки или оценка релевантности рекламы.

Вот пример табличных данных, используемых для ранжирования результатов поиска:

В этом примере каждая строка представляет собой результат поиска, а столбцы содержат информацию о названии, описании и рейтинге соответствующего результата.

Цель — упорядочить результаты поиска по убыванию рейтинга, чтобы пользователю было легче найти наиболее релевантные результаты. Эти данные могут быть использованы для создания модели машинного обучения, которая автоматически ранжирует результаты поиска на основе описания и рейтинга.

Оптимизация — нахождение наилучшего решения для задачи с учетом ограничений и целевой функции.

Примеры: планирование маршрутов для логистики, распределение ресурсов или управление портфелем инвестиций.

Вот пример табличных данных, используемых для оптимизации распределения ресурсов:

В этом примере каждая строка представляет продукт, а столбцы содержат информацию о необходимом количестве ресурсов 1 и 2 для его производства, а также о стоимости.

Цель — минимизировать общую стоимость производства продуктов, учитывая ограничения на количество доступных ресурсов. Эти данные могут быть использованы для создания математической модели, которая оптимизирует распределение ресурсов и находит наилучшее решение для данной задачи.

Прогнозирование временных рядов — анализ и предсказание значений переменных, измеряемых во времени.

Временные ряды являются подтипом анализа табличных данных, который фокусируется на изучении данных, собранных в различные моменты времени и представленных в хронологическом порядке. Временные ряды обычно используются для анализа изменений и тенденций в данных, прогнозирования будущих значений, выявления сезонности и аномалий.

Основная особенность временных рядов заключается в том, что данные имеют временную зависимость. Это означает, что значение признака в определенный момент времени может зависеть от его значений в предыдущие моменты времени. При анализе временных рядов используются специализированные методы и модели, которые учитывают эту временную зависимость.

Анализ временных рядов применяется в самых разных областях, таких как финансы (прогнозирование цен акций и обменных курсов), экономика (прогнозирование ВВП, инфляции), метеорология (прогнозирование погоды), здравоохранение (предсказание эпидемий) и многих других.

Вот пример табличных данных, используемых для анализа временных рядов в экономике:

В этом примере каждая строка представляет год, а столбцы содержат информацию о количестве населения, ВВП, инфляции и безработице в соответствующем году. Эти данные могут быть использованы для анализа тенденций и прогнозирования будущих значений этих показателей. Например, на основе этих данных можно построить модель машинного обучения для прогнозирования ВВП на следующий год на основе количества населения и предыдущих значений ВВП, инфляции и безработицы.

Обработка естественного языка (NLP) — анализ и понимание текстовых данных в табличной форме. Примеры: анализ тональности текста, извлечение ключевых слов или автоматическая категоризация текстов.

В этом примере каждая строка представляет собой отзыв на продукт, содержащий его текст и тональность (положительную или отрицательную). Эти данные могут использоваться для анализа качества продукта и выявления проблем, которые нужно решить. Они также могут использоваться для создания модели машинного обучения, которая может автоматически классифицировать тональность отзывов на продукт.

Анализ табличных данных с помощью машинного обучения может быть применен в широком спектре отраслей и сфер, таких как финансы, здравоохранение, розничная торговля, логистика, маркетинг, образование и многих других.