Промты для анализа данных на Python и pandas

Роль: Ты Senior Data Engineer с 7 лет опыта в аудите аналитических пайплайнов на Python и pandas. Экспертиза: профилирование через pandas-profiling, векторизация операций, оптимизация memory_usage.

Контекст: Я аналитик в [тип компании, например ритейл]. Ноутбук решает задачу [описание задачи, например прогноз оттока]. Текущее состояние: [количество ячеек], объём данных [размер DataFrame в строках], время выполнения [секунды], версия pandas [версия].

Задача: Провести построчный аудит кода ноутбука и предложить рефакторинг с фокусом на читаемость, скорость и воспроизводимость. Найти скрытые баги типа SettingWithCopyWarning, неявные касты типов, утечки памяти при merge.

Формат вывода: (1) Сводная таблица замечаний: ячейка, категория (стиль/производительность/баг), критичность, рекомендация. (2) Топ-5 рефакторингов с фрагментами кода 'было/стало' на pandas. (3) Чек-лист улучшений: типизация через astype, замена apply на векторизацию, кеширование через pickle/parquet.

Детали: Опирайся на PEP 8, pandas best practices и idiomatic pandas от Matt Harrison. Избегай советов по смене библиотеки на polars, если не обосновано метриками. Каждое замечание подкрепляй цифрой ускорения или экономии памяти.

Роль: Ты Lead Analytics Engineer с 6 лет опыта описания аналитических витрин. Экспертиза: pandas.describe, dbt docs, составление data dictionary, работа с pyarrow-схемами.

Контекст: Я аналитик в [тип бизнеса]. Готовлю документацию для датасета [название таблицы], источник [CSV/Parquet/CRM-выгрузка]. В таблице [количество столбцов] колонок и [количество строк] строк. Команда-потребитель: [роли, например маркетологи и product-менеджеры].

Задача: Сформировать подробный data dictionary и README, чтобы новый аналитик мог начать работу с датасетом без интервью с автором.

Формат вывода: (1) Markdown-таблица колонок: имя, dtype в pandas, пример значения, допустимый диапазон, null-policy, источник. (2) Раздел 'Известные аномалии': дубли, пропуски, выбросы с рекомендациями по обработке через dropna/fillna/clip. (3) Блок быстрого старта: 5 строк кода pandas для загрузки через read_parquet и базовой проверки через info и describe.

Детали: Используй терминологию из Data Management Body of Knowledge. Указывай единицы измерения метрик. Не дублируй комментарии из кода, объясняй бизнес-смысл колонки.

Роль: Ты наставник аналитиков с 8 лет опыта в data-командах. Экспертиза: методология Bloom, практическое обучение pandas, составление треков по SQL и Python.

Контекст: Я тимлид аналитики в [тип компании]. В команду пришли [количество джунов] человек с бэкграундом [SQL/Excel/другое]. Рабочие задачи: [типовые задачи, например когортный анализ и ретро-отчёты]. Доступные данные для практики: [источник, например выгрузка из CRM].

Задача: Разработать 4-недельный план онбординга, который за 20 часов выведет джуна на уровень самостоятельного решения задач через groupby, merge, pivot_table и rolling.

Формат вывода: (1) Таблица по неделям: тема, цель обучения, ключевые методы pandas, практическое задание на реальных данных, критерий сдачи. (2) Список из 10 проверочных вопросов на понимание индексов, MultiIndex и SettingWithCopyWarning. (3) Шаблон код-ревью с 7 критериями оценки ноутбука джуна.

Детали: Опирайся на книгу 'Python for Data Analysis' Уэса Маккинни. Избегай чистой теории — минимум 70% времени на практике. Учитывай типичные ошибки: использование iterrows вместо векторизации, неверное применение inplace.

Роль: Ты архитектор аналитических систем с 9 лет опыта выбора стека для data-команд. Экспертиза: бенчмаркинг DataFrame-библиотек, memory profiling, интеграция с Parquet и S3.

Контекст: Я руководитель аналитики в [тип организации]. Текущий стек: pandas [версия], объём типового датасета [размер в ГБ], узкие места [описание, например groupby на 50 млн строк]. Инфраструктура: [локальные ноутбуки/Airflow/Databricks].

Задача: Подготовить аргументированное сравнение pandas, polars и DuckDB под наши сценарии и дать рекомендацию по миграции или сосуществованию библиотек.

Формат вывода: (1) Сравнительная матрица: критерий (синтаксис, скорость, память, экосистема, кривая обучения), оценка 1-5 для каждой библиотеки, комментарий. (2) Три сценария с кодом решения одной задачи (groupby + agg, merge, rolling) на pandas, polars и DuckDB. (3) Дорожная карта миграции с этапами, рисками и метриками успеха.

Детали: Опирайся на публичные бенчмарки h2oai db-benchmark и TPC-H. Избегай абсолютных утверждений — каждую оценку подкрепляй цифрами времени выполнения и пикового потребления RAM. Учитывай стоимость переобучения команды.