Оставить финалы и уникальные данные
У четырёх исходных CSV одинаковые 23 колонки. Ранние версии не добавляют новых полей. Но для удаления без потерь нужно проверить ещё и пользователей / изменённые значения — одинаковые колонки этого не гарантируют.
1. Что менялось в air → final → interlude → fixed
| CSV | Создан | Размер | Что известно |
|---|---|---|---|
air_2024_09_20.csv | 20.09.2024 | 25,28 GB | Самая ранняя из четырёх выгрузок. Базовые показатели, читерский флаг и реквизиты вывода. |
final.csv | 21.09.2024 | 29,55 GB | Те же поля; соответствующий Parquet содержит на 1 538 267 строк больше, чем air. |
interlude_final.csv | 21.09.2024 | 28,96 GB | Те же поля; Parquet содержит ещё на 4 128 строк больше. Сам CSV изменён 23 сентября. |
fixed_interlude_final.csv | 23.09.2024 | 29,90 GB | Кандидат на единственную финальную исходную CSV. Те же 23 поля; число строк Parquet не изменилось. Исправленная версия используется в ноутбуке коррекции OKX. |
Число строк выше взято из Parquet, не из CSV. Старые CSV занимают вместе 83,78 GB, однако их исключение пока не подтверждено как удаление без потери данных.
Что за 23 поля
id; earnPassivePerHour; referralsCount; tasks; balanceKeys; achievements; isCheater; isSaveHamster; lvl; totalCoins; balanceCoins; referrerId; createdAtTimestamp; lang; upgrades; upgradeMinLvl; upgradeMaxLvl; oldCryptoWallet; depositType; tonAddress; exchangeId; memo; exchangeTimestamp.
Полное позиционное сравнение Parquet выявило другой порядок id. Точные изменения значений по пользователям пока не установлены; считать эти версии дублями нельзя.
2. Нормализация, баллы и итоги S1 — простыми словами
Подготовка показателей пользователя для формулы: доход, задания, ключи, достижения, друзья и признак читера. Значения приводятся к общей шкале; применяются фильтры и списки банов.
Добавляются ap_* и общий ap: баллы вклада каждого показателя. Это промежуточный расчёт перед начислением токенов.
Добавляются начисления tokens_*, сумма, выдаваемая часть tokens_drop и отложенная tokens_vesting. Здесь уже результат распределения.
interlude_final-tokens.csv содержит только 9: id и токены. Остальные 13 полей сейчас есть в interlude_final-results.parquet. Предлагаемый s1-results-full.csv нужно ещё экспортировать — такого готового CSV пока нет.22-колоночный итог включает все названия полей нормализации и баллов, но не всех их пользователей: промежуточные таблицы содержат больше строк. Для полного сохранения уникальных данных нужны отдельные строки отсева. Кроме того, final-results и interlude_final-results полностью между собой не сравнивались.
3. Предлагаемый набор для сохранения
| Оставить | Зачем | Статус |
|---|---|---|
fixed_interlude_final.csv29,90 GB | Последняя именованная полная выгрузка S1: исходные показатели и реквизиты. | Есть |
s1-results-full.csv | Полный расчёт S1: все 22 колонки. Размер CSV ещё не измерен; исходный Parquet — 12,21 GB. | Нужно экспортировать |
season2-final-18-dec.csv5,54 GB | Полный итог S2. Версия «17-dec» имеет те же значения по id, только другой порядок строк. | Есть |
interlude_user_25_07_2025.csv10,75 GB | Более поздние балансы, claimed / unclaimed / nextUnlocked и состояние вывода. Эти данные не заменяются исходной выгрузкой S1. | Есть |
Исходники S2: gamedev-points-18-dec.csv, king*.csv, fc*.csv, interlude_diamonds.csv; ответы бирж и списки банов / исправлений | Дополнительные поля: fun / repo / stars, ip, level / reputation, totalDiamonds; результаты вывода и списки исключений. Старые варианты этих источников ещё нужно сравнить. | Сохранить до сравнения |
Уже доказанные повторы — 41,88 GB: точные копии, повторные части экспорта, 9-колоночные CSV при сохранении полного итога, распакованные BOC при сохранении ZIP и вторая одинаковая таблица S2.
Это набор кандидатов, а не готовый манифест удаления всех остальных файлов. Таблицы не удалялись. Переход к «только финалы» с сохранением уникальных данных требует экспорта недостающих CSV и проверки покрытия старых строк/полей.
4. Куда уйдут файлы других проектов из Stratagema
Сейчас: конфиги и отчёты сохранены отдельно от репозитория; есть зашифрованная копия Git до очистки. Это пока локальная страховка, не завершённый бекап B2.
| Что | Куда перед очисткой |
|---|---|
| Прокси Bitquest, Memebeat, Hamster и связанных сервисов | Отдельный приватный Git-архив инфраструктуры, с папкой на каждый проект. Имя репозитория ещё не выбрано, он не создан. В Stratagema эти файлы не останутся. |
| Исходники и ноутбуки Hamster | В проектный Git, после проверки на секреты. Данные и приватное состояние Livebook — в отдельный BackupHamsterLivebook в B2; бакет создан, данные ещё не загружены. |
| Bitquest / Kuma / Stratagema | Раздельные места для данных: BackupBitquest, BackupUptimeKuma, BackupStratagemaLivebook. |
Очистка Git убирает межпроектные конфиги и наши отчёты из истории Stratagema. Серверные CSV, ноутбуки и чужие репозитории она не удаляет. Перед применением нужно проверить сохранённые копии в выбранном отдельном хранилище. Очистка ещё не отправлена в GitHub.