Роковой день года в истории

[Омич]

На данном графике

Весьма интересно! Спасибо за эту работу.

[Curioz]

пиковые даты начала катастроф европейской цивилизации - 28 июня и 9 августа.

А что такого катастрофичного случилось 9 августа, ну кроме назначения Путина премьером? 

[imnot]

Спасибо за работу, неплохо. Если будет желание - можно попробовать профильтровать их по категориям, отличив военные действия (штурм, битва, взятие, освобождение и т.д.) от прочих. Но в целом интересно и так.

[Neper]

А что такого катастрофичного случилось 9 августа,

кто-то получил люлей под Амьеном ..

[Роберт]

По итогу, роковой день года - 1 января

Может ли такое быть, что на 1 января скинули события, для которых точная дата неизвестна?

На глазок кажется, что в графике есть цикличность с периодом около 2 месяцев, особенно в 1-й половине года. Попробуйте посмотреть автокорреляцию.

[Daniil]

Может ли такое быть, что на 1 января скинули события, для которых точная дата неизвестна?

Нет. Сравните сами 1 января, и скажем, 2 января (только раздел Events).

На глазок кажется, что в графике есть цикличность с периодом около 2 месяцев, особенно в 1-й половине года. Попробуйте посмотреть автокорреляцию.

Не вам одному кажется. Периодичность заметна. Автокорреляцию никогда не делал (высшего у меня нет), критерий Дарбина-Уотсона для первичного теста подойдёт, или это не то?

Я также хотел через преобразование Фурье полученную последовательность прогнать, посмотреть спектр частот. Вангую, будет выражена частота с периодом полгода, вылезет также период 2 месяца, и, послабее, период 4 месяца.

 

Изменено 13 Oct 2023 пользователем Daniil

[imnot]

Здесь существенное влияние оказывает желание приурочить что-то к круглой дате. И оно появилось в последние сто лет, полагаю. Последние сто лет создают вообще много шума.

[Daniil]

Здесь существенное влияние оказывает желание приурочить что-то к круглой дате. И оно появилось в последние сто лет, полагаю. Последние сто лет создают вообще много шума.

Правильно полагаете. Я сказал - люди любят показуху. Например, заметный пик в 311-й день года - это 7 ноября, которое "красный день календаря".

[Роберт]

Автокорреляция это более простой, чем преобразование Фурье, метод нахождения периодичностей. Есть в пакете statsmodels. Но вообще первое, что бы я сделал, это построил распределение, проверил на нормальность (проще всего через qq-plot из того же statsmodels) и посмотрел, какие даты выходят за пределы 95% доверительного интервала. 1 января явно выходит, с остальными непонятно. 

[Daniil]

Автокорреляция это более простой, чем преобразование Фурье, метод нахождения периодичностей. Есть в пакете statsmodels. Но вообще первое, что бы я сделал, это построил распределение, проверил на нормальность (проще всего через qq-plot из того же statsmodels) и посмотрел, какие даты выходят за пределы 95% доверительного интервала. 1 января явно выходит, с остальными непонятно.

Принято. Как будет время, попробую.

[Daniil]

Последние сто лет создают вообще много шума.

Предположу, кстати, что если разложить суммы событий по годам, то полученный график ляжет в аккурат на график роста популяции. А отклонения по частоте совпадут с частотой циклов солнечной активности. Т.е., и здесь ничего чудесного мы не увидим.

Изменено 13 Oct 2023 пользователем Daniil

[imnot]

отклонения по частоте совпадут с частотой циклов солнечной активности

Вот это, кстати, сильная гипотеза. Потому что было бы весьма необычно если такая корреляция будет.

Ну, короче, как будет время, можно и по годам посмотреть, и нормализацию сделать, 

можно попробовать профильтровать их по категориям, отличив военные действия (штурм, битва, взятие, освобождение и т.д.) от прочих.

Но вообще я предполагал чисто субъективное обсуждение, а тут вон оно как вышло)

[Javdet]

График сильно напоминает нормальное распределение. Сколько всего дат обработано. Тыщ 20?

[Роберт]

А отклонения по частоте совпадут с частотой циклов солнечной активности.

Я когда-то проверял гипотезу Чижевского на базе данных о войнах и беспорядках в Африке после 1990 года (есть где-то на kaggle). Как ни считай - ни малейшей корреляции с числом Вольфа нет. 

[Daniil]

График сильно напоминает нормальное распределение. Сколько всего дат обработано. Тыщ 20?

Всего дат обработано 499685. Событий - 16905.

Изменено 13 Oct 2023 пользователем Daniil

[Javdet]

Событий - 16905.

Равномерное распределение для 1-365, 16905 значений 

[Berlinguer]

А что такого катастрофичного случилось 9 августа

Падение Римской Империи.

[Sverv]

Падение Римской Империи.

Тогда уже 3 марта 1924 года последний император Рима сложил полномочия (или германцам можно, а туркам нельзя?).

Изменено 13 Oct 2023 пользователем Sverv

[Daniil]

Итак, я проанализировал данные.

Имеем матрицу 366х1368. 16905 событий. 366 - потому что некоторые годы високосные

Тест Шапиро-Уилк показывает что это НЕ нормальное распределение. Для очистки совести убрал пик 1 января, перепроверил - всё равно кажет что НЕ нормальное.

Про это же говорит и распределение. По совету коллеги Роберта, сделал через qq-plot. Красная линия - нормальное распределение, синие точки - как распределение событий ложится.

Приведённый график (изображение типичных пиков по частотам). Заметна довольно значительная периодичность ростов и спадов активности.

Ну и на закуску - спектрограмма, результат Фурье-преобразования. По оси X - длина периода между событиями в днях, по оси Y - приведённое количество (грубо - вероятность возникновения) событий.

Спектрограмма очень показательна. Она показывает, что исторически значимые события происходят ПОЧТИ КАЖДЫЙ ДЕНЬ (высочайший пик примерно на 1,4 дня).
Но также есть чёткие частоты второго порядка! Мы хорошо видим, что вероятность исторических заморочек заметно возрастает:

• каждое полугодие (пик в районе 180 дней)
• каждый сезон (пик в районе 160 дней)
• каждые два месяца (пик в районе 65 дней)
• каждые две недели (пик в районе 16 дней)
• каждую неделю (пик в районе 7 дней)

Ничего удивительного, в целом. Это вот наша психология, экономика и климат.

Как-то так. Раскладку по годам сделаю позже.

Изменено 13 Oct 2023 пользователем Daniil

[Роберт]

Интересно! А можете скинуть csv? Я бы тоже поигрался.

[Роберт]

Кстати, по идее должен быть сильный, стат. значимый провал 29 февраля. Но его нет.

[Роберт]

Ещё я только сейчас сообразил, что при нулевой гипотезе "события равновероятны независимо от дня года" распределение должно быть не нормальным, а пуассоновским. И на это не влияет то, что вероятность событий меняется от года к году, всё равно при суммировании получается сумма пуассоновских распределений, а она тоже распределена по Пуассону. Простейшая проверка - среднее должно быть равно дисперсии. Ну и посмотреть графически, насколько совпадает нормированная гистограмма с теоретическим графиком пуассоновской плотности вероятности с данным средним.

[Javdet]

что это НЕ нормальное распределение

Опечатка? Равномерное распределение.

нормальное это по Гауссу.

[Daniil]

Интересно! А можете скинуть csv? Я бы тоже поигрался.

Пожалуйста. Данные в .xlsx.

Строки - годы. Столбцы - дни. Последний столбец (366-й), не помеченный днём - 29 февраля.

Расскажете потом, что нарулилось.

data_sorted.xlsx

[Бывший КОТ]

Если смотреть с европоцентрических позиций, то это 19 июля по григорианскому календарю. Понедельник) По юлианскому 16 июля, пятница. Хотя дата, конечно, условна. Спойлерить или кто-то захочет угадать?