Поиск кластеров событий для данных, представ ленных в виде частотных таблиц, и его применение в эпидемиологии и экологическом мониторинге

Резюме: Статья продолжает серию публикаций, посвященных новому методу кластеризации данных. Метод применяется к поиску участков с увеличившейся или уменьшившейся частотой событий на плоскости, когда данные представлены в форме таблицы частот (двумерной гистограммы). Экспериментально наблюдаемая таблица частот может сравниваться с ожидаемой, например, соответствующей равномерному распределению событий, или с контрольной таблицей частот, относящейся к предшествующему моменту времени. В таблице выявляются участки, где частоты значимо увеличились или уменьшились. Это позволяет статистически обоснованно отслеживать динамику процесса развития эпидемии или осуществлять экологический мониторинг. Предлагаемый алгоритм состоит в том, что группы соседних ячеек таблицы с одинаковым направлением динамики объединяются в кластеры, которые с учетом множественных сравнений исследуются на статистическую значимость. Для этого каждая группа (кластер ячеек) характеризуется двумя параметрами – размером (числом ячеек) и выраженностью изменения. Если размер группы слишком велик или (и) изменения в ней слишком выражены, то подобная группа объявляется статистически значимым кластером. При этом не делается никаких априорных предположений о числе и форме потенциально существующих в таблице значимых кластеров. Метод обобщается на случай любого числа измерений, не требует симуляций Монте-Карло и годится для сравнения любых частотных таблиц, дополняя собой глобальные критерии типа хи-квадрат Пирсона.

Ключевые слова: кластеризация, популяционные данные, таблица частот, кластеризация p-value, множественные сравнения, динамический контроль, экологический мониторинг, эпидемиологический контроль

A.M. Pyatnitskiy, V.M. Gukasov, A.S. Smirnov

Searching for event clusters in frequency tables with applications in epidemiology and ecological monitoring

Summary: The article continues the series of publications developing the new general approach to data clustering. Here proposed method is applied for searching clusters of increased or decreased frequencies in two dimensional frequency tables (histograms) of population-based data. The observed frequency table can be compared either with the expected one (for instance uniform) or with some table corresponding to the previous moment of time. The regions with significantly changed frequencies are revealed. It allows performing statistically based control of the dynamic of epidemiological process or ecological monitoring. The groups of neighboring cells of frequency tables with the same direction of changes are unified in clusters which are checked to be statistically significant with account on multiple comparisons. Each group of cells is characterized with two parameters – its size (the number of cells) and the intensity of changing. If the size of group or (and) its intensity are too pronounced then such group is considered to be statistically significant cluster. No a priori suggestions concerning the number or shape of potentially existing clusters are made. Method can be generalized to multidimensional tables, not needs Monte Carlo simulations and can be used while comparing any frequency tables being supplemental to global nonparametric criteria such as Pearson chi-square criteria.

Keywords: data clustering, population-based data, frequency table, p-values clustering, multiple comparisons, ecological monitoring, epidemiological control.

DOI : 10.34219/2306-3645-2021-11-2-7-17