Анализ данных - Data analysis

Анализ данных - это процесс проверки, очистки , преобразования и моделирования данных с целью обнаружения полезной информации, обоснования выводов и поддержки принятия решений. Анализ данных имеет множество аспектов и подходов, охватывающих различные методы под разными названиями, и используется в различных областях бизнеса, науки и социальных наук. В современном деловом мире анализ данных играет важную роль в принятии более научных решений и помогает предприятиям работать более эффективно.

Интеллектуальный анализ данных - это особый метод анализа данных, который фокусируется на статистическом моделировании и обнаружении знаний для прогностических, а не чисто описательных целей, в то время как бизнес-аналитика охватывает анализ данных, который в значительной степени опирается на агрегирование с упором в основном на бизнес-информацию. В статистических приложениях анализ данных можно разделить на описательную статистику , исследовательский анализ данных (EDA) и подтверждающий анализ данных (CDA). EDA фокусируется на обнаружении новых функций в данных, в то время как CDA фокусируется на подтверждении или опровержении существующих гипотез . Прогнозная аналитика фокусируется на применении статистических моделей для прогнозного прогнозирования или классификации, в то время как текстовая аналитика применяет статистические, лингвистические и структурные методы для извлечения и классификации информации из текстовых источников, разновидностей неструктурированных данных . Все вышеперечисленное - разновидности анализа данных.

Интеграция данных является предшественником анализа данных, а анализ данных тесно связан с визуализацией данных и их распространением.

Процесс анализа данных

Блок-схема процесса обработки и анализа данных из журнала Doing Data Science , авторы Schutt & O'Neil (2013 г.)

Под анализом понимается разделение целого на отдельные компоненты для индивидуального изучения. Анализ данных - это процесс получения необработанных данных и последующего преобразования их в информацию, полезную для принятия решений пользователями. Данные собираются и анализируются, чтобы ответить на вопросы, проверить гипотезы или опровергнуть теории.

Статистик Джон Тьюки определил анализ данных в 1961 году следующим образом:

"Процедуры анализа данных, методы интерпретации результатов таких процедур, способы планирования сбора данных, чтобы сделать их анализ более простым, точным или более точным, а также все механизмы и результаты (математической) статистики, которые применяются к анализу данных . "

Можно выделить несколько этапов, описанных ниже. Этапы являются итеративными , поскольку обратная связь от более поздних этапов может привести к дополнительной работе на более ранних этапах. Рамки CRISP , используемые в горнодобывающей промышленности данных , имеют аналогичные шаги.

Требования к данным

Данные необходимы в качестве входных данных для анализа, который определяется на основе требований тех, кто руководит анализом (или клиентов, которые будут использовать готовый продукт анализа). Общий тип объекта, по которому будут собираться данные, называется экспериментальной единицей (например, человек или совокупность людей). Могут быть указаны и получены конкретные переменные, относящиеся к населению (например, возраст и доход). Данные могут быть числовыми или категориальными (например, текстовая метка для чисел).

Сбор данных

Данные собираются из различных источников. Аналитики могут сообщить о требованиях хранителям данных; например, персонал информационных технологий в организации. Данные также могут быть получены с датчиков в окружающей среде, включая камеры движения, спутники, записывающие устройства и т. Д. Их также можно получить посредством интервью, загрузок из онлайн-источников или чтения документации.

Обработка данных

Фазы интеллектуального цикла, используемые для преобразования необработанной информации в полезные сведения или знания, концептуально аналогичны этапам анализа данных.

Данные, когда они изначально получены, должны быть обработаны или организованы для анализа. Например, они могут включать размещение данных в строках и столбцах в формате таблицы ( известном как структурированные данные ) для дальнейшего анализа, часто с использованием электронной таблицы или статистического программного обеспечения.

Очистка данных

После обработки и организации данные могут быть неполными, содержать дубликаты или ошибки. Необходимость очистки данных возникнет из-за проблем с вводом и хранением данных. Очистка данных - это процесс предотвращения и исправления этих ошибок. Общие задачи включают сопоставление записей, выявление неточности данных, общее качество существующих данных, дедупликацию и сегментацию столбцов. Такие проблемы с данными также можно выявить с помощью различных аналитических методов. Например; Что касается финансовой информации, то итоговые значения для конкретных переменных можно сравнивать с отдельно опубликованными цифрами, которые считаются надежными. Также могут быть рассмотрены необычные суммы, превышающие или ниже заранее определенных пороговых значений. Существует несколько типов очистки данных, которые зависят от типа данных в наборе; это могут быть номера телефонов, адреса электронной почты, работодатели или другие значения. Методы количественных данных для обнаружения выбросов могут использоваться, чтобы избавиться от данных, которые имеют более высокую вероятность неправильного ввода. Для уменьшения количества неправильно набранных слов можно использовать средства проверки орфографии текстовых данных. Однако труднее сказать, верны ли сами слова.

Исследовательский анализ данных

После очистки наборов данных их можно проанализировать. Аналитики могут применять различные методы, называемые исследовательским анализом данных , чтобы начать понимать сообщения, содержащиеся в полученных данных. Процесс исследования данных может привести к дополнительной очистке данных или дополнительным запросам данных; таким образом, инициализация итерационных фаз, упомянутых в первом абзаце этого раздела. Описательная статистика , такая как среднее или медианное значение, может быть сгенерирована, чтобы помочь в понимании данных. Визуализация данных - также используемый метод, при котором аналитик может исследовать данные в графическом формате, чтобы получить дополнительную информацию о сообщениях в данных.

Моделирование и алгоритмы

Математические формулы или модели (известные как алгоритмы ) могут применяться к данным, чтобы определить отношения между переменными; например, используя корреляцию или причинно-следственную связь . В общих чертах, модели могут быть разработаны для оценки конкретной переменной на основе другой переменной (переменных), содержащейся в наборе данных, с некоторой остаточной ошибкой, зависящей от точности реализованной модели ( например , Данные = Модель + Ошибка).

Логическая статистика включает использование методов, которые измеряют отношения между конкретными переменными. Например, регрессионный анализ может использоваться для моделирования того , дает ли изменение в рекламе ( независимая переменная X ) объяснение изменения продаж ( зависимая переменная Y ). С математической точки зрения Y (продажи) является функцией X (рекламы). Это может быть описано как ( Y = аХ + Ь + ошибку), где модель разработана таким образом, что ( ) и ( б ) свести к минимуму ошибки , когда модель предсказывает Y для заданного диапазона значений X . Аналитики также могут попытаться построить модели, описывающие данные, с целью упрощения анализа и передачи результатов.

Информационный продукт

Продукт данных представляет собой компьютер приложение , которое принимает входные данные и генерирует выходные сигналы , подавая их обратно в окружающую среду. Он может быть основан на модели или алгоритме. Например, приложение, которое анализирует данные об истории покупок клиента и использует результаты, чтобы рекомендовать другие покупки, которые могут понравиться покупателю.

Коммуникация

Визуализация данных используется, чтобы помочь понять результаты после анализа данных.

Как только данные проанализированы, они могут быть представлены во многих форматах пользователям анализа для поддержки их требований. Пользователи могут оставлять отзывы, по результатам которых проводится дополнительный анализ. Таким образом, большая часть аналитического цикла является итеративной.

При определении того, как передать результаты, аналитик может рассмотреть возможность реализации различных методов визуализации данных, чтобы помочь донести сообщение до аудитории более четко и эффективно. Визуализация данных использует информационные дисплеи (графики, такие как таблицы и диаграммы), чтобы помочь передать ключевые сообщения, содержащиеся в данных. Таблицы - ценный инструмент, позволяющий пользователю запрашивать и сосредотачиваться на определенных числах; а диаграммы (например, гистограммы или линейные диаграммы) могут помочь объяснить количественные сообщения, содержащиеся в данных.

Количественные сообщения

Временной ряд, проиллюстрированный линейной диаграммой, демонстрирующей тенденции в федеральных расходах и доходах США с течением времени.
Диаграмма рассеяния, иллюстрирующая корреляцию между двумя переменными (инфляция и безработица), измеренными в определенные моменты времени.

Стивен Фью описал восемь типов количественных сообщений, которые пользователи могут попытаться понять или передать на основе набора данных и связанных графиков, используемых для передачи сообщения. Заказчики, определяющие требования, и аналитики, выполняющие анализ данных, могут рассматривать эти сообщения в ходе процесса.

  1. Временной ряд: одна переменная фиксируется за период времени, например, уровень безработицы за 10-летний период. Для демонстрации тренда можно использовать линейный график .
  2. Ранжирование: категориальные подразделения ранжируются в порядке возрастания или убывания, например, рейтинг эффективности продаж ( показатель ) по продавцам ( категория , где каждый продавец является категориальным подразделением ) в течение одного периода. Гистограмма может быть использована , чтобы показать сравнение поперек продавцов.
  3. От части к целому: категориальные подразделения измеряются как отношение к целому (т. Е. Процент от 100%). Круговая диаграмма или гистограмма может показать сравнение коэффициентов, таких как доля рынка в лице конкурентов на рынке.
  4. Отклонение: категориальные подразделения сравниваются с эталоном, например, сравнение фактических и бюджетных расходов для нескольких отделов бизнеса за заданный период времени. Гистограмма может показать сравнение фактической суммы с контрольной.
  5. Частотное распределение: показывает количество наблюдений за определенной переменной для заданного интервала, например, количество лет, в течение которых доходность фондового рынка находится между такими интервалами, как 0–10%, 11–20% и т. Д. Гистограмма , тип гистограммы, может использоваться для этого анализа.
  6. Корреляция: сравнение между наблюдениями, представленными двумя переменными (X, Y), чтобы определить, имеют ли они тенденцию двигаться в одном или противоположных направлениях. Например, построение графика безработицы (X) и инфляции (Y) для выборки месяцев. Для этого сообщения обычно используется диаграмма рассеяния .
  7. Номинальное сравнение: сравнение категорийных подразделений без определенного порядка, например, объем продаж по коду продукта. Для этого сравнения можно использовать гистограмму.
  8. Географические или геопространственные: сравнение переменной на карте или макете, например, уровень безработицы по штатам или количество людей на разных этажах здания. Картограмма представляет собой типичный графический используется.

Методы анализа количественных данных

Автор Джонатан Кумей рекомендовал ряд лучших практик для понимания количественных данных. Это включает:

  • Перед выполнением анализа проверьте исходные данные на наличие аномалий;
  • Повторно выполните важные вычисления, такие как проверка столбцов данных, которые управляются формулами;
  • Подтвердите, что основные итоги являются суммой промежуточных итогов;
  • Проверьте отношения между числами, которые должны быть связаны предсказуемым образом, например, отношения во времени;
  • Нормализовать числа, чтобы упростить сравнения, например, анализировать суммы на человека или относительно ВВП или в качестве значения индекса относительно базового года;
  • Разбивайте проблемы на составные части, анализируя факторы, которые привели к результатам, например, анализ DuPont рентабельности собственного капитала.

Для исследуемых переменных аналитики обычно получают для них описательную статистику , такую ​​как среднее (среднее), медиана и стандартное отклонение . Они также могут анализировать распределение ключевых переменных, чтобы увидеть, как отдельные значения группируются вокруг среднего.

Иллюстрация принципа MECE, используемого для анализа данных.

Консультанты McKinsey and Company назвали метод разделения количественной задачи на ее составные части принципом MECE . Каждый слой можно разбить на составляющие; каждый из подкомпонентов должен быть взаимоисключающим друг друга и вместе составлять слой над ними. Отношения называются «взаимоисключающими и коллективно исчерпывающими» или MECE. Например, прибыль по определению можно разделить на общий доход и общие затраты. В свою очередь, общий доход может быть проанализирован по его компонентам, таким как доход подразделений A, B и C (которые исключают друг друга), и должен добавляться к общему доходу (в совокупности исчерпывающий).

Аналитики могут использовать надежные статистические измерения для решения определенных аналитических задач. Проверка гипотез используется, когда аналитик выдвигает определенную гипотезу об истинном положении дел и собирает данные, чтобы определить, является ли это положение дел истинным или ложным. Например, гипотеза может заключаться в том, что «Безработица не влияет на инфляцию», что относится к экономической концепции, называемой кривой Филлипса . Проверка гипотез включает рассмотрение вероятности ошибок типа I и типа II , которые связаны с тем, поддерживают ли данные принятие или отклонение гипотезы.

Регрессионный анализ может использоваться, когда аналитик пытается определить степень, в которой независимая переменная X влияет на зависимую переменную Y (например, «В какой степени изменения уровня безработицы (X) влияют на уровень инфляции (Y)?»). Это попытка смоделировать или подогнать линию уравнения или кривую к данным, так что Y является функцией X.

Анализ необходимых условий (NCA) может использоваться, когда аналитик пытается определить, в какой степени независимая переменная X допускает переменную Y (например, «В какой степени определенный уровень безработицы (X) необходим для определенного уровня инфляции (Y)» ? "). В то время как (множественный) регрессионный анализ использует аддитивную логику, где каждая переменная X может давать результат, а переменные X могут компенсировать друг друга (они достаточны, но не необходимы), анализ необходимых условий (NCA) использует логику необходимости, где один или несколько X -Переменные позволяют результату существовать, но не могут его производить (они необходимы, но недостаточны). Должны быть выполнены все необходимые условия, компенсация невозможна.

Аналитическая деятельность пользователей данных

Пользователи могут иметь определенные точки интереса в наборе данных, в отличие от общего обмена сообщениями, описанного выше. Такие низкоуровневые аналитические действия пользователей представлены в следующей таблице. Таксономия также может быть организована по трем направлениям деятельности: получение значений, поиск точек данных и организация точек данных.

# Задача Общее
описание
Pro Forma
Abstract
Примеры
1 Получить значение Учитывая набор конкретных случаев, найдите атрибуты этих случаев. Каковы значения атрибутов {X, Y, Z, ...} в случаях данных {A, B, C, ...}? - Какой пробег на галлон у Ford Mondeo?

- Как долго длится фильм «Унесенные ветром»?

2 Фильтр Учитывая некоторые конкретные условия для значений атрибутов, найдите варианты данных, удовлетворяющие этим условиям. Какие варианты данных удовлетворяют условиям {A, B, C ...}? - Какие злаки Kellogg имеют высокое содержание клетчатки?

- Какие комедии отмечены наградами?

- Какие фонды уступили SP-500?

3 Вычислить производное значение Учитывая набор кейсов данных, вычислите агрегированное числовое представление этих кейсов данных. Каково значение функции агрегирования F для данного набора S случаев данных? - Какая в среднем калорийность хлопьев Post?

- Каков валовой доход всех магазинов вместе взятых?

- Сколько сейчас производителей автомобилей?

4 Найдите экстремум Найдите в наборе данных кейсы с экстремальным значением атрибута в его диапазоне. Каковы верхние / нижние N случаев данных по отношению к атрибуту A? - Какая машина с максимальным расходом топлива?

- Какой режиссер / фильм получил больше всего наград?

- У какого фильма Marvel Studios самая последняя дата выхода?

5 Сортировать Учитывая набор вариантов данных, ранжируйте их в соответствии с некоторой порядковой метрикой. Каков порядок сортировки набора S наблюдений данных в соответствии с их значением атрибута A? - Заказ автомобилей по весу.

- Оцените крупы по калорийности.

6 Определить диапазон Учитывая набор вариантов данных и интересующий атрибут, найдите диапазон значений в наборе. Каков диапазон значений атрибута A в наборе S кейсов данных? - Какой диапазон длин фильмов?

- Какая у машины мощность в лошадиных силах?

- Какие актрисы есть в наборе данных?

7 Охарактеризуйте распространение Учитывая набор случаев данных и интересующий количественный атрибут, охарактеризуйте распределение значений этого атрибута по набору. Каково распределение значений атрибута A в наборе S случаев данных? - Каково распределение углеводов в крупах?

- Каков возрастной состав покупателей?

8 Найдите аномалии Идентифицируйте любые аномалии в данном наборе случаев данных относительно данной взаимосвязи или ожидания, например, статистические выбросы. Какие кейсы данных в наборе S кейсов данных имеют неожиданные / исключительные значения? - Есть ли исключения в соотношении мощности и ускорения?

- Есть ли выбросы в белке?

9 Кластер По заданному набору случаев данных найдите кластеры с похожими значениями атрибутов. Какие варианты данных в наборе S наборов данных аналогичны по значению для атрибутов {X, Y, Z, ...}? - Существуют ли группы злаков с одинаковым содержанием жира / калорий / сахара?

- Есть ли кластер типичной длины пленки?

10 Соотносить Учитывая набор вариантов данных и два атрибута, определите полезные отношения между значениями этих атрибутов. Какова корреляция между атрибутами X и Y для данного набора S случаев данных? - Есть ли корреляция между углеводами и жирами?

- Есть ли корреляция между страной происхождения и MPG?

- Есть ли у разных полов предпочтительный способ оплаты?

- Есть ли тенденция увеличения продолжительности фильмов с годами?

11 Контекстуализация Учитывая набор кейсов данных, найдите контекстную релевантность данных для пользователей. Какие кейсы данных в наборе S кейсов данных релевантны контексту текущего пользователя? - Существуют ли группы ресторанов, в которых есть еда, основанная на моем текущем потреблении калорий?

Препятствия на пути к эффективному анализу

Препятствия на пути к эффективному анализу могут существовать среди аналитиков, выполняющих анализ данных, или среди аудитории. Отличить факты от мнения, когнитивные предубеждения и неумелость - все это проблемы для надежного анализа данных.

Сбивающие с толку факт и мнение

Вы имеете право на собственное мнение, но не имеете права на собственные факты.

Дэниел Патрик Мойнихан

Эффективный анализ требует получения соответствующих фактов, чтобы ответить на вопросы, поддержать вывод или официальное мнение или проверить гипотезы . Факты по определению неопровержимы, а это означает, что любой человек, участвующий в анализе, должен иметь возможность согласиться с ними. Например, в августе 2010 года Бюджетное управление Конгресса (CBO) подсчитало, что продление налоговых сокращений Буша 2001 и 2003 годов на период 2011–2020 годов добавит к государственному долгу примерно 3,3 триллиона долларов. Каждый должен быть в состоянии согласиться с тем, что на самом деле это то, что сообщила CBO; они все могут изучить отчет. Это факт. Согласны или не согласны люди с CBO - их собственное мнение.

В качестве другого примера аудитор публичной компании должен прийти к официальному мнению о том, является ли финансовая отчетность публично торгуемых корпораций «достоверной во всех существенных отношениях». Это требует обширного анализа фактических данных и доказательств, подтверждающих их мнение. При переходе от фактов к мнениям всегда существует вероятность того, что мнение ошибочно .

Когнитивные предубеждения

Существует множество когнитивных искажений, которые могут отрицательно повлиять на анализ. Например, предвзятость подтверждения - это тенденция искать или интерпретировать информацию таким образом, чтобы подтвердить свои предубеждения. Кроме того, люди могут дискредитировать информацию, не подтверждающую их взгляды.

Аналитики могут быть специально обучены тому, чтобы знать об этих предубеждениях и способах их преодоления. В своей книге « Психология анализа интеллекта» бывший аналитик ЦРУ Ричардс Хойер написал, что аналитикам следует четко очерчивать свои предположения и цепочки умозаключений, а также указывать степень и источник неопределенности, связанной с выводами. Он сделал упор на процедуры, помогающие выявить и обсудить альтернативные точки зрения.

Безграмотность

Эффективные аналитики, как правило, владеют множеством численных методов. Однако аудитория может не обладать такой грамотностью в отношении чисел или счета ; их называют бесчисленными. Лица, передающие данные, также могут пытаться ввести в заблуждение или дезинформировать, умышленно используя плохие числовые методы.

Например, рост или падение числа не может быть ключевым фактором. Более важным может быть число относительно другого числа, например, размер государственных доходов или расходов относительно размера экономики (ВВП) или сумма затрат относительно доходов в корпоративной финансовой отчетности. Этот численный метод называется нормализацией или стандартным размером. Аналитики используют множество таких методов, будь то поправка на инфляцию (то есть сравнение реальных и номинальных данных) или с учетом прироста населения, демографии и т. Д. Аналитики применяют различные методы для решения различных количественных сообщений, описанных в разделе выше.

Аналитики также могут анализировать данные при различных предположениях или сценариях. Например, когда аналитики проводят анализ финансовой отчетности , они часто пересматривают финансовую отчетность с учетом различных допущений, чтобы помочь прийти к оценке будущего денежного потока, который затем они дисконтируют до приведенной стоимости на основе некоторой процентной ставки, чтобы определить оценку компания или ее акции. Точно так же CBO анализирует влияние различных вариантов политики на государственные доходы, расходы и дефицит, создавая альтернативные сценарии будущего для ключевых мер.

Другие темы

Умные здания

Подход с аналитикой данных можно использовать для прогнозирования энергопотребления в зданиях. Различные этапы процесса анализа данных выполняются для реализации интеллектуальных зданий, где операции по управлению и контролю здания, включая отопление, вентиляцию, кондиционирование, освещение и безопасность, выполняются автоматически, имитируя потребности пользователей здания и оптимизируя ресурсы. как энергия и время.

Аналитика и бизнес-аналитика

Аналитика - это «широкое использование данных, статистического и количественного анализа, объяснительных и прогнозных моделей и управления на основе фактов для принятия решений и действий». Это подмножество бизнес-аналитики , которая представляет собой набор технологий и процессов, использующих данные для понимания и анализа эффективности бизнеса для принятия решений.

Образование

Аналитическая деятельность пользователей визуализации данных

В сфере образования большинство преподавателей имеют доступ к системе данных для анализа данных об учащихся. Эти системы данных представляют данные преподавателям в формате данных, отпускаемых без рецепта (встраивание этикеток, дополнительная документация и справочная система, а также принятие ключевых решений по упаковке / отображению и содержанию) для повышения точности анализа данных преподавателями.

Заметки для практикующих

Этот раздел содержит довольно технические объяснения, которые могут помочь практикам, но выходят за рамки типичной статьи в Википедии.

Анализ исходных данных

Наиболее важное различие между этапом анализа исходных данных и этапом основного анализа заключается в том, что во время анализа исходных данных человек воздерживается от любого анализа, который направлен на ответ на исходный вопрос исследования. На этапе анализа исходных данных мы руководствуемся следующими четырьмя вопросами:

Качество данных

Качество данных следует проверять как можно раньше. Качество данных можно оценить несколькими способами с использованием различных типов анализа: подсчет частоты, описательная статистика (среднее значение, стандартное отклонение, медиана), нормальность (асимметрия, эксцесс, частотные гистограммы), требуется нормальное вменение .

  • Анализ экстремальных наблюдений : отдельные наблюдения в данных анализируются, чтобы увидеть, не нарушают ли они распределение.
  • Сравнение и исправление различий в схемах кодирования: переменные сравниваются со схемами кодирования переменных, внешних по отношению к набору данных, и, возможно, исправляются, если схемы кодирования не сопоставимы.
  • Тест на дисперсию общепринятого метода .

Выбор анализов для оценки качества данных на этапе первоначального анализа данных зависит от анализа, который будет проводиться на этапе основного анализа.

Качество измерений

Качество измерительных инструментов следует проверять только на этапе анализа исходных данных, когда это не является предметом внимания или исследовательским вопросом исследования. Следует проверить, соответствует ли структура средств измерений структуре, указанной в литературе.

Есть два способа оценить качество измерения:

  • Подтверждающий факторный анализ
  • Анализ однородности ( внутренней согласованности ), который дает представление о надежности измерительного прибора. Во время этого анализа проверяются отклонения элементов и шкал, α Кронбаха шкал и изменение альфы Кронбаха, когда элемент будет удален из шкалы.

Начальные преобразования

После оценки качества данных и измерений можно принять решение о вменении недостающих данных или о выполнении начальных преобразований одной или нескольких переменных, хотя это также можно сделать на этапе основного анализа.
Возможные преобразования переменных:

  • Преобразование квадратного корня (если распределение умеренно отличается от нормального)
  • Лог-преобразование (если распределение существенно отличается от нормального)
  • Обратное преобразование (если распределение сильно отличается от нормального)
  • Сделать категориальным (порядковым / дихотомическим) (если распределение сильно отличается от нормального и никакие преобразования не помогают)

Выполнение исследования соответствовало намерениям дизайна исследования?

Следует проверить успешность процедуры рандомизации , например, проверив, одинаково ли распределены фоновые и основные переменные внутри и между группами.
Если в исследовании не требовалось или не использовалась процедура рандомизации, следует проверить успешность неслучайной выборки, например, проверив, все ли подгруппы представляющей интерес совокупности представлены в выборке.
Другие возможные искажения данных, которые следует проверить:

  • отсев (это должно быть выявлено на этапе анализа исходных данных)
  • Отсутствие ответа по заданию (независимо от того, является ли это случайным или нет, следует оценить на этапе первоначального анализа данных)
  • Качество лечения (с помощью манипуляционных проверок ).

Характеристики выборки данных

В любом отчете или статье должна быть точно описана структура выборки. Особенно важно точно определить структуру выборки (и, в частности, размер подгрупп), когда анализ подгрупп будет выполняться на этапе основного анализа.
Характеристики выборки данных можно оценить, посмотрев на:

  • Базовая статистика важных переменных
  • Диаграммы разброса
  • Корреляции и ассоциации
  • Перекрестные таблицы

Завершающий этап анализа исходных данных

На заключительном этапе результаты анализа исходных данных документируются, и принимаются необходимые, предпочтительные и возможные корректирующие действия.
Кроме того, исходный план анализа основных данных можно и нужно уточнить или переписать.
Для этого можно и нужно принять несколько решений по анализу основных данных:

  • В случае ненормальных : следует преобразовывать переменные; сделать переменные категориальными (порядковыми / дихотомическими); адаптировать метод анализа?
  • В случае отсутствия данных : следует пренебречь или вменять недостающие данные; какой метод вменения следует использовать?
  • В случае выбросов : следует ли использовать надежные методы анализа?
  • В случае, если элементы не соответствуют масштабу: следует ли адаптировать измерительный инструмент, исключив элементы, или, скорее, обеспечить сопоставимость с другими (видами использования) измерительным инструментом (-ами)?
  • В случае (слишком) малых подгрупп: следует ли отказаться от гипотезы о межгрупповых различиях или использовать методы малых выборок, такие как точные тесты или бутстреппинг ?
  • В случае, если процедура рандомизации кажется неправильной: можно и нужно ли рассчитывать оценки склонности и включать их в качестве ковариат в основной анализ?

Анализ

На этапе анализа исходных данных можно использовать несколько анализов:

  • Одномерная статистика (одна переменная)
  • Двумерные ассоциации (корреляции)
  • Графические методы (точечные диаграммы)

При анализе важно учитывать уровни измерения переменных, поскольку для каждого уровня доступны специальные статистические методы:

  • Номинальные и порядковые переменные
    • Подсчет частоты (числа и проценты)
    • Ассоциации
      • обходы (перекрестные таблицы)
      • иерархический логлинейный анализ (максимум 8 переменных)
      • логлинейный анализ (для определения релевантных / важных переменных и возможных искажающих факторов)
    • Точные тесты или начальная загрузка (в случае небольших подгрупп)
    • Вычисление новых переменных
  • Непрерывные переменные
    • Распределение
      • Статистика (M, SD, дисперсия, асимметрия, эксцесс)
      • Стволовые и листовые дисплеи
      • Коробчатые диаграммы

Нелинейный анализ

Нелинейный анализ часто необходим, когда данные записываются из нелинейной системы . Нелинейные системы могут проявлять сложные динамические эффекты, включая бифуркации , хаос , гармоники и субгармоники, которые невозможно проанализировать с помощью простых линейных методов. Нелинейный анализ данных тесно связан с идентификацией нелинейных систем .

Анализ основных данных

На этапе основного анализа выполняется анализ, направленный на ответ на вопрос исследования, а также любой другой соответствующий анализ, необходимый для написания первого проекта отчета об исследовании.

Исследовательский и подтверждающий подходы

На этапе основного анализа может быть применен исследовательский или подтверждающий подход. Обычно подход определяется до сбора данных. В исследовательском анализе перед анализом данных не формулируется четкая гипотеза, и в данных проводится поиск моделей, которые хорошо описывают данные. В подтверждающем анализе проверяются четкие гипотезы о данных.

Исследовательский анализ данных следует интерпретировать осторожно. При одновременном тестировании нескольких моделей высока вероятность того, что хотя бы одна из них будет значимой, но это может быть связано с ошибкой 1-го типа . Важно всегда корректировать уровень значимости при тестировании нескольких моделей, например, с поправкой Бонферрони . Кроме того, после исследовательского анализа не следует проводить подтверждающий анализ в том же наборе данных. Исследовательский анализ используется для поиска идей для теории, но не для проверки этой теории. Если в наборе данных обнаруживается исследовательская модель, то последующий анализ с подтверждающим анализом в том же наборе данных может просто означать, что результаты подтверждающего анализа связаны с той же ошибкой 1-го типа, которая привела к исследовательской модели в первом наборе данных. место. Таким образом, подтверждающий анализ не будет более информативным, чем исходный исследовательский анализ.

Стабильность результатов

Важно получить некоторое представление о том, насколько обобщаемы результаты. Хотя это часто бывает трудно проверить, можно посмотреть на стабильность результатов. Являются ли результаты надежными и воспроизводимыми? Это можно сделать двумя основными способами.

  • Перекрестная проверка . Разделив данные на несколько частей, мы можем проверить, распространяется ли анализ (например, подобранная модель), основанный на одной части данных, на другую часть данных. Однако перекрестная проверка обычно неуместна, если есть корреляции в данных, например, с панельными данными . Следовательно, иногда необходимо использовать другие методы проверки. Для получения дополнительной информации по этой теме см. Проверка статистической модели .
  • Анализ чувствительности . Процедура для изучения поведения системы или модели при (систематическом) изменении глобальных параметров. Один из способов сделать это - использовать самозагрузку .

Бесплатное программное обеспечение для анализа данных

Среди известных бесплатных программ для анализа данных:

  • DevInfo - система баз данных, одобренная Группой развития Организации Объединенных Наций для мониторинга и анализа человеческого развития.
  • ELKI - фреймворк интеллектуального анализа данных на Java с функциями визуализации, ориентированными на интеллектуальный анализ данных.
  • KNIME - Konstanz Information Miner, удобный и комплексный фреймворк для анализа данных.
  • Orange - инструмент визуального программирования с интерактивной визуализацией данных и методами статистического анализа данных, интеллектуального анализа данных и машинного обучения .
  • Pandas - библиотека Python для анализа данных.
  • PAW - Фреймворк для анализа данных FORTRAN / C, разработанный в ЦЕРНе .
  • R - язык программирования и программная среда для статистических вычислений и графики.
  • ROOT - фреймворк для анализа данных C ++, разработанный в CERN .
  • SciPy - библиотека Python для анализа данных.
  • Джулия - язык программирования, хорошо подходящий для численного анализа и вычислений.

Международные конкурсы по анализу данных

Различные компании или организации проводят конкурсы по анализу данных, чтобы побудить исследователей использовать свои данные или решить конкретный вопрос с помощью анализа данных. Вот несколько примеров известных международных конкурсов по анализу данных:

Смотрите также

использованная литература

Цитаты

Библиография

  • Адер, Герман Дж. (2008a). «Глава 14: Этапы и начальные шаги в анализе данных». В Adèr, Herman J .; Мелленберг, Гидеон Дж .; Рука, Дэвид Дж (ред.). Консультации по методам исследования: товарищ консультанта . Хейзен, Нидерланды: Паб Йоханнес ван Кессель. С. 333–356. ISBN 9789079418015. OCLC  905799857 .
  • Адер, Герман Дж. (2008b). «Глава 15: Основная фаза анализа». В Adèr, Herman J .; Мелленберг, Гидеон Дж .; Рука, Дэвид Дж (ред.). Консультации по методам исследования: товарищ консультанта . Хейзен, Нидерланды: Паб Йоханнес ван Кессель. С. 357–386. ISBN 9789079418015. OCLC  905799857 .
  • Табачник, Б.Г. и Фиделл, Л.С. (2007). Глава 4: Приведение в порядок своего выступления. Данные скрининга перед анализом. В Б. Г. Табачник и Л. С. Фиделл (ред.), Использование многомерной статистики, пятое издание (стр. 60–116). Бостон: Pearson Education, Inc. / Аллин и Бэкон.

дальнейшее чтение

  • Адер, HJ и Мелленберг, GJ (с участием DJ Hand) (2008). Консультации по методам исследования: помощник консультанта . Huizen, Нидерланды: Johannes van Kessel Publishing. ISBN  978-90-79418-01-5
  • Чемберс, Джон М .; Кливленд, Уильям С .; Кляйнер, Бит; Тьюки, Пол А. (1983). Графические методы анализа данных , Wadsworth / Duxbury Press. ISBN  0-534-98052-X
  • Фанданго, Армандо (2017). Анализ данных Python, 2-е издание . Packt Publishers. ISBN  978-1787127487
  • Джуран, Джозеф М .; Годфри, А. Блэнтон (1999). Справочник Джурана по качеству, 5-е издание. Нью-Йорк: Макгроу Хилл. ISBN  0-07-034003-X
  • Льюис-Бек, Майкл С. (1995). Анализ данных: введение , Sage Publications Inc, ISBN  0-8039-5772-6
  • NIST / SEMATECH (2008) Справочник по статистическим методам ,
  • Пыздек, Т. (2003). Справочник по качеству , ISBN  0-8247-4614-7
  • Ричард Верьярд (1984). Прагматический анализ данных . Оксфорд: Научные публикации Блэквелла. ISBN  0-632-01311-7
  • Tabachnick, BG; Фиделл, LS (2007). Использование многомерной статистики, 5-е издание . Бостон: Pearson Education, Inc. / Allyn and Bacon, ISBN  978-0-205-45938-4