Вопрос или проблема
Я ищу статистику, чтобы понять, как изменялся размер (публичного) набора данных на протяжении лет.
Я только что нашел следующую статистику:
- Опрос KDnuggets, который на самом деле показывает, что на протяжении лет следующее:
Гигабайты продолжают доминировать: большинство ответов (56% в 2018 году, 57% в 2016, 56% в 2015, 54% в 2014, 53% в 2013) находятся в диапазоне гигабайтов. Общий медианный ответ снова был между 11 и 100 ГБ (что удобно помещается на одном ноутбуке) для каждого года с 2012 года.
Вы знаете, где можно найти лучшую статистику?
Я полагаю, что средний размер набора данных увеличился. Если нет, я хотел бы увидеть, увеличился ли хотя бы размер доступных данных о компаниях.
После того как я взглянул на статью, которую вы цитируете, на KDNuggets, в этой статье они анализируют данные за последний год (опрос), но они делали это в течение нескольких прошлых лет.
Возможно, взглянув на прошлые годы, вы сможете извлечь какие-то лучшие данные.
Также на этом другом форуме https://opendata.stackexchange.com/ они говорят об открытых данных, возможно, здесь вы получите более точный ответ.
Ответ или решение
Объемы данных: Эволюция за годы
В последние годы вопрос объема данных становится все более актуальным, особенно в контексте роста технологий и увеличения объемов информации, с которой дают возможность работать публичные и частные организации. Чтобы оценить динамику изменений в размерах разнообразных наборов данных, можно обратиться к статистике, предоставленной различными источниками, включая опросы и специализированные исследования.
Статистический анализ
По данным опроса, проведенного ресурсом KDnuggets, на протяжении нескольких лет наблюдается стабильная тенденция. В 2018 году 56% участников опроса сообщили, что их массивы данных при этом находятся в диапазоне гигабайт. Эти же показатели наблюдаются и в предыдущие годы:
- 57% в 2016 году,
- 56% в 2015 году,
- 54% в 2014 году,
- 53% в 2013 году.
Это указывает на то, что большинство специалистов работает с наборами данных, которые можно удобно разместить на одном ноутбуке, а медианное значение по-прежнему находится в пределах от 11 до 100 ГБ.
Тенденции роста
Согласно многочисленным исследованиям и аналитическим отчетам, можно уверенно заявить о том, что средний размер наборов данных, по всей вероятности, увеличился. Это связано с несколькими факторами:
-
Увеличение объемов собранных данных: С ростом числа сенсоров, устройств IoT и онлайн-активности пользователей сбор данных стал более обширным и многообразным.
-
Развитие технологий: Улучшение технологий хранения и обработки данных сделало возможным анализ больших объемов информации, что открывает новые горизонты для бизнеса и науки.
-
Большее разнообразие источников: Появление бещитчатых, связанных и открытых данных стирает границы между традиционными и новыми видами данных, увеличивая общую доступность.
Чтобы приблизительно оценить динамику открытых данных, можно также рассмотреть обсуждения на форумах, таких как OpenData Stack Exchange, где активно обсуждаются вопросы открытых данных и их доступности. Взаимодействие сообщества позволяет получить актуальную информацию о размерах и качествах открытых наборов данных.
Рекомендации по дальнейшему исследованию
Если вы ищете более детальные данные о динамике объемов данных во временном контексте, рекомендуется:
-
Анализировать публикации научных журналов и конференций, где могут быть представлены передовые исследования в области работы с большими данными.
-
Посмотреть на отчеты крупных технологий и исследовательских компаний, таких как IBM, Gartner, и McKinsey, которые регулярно публикуют свои исследования о большой аналитике.
-
Участвовать в специализированных форумах и вебинарах, чтобы задать вопросы экспертам и получать вовлеченные ответы.
Заключение
Подводя итоги, можно утверждать, что идет заметный рост в размерах наборов данных на протяжении последних лет. Несмотря на то, что большинство работающих с данными все еще оперируют наборами объемом в гигабайты, есть свидетельства о тенденциях к увеличению объемов анализа данных. Принятое решение о том, где искать более полную информацию, зависит от ваших конкретных нужд и интересов в данной области.