Секрет больших данных. Как Украине помочь самой себе

В решении сложных проблем Запад успешно использует метод анализа «больших данных», который пригодился бы и Украине, например, в энергосбережении

Термин «большие данные» впервые появился в 2008 году в англоязычном журнале Nature в статье «Как могут повлиять на будущее науки технологии, открывающие возможности работы с большими объемами данных?». В ней были собраны материалы о феномене взрывного роста объемов и многообразия обрабатываемых данных, а также о технологических перспективах в парадигме вероятного скачка «от количества к качеству». Сам же термин был предложен по аналогии с расхожими в деловой среде метафорами «большая нефть», «большая руда».

Уже в 2010 году появляются первые продукты и решения, относящиеся к проблеме обработки больших данных. А к 2011 году большинство крупнейших поставщиков информационных технологий для организаций в своих деловых стратегиях используют понятие «большие данные», в том числе IBM и Microsoft.

«Большие данные» в информационных технологиях - серия подходов, инструментов и методов обработки данных огромных объемов. Смысл обработки состоит в том, что теперь из огромного массива данных есть возможность получать знания, которые невозможно получить, если мы используем лишь небольшие объемы данных (выборку данных), так как в этом случае всегда теряется что-то важное.

Как можно использовать этот подход для повышения качества государственного управления в Украине, столь необходимого для успеха реформ, и для повышения качества энергосбережения в нашей стране? Попробую дать несколько идей для правительства.

Главными сборщиками информации в экономике являются госорганы. В отличие от держателей информации в частном секторе госорганы обязывают предоставлять им информацию. Поэтому они и дальше будут накапливать большие объемы данных. Но, несмотря на преимущественное положение в этом отношении, госорганы, как правило, не умеют эффективно распоряжаться большими данными. Поэтому лучший способ извлечь пользу из данных - предоставить эту задачу частному сектору.

Эта идея имеет обоснование. Ведь государство собирает данные от имени своих граждан, поэтому логично предположить, что оно должно предоставить доступ к ним обществу. Разумеется, кроме тех случаев, которые связаны с обеспечением общественной безопасности.

В настоящее время в мире запущено большое количество проектов открытия государственных данных. Идея открытых государственных данных получила свое развитие, когда Барак Обама в 2008 году издал указ, обязывающий руководителей открывать как можно больше данных. По указу Обамы был создан сайт-хранилище общедоступной информации от правительства. К этому тренду вскоре присоединился и ЕС. Помимо национального уровня растет число городов и муниципалитетов по всему миру, которые также приняли политику открытых данных в качестве руководства к действию. Не отстают от этого и такие организации, как Всемирный банк.

Вокруг данных сформировались общества разработчиков, стремящихся выяснить способы максимальной отдачи от данных, например, Sunlight Foundation в США и Open Knowledge Foundation в Великобритании.

США и Великобритания уже получают эффект от этой деятельности, что сказывается на повышении качества госуправления в этих странах. Украинскому правительству следует обратить внимание на этот вопрос, так как для этого не нужно много денежных средств, но выгоды будут большие. Например, как от применения анализа больших данных в энергосбережении.

Интеллектуальные энергетические сети представляют собой новое поколение электроэнергетической инфраструктуры третьей промышленной революции, о которой я писал. Являясь основным элементом энергетического интернета, интеллектуальная сеть гораздо более надежна, чем традиционные линии электропередач. Она предлагает наличие сложных систем мониторинга, связи и генерации энергии, которые обеспечивают более надежное обслуживание и восстановление после отключения питания или возникновения других проблем. Различные датчики и мониторы отслеживают множество показателей работы самой энергосистемы и электроэнергии, подающейся через нее.

Одно из нововведений - так называемый интеллектуальный счетчик. Интеллектуальный счетчик автоматически снимает данные каждые 15 мин или 1 час. Это позволяет более точно оценивать структуру энергопотребления каждой семьи или предприятия, а также целого района или даже всей сети. Объем этих данных будет огромным. И только методология «больших данных» сможет их обработать.

Интеллектуальные сети уже применяются в некоторых странах Европы и Америки. В конце ноября этого года Йоханнес Тайссен, СЕО немецкого коммунального энергоконцерна E.ON, заявил, что резкие изменения на глобальных энергетических рынках, инновации и рост индивидуальных ожиданий клиентов требуют нового подхода.

Со временем практически каждую ныне привычную электрическую сеть в мире заменит интеллектуальная. Объем данных о потреблении электроэнергии, которые станут доступными для коммунальных предприятий, вырастет в геометрической прогрессии.

С точки зрения управления электропитанием данные от интеллектуальных счетчиков помогут лучше понять потребителей. Периоды пиковой нагрузки заставляют предприятия наращивать генерируемые мощности, что требует существенных затрат компаний. Однако если стоимость энергии будет меняться в зависимости от времени суток и измеряться счетчиком, то у потребителей появится стимул изменить свое поведение. Вот ключ к решению задекларированной недавно Кабмином задачи – установить различные тарифы на электроэнергию в зависимости от времени суток, когда она потребляется. Снижение нагрузки на сеть и поддержание более стабильного уровня потребления приведут к уменьшению необходимости к расширению инфраструктуры и снижению затрат. Разве этот вопрос не актуален для Украины?

Энергетические компании смогут выявлять всевозможные дополнительные тенденции, анализируя данные, предоставляемые интеллектуальными счетчиками. От этого выиграют все. Потребители получат возможность использовать индивидуальные тарифы, основанные на индивидуальных особенностях потребления. Клиент, который потребляет электроэнергию во время периодов пиковой нагрузки, будет платить больше, чем другие, и это заставит его изменить модель потребления электроэнергии в сторону ее уменьшения. Вот ключ к решению вопроса экономного потребления электроэнергии в Украине.

Коммунальные предприятия смогут лучше прогнозировать спрос, поскольку более подробно будут определять его закономерности. Все это уменьшит необходимость в наращивании дорогостоящих генерирующих мощностей, а эта проблема сейчас является для Украины одной из наиболее острых и сложных.

Приведенный пример использования больших данных в энергетике позволит украинской энергетической отрасли резко повысить свою эффективность (у нас удельное потребление энергии - одно из самых высоких в Европе) и, таким образом, резко сократить зависимость от импорта энергоносителей и сделать важный шаг в реформировании национального энергосектора.

В современном мире уже нельзя повышать производительность труда и в государственном управлении и в промышленности, и эффективность потребления в частном секторе, не учитывая современные информационные подходы, одним из которых является метод «больших данных». Поэтому правительство Украины должно обратить на это серьезнейшее внимание.

Иногда решения бывают легкими, необходимо только иметь желание осуществить их, а также нужна достаточная степень инновационности. Тем более что первые шаги в этом направлении сделали другие страны (совершив возможные ошибки, выводы из которых мы можем извлечь). Украине нужно только принять для своей пользы эти уже работающие методологии.

Кто же будет обрабатывать эти данные? Хорошая новость - 16 декабря 2014 года корпорация IBM открыла доступ к Watson Analytics для всех. Так что было бы желание, а средства анализа уже ждут.