Big data изменяют Китай

Разберёмся в нескольких важных единицах хранения информации

Одна песня со стандартным качеством звука – это 4 мегабайта (Мб).

Один фильм со стандартным качеством графики – это 1 гигабайт(Гб, 1 гигабайт = 1024 мегабайтам, то есть размер фильма равен размеру250 песен со стандартным качеством звука).

Книжный фонд обычной библиотеки – это 1 терабайт (Тб, 1 терабайт = 1024 гигабайтам, это размер 1024 фильмов со стандартным качеством графики).

В действительности лавинообразное увеличение объёма самых разнообразных данных наблюдается не только в интернет-индустрии, но и во множестве других отраслей и индустрий, с единственным отличием – в масштабе. Если критерии больших данных ограничить исключительно интернет-индустрией и считать, что они используются только в ней, это серьёзно сузит смысл понятия «большие данные». В конце концов объём – это только одно проявление, а сущностью больших данных является как раз их ценность, и при этом большой объём совсем не обязательно представляет большую ценность. Подлинное значение больших данных заключается всё же в большой ценности, которая, в свою очередь, приобретается прежде всего за счёт консолидации, анализа и открытия данных. С этой точки зрения подлинное значение больших данных состоит в том, что человек, получив беспрецедентные возможности для использования огромного массива данных, выявил в них новые знания, создал новые ценности и тем самым принёс обществу «большое знание», «большую науку и технику», «большую эффективность», «большой интеллект» и другие возможности для развития.

Выше мы обсудили понятийное различие между «данными» и «большими данными», однако самый лучший способ постичь какое-либо понятие – это понять его происхождение в динамике. Формирование больших данных объясняется не только прогрессом в информационных технологиях, но и результатом того влияния, которое оказывали друг на друга многочисленные достижения, сделанные в разное время в области информационных технологий.

1.2. Революция запоминающих устройств: эволюция, приведённая в движение действием закона Мура

В 1965 году один из создателей компании Intel Гордон Мур, проведя исследование закономерностей развития аппаратных средств вычислительных устройств, сформулировал знаменитый закон Мура. Согласно которому количество транзисторов, которое может быть размещено на микросхеме одной площади, увеличивается вдвое за период от одного года до двух лет[2 - В 1965 году, когда Мур впервые обнаружил данную закономерность, он считал, что продолжительность периода составляет один год; в 1975 году он скорректировал её до двух лет. По мнению некоторых специалистов, этот период составляет 18 месяцев.].

Постичь значимость увеличения числа транзисторов совсем непросто. Первоначальная идея Мура состояла в том, что увеличение плотности транзисторов на удельную площадь микросхемы приведёт к тому, что быстродействие аппаратных средств вычислительных устройств и их запоминающая способность, то есть их основные характеристики, будут увеличиваться вдвое за срок от одного года до двух лет. Было бы правильным, если бы улучшение характеристик влекло за собой повышение цены, однако в реальности происходит ровно наоборот: в последние полвека характеристики аппаратных средств непрерывно улучшались, при этом их стоимость непрерывно снижалась. Главная стоящая за этим причина, как ни удивительно, в постоянном уменьшении размеров транзисторов, поскольку уменьшение габаритов приводит и к снижению себестоимости; помимо этого, спрос на транзисторы возрастает с течением времени, а крупномасштабность производства также влечёт за собой непрерывное удешевление.

Оглядываясь на последние более чем полвека, отметим, что развитие аппаратных средств вычислительных устройств в принципе соответствовало закону Мура, что схематично показано на рисунке 1.4. Рассмотрим в качестве примера физическую память. Её свойства действительно постоянно улучшаются, в то же время стоимость неизменно падает. В 1955 году компания IBM выпустила первый блок памяти для коммерческого использования, запоминающее устройство ёмкостью 1 мегабайт стоило более 6 000 долларов США. Впоследствии его цена непрерывно снижалась: в 1960 году она снизилась до 3 600 долларов, в 1993 году – до 1 доллара, в 2000 году – примерно до 1 цента, к 2010 году стоимость каждого мегабайта составляла около 0,005 цента. За период чуть более полувека цена на запоминающее устройство опустилась до одной стомиллионной от первоначальной цены – масштаб и стремительность подобной перемены поистине поражает. В реальности за всю историю человечества не было ни одного другого продукта, размах снижения цены на который был бы настолько огромным!

Рисунок 1.4. Соотношение реального количества транзисторов на микросхеме центрального процессора в 1971–2011 годах и предполагаемого законом Мура

Примечание: вертикальная ось показывает количество транзисторов, горизонтальная – годы. Данная кривая демонстрирует, что в 1971–2011 гг. количество транзисторов на микросхемах центральных процессоров одинаковой площади увеличивалосьвдвое примерно каждые два года. Необходимо отметить, что на самом деле от 2 300до 10 000 и затем 100 000 на вертикальной оси увеличение показано не в пропорциональном виде. Если строить график строго в соответствии с пропорциями, из-за крайне резкого взлёта кривой было бы невозможно вместить его на страницу (источникматериала: Википедия).

УГЛУБЛЁННЫЙ ВЗГЛЯД

Количество произведённых транзисторов значительно превосходитколичество имеющихся в мире зёрен риса

Транзисторы производятся из кремния, по сути своей, они являютсяпереключателями: когда транзистор пропускает через себя ток, это выражает результат «1», когда не пропускает – результат «0». Это самыймаленький составной элемент электронной продукции. В одном ноутбуке имеется около 40 миллиардов транзисторов, в смартфоне – приблизительно 1 миллиард. Производство транзисторов (то есть полупроводниковая индустрия) заслуженно считается самой высокопродуктивнойотраслью в истории человечества. В настоящее время количество производимых во всём мире в год транзисторов превосходит даже количествоежегодно потребляемых зёрен риса: в 2002 году количество произведённыхтранзисторов превышало количество зёрен риса примерно в 40 раз, а поцене 1 зёрнышка риса можно было купить 100 транзисторов [3]; к 2009 годуколичество производимых транзисторов ещё увеличилось и стало превышать количество зёрен риса в 250 раз, теперь по цене 1 зёрнышка можнокупить 100 тысяч транзисторов [4].

В наше время в соответствии с действием законом Мура развитие аппаратных средств достигло такой степени, что на площади, аналогичной площади кончика волоса, можно разместить десять тысяч транзисторов. Конечно, размер транзисторов не может уменьшаться до бесконечности, поэтому в последние десять с небольшим лет в профессиональной среде ведётся жаркая полемика вокруг следующего вопроса: продолжит ли наблюдаться описываемый законом Мура феномен, то есть может ли количество транзисторов на удельной площади увеличиваться и даже удваиваться? Если может, то на протяжении ещё какого времени?

В 2003 году этот вопрос задали Гордону Муру как человеку, обнаружившему рассматриваемую нами закономерность. По его мнению, «инновациям нет предела, и в следующее десятилетие закон Мура, вероятно, всё ещё будет действовать».

Как свидетельствуют факты, Мур был прав. В 2011 году компания Intel объявила об изобретении 3D (трёхмерных) 22-нанометровых транзисторов, что временно поставило в полемике точку. 22-нанометровые транзисторы оказались примерно на треть меньше своих самых маленьких по 23 размеру предшественников – 31-нанометровых транзисторов. Учитывая крошечный размер, новые транзисторы оказались, безусловно, более дешёвыми и более энергосберегающими. В 2012 году Intel объявила об инвестиции 5 миллиардов долларов США для строительства завода в штате Аризона, где в 2014 году было запущено производство 14-нанометровых транзисторов – их размер уменьшился по сравнению с размером 22-нанометровых транзисторов ещё на треть. В январе 2019 года Intel обнародовала первый процессор Ice Lake, созданный по 10-нанометровой технологии, то есть таким образом на одном квадратном миллиметре площади было помещено 100 миллионов транзисторов. Планируется, что продукт будет выпущен в конце 2019 года и в 2020 году будет поставлен на рынки [5].

Изобретение компании Intel заставило большую часть учёных поверить в то, что миниатюризация транзисторов может продолжаться ещё как минимум десятилетие, то есть срок жизни закона Мура до сих пор не истёк. В будущем цена 1 терабайта объёма жёсткого диска будет равняться стоимости одной чашки кофе, о чём свидетельствует кривая его цены в последние годы, показанная на рисунке 1.5. Объём данных собрания печатных изданий крупнейшей библиотеки мира – библиотеки Конгресса США – составляет примерно 15 терабайтов, объем данных обычной университетской библиотеки, возможно, около 1–2 терабайтов. То есть в недалёком будущем будет возможно, потратив деньги, эквивалентные стоимости одной чашки кофе, скопировать всю информацию какой-либо библиотеки на миниатюрный жёсткий диск. Ещё никогда в истории информация не была столь удобной с точки зрения хранения и столь дешевой с точки зрения себестоимости.

Рисунок 1.5. Изменение цены на 1-терабайтные жёсткие диски

Примечание: автор отследил стоимость жёстких дисков компании Seagate Technologyна сайтах amazon и JD в разные периоды времени: в 2012–2019 годы цена 1-терабайтных жёстких дисков очевидным образом снижается.

УГЛУБЛЁННЫЙ ВЗГЛЯД

Благодаря действию закона Мура аппаратные средства стали продуктоммассового потребления

Действие закона Мура привело к значительному снижению цены нааппаратные средства и в конечном итоге к тому, что некогда дорогостоящие компьютерные компоненты стали предметом массового потребления, а изначально относившиеся к высокой ценовой категории продукты,такие как лазерные принтеры, серверы и смартфоны, постепенно распространились за пределы научно-исследовательских организаций и крупныхпредприятий и вошли в нашу повседневную жизнь. В связи с описанной популяризацией оборудования в некоторых компаниях США наблюдается даженовая тенденция: поощрение сотрудников к тому, чтобы они приносили наработу свои собственные устройства (Bring Your Own Device, BYOD), самикомпании предоставляют только сеть и рабочее пространство, становясьтаким образом «облегчёнными» компаниями.

Помимо удешевления и улучшения характеристик действие закона Мура приводит также к постоянному уменьшению размеров самой разнообразной вычислительной техники. В 1988 году это явление было резюмировано американским учёным Марком Уайзером как «повсеместные вычисления». Теория повсеместных вычислений гласит, что после своего изобретения компьютеры должны пройти три основных этапа. Первый – это этап «главного устройства», подразумевающий совместное использование суперкомпьютера большим количеством людей, суперкомпьютер при этом занимает половину комнаты. Второй – этап персональных компьютеров: они станут меньше, и у каждого человека появится по компьютеру. Так Уайзер смог «перешагнуть» из своего времени в наше. Описанное положение вещей уже практически реально, однако Уайзер гениально предвидел, что «у каждого по компьютеру» не есть конец эпохи. На третьем этапе компьютеры станут ещё меньше – настолько маленькими, что их будет не видно человеческому глазу, и люди смогут широко разместить в своей повседневной среде самые разные микрокомпьютеры и иметь таким образом возможность в любое время и в любом месте получать и обрабатывать данные. В итоге произойдёт слияние вычислительных устройств и окружающей среды. Такой этап получил название этапа повсеместных вычислений.

Сегодня волна третьего этапа повсеместных вычислений стремительно движется на нас, крошечные смартфоны по своим свойствам уже ни в чём не уступают полноценным компьютерам, всё меньше становятся разнообразные датчики, бурно развиваются тэги RFID (радиочастотной идентификации), всё ближе устройства, которые могут быть вмонтированы в мир вокруг нас.

Тэги RFID получили широкое применение в розничной продаже, медицине, городском управлении, системах кормления животных и других областях. В последние два года в Шанхае и Учжэне непрерывно развивают сферу применения умных контейнеров для мусора, внутри которых установлены датчики RFID, в режиме реального времени считывающие количество положенного мусора и объём хранения. Контейнеры также могут автоматически «уведомлять» дворников о том, какой из них наполнен и требует очистки, что в значительной мере повысило эффективность работы в сфере городского управления. RFID меняет и авиаиндустрию. В 2019 году компания China Eastern Airlines установила технологию RFID в систему транспортировки багажа, таким образом наделив этого «безмолвного пассажира» способностью к «выражению». Через мини-приложение WeChat пассажиры могут запросить перевозочный статус зарегистрированного багажа, его точное закреплённое положение, в реальном времени отслеживать изменение статуса, как если бы для багажа была установлена система отслеживания позиции GPS [6].

«Начальным годом эры носимой электроники» можно считать 2012 год, когда были выпущены очки Google Glass. После этого одно за другим стали появляться носимые электронные устройства – миниатюрные электронные устройства, которые можно носить на себе и которые не стесняют движений. Такие устройства могут регистрировать физическое положение человека, на котором они находятся, количество сожжённых им калорий, температуру тела, сердцебиение, режим сна, количество шагов, показатели здоровья и другие данные. В 2015 году опубликованная в СМИ фотография игроков команды Китая на Кубке Азии по футболу, тренирующихся в чёрных «бикини», заняла одно из самых высоких мест в рейтинге «горячих запросов». В действительности же привлекательно минималистичные тренировочные майки футболистов представляли собой не что иное как носимое электронное оборудование под названием GPSports, способное вести сбор и мониторинг таких параметров, как расстояние, которое пробежал спортсмен, траектория его бега, скорость, ускорение и изменение частоты сердечных сокращений. На основе сравнения и углублённого анализа данных тренер может разработать план тренировки, определить состав, ко-торый будет участвовать в матче, непосредственно в ходе матча принять ключевые командные решения [7].

Приведём ещё один пример. Французский производитель спортивного инвентаря Babolat установил на ручки теннисных ракеток датчики, способные регистрировать параметры состояния в то время, когда игрок ударяет по мячу, в частности тип удара (форхенд или бэкхенд), точку удара в мяч, силу удара по мячу, скорость мяча, направление вращения мяча и др. Все эти данные практически в режиме реального времени передаются в находящиеся здесь же, на спортивной площадке, смартфоны и планшеты тренеров и спортсменов, предоставляя им доступ к данным в любое удобное время. На Открытом чемпионате по теннису в Австралии 2014 года «первая леди» китайского тенниса Ли На использовала ракетку именно этой фирмы. В целях содействия использованию таких ракеток Международная федерация тенниса (International Tennis Federation, ITF) поменяла в 2013 году устав: начиная с января 2014 года спортсменам разрешалось использовать на международных соревнованиях ракетки с датчиками для того, чтобы записывать и анализировать собственные данные. На будущих соревнованиях при условии согласия спортсмена возможна даже демонстрация собранных данных на установленных непосредственно на месте состязаний экранах для широкой публики.

Использование датчиков быстро вошло не только в футбол и теннис, но и в бейсбол, регби и другие виды спорта. По мнению одной исследовательской организации США, выручка спортивной индустрии США в ближайшие несколько лет может существенно возрасти, и главная причина этого заключается как раз в изменении характера функционирования индустрии в целом, вызванном технологией сбора и анализа данных с помощью датчиков.

Носимое электронное оборудование имеет множество других применений, помимо спорта, уже даже крошечные подгузники начали наращивать «собственный ум». В 2015 году китайский бренд Backkom изобрёл умные подгузники нового типа: с помощью Bluetooth установленное внутри подгузника лёгкое интеллектуальное устройство для считывания температуры привязывается к телефону того, кто ухаживает за ребёнком, и каждый раз, когда ребёнок пописает, чувствительное интеллектуальное устройство посредством мелодии или вибрации об этом уведомляет. Кроме того, продукты, аналогичные наиболее репрезентативному среди носимых электронных устройств изделию – одно время модным очкам Google Glass, – получили широкое распространение и за пределами развлечений. В феврале 2018 года Чжэнчжоуская железнодорожная полиция самой первой в железнодорожной системе Китая использовала полицейские очки для сопоставления лиц. По сообщениям новостей, такие очки способны путём идентификации лиц проводить скрининг пассажиров и выявлять среди них правонарушителей, чтобы тем самым улучшить общественный порядок и обстановку в поездах [8].

Сущность повсеместных вычислений состоит в том, что физическая среда повседневной жизни человека широко наполняется крошечными вычислительными устройствами, повсеместно осуществляющими автоматический сбор данных, что означает улучшение возможностей человека. До описанного положения вещей цифровые данные производились преимущественно разнообразными информационными системами, которые главным образом регистрировали данные, возникшие в ходе бизнес-процессов. Однако в результате появления датчиков и становления соответствующей технологии у человека появилась возможность крупномасштабной регистрации явлений физического мира, и этот прогресс подстегнул приход эпохи больших данных.

1.3. Социальные медиа: всеобщий вклад, или Как каждый из нас производит данные

Подлинный «взрыв данных» произошёл в эпоху социальных медиа.

С 2004 года на свет одно за другим стали появляться социальные медиа, например: Facebook и Twitter, – что стало толчком к началу новейшей эры в истории Интернета – Веб 2.0. До этого основное назначение Интернета состояло в распространении и совместном использовании информации, главной формой организации чего были интернет-сайты. Однако сайты статичны. С наступлением эры Web 2.0 Интернет начал становиться проводником для происходящих в реальном времени взаимодействия, коммуникации и коллаборации.

Помимо обеспечения невероятного по уровню роста возможностей для взаимодействия и коллаборации ещё одна важная роль социальных медиа состоит в предоставлении площадки для бесчисленного количества пользователей Интернета со всего мира, благодаря чему они могут в любое удобное время и в любом удобном месте фиксировать свои поступки и мысли. Это фиксирование, по сути своей, и является тем, что вносит вклад в производство данных. Выше мы уже говорили о том, что все данные являются искусственно произведёнными, все данные – это выполняемые нами в отношении реального мира измерения, фиксации и вычисления. Начиная с 1946 года, когда с изобретением вычислительного устройства человечество вошло в информационную эру и ещё не были созданы социальные медиа, данные главным образом производили и собирали информационные системы и датчики. Однако в связи с внезапным появлением социальных медиа человек начал и сам производить данные в Интернете. Публикуемые пользователями записи в Weibo и отправляемые ими через WeChat сообщения, фиксирующие личные действия и поступки, – такие данные получили название «поведенческие», их отношение к другим типам данных показано на рисунке 1.6.

Благодаря появлению социальных медиа пользователи Интернета со всего мира начали становиться создателями данных. Каждый из нас, будто информационная система или датчик, непрерывно создаёт данные. Это повлекло за собой беспрецедентный по своему размаху «взрыв данных».

Помимо резкого увеличения объёма данных социальные медиа привели также к усложнению устройства вселенной данных. Кто-то, создавая пост в микроблоге, прикрепляет изображение, кто-то – видео, произведённые ими данные и по размеру, и по структуре совершенно различны. В связи с отсутствием строгой структуры данные, созданные в социальных медиа, называются также неструктурированными.

Рисунок 1.6. Разные данные с точкизрения размера и типа

Примечание: взаимное влияние разных типов данных. Коммерческие данные могут естественным образом содержать в себе и производить данные о поведении человека и окружающей природной среде, точно так же данные о поведении человека и окружающейприродной среде являются взаимовключающимися, перекрёстными и взаимовлияющими. В прошлом мы фиксировали что-либо, только предварительно выбрав, что именнодолжно быть зафиксировано. В эпоху больших данных мы выбираем то, что зафиксировано быть не должно, и затем удаляем запись об этом. По мере непрерывного расширения сферы фиксирования можно быть уверенным: в будущем совокупный объём данных,имеющихся в распоряжении человека, будет нарастать подобно снежному кому.

Обработка подобных данных несопоставимо сложнее, чем обработка данных, имеющих строгую структуру. 15 марта 2019 года сервис микроблогов Sina Weibo опубликовал «Отчёт о развитии пользователей Weibo в 2018 году», согласно которому по состоянию на четвёртый квартал 2018 года среднее количество текстов, которые пользователи сервиса публиковали в сутки, составил 130 миллионов, среднее количество публиковавшихся за сутки изображений – 120 миллионов, среднее количество публиковавшихся за сутки видео и проведённых прямых эфиров – более 1,5 миллионов. Для сравнения: суммарный объём информации, опубликованной New York Times за прошедшие пятьдесят лет, не превышает 3 миллиардов слов.

Учитывая беспрецедентную скорость производства данных, примерно 75 % от общемировых данных в настоящий момент – это неструктурированные данные. Оглядываясь назад, мы можем сказать, что появление социальных медиа оказало на большие данные определяющее воздействие. Отталкиваясь от приведённого выше анализа, мы можем принять следующее:

Большие данные = структурированные данные + неструктурированные данные.

Однако, как мы уже упоминали, определение «большой» в понятии «большие данные» указывает не только на большой объём данных, но и на их большую ценность. Ценность же заключается в использовании. Как в случае с погребённой в недрах земли нефтью: она хотя и существовала с глубокой древности, человечество вошло в нефтяную эпоху благодаря тому, что появились технологии её добычи и переработки, – точно так же главная причина начала эпохи больших данных состоит в значительном прорыве и прогрессе в возможностях эти данные использовать.

1.4. Как интеллектуальный анализ данных «превращает цифры в золото»

Прорыв, сделанный в отношении возможностей использовать данные, проявляется в интеллектуальном анализе данных.

Под интеллектуальным анализом данных (data mining) подразумевается осуществляющийся с помощью специальных алгоритмов автоматический анализ больших объёмов данных, имеющий целью выявление скрытых в них закономерностей и тенденций, иными словами, получение из данных большого объёма новых знаний, от которых можно отталкиваться, принимая те или иные решения. Основная причина прогресса в интеллектуальном анализе данных, то есть способность человека непрерывно изобретать всё более сложные алгоритмы распознавания образов[3 - Алгоритмы – это специальные шаги, использующие методы и приёмы математики и статистики и предназначенные для решения определённого типа задач.] в сущности является прогрессом в программном обеспечении. Самой знаменательной вехой развития интеллектуального анализа данных стала 1-я ежегодная научная конференция по data mining, организованная в 1989 году американской Ассоциацией вычислительной техники (Association for Computing Machinery, ACM), Специальной группой по обнаружению информации и интеллектуальному анализу данных (Special Interest Group on Knowledge Discovery and Data Mining, SIGKDD). Результаты работы конференции были отражены в специальной периодике. После этого развитие интеллектуального анализа данных получило огромное ускорение.

И действительно, в последние десятилетия благодаря технологиям интеллектуального анализа данных в самых разных крупных компаниях отмечалось немало удивительных историй, связанных с «превращением цифр в золото». Приведём несколько примеров. Накапливавшиеся в течение долгого времени записи о финансовых операциях пользователей позволили компании Alibaba проникнуть в финансовую сферу. Теперь сервис может за несколько минут определить кредитные данные пользователя и на этом основании принять решение о выдаче ему кредита. Walmart повысил объём продаж товаров в магазинах за счёт связи «пиво и подгузник». Netflix, используя учёт смены предпочтений своих пользователей, строит предположения о том, что им понравится смотреть, на основании чего осуществляется целенаправленный маркетинг.

Непрерывное обновление, которое в последние годы характеризует применение интеллектуального анализа данных, позволяет надеяться на новые достижения в этой сфере в будущем. Например, к переломному моменту своего развития приближаются продовольственные рынки, с которыми мы вот уже несколько тысяч лет «смотрим друг на друга и не можем насмотреться». На проводившемся в начале 2019 года собрании местных партнёров Alibaba по поставкам свежей пищевой продукции компания Ele. me заявила о намерении «изменить продовольственный рынок», создать совершенно новую открытую платформу для доставки свежих продуктов, переместить продовольственный рынок в онлайн-формат, заставить традиционный продовольственный рынок попрощаться с существовавшей в течение нескольких тысяч лет моделью функционирования, когда «каждый сам за себя» и «продаёт не по спросу, а то, что выросло», кроме того, сделать так, чтобы платформа содействовала превращению продажи овощей в тренд.

Каким же образом осуществить это содействие? Основным инструментом для этого как раз и является интеллектуальный анализ данных. Главная болевая точка традиционного продовольственного рынка – это информационная асимметрия: продавцы, завозят продукцию на продажу и не имеют в своём распоряжении точной информации о рыночном спросе, что приводит к накапливанию товаров или возникновению проблем с качеством. В этой ситуации Ele.me, опираясь на огромные массивы данных, накопленных Alibaba, может предоставить продавцу максимально точный портрет покупателя, что позволит регулировать деятельность по поставкам продукции на продажу. Таким образом поставки продукции на продовольственные рынки больше не будут произвольными – процесс принятия решения передаётся алгоритмам, и уже они решают, какие товары необходимо завезти. Резонанс интересов предпринимателей и самой платформы, достигающийся за счёт подобного рода цифрового маркетинга, может стимулировать возникновение огромной коммерческой стоимости. Описанная модель была опробована и на рынке: после того, как сервис Dingdong Maicai вошел в Ele.me, количество заказов на платформе за 2018 год увеличилось в 20 раз, а ежемесячный оборот торговли превысил 10 миллионов юаней [9].