Big Data для внутренней автоматизации

«ИКС-Журнал» от 29 января

Представители компании Softline Дмитрий Бухаринов и Сергей Дианов приняли участие в дискуссионном клубе «ИКС-Журнала» и ответили на вопросы «Что в контексте бизнеса вашей компании означает BigData?», «С какими особенностями самих данных, с какими новыми инструментами для их захвата, обработки и анализа вы этот термин связываете?».

Сергей Дианов, руководитель отдела продаж систем бизнес-анализа, Softline: «В современном мире количество источников данных очень велико. Данные, в большинстве своем неструктурированные, в режиме реального времени поступают от различных датчиков, метеорологических зондов, RFID-меток, спутников, базовых станций связи, от устройств аудио- и видеорегистрации. Для их обработки требуются новые инструменты. Возможности по анализу данных с использованием математического аппарата есть не только в решениях класса Big Data, но и в иных средствах, они могут быть как встроенными в современные BI-системы, так и самостоятельными продуктами».

Дмитрий Бухаринов, ведущий аналитик отдел продаж систем бизнес-анализа, Softline: «И тут необходимо выделить технологию Hadoop. Это программный фреймворк, позволяющий хранить и обрабатывать данные с помощью компьютерных кластеров. В основе технологии лежит распределенная файловая система HDFS (Hadoop Distributed File System), которая обеспечивает хранение данных сразу на нескольких узлах кластера».

«Вторым важным элементом является MapReduce – фреймворк для вычисления распределенных задач, – продолжает Дмитрий Бухаринов. – В соответствии с ним обработка данных состоит из двух этапов: Map и Reduce. На этапе Map выполняется предварительная обработка данных, которая осуществляется параллельно на различных узлах кластера. На шаге Reduce происходит сведение предварительно обработанных данных в единый результат. Данный подход к хранению данных получил наименование NoSQL и предполагает распределенное хранение данных на нескольких равнозначных серверах».