В современном мире деятельность практически каждого человека уже интегрирована в цифровую среду, и для того, чтобы справиться с огромными потоками информации необходимы технологии больших данных (Big Data) и машинного обучения (Machine Learning).
В самых различных областях техники специалисты давно поняли, что самой низкопроизводительной и затратной технологией является создание каждого нового изделия заново с нуля. В полной мере это относится и к созданию программных изделий. В частности, информационно-аналитических систем, предназначенных для поддержки принятия управленческих решений.
Гораздо выгоднее строить информационно-аналитическую систему (ИАС) из заранее отработанных повторно используемых программных блоков по технологиям конструктора, применяя также заранее созданные инструментальные средства быстрой сборки и последующего контроля качества вновь созданной ИАС.
Такую совокупность основных компонентов, набор комплектующих, типовые конструктивные и технологические решения принято называть платформой.
При создании ИАС в сферах территориального управления, смарт-сити, ЖКХ, строительства, энергетики и т.д. также разумно применить платформенный подход, имея в виду необходимость быстрого ввода таких систем в эксплуатацию или быстрого предоставления сервиса.
Для обеспечения пользователей удобным и безопасным инструментом для поисково-аналитической работы, позволяющей взаимодействовать со структурированными, полуструктурированными и неструктурированными типами данных, мы предлагаем использовать Информационно-аналитическую Платформу (ИАП) — собственную разработку компании ЗАО "ЕС-лизинг".
Это полностью отечественная разработка, реализованная в 2014 году на основе многолетнего опыта нашей компании по созданию информационно-аналитических систем для различных заказчиков, в частности создания Централизованной информационно-аналитической системы (ЦИАС) Министерства сельского хозяйства РФ.
Информационно-аналитическая Платформа (ИАП) — готовая универсальная среда для быстрой разработки и исполнения прикладного программного обеспечения или сервисов, использующих технологии и методы работы с большими данными (Big Data), машинного обучения и искусственного интеллекта, ориентированных на решение конкретных информационно-аналитических задач наших клиентов.
ИАП осуществляет сбор, обновление, агрегацию и обработку входной информации из различных источников данных: открытых данных, из сети интернет и данных, поступивших от заказчика; выполнение аналитических, прогнозных работ; создание интерактивных отчетов для принятия оптимальных управленческих и бизнес-решений заказчиков.
В отличии от разработки информационно-аналитических систем с нуля в ИАП уже реализован типовой технологический процесс быстрого конфигурирования информационно-аналитической системы под заказ и создана система управления этим процессом.
Применение ИАП позволяет сконцентрировать усилия специалистов заказчика на решении бизнес-задач, а не на создании инфраструктуры – все системотехнические вопросы уже решены.
В созданные компоненты системотехники ИАП заложены принципы вертикальной и горизонтальной масштабируемости, а также возможность расширение состава решаемых платформой и прикладными приложениями бизнес-задач.
За счёт координации всех технологических процессов на основе контейнеризации микросервисов и обработки данных в потоковом и микропакетном режимах достигается высокий уровень параллелизма обработки, чем обеспечивается заданная заказчиком производительность целевой ИАС путем масштабирования базового ЦОД под заказ.
ИАП может быть предоставлена в облачной среде ЕС-Сloud, что снимает необходимость в собственных технических средствах.
Облачное решение ЕС-Сloud (обеспечиваемое собственным защищённым ЦОД нашей компании) в итоге является универсальной платформой для предоставления облачных услуг в режимах IAAS/PAAS/SAAS.
Облачные вычисления (Cloud Computing) — технология распределённой обработки данных, в которой компьютерные ресурсы и мощности предоставляются пользователю как интернет-сервис.
ИАП включает в себя следующие подсистемы:
● Подсистема сбора и доставки данных (ПСДД) обеспечивает получение требуемых данных из различных источников данных. В качестве источников данных могут выступать открытые источники данных сети интернет, отдельные файлы, базы данных входящие в состав корпоративных информационных систем наших клиентов. Основной задачей подсистемы является решение задачи сбора необходимых данных из гетерогенных источников и представление их в формате Json на дальнейшую обработку.
● Подсистема интеграции данных – Extract, Transform & Load (ETL/ELT) — обеспечивает интеграцию данных, поступающих из ПСДД, а также преобразование интегрированных данных к виду, пригодному для передачи данных в подсистему хранения данных или в подсистему администрирования для предоставления сервисов для расчета показателей на основе интегрированных данных, значения которых используются аналитической подсистемой и другими прикладными подсистемами.
● Подсистема ведения метаданных обеспечивает описание метаданных для следующих групп информационных объектов: первичных данных, получаемых от ПСДД, и сущностей подсистемы хранения данных. Для первичных данных обеспечивается возможность описания инфологической модели данных в терминах предметной области с привязкой к физической структуре данных. Для сущностей подсистемы хранения данных обеспечивается возможность описания и управления метаданными на трех уровнях: физические модели данных, логические модели данных, инфологические модели данных, то есть описание сущностей и размерностей в терминах предметной области.
● Подсистема хранения данных создана на основе Data Lake, включающего распределенную файловую систему, а также NoSQL и реляционную базу данных, обеспечивает однократное размещение конкретного экземпляра каждой сущности на постоянное хранение и его последующее использование без изменений, организацию надежного хранения исторических данных, поступающих из Подсистемы интеграции данных, значений рассчитанных показателей, а также отчетов.
● Аналитическая подсистема – Business Intelligence (BI) — представляет собой среду исследования и формирования отчетов на основе информации из подсистемы хранения данных и/или подсистемы администрирования автоматически согласно регламенту или по запросам пользователей. Данная подсистема включает в свой состав нейросетевые модели и средства, как уже обученные на выполнение определенного типа задач, так и предоставляющие возможность самостоятельного анализа данных, средства из состава статистической математики, предоставляющие возможность типизации, кластеризации и другие модели, востребованные аналитиками данных.
● Подсистема взаимодействия с пользователем обеспечивает удобный пользовательский интерфейс, включая визуализацию данных на картографических слоях, обеспечивает сервисы, предоставляющие пользователям контролируемый доступ к информационным продуктам в соответствии с их правами и привилегиями.
● Подсистема облачного доступа обеспечивает подготовку, преобразование и публикацию данных через веб-сервис.
● Подсистема администрирования отвечает за координирование всех технологических процессов, включая потоковую среду обработки данных, управление микросервисами и администрирование ИАП, обеспечивает автоматизацию деятельности эксплуатирующего персонала ИАП по управлению функционированием подсистем ИАП, а также управление взаимодействием между подсистемами ИАП.
● Подсистема мониторинга и управления функционированием системотехнической инфраструктуры обеспечивает автоматизацию процессов сбора в реальном времени и хранения информации о параметрах функционирования технических средств, системных программных средств (операционные системы), СУБД, программных средств промежуточного уровня (middleware), их оперативный контроль (мониторинг), оперативно-техническое управление функционированием и администрирование эксплуатирующим персоналом.
● Подсистема информационной безопасности обеспечивает заданное состояние информационной безопасности путем мониторинга информационной безопасности и управления как специальными, так и встроенными в функционал программно-техническими средствами обеспечения информационной безопасности.
ИАП поддерживает работу со структурированными, полуструктурированными, неструктурированными и потоковыми данными, обеспечивая их прием, хранение, обработку, геокодирование в произвольной текстовой форме и формирование необходимой информации, в том числе из открытых источников сети интернет (данных из социальных сетей Вконтакте, Одноклассники, Мой мир, Instagram, Twitter, Livejornal, мессенджера Telegram, видеохостинга YouTube, поисковых систем Яндекс, Google), доступных государственных, коммерческих и корпоративных информационных систем с использованием ETL/ELT.
ИАП содержит аппаратно-программные компоненты, реализующие методы обработки и анализа данных для широкого спектра текстовых и иных данных различных предметных областей, основанные на использовании технологий Deep Learning и Machine Learning: рекуррентных нейросетях, сверточных нейросетях, алгоритмах нечеткого поиска, линейной регрессии, деревьев решений, временных рядов, группировки, кластеризации.
Также ИАП имеет информационные и программные интерфейсы к соответствующим интегрируемым с платформой программным продуктам, реализующим соответствующие методы. Обеспечивается возможность включения новых методов в состав платформы, как run-time компонентов для использования при решении прикладных задач.
ИАП имеет свой собственный внутренний язык для описания методов решения задач для широкого круга пользователей, включая как специалистов-предметников, специалистов по данным и методам их обработки, так и профессиональных программистов.
ИАП предоставляет методы, методики и инструментальные средства, обеспечивающие накопление и использование знаний в различной форме (метаданные, другие виды представления знаний) на всех этапах жизненного цикла информационно-аналитических систем.
Архитектура ИАП
В зависимости от конкретной предметной области при построении информационно-аналитических систем могут быть использованы все или некоторые составные части ИАП. Однако общий комплекс архитектурных решений, набор интерфейсов, стандартов представления данных и аппаратно-программных компонентов платформы и связей между ними обеспечивает построение информационно-аналитических систем, решающих целевые задачи, удобной в общении, обучаемой, приспособленной к функциональному развитию, масштабируемой.
При использовании ИАП значительно увеличивается производительность труда разработчиков, снижаются требования к квалификации специалистов, участвующих в разработке у информационно-аналитических систем, повторно используются накопленные знания, увеличивается скорость поддержки принятия решений.
Проекты с использование ИАП реализованы для:
● Министерств РФ
● Коммерческих банков
● Государственных структур
Свидетельство о регистрации ИАП:
