Abstract: The article explores accessible data management methods for small businesses, focusing on the use of Power Query and Power Pivot add-ons in MS Office Excel. The author argues their effectiveness for the initial stages of company development, offering an economical way to create consolidated databases for better understanding and managing business processes. The importance of data management culture is emphasized, and practical recommendations are presented for improving data management processes with minimal expenses.
Keywords: Power BI, Power Query, Power Pivot, Data Management, Process Automation
Введение
Существует проверенное правило, что правильный процесс дает правильные результаты – поэтому изначально процесс важнее результата, в том числе, когда мы говорим о бизнесе, который производит продукцию или услугу для потребителя. Бесспорно, на этапе разработки прототипа (головного образца) продукта, на этапе его испытаний в первую очередь все внимание сконцентрировано на его функциях, форм факторе, эргономике т.п., но когда речь идет о постановке на производство на первый план должны выходить параметры процесса.
Однако в реальной жизни, на практике, особенно на ранних этапах жизненного цикла компании (от зарождения до юности [1]) собственники, топ-менеджмент в первую очередь сосредоточены на рынке, на выстраивании клиентской базы, на дифференцировании от конкурентов, наборе портфеля заказов, то есть «во вне» компании и как правило внутренние процессы, до перехода на стадию зрелости, а в малом бизнесе в принципе, не подвергаются точным описаниям, стандартизации и тем более автоматизации. В том числе это связано с тем, что помимо фокуса на потребителе, это требует дополнительных ресурсов в виде штата персонала, времени и денежных средств на внедрение и т.п.
В итоге, когда бизнес уже активно растет и масштабируется внутренние процессы не успевают эволюционировать с той же скоростью что и рост портфеля заказов. Это в свою очередь как правило приводит к снижению качества продукции, неэффективному использованию ресурсов, и, следовательно, отсутствию стабильной положительной динамики и не достижении запланированного финансового результата.
Поэтому крайне важно определять хотя бы базовые параметры функционирования процессов предприятия начиная с самых ранних стадий жизненного цикла компаний.
Целью данной статьи является показать подход к управлению данными компании, не требующий существенных затрат на внедрение, но при этом дающий возможность управлять процессами предприятия, а также формирующий фундамент для возможности дальнейшей автоматизации функций компании, такими как – цепочки поставок, прогнозтическая аналитика, оценка эффективности оборудования, прогнозирование спроса, финансовое управление и т.п. [3].
- Предлагаемый метод решения
Я согласен с формулировкой – «Мы управляем тем, что измеряем», ведь управление выражается в воздействии на предмет управления с целью корректировки его состояния и получении запланированных показателей. Значит важно знать характеристики объекта управления на начальном этапе и после управляющего воздействия. Поэтому сбор данных, показателей характеристик носит ключевую роль, в том числе, если объектом нашего управления является процесс или продукт [2].
Давайте рассмотрим иерархию цифровой системы продвинутого производства (Рисунок 1). [4].
Рисунок 1
По сути, наиважнейшими базовыми элементами иерархии являются ввод-вывод и формирование базы данных. Очень часто на ранних этапах ЖЦК и в малом бизнесе пренебрегают этими действиями, ошибочно полагая, что покупка в перспективе цифровых решений по автоматизации в виде отдельных блоков или целой ERP системы решит проблему управления эффективностью. Но на практике получается, что приходится уже на достаточно больших масштабах компании и уже как то сформированных процессах внедрять управление данными (сбор, систематизацию, хранение, консолидацию и т.п.), что почти всегда встречает большое сопротивление сотрудников, сильно тормозит внедрение автоматизации на предприятии. Поэтому необходимо начиная с ранних стадий развития бизнеса продумывать методы управления данными без серьезных инвестиций в этот процесс.
Как решение данной задачи предлагается использовать функционал MS Office Excel.
Для того, чтобы это стало реальным решением вопроса необходимо использовать встроенные надстройки, которые существенно «прокачивают» функционал стандартного Excel, а именно Power Query и Power Pivot. Они впервые появились в 2013 году, но в привычном виде были интегрированы в Excel в 2016. Несмотря на то, что они существуют уже достаточно продолжительное время, тем не менее все еще очень ограниченное количество офисных работников слышали о них и тем более знают их функционал и работали с ними. Более того в настоящий момент существует отдельное приложение Power BI от MS, но для работы в нем команды специалистов требуется платная подписка, поэтому мы опустим ее описание, тем более что функционал от вышеуказанных надстроек фактически не отличается (главное преимущество Power BI на мой взгляд только в возможности построения более красочных и интерактивных дашбордов).
Так что же нам дают данные надстройки?
Начнем с Power Query.
Ее основная задача – импорт данных фактически из любых источников и их обработка: файлы, вэб-службы и специализированные базы данных (вот некоторые примеры — Файл: книга Excel, Файл: Text/CSV, Файл: XML, Файл: JSON, Файл: PDF, Файл: Папка, Файл: папка SharePoint, База данных: SQL Server, База данных: Microsoft Access, База данных: службы Analysis Services, База данных: SQL Server Analysis Services (импорт), База данных: Oracle, База данных: IBM DB2, База данных: MySQL, База данных: PostgreSQL, База данных: Sybase, База данных: Teradata, База данных: SAP HANA, Azure: база данных Azure и т.п.).
По большому счету импорт данных можно сделать почти откуда угодно. Query использует свой язык программирования, который называется «М», но интерфейс программы содержит такое количество встроенных по умолчанию функций, что знание языка в 95% случаев не потребуется вовсе.
Что в итоге дает Query? – на выходе мы получаем консолидированную базу данных, которая может быть собрана их разных источников (1С; Справочников, журналов, отчетов в Excel, выгрузок из CRM и т.п.) и «причесана», то есть, по сути, это реализация в второго уровня пирамиды. В настоящий момент есть огромное количество обучающих программ и книг по использованию данной программы, да и сам интерфейс максимально интуитивный и дружелюбный, что делает освоение функционала легкой и быстрой задачей для человека знакомого с Excel хотя бы на среднем уровне. При этом самое главное преимущество – настроив один раз связи с источниками данных по мере их изменения можно в онлайн режиме делать обновления и получать свежую обновленную базу. То есть продумав процесс и настроив один раз получается достаточно монолитный фундамент пирамиды иерархии не требующий постоянной донастройки.
Третий уровень иерархии помогает реализовать надстройка Power Pivot.
Эта программа позволяет выстраивать взаимосвязи между разными базами данных подготовленными в Power Query по ключевым полям или так называемым справочникам. На фундаменте выстроенных взаимосвязей, посредством внутреннего программного языка, который называется DAX, в Power Pivot можно делать фактически любые логические, математические, статистические и т.п. расчеты, создавая новые наборы данных. Помимо это программа позволяет делать исчисления так называемых «мер» — то есть расчет конкретных величин показателей, параметрические данные для расчета которых могут браться из любых выборок любых связанных баз данных. Меры – это идеальный инструмент для расчета KPI процессов. Язык DAX, очень похож на язык в классическом Excel, поэтому его освоение как правило интуитивное или занимает достаточно быстрый отрезок времени для сотрудников, знающих Excel на среднем уровне.
Таким образом на выходе можно выстраивать планирование процессов разных уровней – операционный и тактический, считать план-фактный анализ по параметрам процессов за период (одна из самых часто востребованных функций), например выполнение месячного плана производства, выполнение плана продаж, отгрузок, контрактований, плана закупок, плана выпуска конструкторской документации и т.п. Получать расчеты фактических показателей вышеперечисленных процессов относительно периодов (недель, месяцев и лет) – для анализа динамики изменений. Рассчитывать любые KPI.
Верхнеуровневый элемент иерархии BI по большому счету реализуется посредством выгрузки рассчитанных в Power Pivot данных в виде таблиц, KPI, графиков, гистограмм и т.п. в книгу Excel в привычном формате данной программы [5].
Соответственно при вводе данных на базовом уровне иерархии посредством кнопки «обновить» фактически можно иметь все данные верхнего уровня в онлайн режиме, а все манипуляции с базами данных и расчеты будут автоматически выполняться «под капотом» согласно выстроенной системе управления данными.
Так выглядит пирамида управления данными при применении инструмента Power BI – Рисунок 2.
Рисунок 2
Такой подход дает огромное количество преимуществ использования именно этого решения по сравнению с коробочными сервисами (например ERP) на начальных этапах ЖЦК или в малом бизнесе. Сравнение приведено в таблице 1.
Таблица 1
Параметр | Power BI | ERP |
Стоимость владения (внедрения и эксплуатации) | + | — |
Скорость внедрения и проведения изменений | + | — |
Гибкость настроек и стоимость внедрения нестандартных решений | + | — |
Удобство интеграции (настройка выгрузок) при работе с разными системами | + | — |
Необходимость в специализированном персонале в штате компании | + | — |
Затраты на обучение персонала по работе в системе | + | — |
Скорость обработки при больших объемах данных | — | + |
Стабильность работы при больших объемах данных | — | + |
На мой взгляд еще более важное это, что этот подход приучает компанию к культуре управления данными, правильному сбору, актуализации, своевременности внесения, достоверности информации, прозрачности и т.д. Это дает наличие описанных процессов, то есть этапности их протекания, требования к каждому этапу по времени и собираемости данных. И в конце концов, когда компания придет к понимаю того, что необходимо внедрять комплексные промышленные инструменты автоматизации такие как ERP — компания будет максимально к этому готова, как идеологически, так и сточки зрения процессов, собираемых данных, без которых ни одна система не сможет функционировать, и дальнейшей интеграции в «smart» экосистемы [6].
В целом из Таблицы 1 видно, что реально необходимость внедрения ERP-систем актуально в компаниях на этапах ЖЦК, когда появляется жизненно важная необходимость обратить фокус с рынка на внутренние процессы для их оптимизации и увеличения эффективности системы, когда обработки требует уже достаточно большой массив данных, когда нужна высокая надежность функционирования системы управления данными, когда есть ресурсы на внедрение и поддержание этой инфраструктуры в рабочем состоянии.
- Пример применения
Для наглядности предлагаю рассмотреть пример использования вышеуказанного метода, внедренного на этапе становления в одном из промышленных предприятий Свердловской области с текущим количеством сотрудников 100+, годовым оборотом 500+ млн.руб.
Предприятие развивалось в течение 7 лет из небольшой компании и мной был внедрен описанный выше метод для управления данными, в настоящий момент компания находится на стадии внедрения ERP-системы.
Предлагаю рассмотреть конкретный «кусок» системы, связанный с Операционным планированием и контролем производства (смотри Схему 1).
Аналитика данных и готовые отчеты (4 уровень иерархии) | |||
Данные | Описание | Подразделение | Формат |
Отчет по выполнению сменных заданий | Аналитический отчет по выполнению программы производства, с анализом причин отклонений | Экономический отдел | Книга Excel |
Приказ о премировании производства | На основе KPI Производства | Производство | Книга Excel |
Сменное задание | Ежедневный плановый документ для Производства | Экономический отдел | Книга Excel |
Консолидирование данных и расчетные операции (3 уровень иерархии)
| |||
Данные | Описание | Подразделение | Формат |
Рассчитанные данные для сменного задания | Цеховое сменное задание с указанием заводских заказов, операций, станков, рабочих. Задание рассчитано на основе наличия материалов, загрузки станков и рабочих, а также приоритетности (очередности) заводских заказов | Экономический отдел | Книга Excel |
План-фактный анализ сменного задания | Анализ степени выполнения сменного задания | Экономический отел | Модель данных в Power Pivot |
KPI производства за месяц | Расчет KPI производства за месяц на основе системы мотивации и план-фактного анализа | Экономический отел | Модель данных в Power Pivot |
База данных (второй уровень иерархии)
| |||
Данные | Описание | Подразделение | Формат |
Консолидированная база данных | «Склеенный» используя справочники массив плоских данных, подготовленный для обработки | Экономический отдел | Модель данных в Power Query |
Исходные данные (первый уровень иерархии)
| |||
Данные | Описание | Подразделение | Формат |
Реестр заводских заказов | Список заказов с договорными сроками | Отдел продаж | Книга Excel |
Исходные данные (первый уровень иерархии) | |||
Данные | Описание | Подразделение | Формат |
Маршрутные карты типового производственного процесса для изделия | Список производственных участков, оборудования и необходимых операций для типового процесса | Технологический отдел | Книга Excel |
Комплектовочная ведомость | Список чертежей на изделие | Конструкторский отдел | Книга Excel |
Справочник операций | Справочник — нормативная трудоемкость по типовым операциям | Экономический отдел | Книга Excel |
Структура изделия | Справочник – типовой список материалов по узлам изделия | Конструкторский отдел | Книга Excel |
Отчет склада | Остаток материалов на складе | Склад | 1С Бухгалтерия |
Отчет по сменному заданию | Реестр выполненных и не выполненных операций цеха за смену в разрезе участков и рабочих, с указанием причин невыполнения, степени выполнения | Производство | Книга Excel |
Система мотивации производства | Таблица соответствия степени выполнения сменного задания и процента премиальной части за месяц | Отдел персонала | Книга Excel |
Схема 1
Предложенная схема фактически отражает большую часть функционала коробочной MES системы, здесь на нижнем уровне от различных отделов предоставляются данные справочников или списков; на втором уровне они консолидируются в OLAP-куб представляющий собой модель всех данных; на третьем уровне посредством расчетов формируются плановые и отчетные данные и на четвертом уровне они выгружаются в конкретные планы и аналитические отчеты, позволяющие руководителю принимать конкретные управленческие решения связанные с производством.
На сборку всей системы понадобилось не более одного месяца с учетом настройки всех справочников и реестров, обучения персонала и настройки отчетов.
Даная система успешно эксплуатировалась на протяжении первых 3 лет развития компании и далее на ее базе было внедрено решение 1С-УНФ, которую в последствии сменяет 1С ERP.
Выводы
Подобные подходы были успешно реализованы по многим другим процессам на предприятии, а также не нескольких предприятиях партнёрах (поставщиков) и практика показала, что вышеописанная система крайне эффективна, то есть с нужным результатом с использованием малого количества ресурсов влияла на динамичное развитие компаний, их финансовые результаты, и в том числе на качество производимой продукции на ранних этапах жизненных циклов.
В настоящий момент вышло достаточное количество справочной и методической переведенной на русский язык информации по Power BI, что позволит более широкому количеству компаний из малого бизнеса начать использовать эффективнее методы управления данными и должным образом влиять на свои показатели вне зависимости какого типа эти бизнесы и в каких они заняты отраслях [7].
Библиографический список
1. Адизес И. К. Управление жизненным циклом организации // М.: Юрайт, 2018.2. Деловой журнал «Neftegaz.RU» Цифровая экосистема – новый шаг промышленности [Электронный ресурс] // https://neftegaz.ru/analisis/companies/510758-tsifrovaya-ekosistema-novyy-shag-promyshlennosti/
3. Мадиев, С. Г. Использование Microsoft Power Bi на производстве / С. Г. Мадиев // Потенциал российской экономики и инновационные пути его реализации : материалы всероссийской научно-практической конференции студентов и аспирантов, в 2-х частях, Омск, 28 апреля 2021 года. Том Часть II. – Омск: Омский филиал Финансового университета при Правительстве РФ, 2021. – С. 79-83. – EDN PICUMI.
4. Подходы к построению цифровой экосистемы производственного предприятия / В.М. Голунова, О.В. Хмель, В.В. Поляковский // https://libeldoc.bsuir.by/handle/123456789/31400
5. Ахметзянова, С. Г. Бизнес аналитика на основе концепции POWER BI / С. Г. Ахметзянова // Инновационные технологии в машиностроении, образовании и экономике. – 2017. – Т. 12, № 4-5(6). – С. 51-56. – EDN ZXHBDF.
6. Майорова К.С. ЦИФРОВОЙ ПЕРЕХОД ПРОМЫШЛЕННЫХ ПРЕДПРИЯТИЙ В «SMART» ЭКОСИСТЕМУ / К.С. Майорова, Е.С. Балашова // Международный научно-исследовательский журнал.- 2021. - №12 (114). - URL: https://research-journal.org/archive/12-114-2021-december/digital-transition-of-industrial-enterprises-to-smart-ecosystem (дата обращения: 08.02.2024). - doi: 10.23670/IRJ.2021.114.12.132
7. Справка по Power BI: [Электронный ресурс] // https://learn.microsoft.com/ru-ru/power-bi/support/