Концепции моделирования данных для начинающих

Переиздано Платоном

Читают: 0

Концепции моделирования данных поддерживают целостную картину того, как данные перемещаются по системе. Моделирование данных можно описать как процесс проектирования системы данных или части системы данных. Эти модели могут варьироваться от систем хранения до баз данных и всей структуры данных организации. Модели данных можно использовать в качестве схемы для внедрения новой системы или в качестве справочного материала для уже установленных систем.

«Полная» модель данных должна сообщать типы данных, которые используются и хранятся в системе данных, используемые форматы, взаимосвязи между файлами данных и способы группировки и организации данных.

Многие предприятия разрабатывают уникальные индивидуальные модели данных (и, как следствие, уникальные индивидуальные системы данных), основанные на конкретных потребностях и требованиях организации. Эти модели можно использовать для визуализации движения данных в системе. Модель данных может попытаться охватить все аспекты потока данных через организацию или конкретные параметры, например, отображать только данные о продажах для исследовательских целей.

Хорошо спроектированная модель данных объяснит деловые правила, а также потребность в соответствие нормативным требованиям данных.

В процессе моделирования данных есть три этапа: концептуальная модель, логическая модель и физическая модель. Каждая фаза или этап разработки модели служит определенной цели. Кроме того, существует несколько «типов» моделей.

Визуальные модели данных похожи на чертежи архитектора и могут сопровождаться связанным текстом, чтобы обеспечить руководство при разработке или изменении системы данных. Примеры визуальных моделей данных можно найти здесь.

Преимущества и проблемы моделирования данных

Разработка модели данных предоставляет карту и инструмент связи для создания или изменения системы данных. Концепции моделирования данных значительно упрощают построение системы данных. Недавно созданная база данных и/или система данных должны поддерживать хорошие организационные связи. Он также должен поддерживать проекты в реальном времени, включая сбор данных о структурах расходов, счетах-фактурах и других бизнес-процессах.

Процесс моделирования данных можно использовать для определения Проблемы с качеством данных, включая повторяющиеся, избыточные и отсутствующие данные.

Одной из трудностей при создании модели данных является непонимание систем данных — проблема, которая обычно устраняется построением модели. Другая проблема заключается в том, что небольшое изменение в одной области может потребовать значительных изменений в других областях. Кроме того, легко настолько сосредоточиться на структуре системы данных, что сильные и слабые стороны отдельных приложений будут игнорироваться.

Важные вопросы, которые следует задать

Разработка модели данных начинается со сбора информации о потребностях, требованиях и целях организации. Модель части системы потребует меньше вопросов, чем разработка модели совершенно новой системы. Вот некоторые основные вопросы, которые следует задать модели части системы:

Какова цель или цель изменений?
С какими типами данных сейчас работает система?
Какие данные необходимы?
Какие инструменты или программное обеспечение необходимы для достижения цели?
Совместимы ли инструменты или программное обеспечение?

Модель данных должна строиться с учетом потребностей организации и являться важным фактором при разработке новой модели или корректировке старой. Вопросы, возникающие при проектировании базы данных или совершенно новой системы, часто требуют гораздо более развернутых ответов. При ответе на эти вопросы лучше всего включить пятилетний бизнес-план:

Каковы цели бизнеса (исследования, продажи, разработка приложений, бухгалтерские услуги)? Это определит лучшие типы программного обеспечения для поддержки бизнеса (NoSQL или графика для исследований, SQL для базовых продаж или бухгалтерского учета, доступ к различным облакам или нескольким облачным сервисам для разработки приложений).
Какие типы программного обеспечения являются наиболее подходящими и экономически эффективными для организации?
Сколько человек будет иметь доступ к системе одновременно?
Сколько отделов и сколько человек в каждом отделе?
Будут ли разные отделы нуждаться в разном программном обеспечении?
Есть ли какие-то необычные потребности, которые следует учитывать?
Сколько данных нужно будет хранить?
Является ли масштабируемость проблемой?
Будет ли база данных подключаться к инструменты бизнес-аналитики?
Нужны ли онлайн-аналитические запросы (OLAP), обработка транзакций (OLTP) или и то, и другое?
Будет ли база данных интегрироваться с текущим технологическим стеком?
Потребуется ли преобразование формата данных?
Какие языки программирования предпочитаете?
Будет ли он интегрирован с каким-либо программным обеспечением для машинного обучения?

Три этапа моделирования данных

Моделирование данных стало важным во время 1960s, когда информационные системы управления впервые стали популярными. (До 60-х фактических способов хранения данных было немного. Компьютеры того времени были в основном гигантскими калькуляторами.)

С точки зрения концепций моделирования данных полностью разработанная модель данных часто строится в три этапа: концептуальная модель, логическая модель и физическая модель. Этот процесс проектирования обеспечивает четкое понимание системы данных и того, как данные проходят через нее. Этот процесс также показывает, как работают процедуры хранения, и помогает обеспечить представление всех объектов данных в системе. (Если данные — это информация, хранящаяся в электронном виде, то объект данных — это отдельный набор информации, хранящейся в электронном виде, такой как файл или таблица данных.)

Концептуальная модель данных обычно используется для описания самых основных компонентов системы и того, как данные перемещаются по системе. концептуальная модель данных сообщает, как информация проходит через один отдел и переходит к следующему. Он показывает широкие сущности (представления вещей, существующих в реальности) и их отношения (ассоциации, существующие между двумя или более сущностями). Подробная информация обычно опускается.

Логическая модель данных обычно сосредотачивается на расположении и структуре объектов данных в модели и устанавливает отношения между ними. Он также обеспечивает основу для построения физической модели. логическая модель данных добавляет полезную информацию в концептуальную модель.

Физическая модель данных по сути предварительная модель и очень подробен и часто сосредоточен на дизайне базы данных. Он показывает необходимые детали для разработки базы данных (но также может быть использован для реализации новой части системы). Эта концепция моделирования данных значительно упрощает визуализацию структуры данных за счет передачи ограничений базы данных, ключей столбцов, триггеров и других функций управления данными. Эта модель также передает профили доступа, авторизацию, первичные и внешние ключи и т. д.

Различные типы моделей данных

Ниже приведены несколько примеров различных типов моделей данных.

Иерархическая модель довольно старый и был довольно популярен в 1960-х и 70-х годах. Он организует данные в древовидные структуры. Сегодня он используется в основном для хранения файловых систем и географической информации. в иерархическая модель, данные организованы в отношение «один ко многим» с файлами данных.

Сетевая модель аналогична иерархической модели и позволяет создавать различные отношения со связанными записями. сетевая модель позволяет людям построить модель, используя наборы связанных записей. Каждая запись связана с несколькими файлами и объектами данных, продвигая и представляя сложные отношения.

Модель сущность-связь представляет собой графическое представление файлов данных и сущностей и их взаимосвязей. Он пытается создать сценарии реального мира. В качестве модели системы данных модель сущность-связь разрабатывает набор сущностей, набор отношений, атрибуты и ограничения. Они часто используются при проектировании реляционных баз данных.

Модель графовых данных требует определения, какие объекты в вашем наборе данных должны быть назначены узлами, какие должны быть назначены ссылками, а какие следует отбросить. Модель графовых данных обеспечивает макет сущностей данных, свойств и отношений. Процесс повторяющийся, основанный на пробах и ошибках, и может быть утомительным, но его стоит делать правильно.

Объектно-ориентированная модель базы данных фокусируется на объектах данных, связанных с методами и функциями. Он включает таблицы, но не обязательно ограничивается таблицами. Данные и их отношения хранятся вместе как единый объект (объект данных). Объекты данных представляют собой объекты реального мира. объектно-ориентированная модель базы данных обрабатывает различные форматы и используется для исследований.

Реляционная модель, часто называемая SQL, в настоящее время является самой популярной моделью данных. Он использует двумерные таблицы для хранения данных и обмена отношениями. Все данные определенного типа хранятся в строках как часть таблицы. Таблицы представляют отношения, и их объединение устанавливает отношения между хранимыми данными. Модель реляционной базы данных — это зрелая модель, поддерживаемая огромным количеством программного обеспечения для различных целей.

Модель данных NoSQL не использует строки и столбцы и на самом деле не использует какую-либо заданную структуру. Их разработка и дизайн обычно ориентированы на создание физических моделей данных. Масштабируемость с ее специфическими особенностями и проблемами вызывает серьезную озабоченность.

Объектно-реляционная модель базы данных объединяет объектно-ориентированную модель базы данных с моделью реляционной базы данных. Он хранит объекты, классы, наследование и т. д. так же, как объектно-ориентированная модель, но также поддерживает табличные структуры, такие как модель реляционной базы данных. Этот дизайн позволяет дизайнерам включать его функции в структуру таблицы.

Важность концепций моделирования данных

Модели данных похожи на чертежи, но они определяют отношения, объекты и атрибуты базы данных или системы данных. Организованная и хорошо спроектированная модель данных необходима для разработки эффективной физической базы данных и системы данных. Хорошее понимание концепций моделирования данных необходимо для устранения проблем с хранением и избыточностью при поддержке эффективного поиска данных.

Моделирование данных может быть сложной задачей, и важно понимать, что каждый тип модели имеет свои преимущества и недостатки.

Изображение используется по лицензии от Shutterstock.com