База метаданных что это такое
Что такое метаданные. Объясняем простыми словами
Проще говоря, метаданные — это данные о данных (об их составе, содержании, статусе, происхождении, местонахождении, качестве, форматах, объёме, условиях доступа, авторских правах и т. п.).
Ежедневно мы отправляем электронные сообщения или файлы. У каждого такого послания есть не только содержание, но и дата и время отправки, указание отправителя и получателя, тип вложения, его объём и прочие характеристики. Это и есть метаданные.
Пример употребления на «Секрете»
«ProPublica обвинила корпорацию в сборе метаданных пользователей WhatsАpp — картинок, номеров телефонов, часовых поясов и даже IP-адресов. Куда они потом передавались? Журналисты ProPublica утверждают, что прямиком к американским силовикам».
(Из материала об уязвимостях проектов Facebook.)
Нюансы
Изначально этот термин означал средство каталогизации архивной информации: карточки библиотечного каталога включают систематизированные данные о каждой книге, в том числе название книги, его автора, жанр, аннотацию и т. д. Идея метаданных с тех пор не изменилась, хоть поле деятельности перешло в цифровой мир. По сути, вы генерируете метаданные прямо сейчас.
У любого файла, телефонного разговора, публикации в Facebook, видеофильма или перевода денег через банковское приложение есть метаданные. Мы часто не замечаем их, поскольку наше внимание закономерно сфокусировано на содержании. Но метаданные неотделимы от самих данных — трудно представить себе документ, у которого нет даты создания или редактирования.
Наличие возможности фильтровать метаданные значительно облегчает поиск определённого документа, файла или контента, ведь они содержат больше ценной информации, чем может показаться на первый взгляд. По метаданным можно выследить человека или получить на него компромат, полностью изменив его жизнь.
Доступ к вашим метаданным, которые передаются через интернет, есть у самых разных людей и организаций. Это могут быть как маркетологи, так и хакеры с госорганами. Например, заголовки писем могут быть доступны не только отправителю и адресату, но и почтовым провайдерам и даже спецслужбам. Владелец сайта, на который вы заходите, может узнать не только ваш IP-адрес, но и версии браузера и операционной системы. Это объясняется тем, что зачастую метаданные общедоступны и никак не защищены.
Правительства разных стран требуют от телекоммуникационных компаний хранить метаданные определённое количество времени для нужд правоохранительных органов и спецслужб. В России за эту процедуру отвечает «пакет Яровой», который предписывает сотовым операторам и интернет-компаниям хранить до шести месяцев весь пользовательский трафик — переписку в мессенджерах, социальных сетях и электронной почте, аудиозаписи звонков. При этом метаданные — то есть информацию о том, кому и когда звонил или пересылал файлы пользователь, — нужно хранить ещё дольше, а именно в течение трёх лет. Правоохранительные органы могут получить эту информацию по запросу.
Виды метаданных
Национальная организация по информационным стандартам (NISO) предлагает классифицировать метаданные таким образом:
Примеры
Метаданные используются при организации разных видов цифровой информации. Вот несколько примеров:
Существуют и признанные стандарты метаданных для определённых форматов данных. Например, таковым можно назвать общеевропейский исследовательский информационный формат (CERIF). Этот стандарт ЕС рекомендует своим государствам-членам для регистрации информации об исследовательской деятельности.
Как метаданные меняют жизнь людей
В апреле 2017 года московского математика Дмитрия Богатова обвинили в том, что он якобы призывал в Сети к массовым беспорядкам и терроризму на акции протеста. По версии следствия, Богатов под псевдонимом Айрат Баширов публиковал на интернет-форуме провокационные материалы о подготовке к вооружённому восстанию. Правоохранительные органы утверждали, что вычислили математика по IP-адресу. Сам Богатов объяснял, что не имеет к Айрату Баширову никакого отношения, поскольку в его квартире функционировал выходной узел сети Tor, с помощью которой с его IP-адреса публиковать сообщения мог фактически кто угодно. Поэтому трафик злоумышленника, предположительно, прошёл через компьютер математика.
Таким образом, метаданные (IP-адрес) послужили поводом для уголовного преследования. После того как Богатов провёл несколько месяцев в СИЗО, уголовное дело против него прекратили. Затем математик вместе с женой покинул Россию. Впоследствии по этому делу задержали Владислава Кулешова из Ставрополя, который признал вину и получил полтора года ограничения свободы.
Что такое метаданные и как их удалить?
В контексте конфиденциальности мы часто говорим о метаданных как о слабом звене. Несмотря на то, что данные можно легко скрыть и зашифровать, с метаданными зачастую это сделать гораздо сложнее.
Метаданные — это данные о данных. Например, если эта статья представляет собой данные, ее метаданные будут включать информацию о количестве слов, на каком языке она написана, когда была впервые опубликована и связана ли она с изображением. Если вы будете запрашивать эту статью с какого-либо сервера, метаданные этой передачи будут включать время запроса и ваш IP адрес (или IP адрес вашей VPN службы).
Метаданные очень полезны, поскольку они сокращают объем информации, необходимой для обработки файла, и могут упростить управление большими файлами. Но также они могут представлять угрозу для вашей конфиденциальности, потому что во многих случаях метаданные включают в себя всю информацию, необходимую для вашей идентификации. Например, если метаданные показывают, что вам позвонили из полицейского участка, за которым следует ваш звонок на мобильный телефон вашего ребенка, за которым следует звонок адвокату, — большая часть истории уже раскрыта.
Типы метаданных
Существует два основных типа метаданных:
К телефонному разговору также будет приложено множество описательных метаданных, например, кто звонил, кому звонил и откуда был звонок.
Для изображения описательные метаданные могут быть очень подробными. Они включают в себя производителя камеры, любое используемое программное обеспечение для редактирования, время диафрагмы объектива, время экспозиции, ориентацию, цветовое пространство, яркость, владельца камеры и даже местоположение изображения по GPS.
Примеры метаданных
Метаданные можно применять для организации всех видов цифровой информации самыми разными способами. Вот несколько примеров того, как они используются службами, с которыми вы, вероятно, взаимодействуете каждый день.
Как удалить или уменьшить количество метаданных?
Сократить количество метаданных может быть сложно. Как правило, чем больше о вас знает служба, тем больше метаданных создается с каждым вашим шагом.
Создать шум
Самый продвинутый и эффективный способ сделать метаданные бесполезными — это вызвать шум, то есть создать дополнительные данные для создания неточных метаданных. Если ваш компьютер каждую секунду отправляет различные зашифрованные запросы к веб-страницам, будет сложно определить, какие сайты вы на самом деле читали и посещали. Но сделать это очень сложно, поскольку все же остается вероятность отфильтровать ваши действия от автоматических действий.
Остерегайтесь метаданных
Раскрывая информацию о себе, помните, что эти данные часто могут использоваться для вашей идентификации. Даже когда содержимое ваших сообщений зашифровано, может оставаться достаточно информации, чтобы узнать больше о том, кто вы и чем занимаетесь.
Невидимая угроза: что нужно знать о метаданных
Мы регулярно делимся фотографиями в соцсетях, создаем плейлисты, оформляем покупки онлайн или отвечаем на email. Однако не все знают, что с каждым новым сообщением или постом, с каждым заказом в интернет-магазине мы оставляем всё больше цифровых следов. Этому способствуют метаданные.
Метаданные — это невидимая информация, или «данные о данных», важная составляющая любого документа, музыкального файла, видеозаписи или фотографии. Они присваиваются автоматически и включают в себя описание самого файла, заголовки и подзаголовки, автора и редактора, дату и время создания, версию и технические характеристики программы, в которой был создан файл, местоположение и т.п.
Метаданные помогают установить лицензионные ограничения на распространение информации, указывая на автора контента.
Провайдеры интернет-услуг и правительственные организации могут использовать метаданные с веб-страниц, электронных писем, телефонных звонков для мониторинга активности в интернете (вспоминаем закон Яровой).
Встроенные в веб-сайты метаданные включают описание ресурса, ключевые слова, метатеги и т.д. Они позволяют систематизировать информацию для поиска, а также идентифицировать контент.
Сайты интернет-магазинов активно используют метаданные для отслеживания привычек, потребностей, изменений вкусов пользователей. Сохраняя такую информацию, как тип устройства, геолокацию и т.д., маркетологи могут формировать актуальные для вас предложения (ну, или пугать излишней осведомлённостью, здесь как посмотреть).
Однако не всегда метаданные используются в благих целях. Эксперты Digital Security изучили вопрос и рассказали о потенциальной опасности от метаданных, попавших в руки к злоумышленникам.
Примечательно, что многие помнят о важности скрытия IP-адреса, знают способы его замены, но при этом даже не слышали о метаданных, которые могут предоставить больше личной информации, чем тот же IP-адрес.
Пользователи отправляют по Сети миллиарды файлов: документов, фото и видео. Только через один WhatsApp — около миллиарда фотографий ежедневно.
Специалисты Digital Security проанализировали популярные мессенджеры, почтовые сервисы, фотостоки и облачные хранилища, чтобы выяснить, как эти сервисы ведут себя с метаданными. Передают ли они файлы с существующими метаданными и личной информацией пользователей или изменяют и удаляют их?
Нам понадобились фотографии, видео и текстовые документы форматов DOCX, JPG, MP4, выборка из 16 популярных сервисов и ресурс Jeffrey’s Image Metadata Viewer. Вы можете ознакомиться с исследованием подробнее. Далее же приводим краткие выводы.
Вот что удалось выяснить:
При отправке любых файлов, будь то фото, видео или текстовый документ по Gmail, Mail или Яндекс.Почте метаданные остаются в целости и сохранности и содержат всю информацию о файле;
При загрузке файлов в облачные хранилища Яндекс.Диск, Google Drive и Mega.nz метаданные также остаются на месте;
В случае пересылки фото через функцию “Камера” (или из “Галереи”) данные убираются полностью, но при этом снижается качество отправляемого материала;
При передаче видеофайла таким же образом Viber оставляет данные нетронутыми; WhatsApp убирает геометку, а Telegram частично удаляет данные;
Метаданные обычно игнорируются как угроза цифровой безопасности, поскольку мы фокусируемся на содержании файла. Но иногда они могут оказаться полезнее, чем сам файл, и послужить источником информации о потенциальной жертве на первом этапе работы социального инженера. (Подробнее о социальной инженерии можете прочитать здесь).
По метаданным фотографий, опубликованных вами в соцсетях, можно вычислить основные маршруты передвижения по городу: место проживания и работы, любимые кафе и магазины. Если вы передаёте фотографии через мессенджеры вложенным файлом, то с ними передаётся и “дополнительная информация” — технические характеристики и модель устройства, на которое было сделано фото, дата съёмки и геолокация. Таким образом, имея ряд изображений одного и того же автора, можно судить о наличии определённых гаджетов, о распорядке дня, маршрутах передвижений и других деталях частной жизни.
Полученную информацию злоумышленник может использовать для подготовки сценария действий и необходимых средств атаки социальной инженерии (фишинговые ресурсы, вредоносные вложения и др.), а также для завоевания доверия пользователя.
Метаданные могут использоваться и при атаках на организации. Например, злоумышленник может подготовить эксплойт, узнав версию ПО. Более того, как мы уже выяснили (стр.8 исследования), в метаданных документов MS Office можно увидеть автора файла, обычно это ФИО или текущий логин операционной системы. Соответственно, неосторожно опубликованные документы компании могут послужить источником для словарей логинов. Мошенники охотно используют их в процессе перебора учетных данных на доступных ресурсах компании.
С точки зрения злоумышленника метаданные полезнее, чем сам файл. Особенно велика вероятность их использования при атаках социальной инженерии. Аналитики Digital Security советуют избавляться от метаданных, это можно сделать через раздел «Свойства». Для этого необходимо кликнуть на вкладку «Подробно» и отредактировать или удалить метаданные, нажав на ссылку «Удаление свойств и личной информации» и выбрав нужные пункты.
В мессенджерах и по почте пользователи отправляют несчетное количество документов и фотографий, и лишь немногие помнят о том, что отправляемые файлы содержат автоматически присвоенные данные о них: дату и время создания, имя автора, версию и технические характеристики программы или устройства и, конечно, отметку местоположения, которая заслуживает отдельного внимания.
Эти цифровые следы способны сыграть злую шутку. Поэтому если вы не хотите делиться личной информацией с третьими лицами — удаляйте метаданные. А чтобы скрыть свое местоположение, стоит отключить геолокацию в настройках камеры.
Наличие у каждого файла метаданных – это лишь еще одно напоминание о том, что сами пользователи могут становиться виновниками утечки своей же личной информации или чувствительной информации своей компании.
Следите за информацией, которой делитесь в Сети и сделайте свое цифровое пространство более безопасным!
Что включают метаданные базы данных?
Метаданные — это информация об используемых данных.
Метаданные используются для повышения качества поиска. Поисковые запросы, использующие метаданные, могут спасти пользователя от лишней ручной работы по фильтрации. Информируя компьютер о том, какие элементы данных связаны и как эти связи учитывать, становится возможным осуществлять достаточно сложные операции по фильтрации и поиску.
В частности, метаданные создаются для оптимизации алгоритмов сжатия с потерей качества. Например, если к видео прилагаются метаданные, позволяющие компьютеру разделить изображение на основную часть и фоновую, то последняя может быть сжата сильнее, что позволит достичь большего коэффициента сжатия.
Некоторые виды метаданных предназначены для обеспечения возможности различных видов представления некоторых данных. Например, если к изображению прилагаются метаданные, содержащие информацию о том, какая часть изображения наиболее важная (допустим, изображение человека), то программа для просмотра изображений на маленьком экране (таком, как на мобильном телефоне), может отобразить только эту наиболее важную часть изображения. Аналогично используются метаданные, позволяющие сделать доступными для слепых диаграммы и изображения, путём их преобразования для вывода на специальные устройства, либо чтения их описания с использованием программного обеспечения, преобразующего текст в речь.
Другие описательные метаданные могут использоваться автоматизированными рабочими потоками. Например, если некоторая «умная» программа «знает» содержимое и структуру данных, то данные могут быть автоматически преобразованы и переданы другой «умной» программе как входные данные. В результате, пользователи будут спасены от необходимости выполнения множества рутинных операций, если данные предоставлены для работы такими «немногословным» программам.
Метаданные можно классифицировать по:
-Содержанию. Метаданные могут либо описывать сам ресурс (например, название и размер файла), либо содержимое ресурса (например, «в этом видеофайле показано как парень играет в футбол»).
-По отношению к ресурсу в целом. Метаданные могут относиться к ресурсу в целом или к его частям. Например, «Title» (название фильма) относится к фильму в целом, а «Scene description» (описание эпизода фильма) отдельное для каждого эпизода фильма.
-По возможности логического вывода. Метаданные можно подразделить на три слоя: нижний слой — это «сырые» данные сами по себе; средний слой — метаданные, описывающие эти данные; и верхний слой — метаданные, которые позволяют делать логический вывод, используя второй слой.
30. Назначение объекта “таблица”
Таблицы (Tables) создаются пользователем для хранения данных об одном информационном объекте модели данных предметной области. Таблица состоит из полей (столбцов) и записей (строк). Каждое поле содержит одну характеристику объекта предметной области. В записи собраны сведения об одном экземпляре этого объекта.
Они используются для упорядоченного хранения данных.
Базы данных состоят из таблиц, которые представляют широкий диапазон категорий данных. Если когда-либо вам приходилось создавать базу данных, например, для обработки отчетных материалов в бизнесе, то вы могли создать одну таблицу для хранения информации о клиентах, другую — о счетах, третью — о сотрудниках. Таблицы имеют заранее определенную структуру, и данные, хранящиеся в них, соответствуют этой структуре.
Таблицы содержат записи — отдельные частицы данных внутри широкой категории, которую они представляют. Например, таблица с клиентами содержит информацию обо всех потребителях товаров и услуг данной компании. Записи могут содержать данные практически любого типа. Они могут редактироваться, извлекаться и удаляться с помощью хранимых процедур и/или запросов на языке структурированных запросов (Structured Query Language — SQL).
Записи, в свою очередь, содержат поля. Поле — это некоторый раздел данных в записи. Например, запись, которая представляет некий элемент в адресной книге, может состоять из полей имени и фамилии, адреса, названия города, почтового индекса и номера телефона.
31. Назначение объекта “запрос”
Запрос (query) – это средство выбора необходимой информации из базы данных. Вопрос, сформированный по отношению к базе данных, и есть запрос. Применяются два типа запросов: по образцу (QBE – Query by example) и структурированный язык запросов (SQL – Structured Query Language).
SQL – запросы – это запросы, которые составляются (программистами) из последовательности SQL – инструкций. Эти инструкции задают, что надо сделать с входным набором данных для генерации выходного набора. Все запросы Access строит на основе SQL – запросов, чтобы посмотреть их, необходимо в активном окне проектирования запроса выполнить команду Вид/SQL.
Существует несколько типов запросов: на выборку, на обновление, на добавление, на удаление, перекрестный запрос, создание таблиц. Наиболее распространенным является запрос на выборку. Запросы на выборку используются для отбора нужной пользователю информации, содержащейся в таблицах. Они создаются только для связанных таблиц.
— Создание запроса на выборку с помощью Мастера
— Создание запроса на выборку с помощью Конструктора
В нижней части окна находится Бланк построения запроса QBE (Query by Example), в котором каждая строка выполняет определенную функцию:
Поле – указывает имена полей, которые участвуют в запросе
Имя таблицы – имя таблицы, с которой выбрано это поле
Сортировка – указывает тип сортировки
Вывод на экран – устанавливает флажок просмотра поля на экране
Или – задаются дополнительные критерии отбора
32. Назначение объекта “форма”
Формы представляют возможность удобного введения и просмотра данных таблиц и запросов. Формы, предназначены в первую очередь для работы одновременно только с одной записью. Режим формы позволяет легко работать с таблицами, имеющими большое количество полей, так как вся информация по одной записи, например по конкретному клиенту или товару, сразу отображается в форме на экране. Формы в Access могут быть созданы как для одной таблицы, так и для нескольких, связанных между собой таблиц. Тогда возможным становится с помощью формы вводить данные сразу в несколько таблиц, соблюдая условия целостности данных. Кроме того, в качестве источника данных для формы может использоваться как сама таблица, так и разработанный для нее запрос, обеспечивая тем самым отображение самой актуальной информации.
В Access можно создать формы самых разных типов. Вот основные из них:
• “В столбец” (полноэкранная форма). Классический вариант, когда все поля в форме выводятся на экран как один столбец. Слева от каждого поля отображается значение, указанное в свойстве Подпись данного поля. Поля могут быть упорядочены в любом порядке.
• Ленточная. Нечто среднее между формой “в столбец” и табличным представлением данных. В окне формы отображается сразу несколько записей таблицы, а поля, составляющие одну запись, отображаются в одной строке, аналогично представлению таблицы в режиме таблицы. Подписи полей выводятся в качестве заголовков столбцов.
• Табличная. Данные в такой форме представлены в стиле электронных таблиц Microsoft Excel, когда каждой записи соответствует одна строка таблицы, а каждому полю — один столбец. Прямо в окне формы можно изменять ширину столбцов и высоту строк, а также выполнять многие другие операции, которые используются для настройки внешнего вида таблиц в режиме таблицы.
• Сводная таблица и сводная диаграмма. Access позволяет обрабатывать данные и эффективно выполнять их графический анализ.
• Кнопочная. Открывает другие формы или отчеты базы данных.
Формы, являясь объектами базы данных, представлены в окне базы данных вкладкой Формы. Следует отметить, что такие объекты OLE, как рисунки, видеофрагменты или аудиозаписи, можно увидеть (воспроизвести) только в форме. Создать форму в программе Access 2003 можно тремя способами: 1)автоформа; 2) мастер создания форм; 3) выполнив весь процесс создания новой формы “с нуля” в режиме конструктора формы.
Элементы управления метаданными
Метаданные (от лат. meta — цель, конечный пункт, предел, край и данные) — информация о другой информации, или данные, относящиеся к дополнительной информации о содержимом или объекте. Метаданные раскрывают сведения о признаках и свойствах, характеризующих какие-либо сущности, которые позволяют автоматически искать и управлять ими в больших информационных потоках.
Содержание
Базы данных
Такая информация часто используется в базах данных:
Различие между данными и метаданными
Обычно невозможно провести однозначное разделение на данные и метаданные в документе, поскольку:
Другие описательные метаданные могут использоваться автоматизированными рабочими потоками. Например, если некоторая «умная» программа «знает» содержимое и структуру данных, то данные могут быть автоматически преобразованы и переданы другой «умной» программе как входные данные. В результате, пользователи будут освобождены от необходимости выполнения множества рутинных операций, если данные предоставлены для работы такими «немногословными» программами.
Метаданные становятся важны в World Wide Web по причине необходимости обеспечения поиска полезной информации среди огромного количества доступной. Метаданные, созданные вручную, имеют большую ценность, поскольку это гарантирует осмысленность. Если веб-страница на какую-то определённую тему содержит слово или фразу, то все другие веб-страницы на эту тему могут содержать такое же слово или фразу. Метаданные также обладают разнообразием, поэтому если с какой-то темой связаны два значения, то каждое из них может быть использовано. Например, статья про Живой Журнал может быть обозначена с помощью нескольких значений: «Живой Журнал», «ЖЖ», «LiveJournal».
Метаданные используются для хранения информации о записях audio CD. Аналогично MP3 файлы хранят метаданные в формате ID3.
Редактировать метаданные графических файлов можно в специальных программах для работы с метаданными.
Классификация метаданных
Метаданные можно классифицировать по
Тремя наиболее используемыми классами метаданных являются:
Управление метаданными
Элементы управления метаданными
Источники метаданных
Примеры стандартов мета-моделей
Группировка метаданных
Практическое применение в Сбербанке
Основной целью создания единой базы метаданных является автоматизация и повышение качества бизнес-процессов [2] :
Единая база метаданных, объединяет результаты анализа и архитектуры проектных решений с метаданными реальных сред.
Аналитическое пространство, является высокоуровневым описанием тракта данных от систем источников до витрин. Разрабатывается на этапе анализа и проектирования решения.
Каталог информационных компонент, обеспечивает пользователя полной, оперативной и систематизированной информацией об используемых в комплексе ЦХД – объектах, связях между объектами, компонентах, метриках, размещении.