http://defann.cyberflash.rurudefann+place@gmail.come2 (http://e2.ilyabirman.ru) http://defann.cyberflash.ru/2006/12/26/1 http://defann.cyberflash.ru/2006/12/26/1 http://defann.cyberflash.ru/2006/12/26/1/comments Connect!)

Как обеспечить эффективное хранение растущего объема корпоративных данных

Алексей Назарбаев
системный архитектор TopS BI

Современный центр обработки данных (ЦОД) состоит из тысяч взаимодействующих компонентов – серверов, элементов систем хранения (дисков, контроллеров, ленточных накопителей и т. д.), сетевых элементов (маршрутизаторов, хост-контроллеров, адаптеров) и пр. Для управления сложной инфраструктурой data-центра применяются специальные инструменты, и чем больше в нем разнородных компонентов, тем больше таких инструментов приходится использовать.

По оценкам компании IDC, увеличение объемов хранимых и обрабатываемых данных составляет более 70% в год. Как действовать в такой ситуации? Наращивать и усложнять инфраструктуру data-центра, вводя дополнительные инструменты управления? Однако в условиях лавинообразно нарастающего объема корпоративных данных это приведет к повышению расходов на системы хранения и обслуживание ИТ-инфраструктуры, к увеличению времени резервирования и восстановления информации, усложнению процессов управления инфраструктурой и размещения данных.

Альтернативный подход основан на простой идее: не все данные имеют одинаковую ценность для бизнеса. Кроме того, ценность информации изменяется с течением времени (см. рисунок).


Рисунок. Изменение ценности информации с течением времени

Размещением данных в хранилище можно управлять, выбирая параметры хранения, адекватные ценности информации. Решение этой задачи – цель концепции управления жизненным циклом информации – ILM (Information Lifecycle Management). ILM-ориентированный data-центр автоматически размещает данные, исходя из требований бизнеса к защищенности и доступности информации, с учетом ее ценности и актуальности, а также минимизации расходов на хранение.

Как управлять информацией

Прежде всего, необходимо осознать, что главное в data-центре – информация.

Второй важный момент: данные ≠ информация. Информация имеет определенный смысл и бизнес-ценность. Данные – это набор байтов, сами по себе они не несут никакой семантической нагрузки. Акцент должен быть смещен
с управления данными на управление информацией. Это даст возможность учитывать роль тех или иных категорий информации в бизнесе компании и обеспечивать соответствующий уровень сервиса хранения.

Для этого в концепции ILM предлагается использовать дополнительные процессы и сущности:

• процесс классификации информации, который призван снабдить данные адекватной семантикой перед их размещением в системе хранения;
• процесс размещения информации в системе хранения в соответствии с ее ценностью, направленный на минимизацию стоимости хранения;
• целевой показатель уровня сервиса (Service Level Objective, SLO), определяющий уровень ключевых характеристик (надежности, доступности и др.), который должен обеспечиваться инфраструктурой хранения. SLO связывают с категориями (классами) информации в соответствии с их ценностью;
• политики (policies) – набор правил, задающих необходимые действия по размещению информации в течение ее жизненного цикла.

Как это должно работать?

Поступающая информация классифицируется, с классами информации связываются определенные SLO, на основании которых интегрированный в инфраструктуру хранения механизм управления размещает информацию согласно заданным политикам. Таким образом, информация, которая должна быть легко доступна, попадет в высокопроизводительные системы хранения, а та, что не является критически важной для бизнеса, разместится в недорогих хранилищах. При этом инструменты управления постоянно отслеживают ценность и статус информации и перемещают ее в адекватные системы хранения согласно политикам и SLO. На определенном этапе жизненного цикла информация может стать ссылочной, устареть или повторно использоваться. В первом случае механизм управления передаст ее в архив, во втором – просто удалит, а в третьем – заново классифицирует и свяжет с другим SLO.

Пусть данные «вздохнут свободнее»

Полная реализация концепции ILM в data-центре – длительный, сложный и в чем-то даже болезненный процесс. Поэтому начинать следует с частных решений, которые максимально быстро дадут ощутить выгоду от применяемого похода. Кроме того, успешные частные решения позволят легче реализовать переход на ILM-стратегию в будущем.

Внедрение подходов ILM стоит начинать с формирования ярусной инфраструктуры хранения (tiered storage infrastructure), которая строится из систем хранения нескольких типов, существенно различающихся, по крайней мере, по одному из следующих критериев: стоимость, производительность, емкость и функциональность. Разные категории данных, с разными требованиями к характеристикам хранения, связывают с разными, наиболее адекватными для каждой категории, хранилищами. Таким образом, минимизируется стоимость хранения информации при обеспечении требуемого уровня сервиса.

Создание ярусной инфраструктуры не предполагает большого количества уровней систем хранения. Иногда достаточно трех уровней: высокопроизводительной системы хранения, недорогой емкой системы и системы для резервирования данных.

С созданием ярусной инфраструктуры связана потребность в средствах управления структурированной информацией. Это программные продукты, осуществляющие миграцию данных по уровням хранения. Например, продукт EMC DiskXtender способен автоматически переносить часть файловой системы на другую систему хранения, осуществляя ее связь с «родительской» файловой системой. Приложение, работающее с этими данными, продолжает функционировать в обычном режиме.

Другой продукт – HP RIM for Databases (а также семейство продуктов EMC DatabaseXtender) осуществляет аналогичные действия с таблицами баз данных, что позволяет минимизировать стоимость хранения, снизить нагрузку на СУБД, сократить время резервирования/восстановления, улучшив при этом показатели непрерывности бизнеса.

Существуют также средства для управления неструктурированной информацией, такой, например, как электронная почта. Продукт EMC EmailXtender обеспечивает адекватное размещение в системах хранения почтовых сообщений Microsoft Exchange и Lotus Notes/Domino.

Аналогичные задачи решаются и при управлении ссылочной информацией. Ссылочная информация – это документы, электронные сообщения и пр., используемые для подготовки других документов, отчетов либо в качестве справочных данных. Главное отличие такой информации – статичность: ссылочная информация не изменяется. Кроме того, множество нормативных актов, как государственных, так и внутрикорпоративных, могут регламентировать сроки хранения подобной информации (например, для документов финансовой отчетности или данных биллинга).

Идеальным решением для управления ссылочной информации является электронный архив, выполненный в виде программно-аппаратного комплекса (Content Addressed Storage, CAS) и интегрированный с необходимыми бизнес-приложениями. Одно из таких решений – продукт EMC Centera. CAS-системы позволяют находить документы по содержимому, индексируя их при размещении в хранилище. Можно организовать архив документов, удовлетворяющий нормативные требования по срокам хранения, обеспечивающий защиту информации, устраняющий дублирование документов и соответствующий концепции ILM. Архивация неактивной информации может существенно сократить время резервирования/восстановления данных.

Начав с частных решений, можно подготовить почву для дальнейшего развития ILM в организации и превращения data-центра в информационно-центричный, обеспечив при этом снижение стоимости хранения данных, строгое соблюдение нормативных актов, исключение дублирования информации, достижение необходимых характеристик сервиса хранения.

ILM
публикации]]> Tue, 26 Dec 2006 17:19:49 +0500 Алексей <defann+place@gmail.com> http://defann.cyberflash.ru/2006/10/12/2 http://defann.cyberflash.ru/2006/10/12/2 http://defann.cyberflash.ru/2006/10/12/2/comments Intelligent Enterprise)

Алексей Назарбаев
ведущий технический эксперт ТopS BI

В статье «От данных — к информации» мы рассмотрели, что представляет собой ILM концептуально. Обдумав проблему стремительного роста данных, вы наверняка согласитесь с положением, выдвигаемым ILM: решение проблемы постоянно растущих данных возможно только при смене парадигмы их хранения.

Можно ли реализовать в датацентре управление жизненным циклом информации уже сейчас? К сожалению, только частично. На текущий момент не существует полной реализации концепции ILM, но есть хорошие частные решения – программные продукты, устройства хранения и методологии. Для того чтобы понять, какие инструменты можно начать использовать сегодня, нам нужно рассмотреть общую стратегию и этапы внедрения ILM в датацентре и оценить предполагаемый результат реализации этой стратегии.

Этапы реализации ILM по версии EMC

Компания EMC – одна из крупнейших на рынке систем хранения данных, и именно она стала флагманом в развитии ILM, предлагая решения для создания информационной инфраструктуры и фокусируясь на ключевых технологиях – консолидации данных, виртуализации систем хранения и вычислений, управлении неструктурированной информацией, организации электронных архивов.

План реализации стратегии ILM, разработанный EMC, базируется на подходе, предложенном Storage Networking Industry Association (SNIA) в 2004 году. Этот подход подразумевает пять фаз внедрения ILM, причём каждая такая фаза означает шаг к созданию интегрированной ILM-среды:

1. консолидация данных и сети хранения;
2. стандартизация данных и сервисов хранения;
3. создание «островков» ILM и фокусирование на отдельных корпоративных приложениях;
4. введение автоматизации в процесс управления размещением данных;
5. объединение «островков» в единую гетерогенную ILM-среду.

Однако рекомендации SNIA являются скорее общими. EMC более конкретна и выделяет всего три этапа в создании ILM-инфраструктуры, каждый из которых носит законченный характер и может быть задействован для решения наиболее острых в данный момент проблем организации. Естественно, что этапы эти последовательны, и каждый следующий не может осуществляться без реализации предыдущих.

Первый этап предполагает построение иерархической архитектуры для инфраструктуры хранения (tiered storage infrastructure).



Единая многоярусная инфраструктура хранения позволяет разместить приложения и обрабатываемую ими информацию в наиболее подходящем месте (по параметрам доступности, защищённости, надёжности хранения и пр.) в соответствии с её ценностью для бизнеса. Такой подход облегчит управление инфраструктурой и решение оперативных задач (например, создание резервных копий). А организация, реализовав этот этап, получит такие выгоды, как удешевление хранения информации, повышение эффективности управления инфраструктурой и оптимизация автоматизированного размещения данных в системах хранения.

Следующий этап заключается в применении стратегии ILM к одному из ключевых приложений (это может быть ERP-решение, почтовая система или СУБД).



В качестве такого ключевого приложения целесообразно выбрать систему с серьёзными требованиями к ресурсам хранения. Это позволит сразу ощутить эффект от реализации ILM-стратегии и возврат сделанных инвестиций. На втором этапе ключевое приложение и его данные классифицируются и связываются с политиками, задающими правила размещения информации в инфраструктуре хранения.

Классификация данных — очень важный и сложный процесс. Здесь нужно учитывать как уже имеющиеся типы, так и будущее их появление при планируемом расширении системы. С классификацией непосредственно связано и задание целевых показателей уровня сервиса (SLO), на основе которых впоследствии будет осуществляться автоматическое размещение информации в инфраструктуре хранения датацентра. Детализированная классификация и точные политики позволят сделать управление размещением данных более адекватным.

Наконец, завершающий этап – интеграция в ILM-инфраструктуру множества приложений.



На этом этапе проводится классификация всех корпоративных приложений и обрабатываемых данных и связывание их с новыми или существующими политиками. Отныне приложения совместно используют инфраструктуру хранения, а механизм управления автоматически размещает информацию в наиболее подходящих хранилищах. Происходит виртуализация инфраструктуры хранения всей корпоративной информации, и ILM начитает работать в полную силу.

Какие ILM-технологии актуальны сегодня?

Как уже было сказано выше, полной реализации управления жизненным циклом информации на данный момент не существует. Но некоторые технологии применимы уже сегодня. Они обеспечат вполне осязаемые преимущества и позволят легче реализовать переход на ILM-стратегию в будущем.

Ярусная инфраструктура хранения – ключевое звено первого этапа реализации ILM-стратегии по версии EMC – устанавливает иерархию систем хранения на основе требований к качеству сервиса, таких как производительность, непрерывность бизнеса, защита данных, безопасность хранимой информации, соответствие нормативным актам (в том числе по времени хранения), стоимость. Физически инфраструктура представляет собой несколько объединённых в сеть систем хранения, различающихся по стоимости и уровню предоставляемого сервиса. Для каждого типа информации и соответствующего приложения выбирается наиболее адекватное хранилище.

Поскольку полная реализация ILM в гетерогенной среде приложений (третий этап по версии EMC) трудно осуществима, стоит подробнее остановиться на частных решениях. Ведущие поставщики систем хранения предлагают инструменты для управления хранением структурированной и неструктурированной информацией. Разработаны специализированные решения для управления ссылочной информацией.

Средства управления структурированной информацией представляют собой программные продукты, осуществляющие перенос данных в инфраструктуре хранения согласно правилам. В роли структурированной информации может выступать, например, файловая система серверов или таблицы баз данных. В первом случае инструмент управления будет перемещать часть файловой системы в адекватные на данный момент системы хранения в ярусной инфраструктуре (пример такого инструмента — продукт EMC DiskXtender). Во втором случае будет осуществляться перенос данных из таблиц в другую СУБД или в архив (например, так действует решение HP RIM for Databases).

Инструменты управления неструктурированной информацией используются для перемещения данных, не имеющих выраженной структуры (например, почтовых архивов), и также требуют интеграции на уровне приложений. Программные продукты для управления почтовыми архивами уже представлены на рынке. Например, EMC EmailXtender позволяет организовать архивы почтовых сообщений Microsoft Exchange и Lotus Notes/Domino.

Управление ссылочной информацией осуществляется с помощью либо программных, либо, что предпочтительно, программно-аппаратных средств – Content Addressed Storage (CAS). Особенность таких систем состоит в том, что они позволяют находить документы по содержимому, индексируя их в момент размещения в хранилище. Предназначены они в первую очередь для архивов неструктурированной информации. Включив CAS-систему в сеть хранения датацентра, вы можете организовать архив документов, удовлетворяющий нормативным требованиям по срокам хранения (эта возможность реализуется непосредственно инструментами CAS), обеспечивающий защиту и безопасность хранимой информации, устраняющий дублирование документов и соответствующий концепции ILM. На сегодняшнем рынке решения CAS представлены несколькими вендорами. Среди них – Hewlett-Packard (продукт HP StorageWorks RISS) и EMC (Centera).

В целом, реализация концепции управления жизненным циклом информации в инфраструктуре датацентра – сложный и длительный процесс, но начать его и получить выгоду от внедрения можно уже сейчас.

ILM
публикации]]> Thu, 12 Oct 2006 09:14:27 +0500 Алексей <defann+place@gmail.com> http://defann.cyberflash.ru/2006/10/12/1 http://defann.cyberflash.ru/2006/10/12/1 http://defann.cyberflash.ru/2006/10/12/1/comments Intelligent Enterprise)

Алексей Назарбаев
ведущий технический эксперт TopS BI

В последнее время в специализированной прессе все чаще появляется «загадочная» аббревиатура ILM – Information Lifecycle Management. Ведущие разработчики один за другим предлагают решения для той или иной части ILM, красиво расписывая общую схему хранения данных в реорганизованном соответствующим образом датацентре. Однако ясного понимания, что же такое ILM, у российских заказчиков, на наш взгляд, пока не сложилось.

Первое, что стоит отметить: ILM – не панацея, не технология, не решение и не руководство к действию. Это концепция, отражающая современный взгляд на корпоративные данные; набор практик управления, нацеленных на достижение оптимального соотношения ценности информации для бизнеса и стоимости инфраструктуры её хранения.

ILM, согласно SNIA (Storage Networking Industry Association, www.snia.org), это политики, процессы, практики, сервисы и инструменты, используемые для того, чтобы соотнести ценность информации с точки зрения бизнеса с наиболее подходящей и эффективной по стоимости инфраструктурой, начиная с момента создания информации и заканчивая ее размещением. Информация сопоставляется с бизнес-требованиями через политики управления и уровни предоставления сервиса, связанные с приложениями, данными и метаданными.

Говоря проще, это концепция автоматического размещения данных в инфраструктуре датацентра на основании требований бизнеса к параметрам защищенности, доступности информации и с учетом ее ценности для бизнеса, актуальности и минимизации расходов на хранение. Какие же проблемы хранения помогает решить ILM?

Не захлебнуться в океане данных

Ни для кого не секрет, что объем корпоративной информации с каждым годом увеличивается, и очень серьезно. В соответствии с отчетами IDC рост объемов хранимых и обрабатываемых данных составляет более 70% в год. В среднестатистической современной компании три тысячи сотрудников ежедневно передают по электронной почте терабайт данных. Всего в мире, по подсчётам Gartner, в 2005 году отправлялось 36 миллиардов электронных сообщений в день — в три раза больше, чем в 2001-м. В некоторых специфичных отраслях, например в медицине, наблюдается экспоненциальный рост информационных объёмов.

Ситуация осложняется требованиями нормативных актов и внутрикорпоративныхстандартов, предписывающих длительное хранение некоторых видов информации — иногда в течение 5--10 лет. А это значит, что компания, имеющая корпоративные данные скромного объема в 1 Тбайт и показывающая рост этих объёмов 60% в год (не самый большой по современным меркам), через 10 лет будет хранить уже 110 Тбайт информации. Увеличение более чем в 100 раз!

Проблема взрывного роста объемов данных тесно связана с другой проблемой: постоянно усложняются процессы управления распределенной инфраструктурой датацентров. Современный центр обработки данных состоит из тысяч взаимодействующих компонентов – серверов, элементов систем хранения (логических единиц, дисков, контроллеров, управляющих серверов, ленточных накопителей и т. д.), элементов сетей хранения и локальных сетей (маршрутизаторов, хост-контроллеров, адаптеров и пр.). Для управления сложной инфраструктурой применяются специальные инструменты, причём для каждого вида инфраструктурных элементов — свои. И чем больше в датацентре разнородных компонентов, тем больше инструментов управления вы вынуждены использовать. Что ещё больше увеличивает сложность системы.

Кроме того, использование специализированных инструментов управления инфраструктурой не решает основной задачи – управлять лавинообразно растущим потоком данных. Компании продолжают хранить информацию в дорогих высокопроизводительных системах и, несмотря на снижение стоимости оборудования, с каждым годом расходуют всё больше средств на её хранение. Процесс резервного копирования становится всё сложнее и требует больше и больше времени. При этом существующие инструменты управления не автоматизируют в достаточной степени процессы размещения информации – администраторы фактически вручную выделяют место для ее хранения, задают привязку к необходимым серверам, создают расписание резервного копирования, определяют источники и места назначения.

Сложившуюся ситуацию в области хранения данных можно охарактеризовать следующим образом: объем данных катастрофически растет, а имеющиеся инструменты управления не в силах с этим справиться.

Нужны ли бизнесу все сохраняемые в системах данные?

Возвращаясь к примеру компании, за 10 лет увеличившей объём корпоративной информации в 100 раз, зададимся вопросом: так ли необходимы её бизнесу эти 110 Тбайт данных, размещенных в оперативных хранилищах?

Очевидно, что нет. С течением времени меняется как ценность данных, так и требования к их доступности и защищенности. Так, ценность финансовой транзакции максимальна в течение первого месяца и впоследствии неуклонно снижается. Кроме того, финансовая запись в ERP-системе компании и, скажем, личное письмо сотрудника имеют разную ценность для бизнеса уже в момент создания.

Между тем в оперативных высокопроизводительных хранилищах датацентра располагаются все данные, включая устаревшие и ненужные, в то время как храниться там должны только те, к которым предъявляются высокие требования доступности.

Анализ, проведенный Enterprise Storage Group, показывает, каким образом ценность информации для бизнеса изменяется с течением времени в зависимости от ее типа.



Мы можем сделать важный вывод: разные классы информации имеют разную ценность для бизнеса, и эта ценность меняется с течением времени.

Следующее важное свойство корпоративных данных – их состояние. Создаваемые данные сохраняются в датацентре для последующей обработки и затем в зависимости от решаемых бизнесом задач изменяются. Пока данные изменяются, они находятся в активном состоянии и называются оперативными. Но с течением времени наступает момент, когда данные «закрепляются» и более изменениям не подвергаются. Они могут использоваться для генерации новых документов, сводных отчетов и т. п. Такие данные называют ссылочными. Естественный способ хранения ссылочных данных – архив.

В современных датацентрах обычно оперативные и ссылочные данные размещаются вместе, в одних и тех же хранилищах, что не только увеличивает стоимость хранения, но и создает трудности с соблюдением нормативных актов, регламентирующих хранение определенных видов информации.

Наконец, есть еще одно состояние – устаревшие данные, которые нигде более не используются, а срок их хранения, регламентируемый нормативными актами, истек. Такие данные больше не нужны бизнесу, их ценность нулевая, и они могут быть удалены. В настоящее время устаревшие данные отслеживаются практически вручную, их удаление из системы представляет собой кошмар для администратора, а хранение – пустую трату денег.

Вперед и вверх!

Описывая текущую ситуацию с хранением данных, мы намеренно не акцентировали внимания на различии между данными и информацией. Точно так же эти различия не учитываются в сложившейся сегодня практике организации процессов и инфраструктуры хранения. Однако именно этот аспект – один из важнейших в концепции ILM: данные ≠ информация

Данные – это просто набор байтов, способ отражения бизнес-информации в инфраструктуре хранения. С такой точки зрения все они представляют одинаковую ценность, поскольку их семантика не определена, а значение здесь имеют такие параметры, как надежность хранения, защищенность и доступность. Именно этими характеристиками оперируют современные системы хранения данных и инструменты управления инфраструктурой.

Информация – это данные, представляющие определенный смысл для бизнеса. Аналогичные по структуре данные, одинаково размещенные в системе хранения, могут иметь совершенно разный смысл и, следовательно, разную ценность для компании. Например, личное письмо сотрудника, посланное по электронной почте, и письмо того же сотрудника, содержащее конфиденциальные сведения о клиенте.

ILM предлагает уйти от управления данными и сфокусироваться на управлении информацией. Для этого необходимо в первую очередь изменить подход к ее хранению. В рамках ILM предлагается классифицировать бизнес-информацию компании, прежде чем она попадет в инфраструктуру хранения. Классификация – это необходимый для эффективного управления жизненным циклом информации процесс, обеспечивающий хранимые данные адекватной семантикой.

Для этого процесса вводятся понятия целевых показателей уровня сервиса (Service Level Objectives — SLO) и «политик» (Policies), на основе которых будет осуществляться управление хранением информации. SLO определяет, какие показатели ключевых характеристик (надежности, доступности и др.) должны обеспечиваться инфраструктурой хранения для данного класса информации. «Политики» определяют необходимые действия с конкретными классами информации при возникновении определенных условий (например, при окончании срока жизни информации). Основой для формирования SLO и политик являются бизнес-требования и бизнес-процессы компании, а также различные нормативные акты.

Таким образом, подход к хранению данных в датацентре становится информационно-центричным.



Создаваемая информация классифицируется, с ней связываются определенные SLO, на основании которых интегрированный в инфраструктуру механизм управления размещает эту информацию согласно заданным политикам. Это значит, что информация, требующая высокой доступности, попадет в высокопроизводительные системы хранения, а та, что не является критически важной для бизнеса, разместится в недорогих хранилищах.

При этом механизмы работы приложений с данными не меняются, но инструменты управления постоянно отслеживают ценность информации, ее состояние и перемещают ее в адекватные системы хранения согласно политикам и SLO. На определенном этапе жизненного цикла информация может стать ссылочной, устареть или повторно использоваться. Тогда механизм управления в первом случае передаст ее в архив, во втором – просто удалит, а в третьем – заново классифицирует и свяжет с другим SLO.

Таким образом, датацентр, построенный согласно ILM, обеспечивает следующие основные преимущества:

• снижение стоимости хранения информации (за счет своевременного переноса данных в недорогие системы хранения и уничтожения устаревшей информации);
• строгое соблюдение нормативных актов, регламентирующих хранение данных, путем автоматического применения политик;
• достижение соответствия характеристик хранения (надежности, защищенности, доступности и др.) различным классам информации;
• исключение дублирования информации (за счет управления ссылочными данными).

И при этом информация всегда предоставляется в нужном месте, в нужное время и по оптимальной цене.

ILM
публикации]]> Thu, 12 Oct 2006 09:00:11 +0500 Алексей <defann+place@gmail.com>