Проблемы систем хранения данных
https://filearchive.cnews.ru/img/forum/2017/03/23/shd700.jpg
Интересное письмо от читателя о текущей проблематике систем хранения данных в России.
Проблемы систем хранения данных
То, что я попытаюсь донести ниже, к микроэлектронике отношения не имеет. Собственно, именно факт того, что отечественную микроэлектронику, что бы под этим определением ни подразумевалось, а в частности и «Эльбрусы», пытаются накрепко пристегнуть с СХД (Системам Хранения Данных»), меня и сподвигнул на написание письма:
Дело в том, что по «тщательно сложившейся» практике под СХД у нас в России априори подразумевают дисковые системы (в данном контексте неважно – жесткие диски HDD или твердотельные накопители SSD). Для их функционирования, действительно, необходимы процессоры. И, действительно, использование иностранных процессоров в критических областях представляет собой нетеоретическую угрозу.
Но вот только СХД отнюдь не исчерпываются дисками! К сожалению, большинство отечественных ИТ-шников, в том числе руководителей, об этом имеет весьма смутное представление. Еще бы – кто ж их будет на свою голову просвещать о наличие других решений, если дисковая СХД это ж просто манна небесная! Судите сами: регулярная, каждые 2-4 года, замена дисков, постоянная потребность в расширении «хранилки» – а это ой недешево с учетом всей инфраструктуры, многократное дублирование для достижения приемлемой надежности и т.д. и т.п. Я уж молчу про софт. Траты, траты, траты. Клондайк неиссякаемый!
Давайте рассмотрим, как на самом деле физически можно хранить данные. Технологий, как ни странно, не много – всего три:
1) Уже упомянутые диски (HDD и SSD). Производителей много. Развитие экстенсивное.
За счет скорости – идеальное решение для оперативной/постоянной работы.
Недостатки – относительно невысокая надежность («лечится» дублированием), высокая эксплуатационная стоимость из за большого потребления электроэнергии для работы и для охлаждения, занимают много места, дорогостоящее масштабирование. И, повторюсь, функционирование дисковых систем невозможно без процессоров.
2) Ленточные системы LTO. Производителей много. Развитие поступательное.
За счет высокой надежности, срока хранения 30+ лет и огромной емкости (12-560ТБ) – идеальное решение для длительного хранения важных данных и резервирования (бэкапа) оперативных данных. По параметру BER (Bit error rate) превосходят дисковые решения на 4 порядка (не раза, а порядка!), эксплуатационная стоимость в 24 (!) раза ниже сопоставимой по емкости дисковой системы, потребление электроэнергии для работы – на бытовом уровне, системы охлаждения и специальное оборудование помещения не требуется, на 1 кв м можно разместить до 10 ПБ (Петабайт), масштабирование в разы дешевле дисковых систем. Ну и вишенка на торте – в силу своей архитектуры ленточные системы являются последней линией обороны против хакерских атак – их действительно крайне сложно хакнуть из-за физических особенностей.
Недостатки – несмотря на скорость потоковой записи, значительно превышающую запись на диски, доступ к данным осуществляется медленнее. В среднем, чтобы поднять данные требуется 1-3 минуты. Для работы ленточной библиотеки необходим дисковый буфер с минимальной емкостью порядка 10-15% от планируемой емкости хранения.
Для функционирования ленточных систем процессоры НЕ НУЖНЫ!
И!! В силу своей архитектуры ленточные библиотеки практически не предоставляют возможностей для «закладок».
Идеальная СХД представляет их себя сочетание дисковой и ленточной систем в пропорции, определяемой конкретными стоящими перед этой СХД задачами.
Кроме дисков и лент, есть еще:
3) Магнитооптические системы. Реальный производитель носителей – 1. «Железо» делают PANASONIC и SONY, причем каждый – свое. Развитие ограничено.
Технологически – это гибрид между дисками по сути и лентами по архитектуре. И как у любого гибрида, проблем больше, чем достоинств.
Позиционируются как универсальные СХД со скоростью дисков и сроком хранения больше чем у лент. Но, кроме России, нигде распространения не получили из-за большого количества недоработок и, главное, зависимости от единственного производителя и необходимости использовать специальный софт. В «российских» системах российского – крупноузловая сборка.
Для функционирования требуются процессоры.
Все. Ничего другого человечество пока не придумало. Часто упоминаемые хранилки на основе генома, голографии, и т.д. – не более чем эксперименты и фантазии. По крайней мере пока.
Что касается модных ныне облаков – то ведь и они тоже должны, в конечном итоге, на чем-то лежать физически, правда?!
Вернемся к «тщательно сложившейся» практике: в свете вышеизложенного, надеюсь, очевидно, что стремление решать любые задачи хранения данных с помощью привычных дисковых систем является ничем иным, как натягиванием совы на глобус. Лучший пример – это безумная, с технологической точки зрения, реализация «Закона Яровой». К сожалению, идиотских реализаций много. Ведь на BENTLEY тоже можно возить картошку с поля до сарая – почему нет?!.
Хуже всего то, что практика под СХД понимать именно и только диски начала автоматически экстраполироваться на сферу законотворчества. В результате формулировки ФЗ и нормативных актов, признающие в качестве российских только СХД с российскими процессорами, блокируют применение тех СХД, в которых процессоры просто не предусмотрены!
Ну не нужны для ленточных систем ни «Эльбрусы», ни «Байкалы», ни какие-либо другие процессоры! Но без процессоров ленточные библиотеки, с точки зрения законов, как бы и не СХД!
Если все обсуждения СХД будут продолжать крутиться вокруг «хороши или плохи «Эльбрусы», вне поля зрения продолжат оставаться гораздо более важные вопросы: какие технологии хранения целесообразно применять в тех или иных случаях, как их сочетать для максимально эффективного решения конкретных задач, что нужно предпринять для появления отечественных образцов.
Пока же у нас в стране тратятся гигантские суммы, расходуется немеряное количество энергии для решения тех задач, которые можно было бы реализовать гораздо дешевле и эффективнее. И самое тревожное – несмотря на все затраты, в силу использования не совсем соответствующих технологий надежность сохранения наших данных вызывает большие сомнения. Я не знаю, в какие колокола нужно бить. Маловероятно, но, может, это письмо привлечет хоть какое-нибудь внимание?!
С искренним уважением
Дмитрий
Интересное письмо от читателя о текущей проблематике систем хранения данных в России.
Проблемы систем хранения данных
То, что я попытаюсь донести ниже, к микроэлектронике отношения не имеет. Собственно, именно факт того, что отечественную микроэлектронику, что бы под этим определением ни подразумевалось, а в частности и «Эльбрусы», пытаются накрепко пристегнуть с СХД (Системам Хранения Данных»), меня и сподвигнул на написание письма:
Дело в том, что по «тщательно сложившейся» практике под СХД у нас в России априори подразумевают дисковые системы (в данном контексте неважно – жесткие диски HDD или твердотельные накопители SSD). Для их функционирования, действительно, необходимы процессоры. И, действительно, использование иностранных процессоров в критических областях представляет собой нетеоретическую угрозу.
Но вот только СХД отнюдь не исчерпываются дисками! К сожалению, большинство отечественных ИТ-шников, в том числе руководителей, об этом имеет весьма смутное представление. Еще бы – кто ж их будет на свою голову просвещать о наличие других решений, если дисковая СХД это ж просто манна небесная! Судите сами: регулярная, каждые 2-4 года, замена дисков, постоянная потребность в расширении «хранилки» – а это ой недешево с учетом всей инфраструктуры, многократное дублирование для достижения приемлемой надежности и т.д. и т.п. Я уж молчу про софт. Траты, траты, траты. Клондайк неиссякаемый!
Давайте рассмотрим, как на самом деле физически можно хранить данные. Технологий, как ни странно, не много – всего три:
1) Уже упомянутые диски (HDD и SSD). Производителей много. Развитие экстенсивное.
За счет скорости – идеальное решение для оперативной/постоянной работы.
Недостатки – относительно невысокая надежность («лечится» дублированием), высокая эксплуатационная стоимость из за большого потребления электроэнергии для работы и для охлаждения, занимают много места, дорогостоящее масштабирование. И, повторюсь, функционирование дисковых систем невозможно без процессоров.
2) Ленточные системы LTO. Производителей много. Развитие поступательное.
За счет высокой надежности, срока хранения 30+ лет и огромной емкости (12-560ТБ) – идеальное решение для длительного хранения важных данных и резервирования (бэкапа) оперативных данных. По параметру BER (Bit error rate) превосходят дисковые решения на 4 порядка (не раза, а порядка!), эксплуатационная стоимость в 24 (!) раза ниже сопоставимой по емкости дисковой системы, потребление электроэнергии для работы – на бытовом уровне, системы охлаждения и специальное оборудование помещения не требуется, на 1 кв м можно разместить до 10 ПБ (Петабайт), масштабирование в разы дешевле дисковых систем. Ну и вишенка на торте – в силу своей архитектуры ленточные системы являются последней линией обороны против хакерских атак – их действительно крайне сложно хакнуть из-за физических особенностей.
Недостатки – несмотря на скорость потоковой записи, значительно превышающую запись на диски, доступ к данным осуществляется медленнее. В среднем, чтобы поднять данные требуется 1-3 минуты. Для работы ленточной библиотеки необходим дисковый буфер с минимальной емкостью порядка 10-15% от планируемой емкости хранения.
Для функционирования ленточных систем процессоры НЕ НУЖНЫ!
И!! В силу своей архитектуры ленточные библиотеки практически не предоставляют возможностей для «закладок».
Идеальная СХД представляет их себя сочетание дисковой и ленточной систем в пропорции, определяемой конкретными стоящими перед этой СХД задачами.
Кроме дисков и лент, есть еще:
3) Магнитооптические системы. Реальный производитель носителей – 1. «Железо» делают PANASONIC и SONY, причем каждый – свое. Развитие ограничено.
Технологически – это гибрид между дисками по сути и лентами по архитектуре. И как у любого гибрида, проблем больше, чем достоинств.
Позиционируются как универсальные СХД со скоростью дисков и сроком хранения больше чем у лент. Но, кроме России, нигде распространения не получили из-за большого количества недоработок и, главное, зависимости от единственного производителя и необходимости использовать специальный софт. В «российских» системах российского – крупноузловая сборка.
Для функционирования требуются процессоры.
Все. Ничего другого человечество пока не придумало. Часто упоминаемые хранилки на основе генома, голографии, и т.д. – не более чем эксперименты и фантазии. По крайней мере пока.
Что касается модных ныне облаков – то ведь и они тоже должны, в конечном итоге, на чем-то лежать физически, правда?!
Вернемся к «тщательно сложившейся» практике: в свете вышеизложенного, надеюсь, очевидно, что стремление решать любые задачи хранения данных с помощью привычных дисковых систем является ничем иным, как натягиванием совы на глобус. Лучший пример – это безумная, с технологической точки зрения, реализация «Закона Яровой». К сожалению, идиотских реализаций много. Ведь на BENTLEY тоже можно возить картошку с поля до сарая – почему нет?!.
Хуже всего то, что практика под СХД понимать именно и только диски начала автоматически экстраполироваться на сферу законотворчества. В результате формулировки ФЗ и нормативных актов, признающие в качестве российских только СХД с российскими процессорами, блокируют применение тех СХД, в которых процессоры просто не предусмотрены!
Ну не нужны для ленточных систем ни «Эльбрусы», ни «Байкалы», ни какие-либо другие процессоры! Но без процессоров ленточные библиотеки, с точки зрения законов, как бы и не СХД!
Если все обсуждения СХД будут продолжать крутиться вокруг «хороши или плохи «Эльбрусы», вне поля зрения продолжат оставаться гораздо более важные вопросы: какие технологии хранения целесообразно применять в тех или иных случаях, как их сочетать для максимально эффективного решения конкретных задач, что нужно предпринять для появления отечественных образцов.
Пока же у нас в стране тратятся гигантские суммы, расходуется немеряное количество энергии для решения тех задач, которые можно было бы реализовать гораздо дешевле и эффективнее. И самое тревожное – несмотря на все затраты, в силу использования не совсем соответствующих технологий надежность сохранения наших данных вызывает большие сомнения. Я не знаю, в какие колокола нужно бить. Маловероятно, но, может, это письмо привлечет хоть какое-нибудь внимание?!
С искренним уважением
Дмитрий
