Еще о проблематике СХД
https://images.satu.kz/148764366_hpe-c7977a-kartridzh.jpg
В дополнение к материалу "Проблемы систем хранения данных" https://colonelcassad.livejournal.com/7059368.html, который вызвал бурную полемику. Автор решил ответить на поступившую критику.
Публикую как есть.
Я ни разу не работаю ни с IBM, ни на IBM (кстати, ленточные системы есть в портфелях многих вендоров). Просто, зная о сильных (и слабых) сторонах ЛТО, не хотел бы, чтобы эта технология была похерена в России только лишь из-за того, что ее, не заметив, законодательно затоптали в пылу дискуссий, какие процессоры считать российскими, при этом тесно связывая понятия «процессор» и СХД. Подстригание лент под одну гребенку с дисковыми и твердотельными СХД может сильно дорого нам обойтись, и не только в денежном смысле.
· Судя по комментариям, для многих непонятно, что для разных задач используются разные СХД. Разжую, уж простите за очевидности: для оперативной деятельности – HDD и SSD. Для длительного хранения – ЛТО. Сравнивать диски и ленты как инструменты достижения одной цели – бессмысленно: гонять текущие данные на лентах (как кто-то написал) – глупость несусветная, равно как и закладывать архив на несколько ПБ на SSD (желаю успеха и неиссякаемого финансирования рассказчику о таком кейсе!) или на HDD.
Чтобы реализовать преимущества и скомпенсировать недостатки каждого из решений, умные люди давно придумали Tiering (многоуровневость). Разумеется, я пишу не о домашних и мелких пользователях. Тем, кто апеллирует к своему богатому опыту с парой десятков ТБ – дальше можно не читать. Те же, кто сталкивается с более значительными объемами, знают, что проблема существует отнюдь не только в моей голове (как, опять-таки, кто-то написал) .
Что касается бэкапа – то вопрос о том, считать ли его оперативной или архивной задачей определятся процессами в каждой конкретной компании/организации. С применением соответствующего инструмента.
· Поскольку объемы данных, подлежащих хранению, постоянно растут, ленточные системы продолжают оставаться еще как востребованными! То, что Вася Пупкин о современных ЛТО (кстати – небо и земля с первыми поколениями) не знает, никак не влияет на использование их всякими там Гуглами, Амазонами, телеканалами и другими банками. В общем – корпоратами, в том числе и нашенскими. Даже странно – чего же это они дурью маются, да?!
Я уж развею несколько утверждений из комментариев, не обессудьте:
- создавать специальные условия и перематывать современные ленты в процессе хранения, а также проверять сохранность данных на них НЕ НУЖНО! То, что в некоторых организациях это прописано в древних регламентах – просто свидетельствует об, извините, замшелости. Мир, знаете ли, меняется! А ЛТО признаны самым надежным способом хранения с самым низким BER (Bit Error Rate).
- уничтожить данные на современной ленте ЛТО можно только в специальной мощной размагничивающей установке, в мире таких лишь несколько штук. Бытовое магнитное поле не проканает J. Ну, еще можно ленты сжечь. Дотла. Падений с высоты лента не боится. Механика картриджа пострадать может. Целостность данных – нет.
- ЛТО практически не потребляют электроэнергию в процессе работы, не требуют охлаждения. На 1 кв метре можно разместить почти 10ПБ на ЛТО8. И да – в прошлом году достигнута емкость 560 ТБ на картридж!
- скорость записи/чтения на ЛТО8 составляет 360 Мб/сек для сырых данных. Загрузка/выгрузка картриджа в библиотеке и перемотка до нужного места занимает 1-3 минуты (каюсь – в своем первом письме я написал, что это время подъема данных – mia culpa). Так как речь идет об архиве – не критично ведь, правда? А бэкап после позиционирования вообще льется потоком.
- Стоимость владения ЛТО ниже стоимости владения дисками в 26 (!) раз. Разумеется, если речь идет о паре ПБ и выше. И, разумеется, на практике эти системы работают совместно. В пропорции, определяемой стоящими задачами.
- Хакнуть даже онлайн систему ЛТО гораздо сложнее, чем хакнуть дисковую систему. Спросите у ЦЕРН J.
Теперь самая мякотка – процессоры. Те самые, российские, которые обязаны быть в каждой СХД, чтобы ее дозволяли для использования у нас в стране, и которых нет в ЛТО. Ну с чего сыр-бор то поднялся? Да, в ленточных библиотеках стоят контроллеры – т.е. специализированные микросхемы управления, предназначенные исключительно для этой задачи. Достаточно примитивные. Иностранного производства, как, к сожалению, и бОльшая часть всего ИТ оборудования. Можно ли их начать делать у нас? Не знаю. Наверное, можно – было бы желание.
Можно ли считать такие простые микросхемы процессорами и заменять их, например, теми же Эльбрусами? В принципе – тоже можно. Как можно стрелять из пушки по воробьям. Но уместнее все же дефиниции «контроллер» и «процессор» различать!
Меня укорили нелогичностью за отрицание наличия процессоров в ЛТО, так как я упомянул о дисковом буфере/сервере. Но ведь это разные вещи! Части многоуровневой системы, хотя и работающие в связке. Кто-то в коментах написал о тестировании Эльбруса с лентами в Норси-Транс и Рубэкап. Если я правильно понял – речь как раз и шла о связке библиотека-буфер. Зело верный путь!
Можно было бы еще написать подробнее о физической деградации дисков (кто-то в комментах эту тему затрагивал) и о затронутой проблеме совместимости вследствие стремительного обновления технологий (общая головоболь равно и для дисков/SSD и для лент). Но я и так уже развел многобуквие. Так что закруглюсь.
(с) Дмитрий
В дополнение к материалу "Проблемы систем хранения данных" https://colonelcassad.livejournal.com/7059368.html, который вызвал бурную полемику. Автор решил ответить на поступившую критику.
Публикую как есть.
Я ни разу не работаю ни с IBM, ни на IBM (кстати, ленточные системы есть в портфелях многих вендоров). Просто, зная о сильных (и слабых) сторонах ЛТО, не хотел бы, чтобы эта технология была похерена в России только лишь из-за того, что ее, не заметив, законодательно затоптали в пылу дискуссий, какие процессоры считать российскими, при этом тесно связывая понятия «процессор» и СХД. Подстригание лент под одну гребенку с дисковыми и твердотельными СХД может сильно дорого нам обойтись, и не только в денежном смысле.
· Судя по комментариям, для многих непонятно, что для разных задач используются разные СХД. Разжую, уж простите за очевидности: для оперативной деятельности – HDD и SSD. Для длительного хранения – ЛТО. Сравнивать диски и ленты как инструменты достижения одной цели – бессмысленно: гонять текущие данные на лентах (как кто-то написал) – глупость несусветная, равно как и закладывать архив на несколько ПБ на SSD (желаю успеха и неиссякаемого финансирования рассказчику о таком кейсе!) или на HDD.
Чтобы реализовать преимущества и скомпенсировать недостатки каждого из решений, умные люди давно придумали Tiering (многоуровневость). Разумеется, я пишу не о домашних и мелких пользователях. Тем, кто апеллирует к своему богатому опыту с парой десятков ТБ – дальше можно не читать. Те же, кто сталкивается с более значительными объемами, знают, что проблема существует отнюдь не только в моей голове (как, опять-таки, кто-то написал) .
Что касается бэкапа – то вопрос о том, считать ли его оперативной или архивной задачей определятся процессами в каждой конкретной компании/организации. С применением соответствующего инструмента.
· Поскольку объемы данных, подлежащих хранению, постоянно растут, ленточные системы продолжают оставаться еще как востребованными! То, что Вася Пупкин о современных ЛТО (кстати – небо и земля с первыми поколениями) не знает, никак не влияет на использование их всякими там Гуглами, Амазонами, телеканалами и другими банками. В общем – корпоратами, в том числе и нашенскими. Даже странно – чего же это они дурью маются, да?!
Я уж развею несколько утверждений из комментариев, не обессудьте:
- создавать специальные условия и перематывать современные ленты в процессе хранения, а также проверять сохранность данных на них НЕ НУЖНО! То, что в некоторых организациях это прописано в древних регламентах – просто свидетельствует об, извините, замшелости. Мир, знаете ли, меняется! А ЛТО признаны самым надежным способом хранения с самым низким BER (Bit Error Rate).
- уничтожить данные на современной ленте ЛТО можно только в специальной мощной размагничивающей установке, в мире таких лишь несколько штук. Бытовое магнитное поле не проканает J. Ну, еще можно ленты сжечь. Дотла. Падений с высоты лента не боится. Механика картриджа пострадать может. Целостность данных – нет.
- ЛТО практически не потребляют электроэнергию в процессе работы, не требуют охлаждения. На 1 кв метре можно разместить почти 10ПБ на ЛТО8. И да – в прошлом году достигнута емкость 560 ТБ на картридж!
- скорость записи/чтения на ЛТО8 составляет 360 Мб/сек для сырых данных. Загрузка/выгрузка картриджа в библиотеке и перемотка до нужного места занимает 1-3 минуты (каюсь – в своем первом письме я написал, что это время подъема данных – mia culpa). Так как речь идет об архиве – не критично ведь, правда? А бэкап после позиционирования вообще льется потоком.
- Стоимость владения ЛТО ниже стоимости владения дисками в 26 (!) раз. Разумеется, если речь идет о паре ПБ и выше. И, разумеется, на практике эти системы работают совместно. В пропорции, определяемой стоящими задачами.
- Хакнуть даже онлайн систему ЛТО гораздо сложнее, чем хакнуть дисковую систему. Спросите у ЦЕРН J.
Теперь самая мякотка – процессоры. Те самые, российские, которые обязаны быть в каждой СХД, чтобы ее дозволяли для использования у нас в стране, и которых нет в ЛТО. Ну с чего сыр-бор то поднялся? Да, в ленточных библиотеках стоят контроллеры – т.е. специализированные микросхемы управления, предназначенные исключительно для этой задачи. Достаточно примитивные. Иностранного производства, как, к сожалению, и бОльшая часть всего ИТ оборудования. Можно ли их начать делать у нас? Не знаю. Наверное, можно – было бы желание.
Можно ли считать такие простые микросхемы процессорами и заменять их, например, теми же Эльбрусами? В принципе – тоже можно. Как можно стрелять из пушки по воробьям. Но уместнее все же дефиниции «контроллер» и «процессор» различать!
Меня укорили нелогичностью за отрицание наличия процессоров в ЛТО, так как я упомянул о дисковом буфере/сервере. Но ведь это разные вещи! Части многоуровневой системы, хотя и работающие в связке. Кто-то в коментах написал о тестировании Эльбруса с лентами в Норси-Транс и Рубэкап. Если я правильно понял – речь как раз и шла о связке библиотека-буфер. Зело верный путь!
Можно было бы еще написать подробнее о физической деградации дисков (кто-то в комментах эту тему затрагивал) и о затронутой проблеме совместимости вследствие стремительного обновления технологий (общая головоболь равно и для дисков/SSD и для лент). Но я и так уже развел многобуквие. Так что закруглюсь.
(с) Дмитрий
Поделиться:
Актуально