Обзор файловой системы ReFS
Отказоустойчивая файловая система (ReFS) — это новейшая файловая система Майкрософт, предназначенная для обеспечения максимальной доступности данных, эффективного масштабирования больших наборов данных в различных рабочих нагрузках и обеспечения целостности данных с устойчивостью к повреждениям. Она используется для растущего числа сценариев хранения данных и служит основой для будущих нововведений.
Основные преимущества
Устойчивость
ReFS представляет новые функции, которые позволяют точно определить повреждения и исправить их, сохраняя систему в оперативном режиме и обеспечивая целостность и доступность данных.
- Потоки целостности — ReFS использует контрольные суммы для метаданных и, при необходимости, для данных файлов, что дает возможность точно определить повреждения ReFS.
- дисковые пространства интеграции — при использовании с зеркальным пространством или пространством четности ReFS может автоматически устранять обнаруженные повреждения с помощью альтернативной копии данных, предоставленной дисковые пространства. Процессы восстановления локализованы в области повреждения и выполняются в оперативном режиме без простоя томов.
- Восстановление данных . Если том поврежден, а альтернативная копия поврежденных данных не существует, ReFS удаляет поврежденные данные из пространства имен. ReFS сохраняет том в оперативном режиме при обработке большинства неисправляемых повреждений, но в редких случаях ReFS необходимо перевести том в автономный режим.
- Упреждающее исправление ошибок . Помимо проверки данных перед чтением и записью, ReFS предоставляет сканер целостности данных, известный как скраббер. Оно периодически сканирует том, пытаясь выявить скрытые повреждения и профилактически запуская процесс восстановления поврежденных данных.
Производительность
Помимо улучшения устойчивости, ReFS представляет новые функции для рабочих нагрузок, требующих высокой производительности, и виртуализированных рабочих нагрузок. Оптимизация уровней в режиме реального времени, клонирование блоков и разреженный метод VDL — вот примеры развивающихся возможностей ReFS, которые предназначены для поддержки динамических и разнообразных рабочих нагрузок.
- Четность с зеркальным ускорением. Четность с зеркальным ускорением обеспечивает высокую производительность и эффективное хранение данных. Для обеспечения высокой производительности и эффективного хранения данных ReFS делит том на две логические группы памяти, которые называются уровнями. У них могут быть собственные типы диска и устойчивости, что позволяет каждому уровню оптимизировать производительность или емкость. Вот некоторые примеры конфигурации:
Уровень производительности Уровень емкости Зеркальный SSD Зеркальный жесткий диск Зеркальный SSD SSD с контролем четности Зеркальный SSD Жесткий диск с контролем четности После настройки этих уровней ReFS использует их для предоставления быстрого хранилища для горячих данных и эффективного хранилища для холодных данных:
- Все операции записи будут выполняться на уровне производительности, а большие блоки данных, оставшиеся на уровне производительности, будут эффективно перемещены на уровень емкости в режиме реального времени.
- При использовании гибридного развертывания (смешивание флэш-накопителей и жестких дисков) кэш в Lagringsdirigering помогает ускорить чтение, уменьшая эффект фрагментации данных, характерный для виртуализированных рабочих нагрузок. В противном случае при использовании развертывания с помощью всех флэш-накопителей операции чтения также выполняются на уровне производительности.
Для развертываний Windows Server четность с зеркальным ускорением поддерживается только в Lagringsdirigering. Мы рекомендуем использовать четность с зеркальным ускорением только с рабочими нагрузками архивации и резервного копирования. Для виртуализированных и других высокопроизводительных случайных рабочих нагрузок рекомендуется использовать трехстороннее зеркальное отображение для повышения производительности.
- Блочное клонирование . Клонирование блоков ускоряет операции копирования, позволяя быстро выполнять операции слияния контрольных точек виртуальной машины с низким уровнем влияния.
- Разреженный VDL — разреженный VDL позволяет ReFS быстро обнулять файлы, сокращая время, необходимое для создания фиксированных виртуальных жестких дисках, с 10 минут до нескольких секунд.
Масштабируемость
ReFS предназначена для поддержки очень больших наборов данных (миллионы терабайт) без негативного влияния на производительность и достижения большего масштаба, чем предыдущие файловые системы.
Поддерживаемые развертывания
Корпорация Майкрософт разработала NTFS специально для общего назначения с широким спектром конфигураций и рабочих нагрузок. Для клиентов, которым требуется доступность, устойчивость и (или) масштабирование, которые предоставляет ReFS, корпорация Майкрософт поддерживает ReFS для использования со следующими конфигурациями и сценариями:
Все поддерживаемые ReFS конфигурации должны использовать сертифицированное оборудование каталога Windows Server и соответствовать требованиям приложения.
Если вы планируете использовать ReFS для общих томов кластера, см. статью Использование общих томов кластера в отказоустойчивом кластере .
Дисковые пространства прямого подключения
Развертывание ReFS на Lagringsdirigering рекомендуется для виртуализированных рабочих нагрузок или хранилища, подключенного к сети:
- Четность с зеркальным ускорением и кэш в локальных дисковых пространствах обеспечивают высокую производительность и эффективное хранение данных.
- Благодаря клонированию блоков и разреженным VDL значительно ускоряются операции с VHDX-файлами, такие как создание, объединение и расширение.
- Потоки целостности, оперативное восстановление и альтернативные копии данных позволяют ReFS и Lagringsdirigering совместно обнаруживать и исправлять повреждения контроллера хранилища и носителя хранилища как в метаданных, так и в данных.
- ReFS предоставляет возможности масштабирования и поддержки крупных наборов данных.
Дисковые пространства
Развертывание ReFS в дисковых пространствах с общими полками SAS подходит для размещения архивных данных и хранения документов пользователей.
- Потоки целостности, оперативное восстановление и альтернативные копии данных позволяют ReFS и дисковые пространства совместно обнаруживать и исправлять повреждения контроллера хранилища и носителя хранилища как в метаданных, так и в данных.
- Кроме того, в средах дисковых пространств можно использовать функции клонирования блоков и масштабирования, доступные в ReFS.
дисковые пространства поддерживает локальное несъемное прямое подключение через BusTypes SATA, SAS, NVME или через адаптер HBA (также известный как RAID-контроллер в режиме сквозной передачи).
Базовые диски
Развертывание ReFS на базовых дисках лучше всего подходит для приложений, реализующих собственные решения по обеспечению устойчивости и доступности программного обеспечения:
- Приложения, которые представляют собственные программные решения для обеспечения устойчивости и доступности, могут использовать потоки целостности, клонирование блоков, а также возможность масштабирования и поддержки больших наборов данных.
Базовые диски включают локальное несъемное прямое подключение через BusTypes SATA, SAS, NVME или RAID. Базовые диски не включают дисковые пространства.
Цель резервного копирования
Развертывание ReFS в качестве целевого объекта резервного копирования лучше всего подходит для приложений и оборудования, реализующих собственные решения для обеспечения устойчивости и доступности.
- Приложения, которые представляют собственные программные решения для обеспечения устойчивости и доступности, могут использовать потоки целостности, клонирование блоков, а также возможность масштабирования и поддержки больших наборов данных.
Целевые объекты резервного копирования включают приведенные выше поддерживаемые конфигурации. Обратитесь к поставщикам приложений и массивов хранилища для получения сведений о поддержке san Fibre Channel и iSCSI. Для сетей SAN, если требуются такие функции, как тонкая подготовка, TRIM/UNMAP или разгрузка передачи данных (ODX), необходимо использовать NTFS.
Сравнение возможностей
Ограничения
Компонент ReFS NTFS Максимальная длина имени файла 255 символов Юникода 255 символов Юникода Максимальная длина имени пути 32 КБ символов Юникода 32 КБ символов Юникода Максимальный размер файла 35 ПБ (петабайты) 256 ТБ Максимальный размер тома 35 ПБ 256 ТБ функциональное назначение;
В ReFS и NTFS доступны следующие функции:
- Доступно в Windows Server версии 1709 и более поздних, Windows Server 2019 (1809) LTSC или более поздней версии.
- Доступно на Windows Server 2012 R2 и более поздних версий.
- CSV не будет использовать прямой ввод-вывод с дисковые пространства, Lagringsdirigering (S2D) или SAN.
- Версия ReFS 3.5, отформатированная в Windows 10 Enterprise Insider Preview сборке 19536 и более поздних версий. Поддержка жестких ссылок добавлена только для вновь отформатированных томов. Жесткие ссылки нельзя использовать на томах, которые были обновлены с предыдущих версий
- Только дисковые пространства.
- Доступно в ReFS 3.7 и более поздних версиях.
Следующие функции доступны только в ReFS:
- Доступно в Windows Server 2022 и более поздних версиях.
Следующие функции недоступны в ReFS в настоящее время:
функциональное назначение; ReFS NTFS Сжатие файловой системы Нет Да Шифрование файловой системы Нет Да Transactions Нет Да идентификаторы объектов; Нет Да Разгрузка передачи данных (ODX) Нет Да Краткие имена Нет Да Дополнительные атрибуты. Нет Да Дисковые квоты Нет Да Загружаемый Нет Да Поддерживается на съемном носителе Нет Да Дополнительные ссылки
- Cluster size recommendations for ReFS and NTFS (Рекомендации по размеру кластера для ReFS и NTFS).
- Обзор Локальных дисковых пространств
- Клонирование блоков ReFS
- Потоки целостности ReFS
- Устранение неполадок ReFS с Помощью ReFSUtil
- Использование ReFS с томами Cluster-Shared
- Версии ReFS и матрица совместимости
Источник: https://learn.microsoft.com/ru-ru/windows-server/storage/refs/refs-overviewФайловая система REFS в Windows 10
Сначала в Windows Server, а теперь и в Windows 10 появилась современная файловая система REFS (Resilient File System), в которой вы можете отформатировать жесткие диски компьютера или созданные системными средствами дисковые пространства.
В этой статье — о том, что представляет собой файловая система REFS, о её отличиях от NTFS и возможных применениях для обычного домашнего пользователя.
Что такое REFS
Как уже было отмечено выше, REFS — новая файловая система, недавно появившаяся в «обычных» версиях Windows 10 (начиная с версии Creators Update ее можно использовать для любых дисков, ранее — только для дисковых пространств). Перевести на русский можно примерно как «Устойчивая» файловая система.
REFS была разработана для того, чтобы устранить некоторые недостатки файловой системы NTFS, повысить устойчивость, минимизировать возможные потери данных, а также работать с большим количеством данных.
Одна из главных особенностей файловой системы REFS — защита от потери данных: по умолчанию, на дисках хранятся контрольные суммы для метаданных или файлов. При операциях чтения-записи данные файлов сверяются с хранимыми для них контрольными суммами, таким образом, в случае повреждения данных есть возможность сразу «обратить на это внимание».
В случае с дисковыми пространствами её особенности могут быть наиболее полезными при обычном использовании: например, если вы создаете зеркальные дисковые пространства с файловой системой REFS, то при повреждении данных на одном из дисков, поврежденные данные сразу будут перезаписаны неповрежденной копией с другого диска.
Также новая файловая система содержит другие механизмы проверки, поддержки и исправления целостности данных на дисках, причем они работают в автоматическом режиме. Для обычного пользователя это означает меньшую вероятность повреждения данных в случаях, например, внезапного отключения питания при операциях чтения-записи.
Отличия файловой системы REFS от NTFS
Помимо функций, связанных с поддержкой целостности данных на дисках, REFS имеет следующие основные отличия от файловой системы NTFS:
В настоящий момент времени нельзя отформатировать системный диск в REFS, функция доступна только для не системных дисков (для съемных дисков не поддерживается), а также для дисковых пространств, и, пожалуй, только последний вариант может быть действительно полезным для обычного пользователя, которого беспокоит сохранность данных.
Обратите внимание, что после форматирования диска в файловой системе REFS, часть места на нем сразу будет занято контрольными данными: например, для пустого диска 10 Гб это около 700 Мб.
А вдруг и это будет интересно:
- Лучшие бесплатные программы для Windows
- Syncthing — синхронизация файлов Windows, Linux, MacOS и Android
- Память встроенной видеокарты Intel HD или Iris Xe, AMD Radeon — как посмотреть, увеличить или уменьшить
- Файл открыт в System при удалении файла — как исправить?
- Как открыть порты в Windows и посмотреть список открытых портов
- Как добавить путь в переменную среды PATH в Windows
- Windows 11
- Windows 10
- Android
- Загрузочная флешка
- Лечение вирусов
- Восстановление данных
- Установка с флешки
- Настройка роутера
- Всё про Windows
- В контакте
- Одноклассники
-
Влад 28.08.2017 в 15:29
- Dmitry 29.08.2017 в 07:48
- Dmitry 09.09.2017 в 08:48
Источник: https://remontka.pro/refs/Строение файловой системы ReFS и алгоритм восстановления данных
«ReFS» (Resilient File System) – это новая файловая система от Microsoft, которая создавалась как замена «NTFS». У нее есть несколько солидных преимуществ, а именно, разработчики исправили все ошибки «NTFS». Она гораздо больше защищена от повреждения информации, она лучше переносит возросшую нагрузку, а также масштабируется гораздо проще.
Основные функции Resilient File System
Целостность информации, использование контрольных сумм для метаданных.
Запись информации — Integrity streams (повышенная защита файлов при ошибке части носителя).
«allocate on write» — новая транзакционная модель.
Масштабируемость, увеличенные лимиты на объем каталогов, файлов, разделов.
Работа с пулами разделов, виртуализация разделов.
«data sriping» — система увеличивает производительность и отказоустойчивость данных, избыточная запись информации как в RAID массивах.
Чтобы выявить скрытые ошибки используется функция — «disk scrubbing», очистка диска в фоне.
Пересохранение информации возле проблемных блоков диска.
Единые пулы носителей, на нескольких компьютерах по сети, повышает отказоустойчивость, уменьшает нагрузку.
Поддержка большинства стандартных функций «NTFS».
Система верификации информации.
Отключение «ReFS» невозможно, так как сбойные сектора изолируются.
«Storage Spaces» — новая уникальная гибкая архитектура.
Еще новая ФС унаследовала часть функционала «NTFS»: работа с «BitLocker», «USN» журналирование, «ACL» контролируемый доступ, «mount points»… Естественно, общий объем данных и подключение к разделам«ReFS», доступны по тем же «API».Особенности «ReFS»
Контрольные суммы теперь используются для метаданных по умолчанию, также их применяют и к данным отдельных файлов. Так, в процессе чтения\записи, осуществляется верификации «на лету». Когда ФС обнаружит повреждение файлов, то моментально удалит записи без перезагрузки компьютера. То есть, «ReFS» теперь самостоятельно себя корректирует при появлении ошибок.
«ReFS» обеспечивает более высокую надежность сохранения информации, по сравнению со старой ФС. Для хранения файлов и метаданных используются «B+-деревья». Размеры, количество разделов и файлов теперь ограничены максимальным 64-битным значением. Пустое пространство хранится в трех разных таблицах, разбитых по объемам фрагментов (малых, средних, больших). Названия файлов и пути пишуться в «Unicode», они не должны превышать 32 килобайта, то есть название файла можно указывать в 30 тысяч знаков.
Защита от отключения питания. Допустим вы прописываете новое имя файла (или другие метаданные), пропало электричество и вы не успели их сохранить. В «NTFS» — файл будет поврежден, так как вы меняете метаданные напрямую. Но «ReFS» всего лишь делает копию метаданных, и не меняет основные пока не произойдет сохранение, особенность работы функции «Copy-on-write».
Технология «Storage Spaces» — это функция виртуализации носителей. Она позволяет создать единое пространство из нескольких физических дисков на одном ПК или нескольких по локальной сети. Также есть возможность настроить «зеркалирование» как RAID массивах.
Отличия от NTFS
«ReFS» изначально создана для поддержки больших объемов разделов, файлов, каталогов и их имен. Новая ФС может включать до двести шестидесяти двух тысяч эксабайт информации, а «NTFS» — только шестнадцать эксабайт.
Еще, в ней отсутствуют функции шифрования, сжатия, дедупликации, дисковые квоты, жесткие ссылки и расширенные атрибуты. Некоторые из них заменены на новые, например, «ReFS» полностью поддерживает шифрование «BitLocker».
Сейчас, в файловую систему «ReFS» вы сможете отформатировать только пул дисков (пространство хранения), где новая ФС покажет себя во всей красе. Но Windows 10 не разрешит отформатировать обычный носитель в «ReFS». Разработчики подчеркивают значение «ReFS» именно для серверов, она доступна на серверных ОС или в «LTSC» версии.
ОС Windows Server 2016 позволит отформатировать обычные тома в «ReFS», но не позволит отформатировать загрузочный диск, потому что загрузочный сектор должен быть на «NTFS» разделе.
Архитектура файловой системы
Структур ReFS значительно отличается от всех остальных файловых систем для Windows. Главными структурными элементами выступают «B+ деревья». Они бывают одноуровневыми (как листья) и многоуровневыми (как деревья). Это обуславливает хорошее масштабирование, для каждого элемента, входящего в структуру ФС. Эта схема, а также 64-битная адресация каждого элемента, делают невозможным проблемы при ее дальнейшем увеличении.
Как корневая запись B+дерева, остальные записи имеют такой же объем в 16 кб, для блока метаданных. Размер в 60 байт — выделен для промежуточных (адресных) узлов. Следовательно, для правильного описания масштабных структур хранения потребуется малое количество уровней. Это позволило увеличить производительность ФС, по сравнению с другими.
Структура файловой системы ReFS
«ReFS» можно определить по специфической сигнатуре, которая расположена в начале раздела:
0x4000 байт — длина всех страниц ReFS.
Номер первой страницы — 0x1e, то есть 0x78000 байт которые идут сразу за загрузочным разделом. Это стандартное отображение Microsoft, которое информирует, что первые метаданные нужно искать после фиксированного смещения.
Алгоритм поиска удаленных данных
Утилиты для восстановления данных выполнят полное сканирование дискового пространства, отформатированного под «ReFS», используя алгоритм анализа по сигнатурам. Проверяя диск блок за блоком, они обнаружат готовые последовательности данных, определят их и выведут результаты. Так как API для работы с дисками для «ReFS» и «NTFS» одинаковы, то и процессы восстановления данных предельно схожи.
Сначала определяется «Volume Header», в нем записано количество секторов на кластер и какой объем сектора. Основная версия лежит в нулевом секторе, а копия расположена в последнем. Далее считывается «Superblock», он расположен в 30-ом блоке и также есть 2 копии во втором и третьем блоке в конце. Из него, извлекается ссылки на «чекпоинт» и его копию, определяется его последняя актуальная версия по «Virtual Allocated Clock».
Checkpoint содержит информацию об основных таблицах, далее считываются заголовки «Page Header» и блоки с указателями (Pointers) на полный список таблиц. Потом ищется «Container Table» для получения физических адресов из виртуальных, и выполняется поиск по «Object ID Table» — все таблицы найдены.
Утилиты доходят до нулевых уровней — то есть «листов b-дерева», и считывают данные файлов. Так как поиск ведется постранично, то если есть сбои — эти элементы просто исключаются из анализа, а сам процесс сканирования идет дальше. Таким образом утилиты для восстановления данных находят всю информацию, которую возможно «достать» с диска.
Полную версию статьи со всеми дополнительными видео уроками смотрите в источнике.
- refs
- файловая система
- файловая структура
- восстановление данных.
- Блог компании Hetman Software
- Восстановление данных
Источник: https://habr.com/ru/company/hetmansoftware/blog/547318/Windows 11 получит новую файловую систему ReFS
В предварительной сборке Windows 11 обнаружили ссылки на то, что Microsoft может внедрить новую файловую систему ReFS для замены прежней NTFS в определённых системах.
Системы Windows предварительно отформатированы в NTFS, включая накопители в ноутбуках, внешние жёсткие диски и USB-накопители. Файловая система NT (NTFS) была разработана Microsoft в 1992 году и выступает файловой системой по умолчанию в Windows 11, Windows 10 или более ранних версиях.
Проверить свою файловую систему можно, перейдя в «Этот компьютер» и щёлкнув правой кнопкой мыши на любом диске, предпочтительно, на диске Windows.
Однако последние предварительные сборки Windows 11 включают поддержку ReFS, новой отказоустойчивой файловой системы Microsoft, которая в настоящее время используется на серверах Windows. В отличие от NTFS, ReFS значительно лучше с точки зрения доступности и масштабируемости данных. Согласно документации Microsoft, «она предназначена для обеспечения максимальной доступности данных, эффективного масштабирования для больших наборов данных при различных рабочих нагрузках и обеспечения целостности данных с устойчивостью к повреждению».
Resilient File System во многих отношениях лучше, чем NTFS. Например, NTFS поддерживает максимум 256 терабайт хранения, а ReFS предлагает поддержку до 35 петабайт.
Пока неясно, заменит ли новая файловая система предшественника, но есть вероятность, что некоторые компьютеры с Windows 11 Enterprise или Business будут поставляться с ReFS по умолчанию. Преимущества системы будут полезны для предприятий и профессиональных юзеров, например функция, которая преобразует дорогостоящие операции физического копирования файлов в быстрые логические.
Однако у ReFS нет некоторых функций, которые есть в NTFS, включая сжатие системы и поддержку шифрования. В ReFS также отсутствует поддержка дисковых квот и съёмных носителей.
В 2021 году в Windows 10 обнаружили уязвимость, связанную с атрибутом индекса Windows NTFS. Баг в драйвере Windows NTFS мгновенно приводил к повреждению файловой системы NTFS на жёстком диске. Microsoft закрыла возможность вызвать баг для повреждения NTFS.
- Системное администрирование
- Разработка под Windows
- Софт
Источник: https://habr.com/ru/news/t/712674/
