Неспешно прикидывая таблицу функциональности NAS обнаружил в своих инструкциях досадный пробел. Данные надо не просто хранить. Хорошо бы время от времени проверять, что всё в порядке. Ведь холодные данные на дисках имеют свойство незаметно портиться, «протухать». К счастью, у нас на NAS zfs, умеющий адресовать эту проблему.Сегодня обсудим как.
Немного теории
Перевод из Вики по ссылке выше
Проведённое NetApp исследование в реальной жизни на более чем 1,5 млн жестких дисков в течение 41 месяцев выявило более 400 000 примеров протухших данных, из которых более 30 000 не были обнаружены контроллерами аппаратных RAID. Еще одно исследование, проведенное ЦЕРН в течение шести месяцев и с участием около 97 петабайт данных, показало, что около 128 мегабайт данных были необратимо повреждены.
Но это на RAID контроллерах и дисках корпоративного класса. Ваши и мои данные на десктопном железе протухают несколько быстрее.
Традиционное решение проблемы проверки целостности данных — хранение вместе с ними контрольной суммы. Считываем данные, сверяем суммы, если OK — считаем данные не повреждёнными.
А традиционное решение проблемы восстановления повреждённых данных — избыточность. Хранение 2 и более копий (зеркало, как пример RAID1) и расчёт, хранение и сличение кодов чётности ( как пример — RAID5).
Одно из важнейших положительных свойств ZFS состоит в том, что и проверка целостности и восстановление повреждений (если есть избыточность — mirror или raidz) производится автоматически на уровне файловой системы при любом чтении данных. Но читать все данные не всегда удобно. Есть команда scrub (от англ. чистить, мыть, скрести)
ВАЖНО. Во время скраба пул доступен, но его производительность уменьшается. Хотя приоритет — за другими задачами. Поэтому, к примеру, качать с-на пул торренты и одновременно делать ему скраб идея так себе. Работать будет, но долго и с избыточной нагрузкой на диски.
На практике
Из командной строки вызываетсяzpool scrub Pool
— для пула по имени Pool
Если дать ключ -s текущий скраб будет остановленzpool scrub -s Pool
В nas4free вызов команды zpool scrub выведен и в вебгуй
Через Disks|ZFS|Pools|Tools скраб можно запустить (и остановить при необходимости)
После запуска результат можно посмотреть черезzpool status
в командной строке
Или в Disks|ZFS|Pools|Information в вебгуе
На картинке выше где scan: сказано, что идёт scrub, но так как он только начался, оставшееся время определить нельзя, надо подождать. Со временем скорость растёт, но для больших пулов полная проверка запросто может продлиться порядка суток. Скорость зависит от
— производительности процессора
— заполненности пула (в отличие от аппаратных RAID пустое место НЕ читается)
— скорости дисков. Особенно если диск при смерти, скраб может затянуться очень надолго.
Я рекомендую после запуска скраба взглянуть на статус сразу и ещё раз минут через пять. В норме все три правых столбца должны быть нулями. Но нередко там появляются небольшие цифры — это как раз сообщение о том, что скраб проверяет и по возможности исправляет данные (и метаданные).
Если на одном из дисков лезет несколько десятков (и более) ошибок — у вас проблема. Скорее всего (в этом порядке) SATA кабель, сам диск, порт контроллера подыхает и нуждается в замене. Либо диску не хватает питания.
Советую остановить скраб и взглянуть в логи, на смарт этого диска и поискать корень проблемы.
Если десятки (и более) ошибок лезут на ВСЕХ дисках — НЕМЕДЛЕННО ВЫКЛЮЧАЙТЕ СКРАБ, а затем и весь NAS. Хорошие шансы, что у вас битая память. Проверяйте, гоняйте мемтест. Хотя по некоторым практическим примерам ZFS удаётся отработать львиную долю, более 99%, ошибок вызванных сбоями в памяти, всё же битая память без контроля чётности — годный способ загубить всю информацию на пуле при скрабе. Именно поэтому в идеальном мире (и в корпоративной практике) ZFS используют на ECC (то есть с аппаратным контролем чётности) памяти. Впрочем, как и остальные файловые системы. Но Intel решила, что домашний пользователь рылом не вышел для ECC. А AMD стала слишком слаба, чтобы спорить хотя было время…
Кстати, скраб можно запускать по крону. Но именно из-за возможности вляпаться в битую память я этого делать НЕ советую, если память у вас не ECC. Да, это крайне маловероятная ситуация. Битая память должна почти работать. Шалить самую малость, не вешать систему. Но всё же гадить. Поэтому у сотен камрадов, которые общаются в профильной ветке на хоботе, такого не было, чтоб битая память именно и только на zfs повлияла. Но в Сети я выловил пару сообщений. Так что хоть и крайне маловероятно — но бережёного…
И, наконец, как часто делать скраб? IMHO в домашней практике не чаще раза в месяц и не реже раза в год на каждом из пулов.
Определение
Скраб (scrub) — это процесс сканирования ZFS через данные на томе. Скрабы помогают выявлять проблемы с целостностью данных, обнаруживать недействительные данные, вызванные временными проблемами аппаратного обеспечения, и предоставлять ранние оповещения о предстоящих сбоях диска. FreeNAS упрощает планирование периодических автоматических скрабов.
Каждый том следует чистить не реже одного раза в месяц. Бит-ошибки в критических данных могут быть обнаружены ZFS, но только при чтении этих данных. Запланированные скрабы могут найти ошибки в редко читаемых данных. Количество времени, необходимое для скраба, пропорционально количеству данных по объему. Типичные скрабы занимают несколько часов или дольше.
Процесс очистки является интенсивным вводом-выводом и может отрицательно влиять на производительность. Расписание скрабов для вечеров или выходных дней, чтобы минимизировать влияние на пользователей. Удостоверьтесь, что скрабы и другая интенсивная дисковая деятельность, такая как S.M.A.R.T. тесты планируется запустить в разные дни, чтобы избежать конкуренции с диском и экстремальных воздействий.
Скрабы проверяют только используемое дисковое пространство. Чтобы проверить неиспользуемое дисковое пространство, запишите S.M.A.R.T. Тесты типа Long Self-Test выполняются один или два раза в месяц.
Скрабы планируются и управляются с помощью Storage ‣ Scrubs.
Когда создается тома, автоматически запускается скраб ZFS. Запись с таким же именем тома добавляется в Storage ‣ Scrubs. Сводку этой записи можно просмотреть с помощью Storage ‣ Scrubs ‣ View Scrubs. На рисунке ниже показаны настройки по умолчанию для тома с именем volume1. В этом примере запись была выделена, и нажата кнопка Edit (Редактировать), чтобы отобразить экран Edit (Редактировать).
Опции скраба ZFS
Volume
Тип drop-down menu. Выберите том для очистки.
Threshold days
Тип integer. Определите количество дней, чтобы предотвратить скраб после завершения последнего. Это игнорирует любое другое расписание календаря. Значение по умолчанию — кратное 7, чтобы гарантировать, что скраб всегда встречается в тот же день недели.
Description
Тип string. Дополнительное текстовое описание скраба.
Minute
Тип slider or minute selections. Если используется слайдер, скраб происходит каждые N минут. Если выбраны определенные минуты, скраб работает только с выбранными значениями минут.
Hour
Тип slider or hour selections. Если используется слайдер, скраб происходит каждые N часов. Если выбраны определенные часы, скраб работает только с выбранными значениями часа.
Day of Month
Тип slider or month selections. Если используется слайдер, скраб происходит каждые N дней. Если выбраны определенные дни месяца, скраб работает только в выбранные дни выбранных месяцев.
Month
Тип checkboxes. Определите месяцы для запуска скраба.
Day of week
Тип checkboxes. Скраб происходит в выбранные дни.
По умолчанию это воскресенье (Sunday), чтобы иметь наименьшее влияние на пользователей; обратите внимание, что это поле и поле Day of Month (День месяца) объединены вместе (ORed ): установка «День месяца» на 01,15 и «День недели» в четверг приведет к тому, что кусты будут работать в первый и пятнадцать дней месяца, но также и в любой четверг.
Enabled
Тип checkbox. Отключите, чтобы отключить запланированный скраб без его удаления.
Просмотрите варианты по умолчанию и, если необходимо, измените их, чтобы они соответствовали потребностям среды. Обратите внимание, что поле Threshold используется для предотвращения слишком быстрого запуска скрабов и переопределяет расписание, выбранное в других полях. Кроме того, если пул заблокирован или размонтирован, когда планируется скраб, он не будет очищен.
Запланированные скрабы можно удалить с помощью кнопки «Удалить», но это не рекомендуется. Scrubs могут обеспечить раннее указание проблем с диском перед сбоем диска. Если скраб слишком интенсивен для оборудования, подумайте о том, чтобы временно отключить кнопку «Включено» для очистки, пока аппаратное обеспечение не будет обновлено.
Welcome back, everyone! While we are at it, let’s keep the FreeNAS tutorials coming. Today you will learn another Essential: How to set up SMART Tests and Scrubs.
It is important that you run both of them on a regular basis to ensure disk health and keep your filesystem clean. I will quickly explain the difference between the two and show you how to set them up on a schedule that makes sense. We are going to use the excellent instructions of Cyberjock, a moderator of the FreeNAS Forums as a guideline. If you are new to FreeNAS and want to learn how to install it, check out this article.
What are Scrubs
Scrubs on a ZFS Volume helps you to identify data integrity problems, detect silent data corruptions, and provide you with early alerts to disk failures. It also cleans up your disks. Scrubs only checks used disk space; that’s why we also use SMART tests to check the whole disk’s health. It’s the regular maintenance for ZFS Volumes / Pools. Scrubs can take a very long time if you have a large volume. That’s why we schedule them at night time.
What are S.M.A.R.T tests
SMART tests are internal drive tests. There are 2 kinds of S.M.A.R.T tests, Long and Short. Short tests can only take 5 minutes, where Long tests can run several hours. SMART tests are non-destructive, but they run on a per-disk interval, so it only runs on one disk at a time. S.M.A.R.T tests are essential for keeping track of your disk health. You also don’t want to schedule short and long tests at the same time.
The Schedule
We are using the following schedule for our tests.
- SCRUBS: Every 1st and 15th of the month at 4 am. The threshold on 10 days.
- Short S.M.A.R.T tests: Every 5th, 12th, 19th, and 26th of the month at 3 am.
- Long S.M.A.R.T tests: Every 8th and 22nd at 4 am.
So let’s go ahead and start setting up our Scrubs first.
Step 1 – Setting up Scrubs
Navigate to Storage -> Scrubs -> Your Volume -> Select your Volume -> Edit
Enter everything as in the screenshot below.
When you’re done, click on View Scrubs, and you should see something like this:
That’s it. We are already done with setting up Scrubs.
Step 2 – Setting up the short S.M.A.R.T test
Navigate to Tasks -> S.M.A.R.T Test -> Add S.M.A.R.T Test.
Select all Disks you want to include in the test. (If you have FreeNAS installed on an SSD like me, exclude the SSD from the test, as it makes no sense to run it there). Adjust everything as in the screenshot below.
And the short SMART test is completely set up.
Step 3 – Setting up the long S.M.A.R.T test
Click on Add S.M.A.R.T Test once again and adjust everything as in the screenshots below.
And that’s it. Click on View S.M.A.R.T Tests, and you should see something along those lines.
Conclusion
Running S.M.A.R.T tests and Scrubs is essential for keeping your disks healthy and clean. I would recommend following the schedule above; it has proven to work very well for me over the last couple of years.
ℹ️ Related Articles
👉 My Popular DIY FreeNAS Build
👉 Use FreeNAS as an UniFi Controller
👉 FreeNAS Smart Tests & Scrubs
👉 How to install Plex Media Server on FreeNAS
👉 How to install FreeNAS
👉 How to create Windows Shares on FreeNAS
👉 Manually Update Plex Media Server on FreeNAS
👉 Upgrade FreeNAS to TrueNAS
Stefan is the founder & creative head behind Ceos3c.
Stefan is a self-taught Software Engineer & Cyber Security professional and he helps other people to learn complicated topics.
This guide will follow this form how-to guide in the iX Community forms. My goal with this article is to make the steps a bit easier to read.
I also recommend the video below. Chris Titus Tech gives a very good explanation. He has a different schedule than below. But that is purely preference. Both are good.
What drives to run tasks on
SMART tests only need to be run on HDDs.
Scrub task should be ran on all of your drives besides the Boot Drive, the SATA DOM or USB.
Lifeline — Scrubs
Scrubs are your «regular maintenance for zpools.
They can take a few minutes to a few days depedning on:
- The size of your pool
- The performance of your pool
- Your pools storage history
- The performance of your system asa whole
- The workload placed on your pool during the scrub
Lifeline — SMART tests
SMART tests are interal drive tests
There is no ‘criteria’ for what is or is not done during a particular test. Each manufacturer has their own specifications for defines a short test or a long test.
Generally short tests late less than 5 minutes and long tests take hours.
A long test usually read the entire platter to check for errors and short tests do a very simple quick test.
Warning!
Do not schedule SMART tests at the same time as scrubs!
This will potentially overload the system.
More about SMART tests
SMART tests are non-destructive. So you can run them as often as you want. You can only run one test at a time per disk.
SMART tests do not return a final result. Rather it will email you if a SMART test fails. You will need to set up your email, and check it! No email means everything is good.
Your average dish will store the last 20 or so test results. So if you do tests at a very high frequency and one test fails, it may be removed from the log before you can examine it closely.
Some Notes about Scrubs
Scrubs are pretty hard on disks. So schedule them at a frequency that makes you comfortable with your pool.
SMART Monitoring VS SMART Testing
SMART Monitoring only monitors the drive in a way that finds errors that appear through regular use.
Smart Testing actually runs tests.
No Need For These Tests on SSDs
According to the form this article is based on, these tests are not needed on SSDs. If you have more information about this. Please leave a comment below.
The Scrub and Smart Test Schedule
This schedule comes from this form user. He uses this for a home server and is not concered about the preformance penalty because his pool preformes more than adequately even during a Scrub.
SCRUBS: 1st and 15th of the month at 4:00am. Threshold is set to 10 days.
Short SMART Test: Every 5th, 12th, 19th, and 26th of the month at 3:00 am
Long SMART Test: Every 8th and 22nd at 4:00 am
Short SMART Test Alternitive
If you want to do more short SMART tests you can choose to do every odd or every even day. Be sure to choose a time for your SMART test that does not interfere with a scrub or long test.
For example. In the schedule above, scrubs are scheduled at 4:00 am and the short SMART tests are scheduled for 3:00 am. Take note, the short SMART test only takes a few minutes to complete on a high preforming system. So these tests would not interfere.
Be sure to check the time your system takes to complete tests and leave enough time between tests.
Do not run tests after the 28th
This is because the shortest month, Febuary, only has 28 days. If you had tests scheduled for the 29th, that test would not take place until the next scheduled day.
These rules are not set in stone.
You can run tests that fit your style and needs. Just don’t run the tests at the same time and be aware that running many Scrubs on your drives will shorten the life of your drives.
Checking Test Logs
Use the command below to see what tests have been completed and when. Some brands will not actually provide an entry until a test completes or fails