Для обсуждения SSD существуют треды под тэгом /ssd/ в каталоге.
База:
Технология SMR по скоростным показателям уступает CMR, но модели сделанные по ней обычно дешевле, они подойдут вам если вы не собираетесь активно перекидывать файлы и заниматься прочей высоконагруженной деятельностью, раздавать торренты, и диск вам нужен лишь как долгосрочное файлохранилище.
Современные модели дисков могут издавать щелчки каждые 4-5 секунд, это нормально и не говорит о каких-либо проблемах, технология называется "Preventive Wear Leveling", PWL и, по словам вендоров, уменьшает износ ЖД.
Большая энциклопедия по всем ЖД: https://rml527.blogspot.com/
Узнать тип записи диска (CMR/SMR) по модели: https://nascompares.com/answer/list-of-wd-cmr-and-smr-hard-drives-hdd/
Мини-гид по Western Digital (предложения принимаются): https://pastebin.com/raw/ZL2jg2xx
Фак двухлетней свежести: https://github.com/mashiro-tan/dsd_thread_faq
Наилучшими DVD являются диски от Verbatim, сделанные по технологии AZO (значок AZO должен быть на упаковке). На втором месте стоят диски от Mirex.
Bluray-диски, сделанные по технологии LTH (low to high) изготовлены из органики и подвержены тем же проблемам, что и CD и DVD. Но до сих пор существуют Bluray-диски, сделанные по технологии HTL (high to low).
Предыдущие треды:
№12: >>/hw/7153746
№11: >>/hw/7088701
№10: >>/hw/7003809
№9: >>/hw/6878681 https://arhivach.top/thread/988259/
№8: >>/hw/6783613 https://arhivach.top/thread/979407/
№7: >>/hw/6697839 https://arhivach.top/thread/939310/
№6: https://2ch.hk/hw/arch/2024-01-06/res/6623555.html (М) https://arhivach.top/thread/929321/
№5: https://2ch.hk/hw/arch/2023-11-13/res/6585479.html (М) https://arhivach.top/thread/909592/
№4: https://2ch.hk/hw/arch/2023-10-14/res/6555688.html (М) https://arhivach.top/thread/899277/
№3: https://2ch.hk/hw/arch/2023-10-07/res/6504732.html (М) https://arhivach.top/thread/883979/
№2: https://2ch.hk/hw/arch/2023-05-27/res/6378245.html (М) https://arhivach.top/thread/860408/
№1: https://arhivach.top/thread/839005/
№12: >>7153746 (OP)
№11: >>7088701 (OP)
№10: >>7003809
№9: >>6878681 https://arhivach.top/thread/988259/
№8: >>/6783613 https://arhivach.top/thread/979407/
№7: >>6697839 https://arhivach.top/thread/939310/
№6: https://2ch.hk/hw/arch/2024-01-06/res/6623555.html (М) https://arhivach.top/thread/929321/
№5: https://2ch.hk/hw/arch/2023-11-13/res/6585479.html (М) https://arhivach.top/thread/909592/
№4: https://2ch.hk/hw/arch/2023-10-14/res/6555688.html (М) https://arhivach.top/thread/899277/
№3: https://2ch.hk/hw/arch/2023-10-07/res/6504732.html (М) https://arhivach.top/thread/883979/
№2: https://2ch.hk/hw/arch/2023-05-27/res/6378245.html (М) https://arhivach.top/thread/860408/
№1: https://arhivach.top/thread/839005/
Пидоры помогите, надо викторией проходить или нет.
тихие hdd - миф?
собираю nas для видеомонтажа, около 15-20 тб. стоять будет в моём рабочем кабинете, по совместительству студия звукозаписи.
система будет на ssd, поэтому во время записи можно будет просто выключить харды, однако всё равно интересен опыт анонов.
конкретно смотрю на две модели, - seagate ironwolf (не про) 6 TB и WD Red Plus 12 TB. первый рекомендовал чел с сайта nascompares, второй - рандом с реддита.
кейс будет какой-нибудь bequiet
Нужную информацию. Еще тупые вопросы будут?
Единственный тихий хдд это seagate st2000vn000 и -004. Реально тихие и холодные. Но всего на 2 тб. Все остальные уже не тихие, и крутятся шумно, и головками грохочут. Поэтому лучше собери NAS-хуяс и засунь его в дальнюю кладовку, туда нужно будет прокинуть только электричество и сеть.
Данные.
> собери NAS-хуяс
Ты цены видел? Я не миллионер
> засунь его в дальнюю кладовку
В моей квартире нет кладовок. А из нежилых помещений - изолированный балкон, крохотная кухня на которую некуда поставить посудомойку и санузел.
Это совет уровня "нет денег? Попроси ветвь бизнеса у отца, делов-то"
> цены видел
Литерали любой офисный компуктер за последние двадцать лет. От него нужно только уметь локальную сеть гигабит и подключать диски по сата.
> и санузел
Вот в сортир и поставь. Или он у тебя совмещён с ванной, нищеброд, ты, ебаный?
"Рабочий кабинет" у него есть, а кладовки нет. Пиздец.
под кроватью
Ух бля как я сегодня напердолился с wd blue 2.5 hdd на ноуте
Кароче система фризила каждые 15 минут или около того, нагуглил что это из за APM и парковки головки
Запустил crystaldiskinfo, выставил APM на performance и все збс
НО збс только до первого ребута и дальше пошел пердолинг
Пытался юзать WDIDLE3 и hdparm и idle3-tools, в итоге работает только hdparm ито опять же до перезагрузки, подозреваю что wdidle3 и idle3 не робят из за только что sata в ahci, а биос не дает выставить в ide
В итоге засунул crystaldiskinfo в автозагрузку, правда опять же не с первого раза, так как задание в планировщике криво создается, пришлось руками править
Че думаете, можно было как то лучше сделать? И нахуй вообще такая еботня придумана у WD, почему блять даже тулзы не сделали чтобы можно было нормально из под винды изменить значение и чтобы оно сохранялось между перезагрузками, во дауны
Опять ВД-сектанты ебуться в жопу.
И ещё. хдд в ноуте ставить это уже давно глупо. Даже если система не новая, то ссд даст огромный прирост к скорости работы. А если новая (десятка), то на хдд можно состариться пока браузер отвиснет или обновление установится.
Какой-нибудь старый бу самсунг ссд возьми на авите и радуйся, блядь.
У меня система на ссд м2, остальной мусор на этом хдд
Как хдд сдохнет конечно ссд возьму, хотя судя по отзывам там тоже не все так гладко, у кого то неделю работает, у кого то месяц, а потом в ридонли уходят, пиздос
>можно было как то лучше сделать
нет, сам так поступил
>задание в планировщике криво создается
от админа с повышением прав надо запускать емнип, без них может не стартовать
>еботня придумана у WD
она у большинства 2.5 жестких, чтоб ты их в ноуте с меньшей вероятностью наебнул ударом и энергия чтоб экономилась, на тошибах так же
>чтобы оно сохранялось между перезагрузками
производителю жестких это невыгодно и потенциально вредно
>чтоб ты их в ноуте с меньшей вероятностью наебнул ударом
Да это все понятно, претензия к тому что разраб не дал нихуя способов настройки этой хуйни
Вот в чем была проблема сделать утилиту, которая бы предлагала варианты настройки apm для сценариев стационарного и мобильного использования, вообще же нихуя нет, одно значение зашито и хуй изменишь, суки бляди
Нахуя что-то там вообще настраивать? Я всю жизнь пользуюсь сигейтами и ниразу ничего там нигде не настраивал. Только мастер и слейв дёргал когда-то, но это было слишком давно.
Вообще-то, не их дело, чё ты там хранишь, если ты не распространяешь ссылки налево и направо. Да и всегда можно спрятать в рар.
Надеюсь всё это на раздаче, храни тебя господь.
>не их дело
Это ты так думаешь, банально когда загружаешь нечто популярное - оно вначале проанализируется облаком на копии у всех аккаунтов и если найдёт - просто скопирует тебе в аккаунт.
> на работе
> взять
> за 10к
"На работе" "взять" должно быть бесплатно.
Как раз тыке для наса, без хитровыебанных рейдов, и без частой перезаписи, на CMR/SMR может быть пофиг. CMR/SMR проявляется при частой перезаписи мелких кусочков, всякие обновления, редактирования, вот это всё. А для один раз записал и всю жизнь хранишь и читаешь я бы сказал что это неважно.
Но что я знаю, я взял 16 тб эксос за 16к на авито. Пару. И потом ещё пару. Чувствую себя отлично.
> "На работе" "взять" это значит купить новый по корпоративной скидке.
Неееее........... Нихуя ты не понимаешь, Джон Сноу.
И что за "скидка" такая? У меня в ситилинке и в днс'е перечисленные тобой диски столько и стоят без всяких скидок.
Посоны, а имеются ли внешние боксы, подходящие для 2.5'' HDD 5 ТБ?
Взял такой Seagate недавно: https://market.yandex.ru/product--zhestkii-disk-5tb-seagate-barracuda-st5000lm000-sata-6-0gb-s-5400-rpm-128mb-buffer/881993577?offerid=sdOyrO8dVg6yzPiY_j3j3g&sku=103659991748&skuId=103659991748&uniqueId=173242140
и бокс к нему: https://www.ozon.ru/product/boks-vneshniy-dlya-zhestkogo-diska-ugreen-cm300-70499-2-5-inch-sata-external-hard-drive-enclosure-1049380670/?tab=questions&reviewsVariantMode=2
А он оказался тонковат, к тому же не читал. Без дополнительного питания никак не подключить такой объём памяти? Только внутрь системника пихать? В описании написано было, что подобные боксы поддерживают и до 6-14 ТБ).
По чём сигейт взял? Можешь засунуть свой диск в свой бокс и не закрываю крышку (потому что не налезает) подключить к пк? Интересно, заработает или нет.
Бывают внешние боксы для толстых дисков. Вот как минимум один. Но только тут максимальный объём диска указан 4 тб, но я б рискнул, думаю подойдёт. Я б ещё поискал родные сигейтовские коробочки от 2,5" 4-5 тб внешних дисков. Диски то умирают, а коробочки должны оставаться.
Подключаются без дополнительного питания. Дополнительное питание нужно для 3,5" дисков.
https://aliexpress.ru/item/1005008033042363.html
Как ты себе это представляешь?
Если можно подшаманить поверхность, почему этим никто не занимается с пользой для себя, достать данные или продлить жизнь навернувшегося винта?
Весь интернет.
Попыт разбушевался, строит в рашке северную корею.
Поэтому не ждем, а готовимся.
Да я не знаю поэтому и спрашиваю.
Взял за 24.3к. Думал накачать сериалов каких и видео из ютуба.
Что-то я про Алик и не подумал, спасибо за ссылку, бро! У меня как раз ~15 мм толщина жёсткого диска.
Я поискал Seagate-овские и нашёл внешние боксы от внешних жёстких (максимум 4 ТБ) и подписанные как Seagate, но без опознавательных знаков и их максимальный объём - 2 ТБ (тоже тонкие, не влезет).
Попробую аликовский, но вот думаю вернуть вариант с 5 ТБ и взять на 4, чтоб уж наверняка. А то сегодня пытался прочесть озоновским ugreen-боксом - ни в какую. А пока дождусь прибытия аликовского бокса, там и неделя пройдет, и хрен верну сложный электронный товар.
Завтра попробую перед сдачей опробовать на внешнем боксе 3.5'' с питанием - должен по идее прочесть. Во всяком случае не паль, QR-кодом проверил серийный номер на их сайте.
> Взял за 24.3к (5 ТБ)
Ебать ты лошара.... Ещё и коробку докупаешь. Верни его взад если можешь. И купи просто внешний сигейт. Он дешевле, до 20к. А внутри там ровно такой же диск.
Лучше брать сигейт, сигейт делает диск и переходник. А вд делает специальную модель диска у которой нет сата разъёма, только юсб. У остальных производителей коробочек надо смотреть обзоры с открытием коробки что бы узнать что внутри.
В последнее время флешки почему то дохнут как мухи. За последние 2 года купил достаточно много флешек и почти все сдохли, причем не noname. Я так понимаю там чипы - отбраковка с SSD, хз... Вот то что покупалось в ~2010 живут нормально...
Знает кто-нибудь, что надо докупить, чтобы в этот корпус ATX винт 3.5 всучить?
Типа таких подойдут?
https://www.ozon.ru/product/kronshteyny-2-sht-3-5-5-25-gembird-mf-543-327835366/
Тяжеловато их найти. Переходников 2.5 на 3.5 по ощущением в 100 раз больше.
https://www.ozon.ru/product/kreplenie-dlya-ssd-hdd-2-5-v-otsek-3-5-salazki-adapter-dlya-ssd-hdd-2-5-v-otsek-3-5-salazki-korpus-1474834890/?keywords=%D1%81%D0%B0%D0%BB%D0%B0%D0%B7%D0%BA%D0%B8+%D0%B4%D0%BB%D1%8F+hdd+3.5
Вон такие стандартные возьми да и всё, по размерам должно влезть (измерь на всякий)
Они маленькие. Стандартный жёсткий диск 3.5, и в ещё более просторном отсеке его не за что присобачить.
Сейм. У меня корпус Zlman (ЕБАТЬ ОН 7К СТОИТ), и там можно поставить не более двух HDD.
Бля, а есть ли гробы с тремя пердиляторами и без ебучего короба для бэпэ? Нахуй его вообще придумали ебаные дизайнеры хуевы.
Раньше были, Suppresor F31, топ покупка 2016 года, корзины все повыкидывал из него, и водянку 420 всунул сверху.
Три диска в стандартные слоты 3,5" и три-пять дисков в три 5,25" слота. И плюс ещё можно вниз стоечку сколхозить на три-четыре диска.
Итого 9-12 дисков.
Я свой б/у корпус на авито за 2 тысяч купил. С 5 вентилями на корпусе.
Но места для хдд у меня дохуя. 5 сверху на салазках можно приспособить, и ещё такое же количество снизу иными способами. Только мне и не надо столько, по крайней мере пока.
Такая температура в среднем, при копировании нагревается до 46 градусов. Не слишком много? Я купил вентилятор Noctua 140мм, но не знаю как туда его вместить.
>при копировании нагревается до 46
Хуёво, при том что копирование не напрягает хэдэдэ на 100%, нагрузишь серьёзней - там за 50+ выйдет.
>не знаю как туда его вместить
Сними морду, если влезет - ок, если нет - придется колхозить.
Только не бери пердиляторы с креплением на днище диска, они все говно.
>Хуёво, при том что копирование не напрягает
А до скольки градусов желательно скинуть? У этих дисков еще скорость 5640 rpm. С 7200 rpm наверно будут еще сильнее греться.
>Сними морду, если влезет - ок, если нет - придется колхозить
Попробую, но там очень тесно. Если к отсеку прикрутить то боковая панель не встанет, можно попробовать туда вглубь перпендикулярно. Вот рядом вентилятор лежит, думаю еще один купить для второго отсека жестких дисков
Что именно? За 500руб продают как и с 32гб, так и на 500+гб флешки. И гадай какая из них лучше. Приходится по старинке в Мвидео покупать по 2к и более.
Cubase
R-Studio
300x240, 0:46
Архивирую интирнет чтобы сжать в миллион раз и записать на флешку.
Можешь взять вентили поменьше и впиндюоить за или перед корзиной.
>Что с надёжностью?
Надёжнее всего когда 3.5 хэдэдэ жёстко закреплены в какой нибудь тяжолой ёбе, которую ты при всём желании не сможешь уебать или сдвинуть с места.
А я поддерживаю атавизм.
Я почти совсем выкинул хдд из своего комнатного компьютера. Оставил только оче тихие st2000vn004. Но докуплю ещё пару жирных сэсэдэ им на замену и тоже выкину. А все хэдэдэ отправились в отдельный корпус в кладовку в дальний угол. По гигабитной локалке доступ к ним такой же как к локальным дискам в моём пк. А зато в комнате тихо стало, прям охуенно, никакого гула и треска. Как диски не закрепляй, а они всё равно громкие.
Фильмы в основном, на англе и языках которые изучаю
Мемчики, конечно же.
Книги
Музыку
в игры не играю.
> то что сохранил не пропадает
> то что сохранил не нужно
> то что не сохранил пропало, а теперь оно нужно
> то что когда то видел и не сохранил так и не нашёл
Хуйня ваши архивирования. Говна какого-то набиваешь полные карманы. Ну хоть физически места не много занимает. И можно раздачей торрентов увеличивать себе ЧСВ.
Слово "нужно" тут ну так просто. Оно не "нужно", оно бы хотелось бы иметь, а нет так и хуй с ним, другое посмотрю.
Хотя вот лежат у меня пара архивов каналов с ютуба на которых были кучи самых каловых и попсовых ремиксов. Включишь и сразу блевать тянет. Теперь такого не найти!
Да нихуя у меня уникального и важного нет! Говно какое-то. Я в него даже сто лет не заглядывал уже.
>Слово "нужно" тут ну так просто. Оно не "нужно", оно бы хотелось бы иметь, а нет так и хуй с ним, другое посмотрю.
Рациональное суждение.
В идеале 10тб за 10к или 14 за 14.
У меня есть Samsung exos 10тб купенный за 10к, бу, с хорошим здоровьем, но он громкий пиздец.
Он для бекапа раз в неделю
Я погулял по сети, вроде это у них норма, типа серверные и плата за надёжность за низкую цену(???) но на постоянку шум не оч
Тихость от авито не зависит. Надёжности тоже не зависит. Говняка можно и в днс купить. Но за один и тот же говняк днс тебе заломит 2-3 тысячи за терабайт, а на авито всего по одной тысяче. Хороший диск служит 5-10 лет. Так что "слегка б/у" можно считать "проверкой работоспособности". На авито зачастую к продавцу можно придти и он включит диск при тебе, а в днс можешь сам как нибудь попробовать включить тут на прилавке, но не у каждого есть ноутбук и адаптер.
В идеале хотелось бы низкопрофильную pcie 1х единственный свободный слот остался карту, чтобы из корпуса наружу торчали 10 разъемов sata. Но что то ничего не ищется.
Поделитесь опытом
> чтобы из корпуса наружу торчали 10 разъемов sata
Таких нет. Есть с внутренними, провода через снятую заглушку корпуса вывести можно
Я всё ещё думаю что эту хуйню нужно устанавливать внутрь корпуса вместо всех креплений передней панели.
Да, ей саженцы подвязывать хорошо
В треде пишут мол ЦЕНА ВСЕГО РУБЛЬ ЗА ТЕРАБАЙТ! ТЫ ЧТО НИЩЮК?
Открываешь озон/ДНС - НЕ ТО, БАРРАКУДА ХЛАМ, ПРОДАВЕЦ ПЛОХОЙ
Открываешь авито - НЕ БЕРИ ОН БРОШЕН или ШОТО ПОДОЗРИТЕЛЬНО
Хорошего, своего никто не продаёт , 1к за Гб можно найти разве что хлам "на железо"
Остальные диски даже дороже чем в ДНС
>пишут мол ЦЕНА ВСЕГО РУБЛЬ ЗА ТЕРАБАЙТ
Хде? Сейчас цена 1Тб нового hdd +-2000 деревянных (и это ещё хорошая цена).
Будет лучше купить ССД на 1Тб САТА-шный.
Хочу вкатиться в шизокиберплюшкинизм на полшишечки, под это дело хочу себе организовать пару терабайт файлопомойного пространства, которое было бы отказоустойчиво к посыпке китайских блинов. Скок нужно винтов, какой RAID под это дело выбрать? Подскажите залетухе, с меня как обычно.
Возврат только через авито-доставку, а я хочу ИРЛ забрать
Я б лучше бэкапил, чем городил рейды. Бэкап это второе место хранения. Рейд это только одно место хранения.
А я б лучше писал на рейд, когда заполнится - весь рейд на полку, и начал городить новый рейд.
Единственный диск у Backblaze, выбивший 0% afr за 2023 год.Правда их было всего нихуя - 204 штуки, а за 2024 год статистику ещё не опубликовали, вроде
Раньше был только raid-on-chip интеловских серверных процов, сейчас 0 и 1 в любом десктопном проце поддерживается.
Ноутбучные разборки, есть в каждом городе.
Люди приносят ноут на апгрейд ссд, хдд остаётся в сервисе и выставляется лотом на авито.
Искать на лохито, собственно.
Хз, может не то ищу, но цен 1000р/1ТБ не вижу. Самое дешевое 1.2-1.3.
Я подозреваю что если походить в оффлайне по сервисам то можно найти, но я асоциальная ленивая сычина...
Я бы на твоём месте не страдал хуйнёй с зеркалами, рейдами и уж тем более всякой сранью наподобие zfs, всё это мракобесие это дополнительная точка отказа. Все эти изъёбства актуальны только когда у тебя высокая нагрузка, много дисков и нужна высокая доступность. Для файлопомойки это всё не нужно. Тебе под твои задачи хватит просто пары дисков и настроенного по расписанию бэкапа. Максимально просто и надёжно, легко переносится с компа на комп, легко восстановить данные.
Рубль за гиг у тебя на неликвидных объемах
500гб я за 600 покупал вполне себе без проблем
Терабайтники идут уже сильно дороже за гиг
Seagate IronWolf ST12000VN0007 12 ТБ
> на Озоне за 19К
А можешь на авито 19 ТБ взять 16 или 18 ТБ взять. Разницы между айронвульф'ом и эксос'ом ты не заметишь. В этой великой стране ни поддержки, ни гарантии.
Если новый, не битый, не крашеный, то отлично.
Он б/у, долбоёб. И не ной потом, что тебя не предупреждали.
Б/у гелий - лотерея
С другой стороны, в воздушном подвальные китайцы могли полазить, а гелий бы сдох сразу.
Не бывает тихих больших дисков, там куча блинов соответственно головок, коромысло тяжелое и стучать при нелинейной записи будет всегда.
чем проверить состояние внешнего винта? аида64 через смарт смотрит только родной. ноут
а теперь так и остался отключенным. как его включить? винда предлагает его только форматировать.
реально в домашних условиях что то восстановить?
форматируется ли purple серия в нтфс как обычно или так какие то особые приколы?
Под шиндоус - качаешь ventoy и hrmpf, ставишь на флешку и загружаешься с неё.
Также не удалось найти barcode, а qr просто переводит на сайт и говорит мол да, это не подделка.
А где я возьму изображения диска, если он в онлайн магазине продается?
Я хочу купить хдд. Мне нужно понять когда его сделали, чтобы не очень старье. Пока я могу прикинуть на глаз, что чем больше объем, тем больше вероятность что он не очень старый. А точнее?
>А где я возьму изображения диска, если он в онлайн магазине продается?
У менеджера спросишь.
> Мне нужно понять когда его сделали, чтобы не очень старье.
Хдд тебе консервы что ли со сроком годности? Каких трясунов только не встретишь, охуеть просто.
У любого уважающего себя онлайн-магаза есть контакты для связи куда можно задать вопросы.
При получении проверишь. Никакой магазин тебе не скажет какой диск тебе отправят.
oche/vazhny/bekap/270.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 100% 42.93MB/s 0:02:42 (xfr#23937, ir-chk=64085/90987)
oche/vazhny/bekap/271.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 100% 41.12MB/s 0:02:04 (xfr#23938, ir-chk=64084/90987)
oche/vazhny/bekap/272.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 100% 41.26MB/s 0:02:57 (xfr#23939, ir-chk=64083/90987)
oche/vazhny/bekap/273.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 100% 42.21MB/s 0:01:18 (xfr#23940, ir-chk=64082/90987)
oche/vazhny/bekap/274.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 100% 42.84MB/s 0:02:03 (xfr#23941, ir-chk=64081/90987)
oche/vazhny/bekap/275.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 100% 42.52MB/s 0:01:12 (xfr#23942, ir-chk=64080/90987)
oche/vazhny/bekap/276.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 100% 41.38MB/s 0:01:17 (xfr#23943, ir-chk=64079/90987)
oche/vazhny/bekap/277.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 35% 44.66MB/s 0:01:21
вопрос очевиден: какого хуя так медленно?!
запись на ZFS идёт со скростью 3000 мегабит в секунду, а чтение со скоростью 300 мегабит, какого хуя чтение в 10 раз медленнее, чем запись?!
восстановление из бэкапа идёт уже больше 24 часов!
> 07:28:04 up 1 day, 35 min, 3 users, load average: 0.64, 1.01, 0.96
явахуи просто, что за говно эта зфс блядь. во всех нормальных фс запись медленнее, чем чтение, а тут наоборот. лучше бы бэкапы дольше делались, но быстрее разворачивались.
проблема точно не в сетевухе, такая скорость и по 1гб меди, и по 10гб оптике. проблема точно не в сервере назначения, там относительно быстрые ссд.
на бэкап сервере массив Z1 (типа RAID5) из четырёх хдд, чтение идёт в 1 поток, никакой другой нагрузки на бэкап сервере нет, единственный процесс, который дрочит харды - rsync.
в какую сторону копать?
bkp /root# free -m
total used free shared buff/cache available
Mem: 64151 11987 51789 3 1091 52163
Swap: 0 0 0
bkp /root# arc_summary |grep cache
Most Frequently Used (MFU) cache size: 44.8 % 1.2 GiB
Most Recently Used (MRU) cache size: 55.2 % 1.4 GiB
Metadata cache size (hard limit): 75.0 % 23.5 GiB
Metadata cache size (current): 25.9 % 6.1 GiB
Dnode cache size (hard limit): 10.0 % 2.3 GiB
Dnode cache size (current): 83.7 % 2.0 GiB
L2 cached evictions: 0 Bytes
Cache hits by cache type:
spl_kmem_cache_kmem_threads 4
spl_kmem_cache_magazine_size 0
spl_kmem_cache_max_size 32
spl_kmem_cache_obj_per_slab 8
spl_kmem_cache_reclaim 0
spl_kmem_cache_slab_limit 16384
dbuf_cache_hiwater_pct 10
dbuf_cache_lowater_pct 10
dbuf_cache_max_bytes 18446744073709551615
dbuf_cache_shift 5
dbuf_metadata_cache_max_bytes 18446744073709551615
dbuf_metadata_cache_shift 6
spa_config_path /etc/zfs/zpool.cache
zfs_metaslab_max_size_cache_sec 3600
zfs_nocacheflush 0
zfs_vdev_cache_bshift 16
zfs_vdev_cache_max 16384
zfs_vdev_cache_size 0
zil_nocacheflush 0
VDEV cache disabled, skipping section
продолжаю держать в курсе.
тест последовательного чтения в один поток методом "dd status=progress bs=1M if=большойфайл of=/dev/null"
бэкап сервер с ZFS на ржавом железе
> 13607919882 bytes (14 GB, 13 GiB) copied, 99.7743 s, 136 MB/s
лайв сервер с EXT4 на ссд
> 73988571136 bytes (74 GB, 69 GiB) copied, 101 s, 733 MB/s
почему-то дд на бэкап сервере в 3 раза быстрее, чем рсинк, хотя нагрузка такая же - continuous чтение одного большого файла.
протестил чтение и запись без всяких рсинков, а напрямую с того же сервера.
лайв сервер с mdadm RAID5 и SSD:
prod# sync; dd if=/dev/urandom of=test.bin bs=1M count=4096; time sync
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 12.2952 s, 349 MB/s
real 0m4.846s
user 0m0.000s
sys 0m0.016s
prod# echo 3 > /proc/sys/vm/drop_caches; dd if=test.bin of=/dev/null bs=1M
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 3.85484 s, 1.1 GB/s
= запись 3 гигабита, чтение 9 гигабит
бэкапник с ZFS RAID5 и HDD
backup# sync; dd if=/dev/urandom of=test.bin bs=1M count=4096; time sync
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 11.1282 s, 386 MB/s
real 0m2.727s
user 0m0.000s
sys 0m0.042s
backup# echo 3 > /proc/sys/vm/drop_caches; dd if=test.bin of=/dev/null bs=1M
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 32.6595 s, 132 MB/s
= запись 3+ гигабита, чтение 1 гигабит
тут почему-то чтение вышло в 3 раза быстрее, чем рсинкать на другой сервер.
может всё-таки какая-то хуйня между этими двумя серверами, позже попробую покидать туда-сюда данные между бэкапником и другим сервером.
между третьим сервером и лайв сервером с ссд туда-сюда честный гигабит по гигабитной меди, между третьим сервером и бэкапником с хдд-зфс всё те же 300 мегабит, но если положить тяжёлый файл в /dev/shm и качать оттуда, то будет так же честный гигабит, то есть проблема точно не в сети, а в зфс.
continuous read:
backup# sync; echo 3 > /proc/sys/vm/drop_caches; fio --ioengine=libaio --direct=1 --name=zfstest --filename=zfstest.bin --bs=1M --size=4G --readwrite=read --numjobs=1 --iodepth=1
zfstest: (g=0): rw=read, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=libaio, iodepth=1
fio-3.33
zfstest: (groupid=0, jobs=1): err= 0: pid=74269: Mon Jan 13 10:51:34 2025
iops : min= 44, max= 178, avg=119.49, stdev=31.98, samples=68
READ: bw=119MiB/s (125MB/s), 119MiB/s-119MiB/s (125MB/s-125MB/s), io=4096MiB (4295MB), run=34357-34357msec
random read:
backup# sync; echo 3 > /proc/sys/vm/drop_caches; fio --ioengine=libaio --direct=1 --name=zfstest --filename=zfstest.bin --bs=1M --size=4G --readwrite=randread --numjobs=1 --iodepth=1
zfstest: (g=0): rw=randread, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=libaio, iodepth=1
fio-3.33
zfstest: (groupid=0, jobs=1): err= 0: pid=79082: Mon Jan 13 10:54:00 2025
read: IOPS=65, BW=65.3MiB/s (68.5MB/s)(4096MiB/62723msec)
iops : min= 54, max= 88, avg=65.31, stdev= 3.66, samples=125
READ: bw=65.3MiB/s (68.5MB/s), 65.3MiB/s-65.3MiB/s (68.5MB/s-68.5MB/s), io=4096MiB (4295MB), run=62723-62723msec
меня, конечно, устраивает высокая скорость записи, потому что это сервер для бэкапов и там 99% write нагрузки, но, блядь, этот 1 оставшийся процент read - это восстановление из бэкапа в течение ДВУХ СУКА ДНЕЙ с этой скоростью в 300 мегабит в секунду.
собственно, в какую сторону копать для дебага низкой скорости чтения?
oche/vazhny/bekap/270.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 100% 42.93MB/s 0:02:42 (xfr#23937, ir-chk=64085/90987)
oche/vazhny/bekap/271.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 100% 41.12MB/s 0:02:04 (xfr#23938, ir-chk=64084/90987)
oche/vazhny/bekap/272.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 100% 41.26MB/s 0:02:57 (xfr#23939, ir-chk=64083/90987)
oche/vazhny/bekap/273.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 100% 42.21MB/s 0:01:18 (xfr#23940, ir-chk=64082/90987)
oche/vazhny/bekap/274.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 100% 42.84MB/s 0:02:03 (xfr#23941, ir-chk=64081/90987)
oche/vazhny/bekap/275.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 100% 42.52MB/s 0:01:12 (xfr#23942, ir-chk=64080/90987)
oche/vazhny/bekap/276.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 100% 41.38MB/s 0:01:17 (xfr#23943, ir-chk=64079/90987)
oche/vazhny/bekap/277.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 35% 44.66MB/s 0:01:21
вопрос очевиден: какого хуя так медленно?!
запись на ZFS идёт со скростью 3000 мегабит в секунду, а чтение со скоростью 300 мегабит, какого хуя чтение в 10 раз медленнее, чем запись?!
восстановление из бэкапа идёт уже больше 24 часов!
> 07:28:04 up 1 day, 35 min, 3 users, load average: 0.64, 1.01, 0.96
явахуи просто, что за говно эта зфс блядь. во всех нормальных фс запись медленнее, чем чтение, а тут наоборот. лучше бы бэкапы дольше делались, но быстрее разворачивались.
проблема точно не в сетевухе, такая скорость и по 1гб меди, и по 10гб оптике. проблема точно не в сервере назначения, там относительно быстрые ссд.
на бэкап сервере массив Z1 (типа RAID5) из четырёх хдд, чтение идёт в 1 поток, никакой другой нагрузки на бэкап сервере нет, единственный процесс, который дрочит харды - rsync.
в какую сторону копать?
bkp /root# free -m
total used free shared buff/cache available
Mem: 64151 11987 51789 3 1091 52163
Swap: 0 0 0
bkp /root# arc_summary |grep cache
Most Frequently Used (MFU) cache size: 44.8 % 1.2 GiB
Most Recently Used (MRU) cache size: 55.2 % 1.4 GiB
Metadata cache size (hard limit): 75.0 % 23.5 GiB
Metadata cache size (current): 25.9 % 6.1 GiB
Dnode cache size (hard limit): 10.0 % 2.3 GiB
Dnode cache size (current): 83.7 % 2.0 GiB
L2 cached evictions: 0 Bytes
Cache hits by cache type:
spl_kmem_cache_kmem_threads 4
spl_kmem_cache_magazine_size 0
spl_kmem_cache_max_size 32
spl_kmem_cache_obj_per_slab 8
spl_kmem_cache_reclaim 0
spl_kmem_cache_slab_limit 16384
dbuf_cache_hiwater_pct 10
dbuf_cache_lowater_pct 10
dbuf_cache_max_bytes 18446744073709551615
dbuf_cache_shift 5
dbuf_metadata_cache_max_bytes 18446744073709551615
dbuf_metadata_cache_shift 6
spa_config_path /etc/zfs/zpool.cache
zfs_metaslab_max_size_cache_sec 3600
zfs_nocacheflush 0
zfs_vdev_cache_bshift 16
zfs_vdev_cache_max 16384
zfs_vdev_cache_size 0
zil_nocacheflush 0
VDEV cache disabled, skipping section
продолжаю держать в курсе.
тест последовательного чтения в один поток методом "dd status=progress bs=1M if=большойфайл of=/dev/null"
бэкап сервер с ZFS на ржавом железе
> 13607919882 bytes (14 GB, 13 GiB) copied, 99.7743 s, 136 MB/s
лайв сервер с EXT4 на ссд
> 73988571136 bytes (74 GB, 69 GiB) copied, 101 s, 733 MB/s
почему-то дд на бэкап сервере в 3 раза быстрее, чем рсинк, хотя нагрузка такая же - continuous чтение одного большого файла.
протестил чтение и запись без всяких рсинков, а напрямую с того же сервера.
лайв сервер с mdadm RAID5 и SSD:
prod# sync; dd if=/dev/urandom of=test.bin bs=1M count=4096; time sync
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 12.2952 s, 349 MB/s
real 0m4.846s
user 0m0.000s
sys 0m0.016s
prod# echo 3 > /proc/sys/vm/drop_caches; dd if=test.bin of=/dev/null bs=1M
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 3.85484 s, 1.1 GB/s
= запись 3 гигабита, чтение 9 гигабит
бэкапник с ZFS RAID5 и HDD
backup# sync; dd if=/dev/urandom of=test.bin bs=1M count=4096; time sync
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 11.1282 s, 386 MB/s
real 0m2.727s
user 0m0.000s
sys 0m0.042s
backup# echo 3 > /proc/sys/vm/drop_caches; dd if=test.bin of=/dev/null bs=1M
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 32.6595 s, 132 MB/s
= запись 3+ гигабита, чтение 1 гигабит
тут почему-то чтение вышло в 3 раза быстрее, чем рсинкать на другой сервер.
может всё-таки какая-то хуйня между этими двумя серверами, позже попробую покидать туда-сюда данные между бэкапником и другим сервером.
между третьим сервером и лайв сервером с ссд туда-сюда честный гигабит по гигабитной меди, между третьим сервером и бэкапником с хдд-зфс всё те же 300 мегабит, но если положить тяжёлый файл в /dev/shm и качать оттуда, то будет так же честный гигабит, то есть проблема точно не в сети, а в зфс.
continuous read:
backup# sync; echo 3 > /proc/sys/vm/drop_caches; fio --ioengine=libaio --direct=1 --name=zfstest --filename=zfstest.bin --bs=1M --size=4G --readwrite=read --numjobs=1 --iodepth=1
zfstest: (g=0): rw=read, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=libaio, iodepth=1
fio-3.33
zfstest: (groupid=0, jobs=1): err= 0: pid=74269: Mon Jan 13 10:51:34 2025
iops : min= 44, max= 178, avg=119.49, stdev=31.98, samples=68
READ: bw=119MiB/s (125MB/s), 119MiB/s-119MiB/s (125MB/s-125MB/s), io=4096MiB (4295MB), run=34357-34357msec
random read:
backup# sync; echo 3 > /proc/sys/vm/drop_caches; fio --ioengine=libaio --direct=1 --name=zfstest --filename=zfstest.bin --bs=1M --size=4G --readwrite=randread --numjobs=1 --iodepth=1
zfstest: (g=0): rw=randread, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=libaio, iodepth=1
fio-3.33
zfstest: (groupid=0, jobs=1): err= 0: pid=79082: Mon Jan 13 10:54:00 2025
read: IOPS=65, BW=65.3MiB/s (68.5MB/s)(4096MiB/62723msec)
iops : min= 54, max= 88, avg=65.31, stdev= 3.66, samples=125
READ: bw=65.3MiB/s (68.5MB/s), 65.3MiB/s-65.3MiB/s (68.5MB/s-68.5MB/s), io=4096MiB (4295MB), run=62723-62723msec
меня, конечно, устраивает высокая скорость записи, потому что это сервер для бэкапов и там 99% write нагрузки, но, блядь, этот 1 оставшийся процент read - это восстановление из бэкапа в течение ДВУХ СУКА ДНЕЙ с этой скоростью в 300 мегабит в секунду.
собственно, в какую сторону копать для дебага низкой скорости чтения?
конфиг: 4х 7200rpm HDD WD Ultrastar DC HC550 16TB, без каких-либо рейд/хба контроллеров, воткнуты напрямую в мамку, то есть работают через чипсет.
собрал массив так:
poolname="backup";
zpool create -f -o ashift=12 -m /mnt/data $poolname raidz /dev/...
zfs set atime=off $poolname
zfs set compression=off $poolname
zfs set recordsize=1M $poolname
>запись на ZFS идёт со скростью 3000 мегабит в секунду
1) Это блять кэш. У меня тоже запись 1000+ Мб/с, а без кэша <50-300Мб/с. Ты отруби кэш или попробуй записать объёмный файл, гигов на 50-100, а не 1-4.
2) Самба, искази?
3) Проверял фрагментацию записанного файла?
> 1) Это блять кэш
сильно сомневаюсь. оператива не занята, на сервер льются бэкапы по паре сотен гигабайт, и скорость не проседает в течение всего времени. если бы это был кэш, то скорость упала бы после забивания оперативы, ну и в buff/cache было бы не 100 мегабайт, а все 64 гигабайта.
> 2) Самба, искази?
ext4, rsync, прямое соединение с основным сервером оптикой, и гигабитной медью через гигабитный свитч с остальными серверами.
> 3) Проверял фрагментацию записанного файла?
не, как это сделать?
и там не один файл, а множество больших и ещё большее множество мелких.
да, запись 3000 мегабит, чтение 300 мегабит.
Закажи на авито по 1,0-1,2 рулей за гиг. Я брал 16 тб и доволен.
backup# zpool get fragmentation
NAME PROPERTY VALUE SOURCE
backup fragmentation 0% -
не думаю, что дело в фрагментации, потому что во время восстановления из бэкапа скорость 300 мегабит была на протяжении всего восстановления, и когда качались большие файлы, и когда маленькие.
scrub делаю раз в месяц, проблем нет.
> scan: scrub repaired 0B in 05:55:42 with 0 errors on Sun Jan 12 06:19:44 2025
Всё же похоже на кэш, но с чтением действительно беда.
У меня как то так по искази расшарено оптика 10Гбит, размер записи 128K, сжатие LZ4, запись проседает когда кэш заканчивается, а чтение +- стабильно 400-500 Мб/с (но только там ещё всё в контейнере, это -15-20% скорости):
NAME PROPERTY VALUE SOURCE
RZ3 size 131T -
RZ3 capacity 98% -
RZ3 altroot /mnt local
RZ3 health ONLINE -
RZ3 version - default
RZ3 bootfs - default
RZ3 delegation on default
RZ3 autoreplace off default
RZ3 cachefile /data/zfs/zpool.cache local
RZ3 failmode continue local
RZ3 listsnapshots off default
RZ3 autoexpand on local
RZ3 dedupratio 1.00x -
RZ3 free 1.34T -
RZ3 allocated 130T -
RZ3 readonly off -
RZ3 ashift 12 local
RZ3 comment - default
RZ3 expandsize - -
RZ3 freeing 0 -
RZ3 fragmentation 30% -
RZ3 leaked 0 -
RZ3 multihost off default
RZ3 checkpoint - -
RZ3 autotrim off default
RZ3 compatibility off default
RZ3 feature@async_destroy enabled local
RZ3 feature@empty_bpobj active local
RZ3 feature@lz4_compress active local
RZ3 feature@multi_vdev_crash_dump enabled local
RZ3 feature@spacemap_histogram active local
RZ3 feature@enabled_txg active local
RZ3 feature@hole_birth active local
RZ3 feature@extensible_dataset active local
RZ3 feature@embedded_data active local
RZ3 feature@bookmarks enabled local
RZ3 feature@filesystem_limits enabled local
RZ3 feature@large_blocks enabled local
RZ3 feature@large_dnode enabled local
RZ3 feature@sha512 active local
RZ3 feature@skein enabled local
RZ3 feature@userobj_accounting active local
RZ3 feature@encryption enabled local
RZ3 feature@project_quota active local
RZ3 feature@device_removal enabled local
RZ3 feature@obsolete_counts enabled local
RZ3 feature@zpool_checkpoint enabled local
RZ3 feature@spacemap_v2 active local
RZ3 feature@allocation_classes enabled local
RZ3 feature@resilver_defer enabled local
RZ3 feature@bookmark_v2 enabled local
RZ3 feature@redaction_bookmarks enabled local
RZ3 feature@redacted_datasets enabled local
Всё же похоже на кэш, но с чтением действительно беда.
У меня как то так по искази расшарено оптика 10Гбит, размер записи 128K, сжатие LZ4, запись проседает когда кэш заканчивается, а чтение +- стабильно 400-500 Мб/с (но только там ещё всё в контейнере, это -15-20% скорости):
NAME PROPERTY VALUE SOURCE
RZ3 size 131T -
RZ3 capacity 98% -
RZ3 altroot /mnt local
RZ3 health ONLINE -
RZ3 version - default
RZ3 bootfs - default
RZ3 delegation on default
RZ3 autoreplace off default
RZ3 cachefile /data/zfs/zpool.cache local
RZ3 failmode continue local
RZ3 listsnapshots off default
RZ3 autoexpand on local
RZ3 dedupratio 1.00x -
RZ3 free 1.34T -
RZ3 allocated 130T -
RZ3 readonly off -
RZ3 ashift 12 local
RZ3 comment - default
RZ3 expandsize - -
RZ3 freeing 0 -
RZ3 fragmentation 30% -
RZ3 leaked 0 -
RZ3 multihost off default
RZ3 checkpoint - -
RZ3 autotrim off default
RZ3 compatibility off default
RZ3 feature@async_destroy enabled local
RZ3 feature@empty_bpobj active local
RZ3 feature@lz4_compress active local
RZ3 feature@multi_vdev_crash_dump enabled local
RZ3 feature@spacemap_histogram active local
RZ3 feature@enabled_txg active local
RZ3 feature@hole_birth active local
RZ3 feature@extensible_dataset active local
RZ3 feature@embedded_data active local
RZ3 feature@bookmarks enabled local
RZ3 feature@filesystem_limits enabled local
RZ3 feature@large_blocks enabled local
RZ3 feature@large_dnode enabled local
RZ3 feature@sha512 active local
RZ3 feature@skein enabled local
RZ3 feature@userobj_accounting active local
RZ3 feature@encryption enabled local
RZ3 feature@project_quota active local
RZ3 feature@device_removal enabled local
RZ3 feature@obsolete_counts enabled local
RZ3 feature@zpool_checkpoint enabled local
RZ3 feature@spacemap_v2 active local
RZ3 feature@allocation_classes enabled local
RZ3 feature@resilver_defer enabled local
RZ3 feature@bookmark_v2 enabled local
RZ3 feature@redaction_bookmarks enabled local
RZ3 feature@redacted_datasets enabled local