4EBF79D9-8FB2-4D52-AA96-7502905BBE74.jpeg186 Кб, 1280x853
NAS soft Неизвестно 2903969 В конец треда | Веб
Решил собрать NAS; железо уже обсудил в /hw, теперь дело за софтом.
Планирую делать полноценный «дэйта-сэнтр» в домашних условиях.
Далее будут приведены цели и ПО, которое планирую использовать.
Скажи, если для чего есть лучшие альтернативы.

ОС: RHEL
ФС: BTRFS (RAID1 -> RAID10)
стриминг видео с декодированием на сервере: jellyfin
файлопомойка с синхронизацией телефона: nextcloud
стриминг аудио с кешированием на устройстве: airsonic
VPN: wireguard
торренты с автораспределегием по директориям: rtorrent
веб сайты: пока не знаю, потом прикручу контейнеры
* контейнеры: Docker

Все норм?
Android: Mobile Safari 2 2903976
>>03969 (OP)

> торрент


Почему не легковесный Transmission?

> OS


Я бы посоветовал какой-нибудь FreeNAS. Местные аноны в этом плане лучше подскажут, но RHEL явно не твой выбор

Да и вообще ниже есть целый тред по насам, спросил бы там
Неизвестно 3 2903979
>>03976

>не трансмишн


Не умел следить за директориями, когда я проверял.

>есть тред


Извиняюсь, просмотрел.
Пойду туда.

>не RHEL


Почему? На фринас даже джеллифина нет.
Android: Mobile Safari 4 2904111
>>03969 (OP)

>rtorrent


Отличную машинку для майнинга собрал.
https://www.opennet.ru/opennews/art.shtml?num=48177
Неизвестно 5 2904123
>>04111

> Атака производится когда пользователь открывает в браузере подконтрольные злоумышленнику страницы на системе в которой также выполняется rTorrent.


Не актуально для меня.
Ну и если знаешь другой клиент, который следит за директориями и автоматически качает по нужным путям, могу перейти на него.
Android: Mobile Safari 6 2904136
Неизвестно 7 2904138
>>04136
Я помню, что смотрел на неё лет 5 назад, но не смог прикрутить мониторинг директорий.
Попробую снова, спасибо.
Apple GayPhone: Safari 8 2904743
Ты там что то ценное собираешься держать?
Неизвестно 9 2904749
>>04743
Из ценного будут архивы и модели по научной работе.
Ну и старые семейные фото.

Остальное не хотелось бы терять, но не критично.
Ну и мусор вроде фильмов и музыки, да образов всяких.
Apple GayPhone: Safari 10 2904825
>>04749
Ну тогда тебе нужно ECC Ram + UPS + ZFS, иначе надежно не получится.
Apple GayPhone: Safari 11 2904826
>>04825
и хотя бы raidz2
Windows 10: Chromium based 12 2904828
>>03969 (OP)

> ОС: RHEL


лалка ебучая RHEL это засохшее говно с systemd и дилдами
Неизвестно 13 2904931
>>04825

>ZFS


>Linux


Здесь точно лучше BTRFS.

>>04828

>засохшее


С RPMFusion все норм.

>systemd


Это плохо, но из альтернатив только Воид, который за последний год скатился в говно.
Android: Mobile Safari 14 2904963
>>04931

> из альтернатив только Воид


Гента
Неизвестно 15 2904968
>>04963
Это ебучее говно на питоне с постоянными проблемами при обновлении и самым медленным пакетным менеджером?
Не говоря уже о том, что OpenRC это чуть ли не самый медленный система инитов.

Спасибо за рекомендацию, но нет.
Лучше уж NixOS обмазаться.
Android: Mobile Safari 16 2904982
>>04968
Никсос на сойстемд же. Если уж ты хотел без него.
Linux: Firefox based 17 2904995
>>04931

>скатился в говно


Подробнее.
Неизвестно 18 2904998
>>04982
Тоже верно.
Теперь либо БСД, на который не все портировано пока либо СистемД.

>>04995
Пакеты начали сегфолтится, очень многое стало значительно дольше обновляться.
Новый хэндбук просто крупная Параша по сравнению даже со старыми доками.
Форум убрали.
Глав. Девы с самомнением уровня разработчиков ГНОМ, хотя по сравнению с экстремом не сделали и 10 части все вместе.

Единственный плюс за последний год- 64-битный вайн.
Linux: Palemoon 19 2904999
>>03969 (OP)

>NAS


>RAID10


>торренты


Паршивая идея.

>>04825

>Ну тогда тебе нужно ECC Ram


Не нужно. "Scrub of death" - полумифическая хрень, наблюдать которую у тебя шансов не больше, чем восстановить случайную строку по ее sha256-хэшу с одной попытки.

>>04826

>и хотя бы raidz2


Для дисков <= 4ТБ не имеет смысла.
Linux: Firefox based 20 2905000
>>04998
Пиздец. Нахуй так жить.
Неизвестно 21 2905016
>>04999

>Паршивая идея.


Почему?
<4Тб
Здесь по 14 будет, но заводить ZFS на лине это такое себе.

>>05000
Да, все очень грустно. 3 года сидел на воиде.
Windows 7: Firefox based 22 2905044
>>03969 (OP)

>BTRFS


>RHEL


Слабоумие и отвага.

>>05016

>но заводить ZFS на лине это такое себе.


Оно прекрасно работает.
Неизвестно 23 2905236
>>05044

>работает


А теперь назови хоть одну причину использовать костыли вместо ФС в ядре, которая умеет все то же, что и ЗФС и даже больше.

Хотя лучше раскрой мысль про RAID10 и плохую идею.
Linux: Palemoon 24 2905275
>>05016

>Почему?


Потому что будешь скрежетать головамии всех дисков в массиве 24/7. Дорогое и бессмысленное удовольствие с точки зрения как амортизации, так и безопасности данных. Под скачку-раздачу торрентов лучше завести отдельный бросовый диск, который можно без проблем заменить, когда загнется.

>Здесь по 14 будет


Тогда да, либо raidz2, либо автоматическая репликация куда-нибудь во внешнее хранилище. И диски без черепичной записи, иначе ребилда массива не дождешься никогда.

>но заводить ZFS на лине это такое себе


Несколько лет уже, как полностью перешел на ZFS везде, где только можно (суммарно около 20 машин различного назначения). Все работает идеально, ни единого косяка.
Неизвестно 25 2905305
>>05275

>Потому что будешь скрежетать головамии всех дисков в массиве 24/7.


Разумно.
Хотя скрежетать должно только при скачивании и записи.
Раздача должна активировать только диск(и) с данными.
Тогда RAID1, наверное.

>внешнее хранилище


Я понимаю, что реданданси это не бекап, но предпочёл бы обойтись одним устройством.
Потому и рассматриваю варианты с0 100% redundancy, чтобы если уж даже половина дисков наебнулась, то данные остаются.

Хотя за всю жизнь у меня только один дешевый ВД отказал.

>работает


И все же, какие плюсы перед BTRFS?
Последний нативен, активно поддерживается и имеет дополнительные плюшки.
Linux: Palemoon 26 2905339
>>05305

>Хотя скрежетать должно только при скачивании и записи.


>Раздача должна активировать только диск(и) с данными.


Нет. Раздача - это как раз основной источник стресса. Данные в RAID-массиве хранятся чанками по 128KB. Теперь представь, что размер блока данных твоего торрента - 4МБ. Это значит 32 чанка. В случае RAID1 из 2 дисков это будет по 16 обращений к каждому диску. И так на каждый блок данных, а L1/L2 кэши в случае торрентов тебе вообще никак не помогут.

>Я понимаю, что реданданси это не бекап, но предпочёл бы обойтись одним устройством.


Я предпочитаю локально иметь raidz1-массивы из небольших дешевых 4TB-дисков для обеспечения скорости и разумного времени перестройки + репликацию на большой внешний диск без резервирования, подключенный к обычному одноплатнику.

>И все же, какие плюсы перед BTRFS?


Не знаю. В тот момент, когда я перекатывался на CoW-системы, btrfs был кривой и толком ничего не умел. ХЗ, как там сейчас дела обстоят.
Неизвестно 27 2905356
>>05339

> Раздача - это как раз основной источник стресса.


Неприятно.
Но спасибо за информацию, тогда буду думать, что и как изменить.
Хотя удивлён, если честно.
Дома стоял Synology с перманентно включёнными торрентами и вроде был достаточно тих и неприхотлив.
Вот уже почти 5 лет как онлайн с одним диском и все норм.

>4Тб


Вариант, но я хочу максимально компактно все сделать.
Как результат— могу поставить до 6 дисков и нужен большой объём.

Как часто у тебя выходят из строя носители?

>когда вкатывался


Тогда понимаю.
Сам читал много жалоб, но следил за проектом и уже пару лет как все хорошо и даже доп. фичи потихоньку внедряют.
Тот же Synology на BTRFS, например, хоть и с кастомными патчами на древнем ядре.

Вообще, я бы bcachefs попробовал, но он ещё даже не в ядре.
Windows 7: Firefox based 28 2905470
>>05236
1. Камон, какие костыли, оно из коробки идет уже.
2. Брбрфс, серьёзно? Мне нужно объяснять какое это говно говна с амплификсцией записи 40х?
Не будь идиотом. Используй лучше lvm + xfs/ext4 или вообще аппаратный рейд.
Windows 10: Firefox based 29 2905488
>>05470

> аппаратный рейд


нахуй надо?
Linux: Firefox based 30 2905490
>>05488
Чтобы не ебаться, вжух и оно работает.
Неизвестно 31 2905492
>>05470

>из коробки


>OpenZFS 2.0 вышел меньше месяца назад


>никогда не добавят в ядро


Ну, я даже не знаю.

>говно говна


Объясни. Я давно пользуюсь для внешних дисков и действительно не в курсе.
Неизвестно 32 2905494
>>05490

>изначально меньше контроля


>контроллер наебнулся


>вжух и ты пидор


Напомни, какие плюсы у такого решения?
Windows 7: Firefox based 33 2905496
>>05492

>никогда не добавят в ядро


почему кстати? zfs это ведь тоже опенсорс, чего бы и не добавить?
Неизвестно 34 2905504
>>05496
Если не ошибаюсь, BSD (ZFS) и GNU (Linux) лицензии не слишком совместимы.
16067238742960.png2 Кб, 246x173
Linux: Firefox based 35 2905516
>>05504
У ZFS не БСД.
Поэтому там и проблемы.
OpenZFS лицензируется под CDDL (Common Development and Distribution License)

>>05492

>>никогда не добавят в ядро


Разщницы в работе и коде нет вообще, нули и единички те-же, тебе ли не похуй?
Ну пересобери ведро сам с вшитым модулем.
Аутисты блядь.
Apple GayPhone: Safari 36 2906055
>>04999

>Для дисков <= 4ТБ не имеет смысла


Почему, и как вообще parity связано с размером диска?

А насчет ECC, ты думаешь он просто так стоит в любом сервере? И не забывай, что при async записи ZFS кладет все в рам а потом скидывает на диск, там то и сожет случиться косяк, ну или во время resilver. Ошибки РАМа это частое явление, прост без ECC ты о них не знаешь.
https://serverfault.com/questions/26483/statistics-on-ram-malfunction
Apple GayPhone: Safari 37 2906135
>>05305

>И все же, какие плюсы перед BTRFS?


btrfs не умеет в raid5/6
btrfs глючное гавно которое может рассыпаться в любой момент
Неизвестно 38 2906153
>>06135
1. Умеет, но проблема с write hole не решена, это да
2. ZFS не умеет в RAID10, который для меня значительно актуальнее.

> btrfs глючное гавно которое может рассыпаться в любой момен


Голословно. Пруфы есть?
Windows 7: Firefox based 39 2906160
>>06153

>ZFS не умеет в RAID10,


Ты что, наркоман блядь?
599AA64D-81C8-437C-9566-B07ACD41003B.png809 Кб, 1242x2688
Неизвестно 40 2906167
Windows 7: Firefox based 41 2906176
>>06167
Там и raid5 нету, технически, творобушек ты тупой.
Кому в здравом блядь уме нужен "технически RAID10" когда ZFS предоставляет более крутые механизмы с большим функционалом?
Windows 7: Firefox based 42 2906179
>>06167
Брбрфс кстати имеет теже ограничения, если я верно помню.
Неизвестно 43 2906191
>>06176

>кому нужны


Это уже другой вопрос, но факта это не меняет.

На данный момент меня больше интересует заявление >>06135 про глючное говно с падениями в любой момент.
Windows 7: Firefox based 44 2906194
>>06191

>Это уже другой вопрос, но факта это не меняет.


В зфс, как и в брбрфс, технически нету никакого рейда. Это факт.
Ваш Капитан Бесполезный Факт.
AC580A99-6B3B-4046-8A33-92D14A60F463.png915 Кб, 1242x2688
Неизвестно 45 2906201
>>06194
Ты как-то совсем уже в странности двинулся.
Перестань дерейлить тред.
Linux: Firefox based 46 2906214
>>06201
Да, технически поддерживает.
Зачем ты эти скрины сам кидаешь, ты ёбнутый?
Неизвестно 47 2906239
>>06214

>зачем кидаешь


Показать тебе, что ты ошибаешься.
Apple GayPhone: Safari 48 2906502
>>06153

>Голословно. Пруфы есть?


В гугол лалка. Олсо отчем мы вообще говорим если спустя больше 10 лет fsck так и не допилена?
Windows 10: Firefox based 49 2906514
Android: Mobile Safari 50 2906515
>>06502

> В гугол лалка


Гугл выдал это:
https://btrfs.wiki.kernel.org/index.php/Production_Users

> Facebook (testing in production as of 2014/04, deployed on millions of servers as of 2018/10)


https://code.fb.com/open-source/linux/
Неизвестно 51 2906519
>>06502

>В гугол лалка


Ясно, понятно.
Apple GayPhone: Safari 52 2907011
>>06515
И? Пейсбук может делать вообще что угодно. У них куча реплик и при какой либо проблеме они могут кинуть с десяток скилованых инженеров ее разруливать. Тв будешь покупать два или три наса? У тебя есть челы которые по щелчку пальцев пойдут ковырять ядро?
Apple GayPhone: Safari 53 2907012
>>06514
https://www.suse.com/support/kb/doc/?id=000018769

>If this does not work, start the repair procedure.


WARNING: Using '--repair' can further damage a filesystem instead of helping if it can't fix your particular issue.
Ensure a backup has been created before invoking '--repair'. If any doubt open a support request first, before attempting a repair. Use this flag at your own risk.
Ну да, хороший чек, ниче не скажешь, лол.
Windows 7: Firefox based 54 2907066
>>06239
Каким образом твои скриншоты это показывают, болезный?
Windows 10: Firefox based 55 2907177
>>07012

>If this does not work, start the repair procedure.


Логично, значит разделу пизда

> Ensure a backup has been created before invoking '--repair


Тоже логично
Всё ещё не делаешь бэкапы?
Windows 10: Firefox based 56 2907187
>>07012
Я понял почему ты сопротивляешься, потому что все перешли, а Apple не перешла.
Windows 7: Firefox based 57 2907325
>>07187

>все перешли


Кто все блядь?
Windows 7: Firefox based 58 2907466
в насах от синолоджи используется ecc память? а какая у них файловая система?
Неизвестно 59 2907519
>>07466
Память не знаю, ФС там BTRFS.
Windows 10: Firefox based 60 2907522
>>07325
Пейсбук
15905834262950.gif606 Кб, 800x792
Linux: Firefox based 61 2907615
>>07177
>>06515

https://www.reddit.com/r/linux/comments/kieqyu/warning_linux_510_has_a_500_to_2000_btrfs/

>Warning: Linux 5.10 has a 500% to 2000% BTRFS performance regression!

Windows 10: Firefox based 62 2907624
>>07615

> Новое ядро имеет проблемы с BTRFS, которая нормально работает на прошлых ядрах

15893837053340.png96 Кб, 600x600
Linux: Firefox based 63 2907628
>>07624

>Новое LTS ядро


>проблемы


>2000% performance regression!


>нормально работает на прошлых ядрах яскозал

Windows 10: Firefox based 64 2907634
>>07628

> LTS, это не значит что оно долго будет иметься в виду, это значит что оно стабильное в релизе

16045391313830.gif3,3 Мб, 635x640
Linux: Firefox based 65 2907640
>>07634

>это значит что оно стабильное в релизе


Недостаточно стабильное для БРБРФС
Windows 10: Firefox based 66 2907642
>>07640
Погоди, оно только 9 дней назад высралось, сейчас ещё найдут кто-где срал и в продакшн
Apple Mac: Chromium based 67 2907792
>>07177
Ну такое, чек с репейром делает еще хуже. Серьезно? Может с чеком что то не так все таки?
моча хуле тут банишь, глотай сперму своего папаши.
Apple Mac: Chromium based 68 2907793
>>07187
Дорогой, кто такои все, ну кроме пейсбука и сайнолоджи ?оба кстате полнейшее гавно. Нам на аппле брбрфс нинужон, есть нормально работающая APFS. А дома на TrueNas MiniX отлично работает ZFS.
Apple Mac: Chromium based 69 2907794
>>03969 (OP)
Ставь TrueNAS + ZFS. В bhyve поднимешь линокс и бушь гонять там докер.
1588031821372.png65 Кб, 738x896
Windows 10: Firefox based 70 2907795
>>07793

> Нам на аппле брбрфс нинужон, есть нормально работающая APFS


Да как скажешь
Windows 10: Firefox based 71 2907797
>>07793
Вам вообще ничего ненужно, даже запоминать пароли, нажал галочку и система показала его плейнтекстом, если забыл.
Windows 10: Chromium based 72 2916429
Гайс, хочу запилить нас на фринас, там, там понял самый норм торрент - transmission. Собссно вопрос - есть способ переноса раздач/статистики из uTorrent 1.8.3 в transmission?
O1CN01uJwMXM1UOFQukomaT!!0-itempic.jpg140 Кб, 800x800
Android: Mobile Safari 73 2918275
>>03969 (OP)

>пикрил


Чет сильверстоун в край обленились, поменяли морду от SG 13 и воткнули шасси - насик готов!
Windows 7: Firefox based 74 2918297
>>03976

>FreeNas


Однозадачная коляска, если руки из нужного места, то проще самому все настроить на любой системе (хоть линь, хоть бздя, хоть солярис какой нить)
Windows 10: Chromium based 75 2918316
А почему все так дрочат на btrfs? Чем не угодил mdadm+ext4 рейд?
Windows 10: Firefox based 76 2918324
>>18316

> mdadm+ext4


Ну и где здесь снапшоты? Где дедупликация?
Apple Mac: Chromium based 77 2918336
>>18316
Да просто так.
В btrfs есть копи он врайт (как в варе; сразу вспоминается - если хочешь иметь проблемы с созданием снэпшота, выбирай хв, если с удалением - вару) и б-деревья.
Ни первое, ни второе не будет нужно на нас.
Первое нужно там, где есть требования по ревизиям снимков данных и если это меньше 300тб, то это скорее решается бэкапом, а второе нужно - где данных много.

Если уж хочется чего-то не дефолтного, то и правда zfs.

>>07794
Если opennas, или truenas могут в докер, то самое разумное, имхо.
1DA34AFD-ECBC-4447-840B-D9C016D9A1D4.jpeg43 Кб, 732x488
Неизвестно 78 2918340
>>18275
Я в итоге на другом корпусе остановился.
У сильверстоуна (и большинства альтернатив) кулер далеко от дисков расположен и люди жалуются на температуры.

В итоге жду U-NAS NSC-810 в продаже.

>>18316
“Стабильность”, снепшоты и нативная поддержка нескольких уровней RAID.
А, ещё драйвер для виндоус. Некоторые даже винду с него запускают в виртуальной.
изображение.png13 Кб, 598x448
Linux: Firefox based 79 2918350
>>18340

>кулер далеко от дисков расположен


Жёсткие диски не надо охлаждать. Особенно в насе, где они простаивают 95% времени.
Windows 10: Chromium based 80 2918355
>>18350
Канешн не надо, пусть до +55 кочегарятся. По твоему же пикрилу видно, что в идеале +35+45.
Неизвестно 81 2918356
>>18350

>простаивают


Напоминаю, что там будут торренты (вне массива, скорее всего) и медиа-серверы.
Так что диски будут греться более чем.
Windows 10: Firefox based 82 2918364
>>18340

> А, ещё драйвер для виндоус.


Который бесполезен на винде без LVM
Снимок экрана от 2021-01-10 14-30-23.png8 Кб, 347x50
Linux: Firefox based 83 2918366
>>18355

>По твоему же пикрилу видно, что в идеале +35+45.


Средний винт без обдува и висит в интервале 30-35. Пикрел мой медиацентр-сидбокс у батареи без какого-либо обдува.
До 50 реально самые запущенные валенки кипятятся.
Linux: Firefox based 84 2918372
>>18366

>без какого-либо специального обдува


Протяжка там обычная. Уточню на всякий случай.
Windows 10: Chromium based 85 2918376
>>18340
Мы же тут вроде домашнюю файловую помойку собираем, а не что-то для работы со снепшотами виртуальных машин и/или еще чем-то. Помои можно, и имхо, нужно хранить на mdadm+ext4. Скорость доступа выше чем у ZoL/BTRFS, а что еще нужно неискушенному пользователю?
Неизвестно 86 2918379
>>18364
Почему бесполезен и зачем ты мешаешь LVM с BTRFS?
Неизвестно 87 2918387
>>18376

>без виртуалок


Но с контейнерами.
Лично я беру BTRFS, потому что из коробки максимально просто собрать нужный мне RAID1/10 и может в дедупликацию, расширение массивов и все прочее.

Какой плюс от использования отдельной утилиты (mdadm), если ФС нативно все поддерживает?

Ну и у меня личная неприязнь к EXT4, после того, как у меня умудрились закончиться иноды при нормальном использовании ПК.
image.png3 Кб, 73x367
Windows 10: Chromium based 88 2918388
>>18366
Пикрил мой сидбокс с крутиляторами. Без за 40+ уходит.
Неизвестно 89 2918389
>>18350

>Жёсткие диски не надо охлаждать. Особенно в насе,


Люди жалуются на 65 градусов Цельсия.
Это не здорово.
Linux: Firefox based 90 2918391
>>18387

>может в дедупликацию


Эм. Он может только если ты руками сказал: чувак хочу дедуплицированную копию вот этого образа. На лету как зфс он не умеет. А те костыли которые делают это сбоку лучше бы вообще ничего не делали.
Windows 10: Chromium based 91 2918392
>>18387
Может и имеет смысл.

У меня около 5 лет файловая помойка жила на nfs + mdadm из 4 винтов, бед не знал, даже без упса. Пережила много отключений электроэнергии, рейд так и не развалился.
Так же крутил там minidlna / transmission-daemon / owncloud / strongswan + xl2tpd. Бед не знал.
В прошлом году купил синьку ds920+. ВПН сервер переехал на vyos.
Linux: Firefox based 92 2918395
>>18388
Ну так по графику 40-45 лучше, чем твои 32.
2021-01-1014-53-23.png14 Кб, 732x274
Windows 10: Chromium based 93 2918396
>>18395
У меня, кстати, тоже не поднимается выше 30 градусов даже при нагрузке.
BE209B4F-C8EC-457C-A88D-71B764F5D2B4.png1,8 Мб, 1242x2688
Неизвестно 94 2918403
>>18396
>>18350
Может у вас там 5400 стоит на 4Тб?
Я пикрил брать собираюсь.
2021-01-1015-04-57.png148 Кб, 1481x461
Windows 10: Chromium based 95 2918405
>>18403
Ты картинку-то посмотрел?
Неизвестно 96 2918406
>>18405

>SAS


Зачем?
Windows 10: Chromium based 97 2918412
>>18395
Там постоянная нагрузка, без обдува изи под 50 улетают.
Ubuntu Linux: Firefox based 98 2918435
Ля, тоже собираю щас нас с примерно тем же юзкейсом, что и у опа и собирался однозначно использовать zfs. Но вчера выяснилось, что у проца нет ни авх ни аппаратного ускорения аес, так что с полнодисковым шифрованием я пососал, да и без авхов зфс будет медленно работать вроде как. Нашел гугловский метод адиантум, как раз для устройств без аппаратного аес. Но для его использования придется отдельно напердоливать люкс и только потом ставить зфс. Так вот и закрались сомнения, а имеет ли зфс тогда смысл или проще ебануть хфс/ехт4 на лвм с мдадм и тем же луксом?
Linux: Firefox based 99 2918448
>>18435
Всё что касается ФС должно быть масимально дефолтным. Каждый дополнительный слой увеличивает шансы что всё распидораится, что никакие утилиты не помогут. Лично я в хранилищах пришёл к схеме:
1) ext4
2) raid/mdadm дома не нужен, только на продакшн серверах для минимизации простоя
3) lvm нужен только если планируешь склеивать больше одного винта, или добавлять диски
4) бэкапы borgом на другой винт, или на другое хранилище, не забывать чекать здоровье по хрону
5) шифрование в отдельных контейнерах если шибко надо
7) PROFIT
В результате даже если я внезапно потеряю бэкапы, у меня останется куча инструментов по разруливанию ситуации от ддрескью и тестдиска до платной рстудио.
Windows 10: Chromium based 100 2918449
>>18435
Если у тебя нет задачи которую может решить ZFS - ставь mdadm + ext4. Отлично работает. 5 лет работы моего прошлого наса не дадут спиздеть.
Windows 10: Chromium based 101 2918450
Можно, кстати, угореть и купить аппаратный рейд контроллер от LSI Logic.
Неизвестно 102 2918452
>>18448

>платной рстудио


Что, блядь?
Неизвестно 103 2918453
>>18450

>аппаратный рейд


От них разве не только минусы?
Windows 10: Firefox based 104 2918454
>>18450
Можно вообще въебать говна и купить аппаратный рейд-бокс на али и подключить его к роутеру по USB3
Linux: Firefox based 105 2918458
>>18452

>Что, блядь?


https://www.r-studio.com/ не путать с https://rstudio.com/
Отлично работает с ext4. На резонный вопрос: "на кой это надо, если есть тестдиск" отвечаю.
1) Коллеги не раз говорили, что он больше файлов достаёт.
2) Лично я могу подтвердить, что он работает в несколько раз быстрее.
3) Доступный, его можно поручить любой эникейной обезьяне.
В общем достойный продукт за свои деньги.
Неизвестно 106 2918460
>>18458

>не путать с rstudio


Это все объясняет, спасибо.
Linux: Firefox based 107 2918463
>>18460
Ну rstudio это классический open-core, и у него тоже энтерпрайзная версия есть.
Apple Mac: Chromium based 108 2918483
>>18387

>Но с контейнерами.


Пяток контейнеров же. Их конечно очень часто снэпшотить надо. Прям поддержка от фс нужна.

1. Почему ты хочешь redhat? То, что ты собираешься нагородить, в ней будет сделать сложнее.
https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/7/html/storage_administration_guide/ch-btrfs

2.
https://docs.docker.com/storage/storagedriver/btrfs-driver/
Докер не советуют использовать brtfs, кроме оговоренных условий. И если уж брать эту фс, то только под контейнеры. А не под и то и пятое и десятое.

3. Я могу предположить, что выбор пал на redhat, т.к. кубернеты, но тогда пункт 1.
Windows 10: Firefox based 109 2918487
>>18483

> Их конечно очень часто снэпшотить надо. Прям поддержка от фс нужна.


А кто будет снэпшотить изменения в файлах? А так хуяк, откатил изменения в файле из снапшота и в хуй не дуешь.
Неизвестно 110 2918488
>>18483

>почему редхат


Хотел CoreOS, но из пожрала федора.
С Фёдором знаком хорошо, а заодно и ключ на RHEL имею.
Потому и решил ее.
Кубернеты активно рассматриваю.

>FHS


Так для ОС и всех контейнеров там ССД на терабайт.
На нем будет XFS, а массивы примантированны к контейнерам.

>почему BTRFS


Нативная работа с многими дисками и нужные уровни RAID.

>условия


Вроде по все подхожу, кроме рекомендованной ОС, но это лишь рекомендация.
Windows 10: Chromium based 111 2918489
>>18453
С софтовым рейдом на десктопном железе проблем на свою жопу можно нажить только больше. Я уже не говорю о большом количестве случаев отваливания рейда. Чуваки с unraid не дадут соврать.
Windows 10: Chromium based 112 2918490
>>18454
Гурман, однако.
Неизвестно 113 2918493
>>18489

>проблем


Каких?
Да и железо относительно недесктопное (особенно мать).

>отвалиться


Разве что вся ФС полетит, но за всю жизнь такого не испытывал.
Windows 10: Chromium based 114 2918494
>>18493
Если у тебя есть ECC память и нормальная сервер-грейд мать тогда можешь воротить, что душе угодно.
Windows 10: Chromium based 115 2918495
>>18494
Вот попадалось как-то забугорное обсуждение, что ECC не хуй то и нужно в том же zfs для домашнего применения, ибо вероятность ошибки накопителя несоизмеримо выше ошибки ДО накопителя, в рам в частности.
Неизвестно 116 2918496
>>18494
Так и есть
Apple Mac: Chromium based 117 2918510
>>18487
Сама система менеджмента контейнеров. Она может использовать фичи фс. Но тут, как мне кажется, не тот случай, чтоб этим заморачиваться.
>>18488

> активно рассматриваю.


> Так для ОС и всех контейнеров там ССД на терабайт


Ясно.

> а массивы примантированны


Т.е. в сухом остатке имеем именно:
"Нативная работа с многими дисками и нужные уровни RAID."
Т.е. к контейнеру ты будешь монтировать вольюм? Или через bind?
Windows 10: Chromium based 118 2918598
Windows 10: Chromium based 119 2918599
Неизвестно 120 2918722
>>18599

>RAID 5


Официально неполный в БТРФС.
Android: New Opera 121 2918733
Купил синолоджи на 4 диска по 16тб и в хуй не дую. Вы как ебаные корчеры некро прулей со своими костылями
Неизвестно 122 2918739
>>18510
Я бы хотел биндить, но поскольку мне нужно несколько контейнеров к одному пулу дисков, думаю, придётся вольюмами.
Пока эта система только для меня, но надо ещё подумать, как потом распределять доступ.
Возможно, у подмана с этим лучше?

>>18733
Повторю, что говорил выше: «если нужна только файлопомойка, то синолоджи— отличный вариант».
Если нужно хоть что-то ещё, то это лютый проглотим. Там даже с FFMPEG трудности.
Я уж не говорю про БТРФС на ядре времён палеозоя.
Windows 10: Firefox based 123 2918772
>>18739

> Там даже с FFMPEG трудности.


Хоспади, один забэкапить а на его место симлинк от правильного хуйнуть. Проблема блять!
Windows 10: Chromium based 124 2918776
>>18739
Синолоджи все таки умеет в айскази, а там уже средствами системы можно и снапшоты и все, что в голову придет. Не стоит так относится к home grade nas.
Windows 10: Firefox based 125 2918829
>>18776
Можете нормально объяснить что такое iSCSI и какие юзкейсы?
Android: Mobile Safari 126 2918834
>>03969 (OP)
FreeNAS + zfs + openvpn. Вот настоящий топ.
Linux: Firefox based 127 2918887
>>18829
Тебе википедии не хватает?

Позволяет блочное устройство подключать по сети.

Тип не папочку с файлами а диск, как диск, который ты можешь форматровать во что хош и установить туда ОС.

Юзкейсы - ну например виртуализация и бесдисковые станции. А так же всевозможные SANы.
SAN это когда у тебя диски в одной комнате управляемые централизованно, а сервера в другой.
Linux: Firefox based 128 2918888
>>18316

>А почему все так дрочат на btrfs?


Кто все блядь?

Его если что ВСЕ поливают говном. Потому что это глючное говно с амплификацией записи 40х.
Android: Mobile Safari 129 2918895
>>18316
Не слушай этого >>18888
Бтрфс всем нравится за гибкость и нативность под линукс. Удобно делать снепшоты и откатываться на них. О эта fs уже получила стабильные релизы, можно хоть в продакшен проекты пилить.
Android: Firefox based 130 2918899
>>18895

>Making rounds this week was word of a "500~2000% performance regression" knocking Btrfs on Linux 5.10. For a simple test case like extracting a large .tar.zst file could go from taking just around 15 seconds to nearly five minutes or in other cases like from 5 seconds to over 30 seconds. The regression was bisected to a fundamental Btrfs change in Linux 5.10 and reproduced on bare metal while running Btrfs within a virtual machine didn't trigger the major slowdown.

Android: Mobile Safari 131 2918915
>>18899
И что? Выбранный из жопы никому не понятный архив zst плохо работает в btrfs. Да кого это ебёт вообще? Это проблемы zst.
Windows 10: Chromium based 132 2918931
>>18915
Написали же тебе, что ZFS light years ahead of btrfs.
Apple Mac: Chromium based 133 2918934
>>18739

> Я бы хотел биндить, но поскольку мне нужно несколько контейнеров к одному пулу дисков, думаю, придётся вольюмами.



Т.е. ты поверх brtfs будешь создавать блочные устройства со своей фс внутри?
Linux: Firefox based 134 2918937
>>18495
Бывают битые плашки, которые дают одну ошибку на 50 прогонов. Самый хуёвый вариант, такие хер отловишь, пока мемтест на неделю не оставишь.
Apple Mac: Chromium based 135 2918939
>>18934
Ну т.е. ладно, забыли про контейнеры. Для них бртфс тебе не нужна.
У тебя есть 1 диск под систему, 4 под рэйд 10 с семейными фото, 1 под торренты. Диски - это около 60к рублей, еще 20 - под считалку. Т.е. 80к под нас с семейными фото, я ничего не упустил?
Android: Mobile Safari 136 2918941
>>18931

> пук


Понятно
Windows 10: Chromium based 137 2918942
>>18939
У меня дороже стоит и там контент такого же уровня. Не считая бэкапы всех устройств домашних.
Apple Mac: Chromium based 138 2918943
>>18942
Молодец, эффективно.
Кстати, а бэкап на какую фс кладётся? В xfs есть блок клонинг, наверное для бэкапов удобно. Ну, или refs.
Windows 10: Chromium based 139 2918946
>>18943
На ZFS
Windows 10: Chromium based 140 2918952
Анон, с дебильной улыбкой всегда читаю твои треды. Вряд ли ты это планировал, но у тебя в треде всегда получается какая-то сатира на двачи и интернеты в целом. Что ни вбрось -- придут кретины и начнут сраться друг с другом. Добра тебе.
Windows 10: Firefox based 141 2918957
>>03969 (OP)

> файлопомойка с синхронизацией телефона: nextcloud


Эта хуйня заприватит шареную папку и доступ к ней будет только через него. Если ты хочешь в те папки ходить свободно, расшарь по самбе и подключи как внешнее хранилище.
Неизвестно 142 2918958
>>18934

>блочные устройства


Нет.

SSD: XFS -> ОС, контейнеры, все прочее
HDD: BTRFS RAID1/10 -> все данные
У докера есть драйверы для нативной работы с BTRFS.

Сейчас почитал про вольюмы побольше, от них действительно будут некоторые неудобства.
Хотя, если РЭЙД сделан средствами самой ФС (как в моем случае), то никаких проблем быть особо не должно.
Тогда смотрю, можно ли нескольким контейнерам без проблем забиндить диски.
Неизвестно 143 2918959
>>18939
Упустил, перечитай ОП.
Мне нужны ещё 2 медиа сервера и некстклауд для телефона.
Скорее всего, ещё бекары для моих компьютеров через BORG или что-то похожее.
Неизвестно 144 2918960
>>18957
Не знал, почитаю об этом, спасибо.
Windows 10: Firefox based 145 2918963
>>18946
А сколько всего дисков? Штук. Мне правда интересно как насы используют.
И сколько лет это все у тебя работает?

У меня есть опосредованный опыт с brtfs, про частные облака, там выделяли специальную команду из нескольких человек под это. Примерно как сторадж команда, но их специфика была - сбор перформанс метрик. Дитрейс с рестапи, если образно говорить. Т.е. это скорей сириуз бизнес.
И есть прямой опыт с ZFS с прошлой работы, однако как-бы не совсем опыт. У меня никогда ничего не случалось. Но там и данные не клиентов лежали, а внутренние. Единственный опыт - следить за тем, чтобы кондиционер не забывали включать летом, а то можно в понедельник нескольких дисков недосчитаться.
Android: Mobile Safari 146 2918967
Аноны, а можно hdd объеденить с ssd на уровне файловой системы? Чтобы они выглядели как один том, но файлы с ssd постепенно перемещались на hdd?
Windows 10: Firefox based 147 2918977
>>18967
У синолоджи есть коробки с разъемами под SSD, но они искользуются не как пространство для хранения, а как кэш.
При использовании в одно рыло, ты не почувствуешь разницы по гигабитной сети.
Windows 10: Firefox based 148 2918979
>>18967
Усложняешь, просто перекидывай файлы с ссд на хард через rsync в кроне. Если речь о торрентах, большинство торрент-клиентов умеют сначала качать в одну папку, а потом перемещать в другую
Windows 10: Chromium based 149 2918992
>>18963
4 диска по 6ТБ
ECC память 32 ГБ
RAID-Z
Windows 10: Firefox based 150 2918994
>>18959
Я оп пост читаю так - есть примерно 4 типа данных.
И надо выбрать политику хранения. Подойдёт ли brtfs c рейд 10?
>>18958
Сначала я подумал, что brtfs тебе нужно для контейнеров. И я позволил себе усомниться, что для пятка контейнеров это принесет что-то ощутимое.
Потом оказалось, что не для этого, а просто для рэйда средствами фс.
Дальше вывод такой - для 4 типов данных, политика, которая просто подазумевает какой-то один тип рейда, это странное решение. Так можно сделать, вопросов нет. Если ты хочешь на все данные накатить такую-то политику и brtfs позволяет эту политику реализовать - гоу он. Вопрос только в том почему ты выбрал такую политику. А этого как раз в оп посте нет.

>>18967
Да.
Под виндоус - rapid storage technology.
У эппл - Fusion.
Linux - Bcachefs.
Про виндоус - не советую, под мак - уже не нужно, под линукс - не пробовал.
Windows 10: Firefox based 151 2918996
>>18992
А лет?
Windows 10: Chromium based 152 2918998
>>18996
~1,5 года.
Android: Mobile Safari 153 2919001
>>18994
Спасибо за совет, bcachefs кажется то что я хотел.
Windows 10: Firefox based 154 2919005
>>18998
Для дома это много. Спасибо.
Windows 10: Chromium based 155 2919007
>>19005
Никаких проблем не наблюдал. Даже если свет отваливался в те времена когда упса еще не было.
Неизвестно 156 2919008
>>18994

>Я оп пост читаю так


Возможно, я плохо передал мысль.
Там больше вопрос про все остальное был.
То, что БТРФС подходит я знаю, так как давно пользуюсь им для всего, что не внутренний системный SSD.

>политику


Не совсем тебя понимаю.
Файлы они и есть файлы.
Вопрос не столько к ФС, а к правильному доступу к ним.
То есть как правильнее реализовать доступ к одному файлу из нескольких контейнеров одновременно и чтобы это работало.

Конечно, условные видео и аудио сервер не должны иметь доступ к одному и тому же файлу, но вот Nextcloud должен иметь доступ к аудио, например.

Не совсем понимаю, зачем разделять по дискам, если использовать весь массив как одну ФС звучит для меня более логично.
Linux: Firefox based 157 2919018
>>18915

>Выбранный из жопы никому не понятный архив zst плохо работает в btrfs


>The regression was bisected to a fundamental Btrfs change in Linux 5.10 and reproduced on bare metal while running Btrfs within a virtual machine didn't trigger the major slowdown

Windows 10: Firefox based 158 2919045
>>19008

> То есть как правильнее реализовать доступ к одному файлу из нескольких контейнеров одновременно и чтобы это работало.


bind конечно.
С точки зрения высоколобых рассуждений, тебе нужна кластерная фс для контейнеров. Т.е. контейнеру ты представляешь блочное устройство, внутри контейнера есть сервис, который обеспечивает работу кластерной фс и пирится с этим сервисом из другого контейнера. Которому ты предоставил это-же блочное устройство. Можно на нас накрутить, но выглядит смешно.
На самом деле - нет в этом потребности. Ну есть исчезающая вероятность, что контейнер1 с торрентом и контейнер2 с медисервером там что-то неподелят, рестартуешь контейнер и всё. Так просто не принято делать, принято запихивать торент и медиасервер в одну сущность, это обкатано. А как поведёт себя докер в твоих условиях - плохо обкатано. Т.к. контейнеры не совсем для этого делали. Весь реальный i/o будет на редхате, там все будет хорошо, а что случится с контейнером при локах фс, поверх которой докер бинд - да чёрт его знает. Рестартуешь контейнер - проблемы нет.

>>политику


>Не совсем тебя понимаю


Я просто смотрю с привычной для себя точки зрения.
Вот есть машина с субд, а есть машина с файловой шарой.
Эти машины будут иметь разный паттерн i/o. И то что хорошо для одной - излишки для другой. Или даже плохо для другой.
Политика - это когда ты говоришь, вот первую машину хочу на быстрых дисках и таким-то резервированием, а вторую - можно диски помедленнее и с другим резервированием.
Давай к примеру торенты? Вот ты собираешься их класть на рейд. Зачем? Тебе эти данные даже бэкапить не надо. А когда ты их туда кладёшь, это приводит к значительному оверхеду с точки зрения контроллера диска.
Записная книжка. Если тебе нужно непрерывное использование - рейд нужен. Вместе с бэкапом. А если день без синка ты проживёшь, то тебе не нужен рейд, а нужен только бэкап.
Конечно для дома на 8 дисках реализовать все возможные политики не выйдет. Но выбирать политику, которая подразумевает рейд 10 для твоих данных - странно.
Windows 10: Firefox based 158 2919045
>>19008

> То есть как правильнее реализовать доступ к одному файлу из нескольких контейнеров одновременно и чтобы это работало.


bind конечно.
С точки зрения высоколобых рассуждений, тебе нужна кластерная фс для контейнеров. Т.е. контейнеру ты представляешь блочное устройство, внутри контейнера есть сервис, который обеспечивает работу кластерной фс и пирится с этим сервисом из другого контейнера. Которому ты предоставил это-же блочное устройство. Можно на нас накрутить, но выглядит смешно.
На самом деле - нет в этом потребности. Ну есть исчезающая вероятность, что контейнер1 с торрентом и контейнер2 с медисервером там что-то неподелят, рестартуешь контейнер и всё. Так просто не принято делать, принято запихивать торент и медиасервер в одну сущность, это обкатано. А как поведёт себя докер в твоих условиях - плохо обкатано. Т.к. контейнеры не совсем для этого делали. Весь реальный i/o будет на редхате, там все будет хорошо, а что случится с контейнером при локах фс, поверх которой докер бинд - да чёрт его знает. Рестартуешь контейнер - проблемы нет.

>>политику


>Не совсем тебя понимаю


Я просто смотрю с привычной для себя точки зрения.
Вот есть машина с субд, а есть машина с файловой шарой.
Эти машины будут иметь разный паттерн i/o. И то что хорошо для одной - излишки для другой. Или даже плохо для другой.
Политика - это когда ты говоришь, вот первую машину хочу на быстрых дисках и таким-то резервированием, а вторую - можно диски помедленнее и с другим резервированием.
Давай к примеру торенты? Вот ты собираешься их класть на рейд. Зачем? Тебе эти данные даже бэкапить не надо. А когда ты их туда кладёшь, это приводит к значительному оверхеду с точки зрения контроллера диска.
Записная книжка. Если тебе нужно непрерывное использование - рейд нужен. Вместе с бэкапом. А если день без синка ты проживёшь, то тебе не нужен рейд, а нужен только бэкап.
Конечно для дома на 8 дисках реализовать все возможные политики не выйдет. Но выбирать политику, которая подразумевает рейд 10 для твоих данных - странно.
Неизвестно 159 2919065
>>19045

>тогда бинд


Хорошо, спасибо тебе.

>торренты


Их как раз теперь планирую на отдельный диск вне рейда, так как анон выше сказал, что пихать их в основной рейд— крайне тупая идея.
То есть качается через VPN-контейнер на Диск 8 и, по завершении, копируется в основной массив (диски 1-6), чтобы (1) все было лучше рассортировано и (2) к этому получили доступ нужные контейнеры.

RAID10 выбирал, потому что это тот же рейд1, только быстрее и с некоторыми оговорками.
Хотя сейчас не уверен, что с моим юз-кейсом есть смысл в чём-то кроме RAID1.
Просто планировал расширять массив (начать с 4 + 1, потом 6+1+1), а при RAID1, если я правильно понимаю, это будет 2 массива.
Windows 10: Firefox based 160 2919105
>>19065

> в чём-то кроме RAID1.


А почему ты так считаешь? Большая часть треда как раз об этом. Всякие буковки и аббревиатуры - это про почему рейд 1/10, неважно на чём реализованный.
Вопрос без всяких экивоков.
Я бы по работе сказал, что 5-ка нужна. Для дома -1-цу, т.к. рубли/гигабайт не считал бы и обслуживание сведётся к - работает/нет.
Но у меня дома нет нас и интересно знать твои критерии.

> при RAID1, если я правильно понимаю, это будет 2 массива.


Я на данный момент вижу твою хотелку так:
а)xfs под систему
б)2 диска под raid1, средствами brtfs
в)1 диск под торренты, средствами brtfs
Ты можешь докинуть 4 диска и засунуть их в пункт с рэйдом.

Забавно, что когда ты говоришь массив - у меня возникает путаница - что именно ты имеешь ввиду. Для меня массив - это дисковая полка и контроллеры. Ну питание может ещё. Это используют для того, чтоб поверх потом построить другую сущность. Обычно в линуксах это pv, или результат работы mdadm. Или пул у зфс. Т.е. до самой файловой системы еще не дошли.
Но поскольку у тебя бтрфс, это просто набор блочных устройств. Т.е. если у тебя 2 фс, одна под рейд, другая под торренты, то у тебя "2 массива", угу. Я не знаком с терминологией, когда btrfs поверх голых дисков разворачивают. Наверняка ты прав и там это называют массивом. Просто мне привычнее это слово в чуть-чуть другом контексте использовать.
Android: Mobile Safari 161 2919193
Вопрос к знатакам по btrfs. Там же снепшоты это дельта состояний, так? А значит есть базовый снимок или как?
Получается если проебать базовый снимок то и всем снепшотам пизда?
Apple Mac: Chromium based 162 2919202
>>19193
Я не знаток btrfs, но советую загуглить скриншоты snapper из sles, там будет всё очень похоже на то, как у гипервизоров. В потрохах тоже будет снэпшот-ид, а что там еще глубже, я не знаю.
Еще можешь сравнить COW и ROW подходы по снэпшотам, чтобы четче понимать про какую дельту ты говоришь.
Linux: Firefox based 163 2919203
>>19193
Там CoW, там вообще всё это дельта состояний.

>Получается если проебать базовый снимок то и всем снепшотам пизда?


Как ты его проебать собрался? dd напрямую в блочный девайс?
Windows 10: Firefox based 164 2919218
>>18391
Угу.
Я читнул про дедуп в этой битриэфэс.

Он там реально нужен, чтоб между снэпшотами дедуплцировать - https://github.com/lakshmipathi/dduper
А для контейнеров это использоваться не будет, т.к. юзеркейс не предпологает снэпшты контейнеров. Все данные - вне контейнеров.

>которые делают это сбоку лучше бы вообще ничего не делали.



Дедуп в привычном смысле - https://btrfs.wiki.kernel.org/index.php/User_notes_on_dedupe
Т.е. год назад - это блидинг эдж патчи, с ram непонятно, но не как на нас устройстве. Ну и квоты теряем на деле.
Такой танец на рэдхате проворачивать я бы не рискнул.
Рискну предположить, что это главный предмет головной боли суппорта synology.
Linux: Firefox based 165 2919285
>>19218

>А для контейнеров это использоваться не будет


Докер при копировании слепка указывает, что копирование с дедупликацей. В итоге с кучей однородных образов выгода достойная.
Apple Mac: Safari 166 2919461
>>19285

> Докер при копировании слепка указывает, что копирование с дедупликацей.


Что ты имеешь ввиду? Мой поинт был простой - комит, или чекпоинт - это никак не затронет данные, которые к контейнеру подмонтированы. Напомню, сами контейнеры у нас на xfs, данные на btrfs.

А у тебя докер копирует слепок..
Пусть контейнер лежит на btrfs.
Попробуем погадать.
Сам докер копирует? Наверное, да.
Слепок это docker checkpoint, правильно?
Т.е. сам процесс докера вызовет ioctl_fideduperange при записи файлов на btrfs? Правильно понял?
Linux: Firefox based 167 2919462
>>19461

>Попробуем погадать.


Тред идиотов полон.

>контейнер лежит на btrfs.


>btrfs


И слабоумных.
Linux: Firefox based 168 2919497
>>19462
Как ты прямо. Зашёл и заполнил собой весь тред.
Windows 10: Firefox based 169 2919580
>>19462

>>Попробуем погадать.


>Тред идиотов полон.


Ух как ты меня!

> Докер при копировании слепка указывает, что копирование с дедупликацей.


Так что там докер копирует?

Для дедупа нало использовать ioctl_fideduperange.
Источник - https://btrfs.wiki.kernel.org/index.php/Deduplication

Вот сам докер: https://github.com/docker/docker-ce
Делаем полнотекстовый поиск против "ioctl_fideduperange" и единственное место, где встречается:
Downloads\docker-ce-master\docker-ce-master\components\cli\vendor\golang.org\x\sys\unix\syscall_linux.go

Что там?
// IoctlFileDedupeRange performs an FIDEDUPERANGE ioctl operation to share the
// range of data conveyed in value with the file associated with the file
// descriptor destFd. See the ioctl_fideduperange(2) man page for details.
func IoctlFileDedupeRange(destFd int, value *FileDedupeRange) error {
err := ioctl(destFd, FIDEDUPERANGE, uintptr(unsafe.Pointer(value)))
runtime.KeepAlive(value)
return err
}

Объявили. И всё. Нигде больше не используем. Поэтому я не понимаю что ты пытаешься донести своим:

> Докер при копировании слепка указывает, что копирование с дедупликацей.



И с радостью бы узнал, если чего-то не знаю.
Windows 10: Firefox based 169 2919580
>>19462

>>Попробуем погадать.


>Тред идиотов полон.


Ух как ты меня!

> Докер при копировании слепка указывает, что копирование с дедупликацей.


Так что там докер копирует?

Для дедупа нало использовать ioctl_fideduperange.
Источник - https://btrfs.wiki.kernel.org/index.php/Deduplication

Вот сам докер: https://github.com/docker/docker-ce
Делаем полнотекстовый поиск против "ioctl_fideduperange" и единственное место, где встречается:
Downloads\docker-ce-master\docker-ce-master\components\cli\vendor\golang.org\x\sys\unix\syscall_linux.go

Что там?
// IoctlFileDedupeRange performs an FIDEDUPERANGE ioctl operation to share the
// range of data conveyed in value with the file associated with the file
// descriptor destFd. See the ioctl_fideduperange(2) man page for details.
func IoctlFileDedupeRange(destFd int, value *FileDedupeRange) error {
err := ioctl(destFd, FIDEDUPERANGE, uintptr(unsafe.Pointer(value)))
runtime.KeepAlive(value)
return err
}

Объявили. И всё. Нигде больше не используем. Поэтому я не понимаю что ты пытаешься донести своим:

> Докер при копировании слепка указывает, что копирование с дедупликацей.



И с радостью бы узнал, если чего-то не знаю.
Linux: Firefox based 170 2919602
>>19580

>Для дедупа нало использовать ioctl_fideduperange.


Или cp --reflink.
Под слепками я понимал слои юнионфс.
Дедуплицировать персистентные данные дешево никак не выйдет.
Windows 10: Firefox based 171 2919714
>>19602

> Под слепками я понимал слои юнионфс.


Так ты не про родной btrfs дедуп говоришь? Ну за такими скачками с одного на другое мне сложно угнаться.

Я смотрю на вводную треда - btrfs позволяет дедуп. Ни о каком докере речи пока нет.
Дальше я смотрю что именно он позволяет в этом плане.
Есть два режима работы. Один - онлайн, и как по мне - он сырой, второй оффлайн. И его действительно можно использовать. И использовать его можно эффективно, если есть много снэпшотов фс.
Дальше - если докер сконфигурировать определённым образом, он может задействовать btrfs снэпшоты. Я такого никогда не делал, судя по описанию - делать этого не советуют.
Но если сделать, то такой метод действительно позволит экономить на дедупе.
Однако в треде не предполагают, что контейнеры лежат на btrfs.
А потом появляешься ты и говоришь про совершенно другой "дедуп", который и не дедуп вовсе, а нативная докер абстракция над сторадж драйвером. И докер знать не знает что за этим стоит.
Приведет ли этот механизм к тому-же, что и родной офф-лайн btrfs дедуп? Да, но мне кажется, что в меньшей степени. Утилита для офф-лайн дедупа соберёт все чексуммы всех датаблоков. Она ничего не знает о наследовании слоёв докера.

> Дедуплицировать персистентные данные дешево никак не выйдет.


Тут спору нет.
Windows 10: Firefox based 172 2919812
>>03969 (OP)
Какое железо?
изображение.png640 Кб, 650x433
Windows 10: Firefox based 174 2919825
>>19822
Ебать. У меня аж сердечко закололо.
Подумываю как бы дешево собраться, взять корудуба на авито или зион с али какой-нибудь, а ты мне такое сбрасывешь.
Ебать.
Windows 10: Firefox based 175 2919826
Пиздец, голова кружится.
>>19822
И это все чтобы файлики по хранить и торенты удаленно покачать?
Часто торренты качаешь?
Что за аудио/видео стримишь?
Что за сайтик?
Отвечай.
Windows 10: Firefox based 176 2919828
На самом деле я не отговариваю и не критикую, просто хочу прикинуть объем необходимых мощностей для своего сервачка.

Дайте линк на НАС-тред.
crying.jpg150 Кб, 800x450
Windows 10: Chromium based 177 2919900
>>19826
Вы просто не знаете, какая йоба у меня дома стоит.
Windows 10: Firefox based 178 2919930
>>19828
Нет никакого NAS треда. Для хранения данных достаточно даже роутера с внешним диском, далее начинаются хотелки, что для некоторых, ещё бы неплохо иметь видеокарту в сервере, например рендерить видео на серваке в подвале, чтобы не шумело в комнате.
Неизвестно 179 2919934
>>19826

>плюс ещё немного


>да


>БД рипы/ремуксы/диски с транскодированием на сервере.


Все мечтаю, что начнут продавать ДРМ-фри видеофайлы без региональных ограничений. Я даже фильмы покупать честно начну.

>gh.de


Просто потрясающий сайт с кучей параметров на любой вкус и ценами в Германии.

>>19105
Ты понял мою хотелку превосходно.

>почему1/10


Стопроцентный реданданси просто на всякий случай и максимальная скорость.
А BTRFS позволяет это нативно реализовать и менеджить.

>Массив


Я это как заменитель RAID использую, то есть «дисковый массив».
Windows 10: Chromium based 180 2919936
>>19930
Да что ты знаешь о хранении данных, сынок? Нам похуй на твои поделки из говна и палок.
Отбери у тебя говнороутер от китайского ноунейма с внешним диском и что от тебя останется? Ты сможешь собрать рейд за zfs имея при себе только калькулятор? Ты сможешь сохранить данные там где им не место?
Мы будем собирать НАСы из самых дорогих комплектующих ИСКЛЮЧИТЕЛЬНО для того чтобы качать говносериалы, музыку в 64 кб\с и хранить фотографии того как дядя Петя уморительно нахуярился на своем юбилее. Ты понимаешь? Нам похуй. Средства не важны, цели не важны, важен сам путь.
1547130927487.png125 Кб, 456x193
Windows 10: Firefox based 181 2919973
>>19936

> Ты сможешь собрать рейд за zfs имея при себе только калькулятор?

1222281114450.jpg42 Кб, 400x358
Windows 10: Chromium based 182 2920121
>>19900
Какая йоба у тебя дома стоит?
изображение.png2,6 Мб, 1920x1080
Windows 10: Firefox based 183 2920138
Раз уж такая пьянка, подскажите.
Нужно намутить сервер, с 2я эзернет портами гигабитными и вайфай, дабы был роутером, поднять джит и некстклауд, файлопомойку, по классике торрент, прокси/впн и еще что-то.
Бюджет 5-6к на все про все, без учета дисков.
Присматриваюсь к авито-говну на лга771 сокете, кор2квад/зион, но я вот хуй знает как выйдет по интерфейсам. Хуй знает как это все прикрутить, вайфай/эзернет можно через usb pci-e контроллер впихнуть, но сата3 я же никак не высру, верно, там же еще наврное сата2, да и пси-е там же второй версии? Короче подход я думаю вы уловили.
Может есть еще какая-нибудь дешевая платформа, чтоб прям дешево вышло и можно было всякой хуйни в нее насувать?
Android: Mobile Safari 184 2920152
>>19825
Я вообще на одноплатнике думаю делать, т.к. арм энергоэффективнее, а значит не придётся платить золотые горы за электричество.
Windows 10: Chromium based 185 2920165
>>20152
У меня сидбокс с десятком винтов на i5 2500k больше 70 ватт не ест.
Windows 10: Firefox based 186 2920170
>>20152
Одноплатники дрочь, миллион раз от такой идеи отказывался.
Интерфейсов нихуя нет, а то что есть работает как говно.
Плюс всякие приколюхи до них доходят поздно, т.к. все крутое разрабатывается и компилируется в первую очередь под х86.
Windows 10: Chromium based 187 2920192
>>20138
Не проще все это по разным железкам разнести? Хотя бы вафлю и свитч.
Сата3 можно попробовать высрать через PCI-E
Windows 10: Chromium based 188 2920352
>>20138
На авито за 16 тыщ лежит хпе пролиант ген9 с 1225v5, 2 гигабитными портами и 4 дисками по 500гб. По-моему отличное вложение.
Windows 10: Firefox based 189 2920713
>>05470

>lvm


>ext4


>аппаратный рейд.



Говноеды на марше. Впрочем, чем бы дитя на локалхосте не баловалось, лишь бы в прод не тянуло.
Linux: Firefox based 190 2920767
>>19822
Не у видел в комплекте ИБП. Без него все ваши анальные пляски с рейдами, хфс, зфс и прочиим бтрфс - просто выстрел в ногу.
Linux: Chromium based 191 2920828
>>20767
У меня домашний нас много отлючений электроэнергии пережил. Самое страшное, что было это 3 минуты ресилвера.
Неизвестно 192 2920831
>>20767
Здесь не отключают электричество.
1562373127980.png195 Кб, 300x300
Windows 10: Firefox based 193 2920860
>>20831
Будем тихо по ночам спускаться на твой этаж и вырубать пробки
Неизвестно 194 2920874
>>20860
Если это то, чем занимается старуха на фото, почему ей ещё перцовкой в лицо пару раз не брызнули?
Windows 10: Firefox based 195 2920888
>>20874
Нападение на сотрудника жека при исполнении
Неизвестно 196 2920946
>>20888

>нападение


Просто ветром сдуло струю.
Ну или случайно включился.
Случайность.
Windows 10: Firefox based 197 2920995
>>20946
Причинение по неосторожности
Windows 10: Chromium based 198 2921141
>>20713
Очередной клоун который кукарекает про аппаратный рейд не изучив матчасть?
Хоть бы с локалхостом и продом не позорился
Windows 10: Firefox based 199 2921181
>>20192
Проще - дрочь.
Android: New Opera 200 2921405
Есть плата атом d525 1гб и два эзернета.
Нужно поднять там программный рейд 5 на трёх дисках, NFSv3 для одного клиента с гарантированной скоростью 500мбит и smb или ftp для загрузки контента с низким приоритетом.
Больше не нужно вообще ничего. Главное штабильность.
На какой сборочке это лучше реализовать? Или накатить голый дебиан/центось?
Fedora Linux: Firefox based 201 2921457
>>21405
Fedora Server
Неизвестно 202 2921564
>>21405

>Raid 5


TrueNAS.
Расскажи потом здесь, как экспириенс.
Android: New Opera 203 2921573
>>21564 Мой атом 2 ядра 1,8ггц с 1гб озу не охуеет от такого?
Неизвестно 204 2921580
>>21573
От фряхи-то?
Она как раз на говно мамонта и рассчитана.
Apple Mac: Safari 205 2921739
>>21405

> NFSv3 для одного клиента с гарантированной скоростью 500мбит


Ого. Гарантированная скорость.
Apple Mac: Firefox based 206 2921813
>>21457 Никогда не пробовал. Чем оно лучше в конкретной задаче?
>>21580 Там минимум 8гб памяти рекомендуется. Плюс жирный гуй, резолв zfs итд.
Я бы ограничился mdadm с аппаратным ускорением чипсетом ich9r и ext4. Nfs дефолтный, pure-ftpd задавить auto nice daemon'ом.
Windows 10: Chromium based 207 2921848
>>21813
Оператива там в первую очередь для массивов на zfs.
Неизвестно 208 2922832
>>03969 (OP)
При первом скачке 220 весь твой бтрфс полетит к хуям.
Windows 10: Firefox based 209 2922846
>>22832
Уже пережил несколько скачков и отключений.
Неизвестно 210 2922848
>>22832
С чего вдруг?
Windows 10: Firefox based 211 2922998
>>22832

>пук

Неизвестно 212 2923009
Windows 10: Chromium based 213 2923033
>>22832
ИБП не завезли?
Apple Mac: Chromium based 214 2923035
>>22832
Софтовые рейды вполне себе не плохо переживают скачки напряжения.
Что зфс, что бтрфс. Единственное, что бтрфс потратит больше времени на ресильвер.
Windows 10: Firefox based 215 2923800
>>03969 (OP)
Двач-помогач, спаси!! Есть один NAS из кучи старых винтов на 6TiB под управлением NAS4Free. Кончилось место и я напрягши булки, купил пару винтов на 8TiB, корпус с салазками, m-ITX мамку, собрал еще один под управлением XigmaNAS (тот же NAS4Free). Всё работает, всё охуенно, но! Когда втыкаю копирование со старого на новый, такое ощущение, что файлы копируются через вай-фай ноута со скоростью 3Мб/сек. Как, блядь, заставить его копироваться с наса н нас по гигабитной сетке?
Windows 10: Firefox based 216 2924580
>>23800
Вопрос снят. Снес к хуям XigmaNAS и поставил Windows Server. Подключаюсь по RDP и копирую прямо в папки со скоростью 100мб/сек.
Windows 7: Firefox based 217 2924623
>>03969 (OP)
У меня мелкий вопрос. Несовсем по нас, но близко.

При перетаскивании файлов между папок на FTP -сервере в рамках одного физического харда и одной домашней директории скорость упирается в ширину сети (А она wifi).

Samba глючное говно, которое даже не заработало в очередной раз почему-то, хотя сто раз настраивал ранее. Вебдав вообще наркомания.

Что можно попроще придумать, чтоб по вафле расшарить папку для смартфонов, телика и ПК из интернетов на ноутбуке под виндой (он работает роутером, точкой доступа, торентокачалкой и проч)?

Разбираться с настройкой облака под линукс некогда - это потом и на нормальном железе в виде htpc будет делаться.
Надо здесь, сейчас и побыстрее.
Linux: Firefox based 218 2924644
>>24623

>Надо здесь, сейчас и побыстрее.


Вызови компьютерного мастера.
Linux: Firefox based 219 2924645
>>24580
У тебя диски на ntfs были? Тогда понятно.
Windows 7: Firefox based 220 2924666
>>24644
Мамку твою уже вызвал
Windows 10: Firefox based 221 2924719
>>20152
Короче думаю все-таки малинку 4б купить.
Будет тихая, компактная и относительно мобильная платформа.
Там 2 юсб 3.0, въебу юсб-хаб, на него 4 диска через переходники, 5ГБ/с хватит за глаза для рэйд 10 из 4. Роутинг и хостинг тоже на ней заведу.
>>20138-кун
Windows 10: Firefox based 222 2924720
>>24719
Отговорите, в чем подводные. Проц 4х ядерный 1.5 ггц, должно хватить за глаза + хорошая сетевая подсистема из коробки.
Fedora Linux: Firefox based 223 2924737
>>24720
Никаких, это лучший вариант.
Windows 10: Firefox based 224 2924764
>>24645

>У тебя диски на ntfs были?


ZFS жи есть!
Обновить тред