>>37846

> Напиши более простым языком.

В геометрию «царского пути» нет. Но кое-что пояснить можно на пальцах.

> подразумеваешь, что ты умен и начитан

Именно по этой причине я даю ссылки на источники.
Чтобы вы тоже могли такими стать.

> объяснять все это языком по-проще

Суть помехоустойчивого кодирования заключается в том, чтобы распределить информацию в пространстве и времени таким образом, чтобы канальный шум, распределённый вовсе не таким образом, можно было легко отличить, а, если повезёт, то и компенсировать.
Поясню на примере. Есть у тебя три соединённых друг за другом «чёрных ящика»: кодер, канал передачи и декодер. У двух ящиков есть по одной ручке, которую можно крутить на увеличение и на уменьшение, у третьего — только индикатор:
- у кодера можно крутить избыточность (отношение ширины потока данных в канале к ширене потока данных полезной нагрузки, минус единица ещё);
- у канала можно крутить относительную интенсивность помехи (например, через отношение энергии полезного сигнала к энергии помехи/шума);
- у декодера можно только посмотреть на индикатор счётчика ошибочных бит.

Если покрутить туда-сюда ручку «отношение сигнал/шум», то можно по отметкам вероятности ошибок построить график как на прикреплённом рисунке. Смею надеяться, не нужно объяснять, почему с увеличением соотношения сигнал/шум вероятность битовых ошибок падает. Для сравнения показаны начальные участки характеристик для некодированной двухпозиционной фазовой манипуляции и для кодированной свёрточными кодами (14,3%), кодом Хемминга (75%), кодом Голея (100%) и кодом Рида-Соломона (6,7%). В скобках указана избыточность. Лучше точки, которые леве и ниже. Если измерять между графиками расстояние по горизонтали, то это будет энергетический выигрыш (фактически компенсация энергии шума за счёт кодирования); если измерять по вертикали — то выигрыш будет в вероятности ошибки (т. е. насколько связь будет надёжнее при том же уровне помех в канале).

И вот тут пришло время поглядеть на рисунок 2.1 в упомянутой диссертации, на котором по вертикали отложен энергетический выигрыш, а по горизонтали — избыточность. На нем показаны точками характеристики помехоустойчивых кодов, преимущественно приведённых к выходной вероятности ошибки 10⁻¹⁵. Чтобы можно было проследить не только связь энергетической эффективности и избыточности, что какбэ намекает, что с двумя процентами алгоритму Касьянова-Рошала на таких графиках, скорее всего, и делать-то нечего. Кроме того, чтобы можно было проследить эволюцию методов кодирования, отложены три поколения кодеков: перовое появилось ещё в 1960 году, второе промышленно освоено в нулевых, третье — это последний писк науки-техники, поставленный на промышленные рельсы в десятых (ну, и, как водится, первые турбо-коды придуманы в 1993 году).

А вот теперь самая приятная вишенка. Ищем в упомянутой диссертации страницу 9, находим на ней рисунок 1.5, на котором по горизонтали отложена входная вероятность ошибок (до коробочки декодера), а по вертикали — выходная (т. е. после декодера). График дан для иллюстрации энергетического выигрыша при применении помехоустойчивого кодирования, но самое интересное на нём — это шумовое донце («error floor»). Вся мякотка в том, что, какая бы ни была вычислительная техника, она не в состоянии это дно пробить никакими программными или структурными ухищрениями. Разгадка кроется в упомянутых в >>37738 физических ограничениях электронной компонентной базы. Вот и выходит, что при достаточно эффективном кодере (это про показанные на рисунке 2.1, а не про алгоритм Касьянова-Рошала), уже при первичных ошибках канала порядка 10⁻⁴...10⁻³ (примерное отношение сигнал/шум по прикрепленному рисунку от 7 до 8,5 дБ) нормальный-то кодер уже упрётся в шумовое дно на выходе под 10⁻¹⁸ и дальнейшее усложнение кодера будет только повышать ошибку. Если вы диссертацию ещё немного почитаете, то узнаете, что уровень 10⁻¹⁸ — это предел, возможно достижимый ПЛИСами со статической памятью, а с нашим родным ПО (да с динамической-то памятью) и 10⁻¹⁵ будет не всегда доступно.

>>37846

> Потом, ты пишешь про избыточность в 25%, но в винраре можно хоть 100% избыточность выставить, какие вообще проблемы.

Идём сюда https://www.rarlab.com/rarnew.htm и читаем:

> RAR 5.0 recovery record is based on Reed-Solomon error correction codes.

> We used "Screaming Fast Galois Field Arithmetic Using Intel SIMD Instructions"

Отлично. В 5-ой версии алгоритм Касьянова-Рошала наконец-то заменили на каскадное кодирование с Ридом-Соломоном, как в http://dx.doi.org/10.1109/18.6025 и https://arxiv.org/pdf/1503.05477.pdf
Проблемы в том, что HDD|SSD уже дали тебе вероятность 10⁻¹⁴. Спуститься до дна в 10⁻¹⁵ можно, но смысла уже нет.

> 2% имеет смысл только на канале с очень высокой вероятностью ошибок

Чтобы сделать 10⁻⁸ из 10⁻⁵, не более того.

> в случае с высокой вероятностью ошибок, 2% может принести пользу, то с низкой вероятностью таковых, 2% могут принести пользу тем более

Так падающий возврат есть. Хорошее улучшить сложнее, чем плохое. Смотрим ещё разок рисунок 1.5: сначала у кодера эффективность прёт почти вертикально, а потом, по мере снижения числа ошибок в первичном канале, начинает уменьшаться.

> Ты не написал ничего убедительного против полезности информации для восстановления в случае с бедами.

Так общими словами оно в документации к RAR 5.0 описано уже (до этого поста я не её читал ещё). У них там перемежитель (такой ящик, который перемешивает блоки из сжатого потока данных в адресном пространстве, чтобы один сравнительно длинный повреждённый кусок файла был раскидан по потоку более мелкими ошибками, для которых шанс на исправление выше), судя по написанному, есть. Должно помогать. Но импульсные помехи — это не АБГШ, они нестационарные, я бы не взялся прикинуть эффективность.

> Или когда у тебя нет времени пока что морочиться с установкой всех этих систем восстановления данных, а архив устойчивым нужно сделать прямо сейчас и конкретно этот.

Отдельный файл сильно лучше, т. к. его можно по другому каналу доставить. Единственная, конечно, вещь, которая пока в RAR перспективной остаётся — это перемежитель. Но это если только нет соответствующего отдельного ПО, в чём я сомневаюсь. А так-то да. Соглашусь, что из плохих способов обеспечения надёжности передачи файлов с сжатых контейнерах RAR является, скорее всего, лучшим.

> В целом не слишком убедительный пост.

> Напоминает ситуацию, когда в теории то все заебись, а вот на практике

Обычно в таких случаях я рекомендую оппоненту на практике испытать прочность законов физики, действующих в наблюдаемой части вселенной. Иначе говоря, предлагаю пойти и удариться головой о бетонный блок. Я привёл ссылки на практические исследования на аппаратной базе. Тру по ссылкам не ходят, но всё же.

>>37886

> Это ты ловко передвинул вопрос из качественной в количественную плоскость.

Ещё один не знает законов в наблюдаемой вселенной. Иди три закона диалектики повтори!

> Мол, глядите не 1е-14, а 1е-15, какая разница?

Уверенно об этой разнице можно будет сказать только после 10¹⁷ переданных и проверенных бит. На настольных пеках, скорее всего, тебе этого не даст сделать динамическая память.

> А разница в том, что после стечения всех обстоятельств ты сможешь восстановить файл не с вероятностью 1/20, а с 1/2.

При каскадировании помехоустойчивых кодов вероятности не перемножаются. См. http://dx.doi.org/10.1109/18.6025

> Да и тезис изначально ставился не как "в раре такие классные корректирующие коды"

А они классные. Да только я пруфы нашёл сам, что, разумеется, к твоему стыду.

> а "почему опенсорсные архиваторы до сих пор не умеет корректирующие коды"

Потому, что:
- юникс-вей — архиватор отдельно, энтропийный кодер отдельно, перемежитель отдельно, помехоустойчивый кодер отдельно;
- 3-дюймовые дискеты уже давно в прошлом — носители и сетевые протоколы оснащены сегодня штуками по-круче, чем кодер Рида-Соломона.
Что же касается мокренького 7-zip, то, да, ему бы неплохо обзавестись помехоустойчивым кодером и перемежителем, но это надо обратную совместимость нарушать, да и нет в планах такого (просят с 2003-его года, лол).
А так есть и par2 и zfec, но нет перемежителя.