М.Двач / Программирование

Этого треда уже нет.
Это копия, сохраненная 7 июня 2018 года.

Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее

Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.

447 Кб, 750x400
Open Torrents Metadata 7 апр, 22:51 1169888 В конец треда | Веб

А давайте добавим в торренты немного метаданных? Совсем немного? К примеру, внутри почти каждого MP3 файла можно встретить название альбома, год выпуска, обложку в виде JPG-файла, имена исполнителей, а иногда и логи енкодеров, их настройки и тому подобное. Внутри видеофайлов тоже не редко встречаются опции кодирования видео. Если вы пользуетесь операционной системой Linux, воспользуйтесь утилитой strings -n15 и скормите ей какой-то видеофайл. Скорее всего в выводе этой утилиты вы увидите метаинформацию о фильме, субтитры (возможно в нескольких редакциях), опции кодирования. Если повезет, то проект от монтажки, с именами несмонтированных клипов и какой-то внутренней информацией о системе, где был создан этот файл.

Сегодня в раздачи музыки часто включают обложки альбомов в виде дополнительных JPG/PNG-файлов, логи енкодеров, плейлисты, CUE-листы, а иногда даже сканированные буклеты. Т.е. эта же самая информация, но не внутри самих файлов мультимедии, а рядом, как самостоятельные файлы. В комплекте с некоторыми раздачами видео идут скриншоты и скринлисты, причем объем таких картинок может занимать более сотни мегабайт в больших раздачах. В музыкальных раздачах замечены скриншоты спектрограмм. И в отличии от тегов MP3, никакого стандарта на такие вложения нет.

А если бы был какой-то стандарт, то мы могли бы сделать торрент-клиент, который бы использовал всю эту метаинформацию. К примеру, хотите вы скачать несколько фильмов из раздачи на 500 гигабайт... Но все выкачивать может быть долго, да и места столько есть не у всех, потому остается только долго и мучительно просматривать скриншоты на страницах трекера (и хорошо, если они есть!), выбирая руками отдельные файлы в торрент-клиенте, которые вы хотите поставить на закачку.

Если файл разрегистрировался на трекере, то вернуться на раздачу тоже будет не так просто: нужно пойти на IMDB/Kinopoisk и накопипастить режиссеров/названия/описания, сгенерировать превьюшки, нужно найти постеры, подогнать их под требования, сгенерировать системные данные о файле, пролинковать раздачи с подобным контентом. На все это оформление раздачи надо будет затратить не менее часа, а то и сильно больше. Го главное, что если файл опять умрет, то все труды будут потеряны. И картинки-превьюшки тоже могут быть потеряны, что особенно обидно, ведь без них сложно судить о том, стоит ли скачивать данный релиз.

Если же мы возмем дамп трекера, где есть просто база инфохешей, то найти внутри этой базы что-то осмысленное просто невозможно. Пользователи трекеров тратили миллионы часов на оформление раздач, но их труда мы не увидим, лишь обезличенные инфохеши неизвесно на что.

Я предлагаю как-то стандартизировать оформление раздач, сохранить эти данные и привязать к торрентам.

К примеру, раздачу можно оформить в стиле простых тегов, как это сделано на Open Street Maps, у нас будет примерно так:

name=Limitless
name:ru=Области тьмы
year=2011
duration=1:45
genre=mystery, sci-fi, thriller, фантастика, триллер
ref:imdb=tt1219289
ref:kinopoisk=462606
ref:wikipedia:en=Limitless_(film)
cache:imdb:rating=7.4
director=Neil Burger
stars=Bradley Cooper, Anna Friel
description=With the help of a mysterious pill that enables the user to access one hundred percent of his brain abilities, a struggling writer becomes a financial wizard, but it also puts him in a new world with lots of dangers.
description:alternative=Aspiring author Eddie Morra (Cooper) is suffering from chronic writer's block, but his life changes instantly when an old friend introduces him to NZT, a revolutionary new pharmaceutical that allows him to tap his full potential. Soon Eddie takes Wall Street by storm, parlaying a small stake into millions. His accomplishments catch the eye of mega-mogul Carl Van Loon (De Niro),who invites him to help broker the largest merger in corporate history. But they also bring Eddie to the attention of people willing to do anything to get their hands on his stash of NZT. With his life in jeopardy and the drug's brutal side effects grinding him down, Eddie dodges mysterious stalkers, a vicious gangster and an intense police investigation as he attempts to hang on to his dwindling supply long enough to outwit his enemies.
description:ru=Нью-йоркский писатель Эдди, желая преодолеть чёрную полосу в жизни, принимает засекреченный препарат под названием NZT. Таблетка выводит мозг парня на работу в нереальной мощности. Этот творческий наркотик меняет всю жизнь Эдди, за короткий срок он зарабатывает кучу денег, но скоро начинает страдать от зловещих побочных эффектов препарата. А когда пытается найти других NZT-гениев, чтобы понять, как можно справиться с этим пристрастием, он узнает страшную правду…
quality=web-dlrip
container=avi
video:size=720x400
video:fps=23.976
video:codec=XviD build 64
video:bitrate=1515 Kbps
audio=...
subtitles=...
advertisement=no

screenlist=screenshots/list.jpg
sample=http://example.com/sample.avi

Как и в OpenStreetMaps, в качестве тегов может быть практически все что автор сочтет нужным, но чтобы его даные корректно отображались в программах, автору нужно придерживаться некоторых правил, описанных в wiki. Я как раз предлагаю подумать над тем, какие теги можно было бы стандартизировать первым делом.

Где хранить?

Признаюсь честно, я понятия не имею где хранить такую метаинформацию. Есть несколько вариантов:

1. Хранить данные прямо внутри раздаваемых файлов. К примеру, внутри контейнеров mp4/avi/mkv создать свою секцию, куда в текстовом виде записывать эту информацию. Недостатком данного решения будет то, что для чтения или записи этих данных, нам нужно будет разработать множество программ, что будет явно не быстро. А без этого никто не будет добавлять информацию в файлы. Без этого стандарт не наберет популярности. Но именно так работают уже существующие системы метаинформации.

2. Хранить данные рядом с раздаваемыми файлами, в виде эдакого dirinfo или file_id.diz, никакой софт писать не нужно, файлы можно редактировать любым текстовым редактором, но файл может потеряться или быть не актуальным для той или иной раздачи.

3. Хранить данные внутри bencode-хешей. Этот вариант лучше тем, что тегировать можно уже существующие раздачи, без изменения их инфохешей, однако размер торрент-файлов может заметно вырасти.

*

Все это писалось под вдохновлением от этого: https://wiki.openstreetmap.org/wiki/Map_Features

Так как у нас не картография, а торренты, то:
http://rutracker.wiki/Правила_оформления_раздач_в_категории_«Музыка»
http://rutracker.wiki/Правила_оформления_раздач_в_категории_«Кино_Видео_и_ТВ»
http://rutracker.wiki/Правила_оформления_раздач_в_категории_«Игры»

Если ты когда-то пытался релизить свое говно, то должен знать, что это не так-то просто. К примеру, создаешь раздачу с игорем, а к тебе прилетает баттхерт от модератора: https://rutracker.org/forum/viewtopic.php?t=1548485 по конкретным играм или даже в рамках целой платформы: https://rutracker.org/forum/viewtopic.php?t=467581

Но это не ответ на первую часть вопроса, "что там есть". Или отвечает, а? Давайте разбираться. Как разработчик я знаю, что все сведется не к семантике и тотальному миру и жевачке, а к набору полей на экране, которые как-то надо отобразить. Это как подписи дорожек на скриншоте выше, где дублируется информация о языке/кодеке/битрейте. Или как на картах в название постоянно пытаются запихать префикс "город" (в 10 вариантах), название и кучу всего еще, чтобы это попало в лейбл. У модераторов от этого конечно баттхерт. Те уже мечтают о несемантическом поле Label, чтобы дебилы мапили "под рендер" и не засирали семантику, ибо мантра "не мапте под рендер" не помогает.

Это очень сложный момент. Что-то уровня борьбы добра с ослом. С одной стороны, нам надо максимально точно разделить информацию на поля, но с другой стороны, хуле мы будем с этим всем делать?

Ответы69911

8 апр, 00:03 2 1169906

Это промт что ли? А то такой слог что нихуя не понятно.
В двух словах, какая проблема и зачем это нужно?

Ответы70651

8 апр, 00:38 3 1169911

>>1169888 (OP)
>strings -n15
ПАЦАНЫ НЕ ЗАПУСКАЙТЕ ТАМ ВИРУС!!
У МЕНЯ ОТ ЭТОЙ ХУЙНИ ТЕРМИНАЛ УМЕР!!!

8 апр, 00:46 4 1169912

А если серьезно, я слабо в это верю, имхо - лучше внешние базы торрентов. Если ты запихиваешь всю мета-инфу в сам торрент с намеком на то, что он теперь self-describing и его можно куда угодно положить и кто-то его найдет, то хер тебе в рыло сраный урод это открывает просторы для спама и намеренного отравления такой распределенной базы, как это было со всякими ослами и ко. А если вся мета модерируется и ты качаешь торренты со своего уютненького трекернейм, то какой смысл пихать мету в сами торренты, если можно не пихать?

Хотя конечно душой я с тобой. Скриншоты в торрентах нужны.

Ответы70651

9 апр, 12:13 5 1170651

>>1169906
Я живой человек, а не промт. Промтом я это буду на английский переводить, когда пропозал буду постить и референсную имплементацию делать

>>1169912
А трекер или оформление может сдохнуть и пизда всем стараниями миллионов пользователей. А еще можно сделать удобные плюшки для торрент-клиентов вроде отображения обложек и превьюшек по человечески, без просмотра картинок на фастпике и поиска файлов в раздаче. В общем, удобства.

Ответы70725

9 апр, 15:04 6 1170725

>>1170651
А торрент-файл может где-то потяреться, и тоже пизда. Ну блин, это несерьезно. Трекер с базой может быть распределенным.

Про превьюшки в торрент-клиентах я уже сказал: если ты качаешь с трекера, то ты в любом случае увидишь превьюшку перед тем, как нажать на магнет-ссылку. А если ты качаешь торренты не с трекера, то у тебя нет никаких гарантий, что там на самом деле то, что на превьюшке. То есть тебе в любом случае нужна внешняя база с верификацией торрентов. И протокол для этого менять необязательно - просто берешь и делаешь, потом постишь в тред.

Ответы71051

10 апр, 02:35 7 1171051

>>1170725
Пока есть хоть один пир с поддержкой обмена метадатой, торрент-файл не потеряется

Ответы71236

sage 10 апр, 02:41 8 1171053

Торренты вещь нелегальная, жуй что дают. Сервисы, предоставляющие платный просмотр скорее всего тебе всю метадату выдадут без лишних разговоров.

Ответы71694

sage 10 апр, 14:44 9 1171236

>>1171051
Ну так о том и была речь, блин, что "трекер может сдохнуть" это что-то уровня "торрент-файл потеряется", ну блин.

Ответы71694

11 апр, 15:01 10 1171694

https://a.uguu.se/ITE2ba4uXXJk_wonders2.avi - научился делать такие вот видасики как замену скриншотам/скринлистам. Весит не слишком больше чем обычные скринлисты в раздачах, зато картинок намного больше и степень сжатия гораздо выше. Думаю сделать частью нового стандарта, но хуй знает где комменты спрашивать.

>>1171053
Умственно-отсталых денегератов не спрашивали. Это форум для девочек-программисток с высоким ICQ.

>>1171236
А завтра упадет метеорит тебе прямо на голову. Да. Все может быть. Теперь живи с этим. Страдай.

Ответы71714

22 Кб, 312x360
11 апр, 15:21 11 1171714

>>1171694
>А завтра упадет метеорит тебе прямо на голову.
Ну так о том и речь. Анон, не тупи.

Ответы71724

11 апр, 15:34 12 1171724

>>1171714
Сколько пострадавших от последних падений метеоритов? А скайторрентс сдох и сдохло 15 миллионов раздач. Последнее случается несколько чаще метеоритов.

Ответы71726

sage 11 апр, 15:35 13 1171726

>>1171724
>Трекер с базой может быть распределенным.
>Трекер с базой может быть распределенным.
>Трекер с базой может быть распределенным.
>И протокол для этого менять необязательно - просто берешь и делаешь

Ответы71734

11 апр, 15:42 14 1171734

>>1171726
А теперь вопрос: что в этой базе будет лежать? Какой формат данных? Какими тегами описывать наличие рекламы в раздаче?

Ответы71747

sage 11 апр, 15:53 15 1171747

>>1171734
>что в этой базе будет лежать
метаданные

>Какой формат данных
json\edn

>Какими тегами описывать наличие рекламы в раздаче
"#ad"

Ответы71829

11 апр, 19:36 16 1171829

>>1171747
>метаданные
Вот тут у нас весь тред про метаданные, прикинь? Оп-пост читать пробовал?

>"#ad"
Это реклама в аудио, видео, или в альтернативном переводе?

Ответы71890

sage 11 апр, 21:12 17 1171890

>>1171829
Пробовал. И в первом же посте на него ответил. А потом ты уже хуй знает сколько постов каким-то passive agressive аутизмом занимаешься и по три раза одно и то же переспрашиваешь. Давай ты сам еще раз перечитаешь свой же оп-пост и мой ответ на него, ок?

>Это реклама в аудио, видео, или в альтернативном переводе?
Ну наверное в той ноде, к которой этот тег применен, не?

Тред утонул или удален.
Это копия, сохраненная 7 июня 2018 года.

Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее

Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.

« /pr/В начало тредаВеб-версияНастройки

/a//b//mu//s//vg/Все доски

Пользуетесь скринридером — пишите, что можно улучшить.
Host-Food.ru — надёжный хостинг от 12 руб/мес | Free DNS
Зеркала М.Двача: m2ch.hk, m2ch.gq, m2ch.cf, m2ch.fapp.in, m2ch.lib, m2chfapiswfw2wcakptqp4o6ltgchvjuxfab7urxlduraomtlnhw5xad.onion