1739842537902.png143 Кб, 311x338
Своя файловая система в Яндекс диске 3391353 В конец треда | Веб
Сразу предупреждаю, статья моя будет возможно немножко бредовая, но всё-таки хочется поделиться своими соображениями по поводу интернет безопасности.
Начну с того, что Яндекс диск меня привлекает своим удобством и своими тарифами. Приглянулся тариф 2Тб . Но очень не хотелось бы чтобы мои файлы были доступны для просмотра как живым сотрудникам Яндекса, так и неживым алгоритмам. На данный момент у меня там стоит бесплатный бомж тариф на 8Гб. Сбрасываю туда безобидные текстовики и всякие исходники чтобы после ПК продолжать читать их на телефоне.
Понятное дело, все данные там анализируются алгоритмами и ИИ. Это 95%.
(Теперь с этого момента начинаю бредить)
Идея моя заключается в том, чтобы попробовать использовать ЯДиск не совсем как диск, а накатать поверх него свою файловую систему (разумеется уникальную).
На шарпе я создал некий прототип такой системы. Её вместимость 1 терабайт. В роли самого якобы «физического диска» у меня выступает папка \memory на компьютере. А в ней находятся ещё 64 вложенные папки с именами 1...64 (банально но не суть)
Внутри каждой из них непосредственно файлы данных, их по 4096 штук в каждой папке. Это как раз те самые файлы которые БУДУТ наполняться данными. Ну или опустошаться/и дефрагментироваться соответственно по мере работы моего так называемого виртуального «Винта».
Всего файлов памяти у меня 262144 шт. Их размер будет ограничен программно до 4мб. Это значение если честно, взято из головы и является усреднённым значением обычного любительского сёрфинга в интернете. Является среднем значением веса аудиотрека или картинки. В принципе большинство моего контента кратно +/- 4 МБ. Это 70% файлов моей файлопомойки на ssd.
Система моя протоколируется. Без этого никуда, иначе поиск по файлам занимает гигантское время. Разумеется протоколируется тоже в файл. В файл 0.mem - это корневой файл всей этой огромной иерархии. По сути это аналог таблицы файлов как на реальных дисках.
В нем у меня указаны адреса смещений файлов в каждом из 262К файлов ячеек. (Поиск там молниеносно происходит, с этим проблем нет)
Реализовано:
1 Добавление файла(ов) в хранилище.
2 Также наоборот Извлечение / (cut /или Copy) файлов в обычное хранилище на ПК.
3 Удаление файлов
4 Работаю в данный над дефрагментацией всего этого хаоса. Поскольку от «дырок» остающихся после удаления или «вырезания» из хранилища никуда не деться это естественный процесс.
Файлами этими пока оперирую как есть. Без шифровки. Но что если их ещё и зашифровать? И разместить эту свою виртуальную файловую систему на Яндекс диске? Сварганить приложение клиентское при помощи Яндекс API (на C# всё делаю) , и соответственно обращаться с Яндекс диском как со своей кастомной ФС ?
Пока работаю в консоли. Она безупречно строит дерево моих подопытных каталогов.
Но сегодня понял, что пора наверное GUI писать уже. GUI моё будет рисовать (буквально на канве методами draw) папки и файлы. С миниатюрами картинок пока что затык но это всё решаемо я думаю.
В общем идея моя заключается в том, чтобы оперировать Яндекс диском как обыкновенными кластерами. И соответственно обращаться к ним подобными методами, а уже в клиентском приложении видеть то, что должен видеть именно Я, а не товарищ майор))
Спасибо за внимание

(ПС.. в сыром виде моя ФС кстати тоже занимает место на диске, а именно пустая чистая система с 262К пустыми файлами *.mem занимает ровно 1 гигабайт. Это из-за того, что размер кластера реального настоящего HDD равен 4кб. Ну от этого не уйти и этим можно пожертвовать)
2 3391385
Круто конечно, но не совсем понятно зачем
3 3391444
>>1353 (OP)

> Но очень не хотелось бы чтобы мои файлы были доступны для просмотра как живым сотрудникам Яндекса, так и неживым алгоритмам.


Это отмазка, иначе ты бы обошёлся банальным шифрованием без всех этих сложностей. На самом деле создание "файловой системы" само по себе было основной целью. Хотя идея интересная, сам писал что-то подобное.
4 3391634
>>1353 (OP)
Здоровая шиза, мне нравится
5 3392012
ты переизобрел распределенную файловую систему, только обмазавшись яндекс говном, поздравляю
6 3392097
>>2012
Та не, это уж точно мимо.
Я если что-то и переизбрёл, то это виртуальный HDD.
sage 7 3392099
>>1353 (OP)
Ой бля ну поздравляю, ты только что переизобрёл gluster fs https://www.gluster.org/ ну или ceph https://docs.ceph.com/en/reef/
8 3392107
>>2099
Скорее всего это уже ближе.. Завтра уже почитаю за него.
Бля будет обидно конечно если это так((
9 3392293
>>2099
Да. Некоторые идеи из gluster действительно являются моей целью.
Обновить тред
« /pr/В начало тредаВеб-версияНастройки
/a//b//mu//s//vg/Все доски

Скачать тред только с превьюс превью и прикрепленными файлами

Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах.Подробнее