М.Двач / Книги

1,2 Мб, 1200x628
Вычитка книг при помощи нейросетей - как сделать? # OP 6 дек, 18:19 1034613 В конец треда | Веб

Иногда сканирую старые книжки под себя и хочу сделать из сканов их же fb2 варианты, но времени на вычитку и редактуру нет, а нейросети очень неплохо справляются с небольшими блоками текста.
Так вот, хочу найти (или создать) готовый скрипт\программу, короче метод, при котором можно дать нейросети необработанный, голый текст сразу из файнридера, запакованный в фб2 или в докс как вариант, и чтоб в результате нейросеть (желательно, локально) все обработала, сделала вычитку, исправила все ошибки и лажу и выдала в результате готовую книгу с заголовками, с оглавлением, с форматированием, в общем чтоб все по феншую и заебись.
Есть такие варианты?
(я уже попробовал через те же нейросети писать скрипты для питона, но пока ниче толкового не вышло)

Ответы470448577537

2 6 дек, 19:05 2 1034616

Поинтересуйся в /ai

Ответы4622

3 6 дек, 19:45 3 1034622

>>1034616
уже поинтересовался - пока не ответили

4 7 дек, 19:46 4 1034704

>>1034613 (OP)
Я этим и занимаюсь, только в epub. Через deepseek. Промт
"Распознай текст с изображения. Убери нумерацию страниц. Результат выдай на русском языке."

Затем этот текст:

"Проверь текст на наличие неуместных иностранных символов и иероглифов - их не должно быть. Только русский перевод или научные термины. Выдай исправленный текст."

Потом

"Подготовь этот текст к интеграции в epub-книгу, добавив к ней html-теги. Не используй заголовки. Исходный текст не сокращай."

Ответы47524754

5 8 дек, 06:27 5 1034752

>>1034704
>"Проверь текст на наличие неуместных иностранных символов и иероглифов - их не должно быть. Только русский перевод или научные термины. Выдай исправленный текст."
И сразу фейл мгновенный, если книга с цитатами и формулами, а также инфографикой.

Ответы4818

155 Кб, 1624x874
6 8 дек, 06:44 6 1034754

>>1034704
Только сейчас узнал что FB2 по сути российский и нигде не используемый кроме как здесь формат.

7 8 дек, 18:49 7 1034818

>>1034752
Я скинул основные промты, которыми обрабатывал тысячи страниц. Таблицы и формулы делаю отдельно. Изображения рисую в svg-формате.

8 9 дек, 00:38 8 1034857

>>1034613 (OP)
> Есть такие варианты?

Я попробовал дать паре нейронок файл, и попросил сделать ёфикацию всего текста (худ.лит. на 300 килобайт, в формате .txt).

Интересовало именно выполнение задачи по обработке текста за один раз на относительно немалый объём.

Потом сел и стал читать-проверять от начала до конца, попутно исправляя промахи нейронки. Так вот - заебался исправлять. Работа сделана через пень-колоду, ошибок слишком дохуя.
Результат их работы нужно постоянно проверять и исправлять, а это ненамного быстрее, чем самому делать.

> (я уже попробовал через те же нейросети писать скрипты для питона, но пока ниче толкового не вышло)
Аналогично. "Что-то, как-то, работающее кое-как и недолго".

9 14 янв, 06:23 9 1037537

>>1034613 (OP)
Ты хочешь, чтобы в один присест получилась конфетка. Так не бывает, ты наслушался рекламной хуйни в интернете, наивно жрёшь хайп большой ложкой. А вот встраивать пошагово действия можно. Например, распознавание текста большими универсальными моделями работает лучше традиционных решений, если у нас не сканы, а фото, или нестандартные шрифты и дизайн, или смесь алфавитов. Можно первый шаг отдать им. Дальше идёт проверка орфографии (традиционная), удаление лишних переносов, проверка пунктуации (лишних пробелов, заглавных букв после точек). Тут можно дополнительно прикрутить нейросеточку и проверить её жалобы на странные запятые и прочие сложные ситуации. Решения для «нормализации» в предложения каши из мелкобуквенного распознанного, например, по аудио, текста есть, вопрос в том, насколько они подходят к твоему материалу.

Вообще, надо понимать, что если твоя задача сделать точную копию оригинала до каждой буквы, то тебе не подойдут средства, выдающие усреднённый «гладкий» результат. Возможно, придётся тренировать какое-то решение на заготовленных идеальных образцах, а то и учить сравнивать со сканом. Это вероятно, домашнему пользователю не осилить.

А так распознаванием документов, и даже сложных форм, и даже заполненных от руки, занимается куча фирм. За деньги можно получить готовое решение, которое тебе страничку вместе со всем дизайном переведёт в любой формат и проверит.

Обновить тред
« /bo/В начало тредаВеб-версияНастройки/a//b//mu//s//vg/Все доски

Скачать тред только с превьюс превью и прикрепленными файлами

Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах.Подробнее

Пользуетесь скринридером — пишите, что можно улучшить.
Host-Food.ru — надёжный хостинг от 12 руб/мес | Free DNS
Зеркала М.Двача: m2ch.hk, m2ch.gq, m2ch.cf, m2ch.fapp.in, m2ch.lib, m2chfapiswfw2wcakptqp4o6ltgchvjuxfab7urxlduraomtlnhw5xad.onion