Этого треда уже нет.
Это копия, сохраненная 26 декабря 2022 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Это копия, сохраненная 26 декабря 2022 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
42 Кб, 600x321Сап, двач. Пришла идея - написать софтину для отслеживания появления мемов в интернете по времени и сайтам, сел писать и сразу столкнулся с рядом проблем, в числе которых отслеживание даты появления контента страницы, т.е. на странице созданной в 2016м может легко размещаться новостная информация 2020го. Накидайте идей, как можно нормально трекать новости/мемы в интернете и реализовать подобный функционал.
83 Кб, 599x428>>498 (OP)
Мемы-хуемы. По-моему, здесь всё очевидно. Для начала составляешь список сайтов, с которых будут тянутся картинки, например: инстаграмм, твиттер, vk. По хештегу или из конкретных групп можешь искать.
Далее, пишешь скраппер, который будет по api забирать последние X записей. Скраппер будет сохранять картинки/видео на CDN и добавлять линк на запись в БД (может быть любой - DynamoDB/MongoDB/MySQL/что тебе больше нравится). Чтобы всё не тащить, в скрипт можешь добавить проверку на количество лайков, например, отсеиваются все, у которых меньше 500 лайков.
Как закончишь, упаковываешь скрипт в docker/kubernetes и на любое хранилище образ выкладываешь. Можешь тем же AWS Fargate'ом пускать скраппинг каждые 10-30 минут, можешь раз в несколько часов запускать, как удобнее. Стоит копьё.
На фронте ставишь эти картинки на ручной апрув. Останется вручную тыкнуть галочки и готово. Скраппер всегда будет тащить только новые мемы.
Всё, пиздуй отсюда
Мемы-хуемы. По-моему, здесь всё очевидно. Для начала составляешь список сайтов, с которых будут тянутся картинки, например: инстаграмм, твиттер, vk. По хештегу или из конкретных групп можешь искать.
Далее, пишешь скраппер, который будет по api забирать последние X записей. Скраппер будет сохранять картинки/видео на CDN и добавлять линк на запись в БД (может быть любой - DynamoDB/MongoDB/MySQL/что тебе больше нравится). Чтобы всё не тащить, в скрипт можешь добавить проверку на количество лайков, например, отсеиваются все, у которых меньше 500 лайков.
Как закончишь, упаковываешь скрипт в docker/kubernetes и на любое хранилище образ выкладываешь. Можешь тем же AWS Fargate'ом пускать скраппинг каждые 10-30 минут, можешь раз в несколько часов запускать, как удобнее. Стоит копьё.
На фронте ставишь эти картинки на ручной апрув. Останется вручную тыкнуть галочки и готово. Скраппер всегда будет тащить только новые мемы.
Всё, пиздуй отсюда
A GB chb
Haha
Тред утонул или удален.
Это копия, сохраненная 26 декабря 2022 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Это копия, сохраненная 26 декабря 2022 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.