Кто-то использовал нейронные сети, чтобы добавить цвета к этому улучшенному кадру 1896 года
Что может быть лучше, чем увеличить качество фильма с 1896 до 4K 60 FPS? Делаем следующий логический шаг и, конечно же, добавляем цвет. Продолжая работу Дениса Ширяева, другой ютубер добавил красок в фильм «Прибытие поезда на вокзал Ла-Сьота», чтобы всем нам было интересно. Это удивительно успешно, всего с несколькими вопиющими ошибками.
Нейронные сети могут быть отличным способом быстро выполнить сложную работу. Но для обучения нейронной сети не обязательно говорить ей все, что нужно делать. Вместо этого часто приходится работать в обратном направлении.
Если вы хотите обучить нейронную сеть масштабировать изображение, вы начинаете с фотографий высокого разрешения и снижаете их качество. Изображения с пониженной частотой дискретизации становятся отправной точкой для обучения нейронных сетей, а исходные высококачественные изображения становятся «правильным ответом».
Когда Денис Ширяев использовал несколько инструментов для апскейлинга L’arrivée d’un train en gare de La Ciotat, они догадывались, как улучшить видео, добавить новые кадры и все сгладить. Результаты были впечатляющими.
Теперь другой пользователь YouTube (видео Deoldify) взял эти кадры и использовал инструменты DeOldify, чтобы добавить цвет. DeOldify работает так же, как и многие другие инструменты для нейронных сетей, но с дополнительными особенностями. DeOldify опирается на две нейронные сети, одна из которых добавляет цвет к видео, а другая критикует результат.
Одна нейросеть учит другую работать лучше и выдавать более реалистичные результаты. Конечным результатом является достаточно убедительная цветная версия L’arrivée d’un train en gare de La Ciotat.
Однако энтузиасты поездов сразу же заметят, что ИИ неправильно понял важные детали. Поезд, показанный на видео, должен быть окрашен в зеленый цвет, поскольку в то время локомотивы, принадлежащие железной дороге PLM, всегда были окрашены в этот цвет. Посмотрите внимательно на отражения, исходящие от поезда, и вы увидите пятна, которые также не были должным образом окрашены.
Тем не менее, результаты впечатляют, особенно если задуматься о том, что человек не выполнял никакой работы. Со временем и усилиями результаты и точность улучшатся.