Искусственный интеллект научился предсказывать будущее в той или иной фотографии

Разработчики из Массачусетского технологического института создали программу, превращающую фото в короткое видео, которое показывает, что произойдет на снимке в ближайшую секунду, сообщает портал N+1. Для этого ученые использовали нейросети и глубинное обучение. Работа будет представлена 5 декабря.

Современные нейросети умеют распознавать изображения. Но определить, что произойдет на фото через секунду, искусственному интеллекту сложно. Например, человек легко догадается, что если на снимке мужчина кладет в свою тарелку еду, то потом он ее будет есть. Нейросети сделать такое предположение трудно.

В то же время, искусственному интеллекту нужно уметь «предвидеть» будущее, чтобы лучше понимать настоящее: например, это поможет системам управления беспилотных автомобилей оценивать вероятность возникновения аварии.

Ученые использовали порождающую состязательную модель, в которой генеративная и различающая нейросети «воюют» друг с другом. Генеративная нейросеть старается обмануть различающую, создавая образцы (в данном случае видео), которые ее «соперница» не сможет отличить от настоящих (реальных видео). В итоге одна система учится делать качественные «подделки», а другая — их находить, что позволяет добиться хорошего конечного результата.

В качестве исходного материала разработчики использовали два миллиона видео с Flickr. На них были показаны четыре типа сцен — прибытие поезда на вокзал, занятия по гольфу, пляж и младенцы в больничной палате. Во всех записях не было подсказок, которые помогли бы искусственному интеллекту понять, что он видит.

С помощью этих видео нейросети учились понимать, какие события типичны для разных категорий сцен. После этого исследователи давали системе статичный кадр и заставляли превращать его в видео на основе проанализированных данных. Здесь как раз возникало соревнование между генеративной и различающей нейросетью.

В результате искусственный интеллект научился создавать секундные ролики с разрешением 64 на 64 пикселя, которые напоминают «ожившие фотографии» — на коротких видео поезда движутся вперед, а дети хмурят лица. Несмотря на то, что на видео угадывается общий характер происходящего, они имеют множество недостатков. Например, нейросеть превращает людей на пляжах в размытые фигуры, а также иногда подменяет цвета.

В будущем исследователи продолжат обучение своей программы. Ученые надеются, что в перспективе искусственный интеллект научится ограничивать выбор возможных вариантов развития событий с учетом законов физики и свойств объектов.