Оффлайн
- Регистрация
- 21.07.20
- Сообщения
- 40.408
- Реакции
- 1
- Репутация
- 0
На этих выходных мы решили рассказать о разработках двух американских университетов, которые помогают генерировать достаточно правдоподобный звукоряд для беззвучных видео.
[SUP]Фото
Трудная задача шумовика
Звуки для фильмов и сериалов — например, шелест дождя — очень сложно записать нужным образом прямо на площадке в момент съемки того или иного фрагмента. Будет много посторонних шумов, возможны конфликты с голосами актеров и другим оборудованием. По этой причине почти все звуки записывают отдельно и сводят уже при монтаже. Занимаются этим
Если для фильма нужно воспроизвести звук разбитого окна, то звукооформители отправляются на студию и начинают бить стекла в контролируемых акустических условиях. Запись проводят до тех пор, пока звук не будет совпадать с происходящим на экране. В особо сложных случаях на это могут потребоваться десятки итераций, что усложняет и удорожает кинопроизводство.
Инженеры из Техасского университета
Как это работает
Принцип действия системы инженеры описали в своей работе для IEEE (
Для формирования акустического ряда инженеры
К сожалению, пока система имеет ряд серьезных ограничений. Она подходит для обработки записей, на которых звук не должен идеально совпадать с видеорядом. Иначе становится заметна рассинхронизация — как на
Кто еще занимается такими проектами
В 2016 году специалисты из MIT и Стэнфорда
Эффективность алгоритма разработчики оценили с помощью онлайн-опроса. Наиболее реалистичными оказались звуки листьев и грязи (их назвали настоящими 62% опрошенных), а наименее — дерева и металла. Металл звучал натурально только в 18% случаев.
Эта система также требует доработки. Она генерирует звуки, возникающие при столкновениях объектов, но не может воссоздать акустический ряд для шума ветра. Кроме того, алгоритм ошибается, если объекты движутся слишком быстро. Несмотря на этот факт у подобных решений есть потенциал — они способны упростить работу шумовикам и преобразить киноиндустрию.
Дополнительное чтение в «Мире Hi-Fi»:
You must be registered for see links
[SUP]Фото
You must be registered for see links
/ Unsplash[/SUP]Трудная задача шумовика
Звуки для фильмов и сериалов — например, шелест дождя — очень сложно записать нужным образом прямо на площадке в момент съемки того или иного фрагмента. Будет много посторонних шумов, возможны конфликты с голосами актеров и другим оборудованием. По этой причине почти все звуки записывают отдельно и сводят уже при монтаже. Занимаются этим
You must be registered for see links
.Если для фильма нужно воспроизвести звук разбитого окна, то звукооформители отправляются на студию и начинают бить стекла в контролируемых акустических условиях. Запись проводят до тех пор, пока звук не будет совпадать с происходящим на экране. В особо сложных случаях на это могут потребоваться десятки итераций, что усложняет и удорожает кинопроизводство.
Инженеры из Техасского университета
You must be registered for see links
альтернативный вариант. Они разработали систему ИИ, которая определяет, что происходит в кадре, и автоматически предлагает звукоряд.Как это работает
Принцип действия системы инженеры описали в своей работе для IEEE (
You must be registered for see links
). Они спроектировали две модели машинного обучения. Первая выделяет из видеоряда признаки изображений — например, цвет. Вторая модель анализирует движение объекта на разных кадрах и определяет его природу, чтобы выбрать подходящий звук.Для формирования акустического ряда инженеры
You must be registered for see links
программу AutoFoley. Она генерирует новый звук на основе тысячи коротких аудиосемплов — с шумом дождя, тиканьем часов, галопирующей лошадью. Результат работы достаточно убедительный:К сожалению, пока система имеет ряд серьезных ограничений. Она подходит для обработки записей, на которых звук не должен идеально совпадать с видеорядом. Иначе становится заметна рассинхронизация — как на
You must be registered for see links
. Также объект должен постоянно присутствовать в кадре, чтобы модель МО могла его распознать. Сейчас разработчики занимаются оформлением патента, но потом они планируют исправить недостатки.Кто еще занимается такими проектами
В 2016 году специалисты из MIT и Стэнфорда
You must be registered for see links
модель машинного обучения, способную озвучить «немое» видео. Она предсказывает звук на основе свойства объекта в кадре — например, его материала. В качестве эксперимента инженеры загрузили в систему видеоролик, на котором человек ударяет барабанной палочкой по различным поверхностям: металлу, земле, траве и другим.Эффективность алгоритма разработчики оценили с помощью онлайн-опроса. Наиболее реалистичными оказались звуки листьев и грязи (их назвали настоящими 62% опрошенных), а наименее — дерева и металла. Металл звучал натурально только в 18% случаев.
Эта система также требует доработки. Она генерирует звуки, возникающие при столкновениях объектов, но не может воссоздать акустический ряд для шума ветра. Кроме того, алгоритм ошибается, если объекты движутся слишком быстро. Несмотря на этот факт у подобных решений есть потенциал — они способны упростить работу шумовикам и преобразить киноиндустрию.
Дополнительное чтение в «Мире Hi-Fi»:
You must be registered for see links
You must be registered for see links
You must be registered for see links
You must be registered for see links
You must be registered for see links