Sony запатентовала динамическое изменение точности нейросети в масштабировании PSSR

На данный момент технология масштабирования разрешения Sony PlayStation Spectral Super Resolution вроде и хорошо работает, но далека от своего идеала, а решить одну из важных проблем, связанную со снижением производительности, возможно, получится за счёт нового патента.

Sony запатентовала динамическое изменение точности нейросети в масштабировании PSSR

Работяги компании запатентовали технологию, подразумевающую динамическое изменение точности весов используемой свёрточной нейросети (Convolutional Neural Network). Грубо говоря, если производительность при использовании PSSR начнёт снижаться, что часто наблюдается в загруженных эффектами или динамичных сценах, то будет снижаться не разрешение, как это обычно бывает, а точность работы алгоритма масштабирования, из-за чего нагрузка на систему будет снижаться, при этом качество картинки будет ухудшаться не так сильно, как при снижении разрешения.

Sony запатентовала динамическое изменение точности нейросети в масштабировании PSSR

«Посредством (например, динамического) изменения точности весов и/или активаций, используемых при выполнении многокадрового сверхразрешения (MFSR), технология выгодно оптимизирует доступ к памяти и время вычислений для генерации графического вывода в зависимости от использования процессора во время игрового процесса. Например, если использование блока обработки увеличивается, то точность весов и/или активаций может быть снижена для того, чтобы сократить время вычисления графического вывода.

Sony запатентовала динамическое изменение точности нейросети в масштабировании PSSR

Способ может содержать обнаружение события высокой вычислительной нагрузки во время игрового процесса; и в ответ на обнаружение такого события задействовать снижение точности весов и/или активаций, используемых при выполнении MFSR. Таким образом, технология не изменяет разрешение (то есть количество пикселей) выходного сигнала с целью повышения производительности при обнаружении события высокой вычислительной нагрузки; скорее, точность вывода ANN снижается за счёт уменьшения точности весов и/или активаций модели. Однако это снижение является приемлемым для поддержания стабильного игрового процесса (например, плавной воспринимаемой анимации и сохраняемого разрешения) для пользователя».

Источник