Этот эффект я видел в одном онлайн-фоторедакторе,там самому ничего делать не надо было,загрузил фото-получил рамку,но мой пытливый ум начал думать,как это самому сделать,как обычно всё оказалось просто.
Вот такой результат получаем:

И так…
Делаем следующее,создаём документ белого цвета под размер подопытного фото,переносим нашу фотку.
Теперь берём Прямоугольную область и делаем примерно такое выделение.

Переходим в режим Быстрой маски,нажав Q.Теперь применяем Фильтр-Оформление-Цветные полутона с настройками:

Выходим из маски,нажав Q,получаем выделение.

Добавляем маску слоя,нажав кнопку в палитре слоёв.2 клика по слою и в стилях слоя добавим Тень.

Вот и всё,получаем:

Для примера,то что мне в онлайне сделали…

Или как вариант,после отключения Быстрой маски,заходим в Выделение-Инверсия,и просто заливаем белым.

А вот чтобы получилось именно так,как в онлайн-редакторе,надо сделать так:Выделили прямоугольник,потом Выделение-Инверсия,потом Быстрая маска,далее Фильтр-Полутона,выход из маски,и заливка белым.Всё…

Заметили разницу???