• Аудит
  • Консалтинг
  • Миграция
    • Миграция с Oracle на PostgreSQL
    • Миграция 1С на PostgreSQL
  • Поддержка
  • Статьи и инструкции
Меню
  • Аудит
  • Консалтинг
  • Миграция
    • Миграция с Oracle на PostgreSQL
    • Миграция 1С на PostgreSQL
  • Поддержка
  • Статьи и инструкции

Ресайз изображений на лету

Практически в любом веб-приложении использующем изображения существует потребность формировать уменьшенные копии этих изображений, причем зачастую, форматов дополнительных изображений несколько.

Так же вызывает некоторую головную боль добавление новых размеров на существующем приложении.

Задача

Обозначим список требований:

  • Формировать дополнительные изображения любых форматов на лету без внесения дополнительного функционала в приложение в любой момент существования приложения;
  • Дополнительные изображения не должны формироваться при каждом запросе;
  • Закрыть возможность формирования дополнительных изображений неустановленных форматов.

Объясню последний пункт, ибо он слегка противоречит первому пункту. Если мы сделаем открытым формирование любых изображений, то существует возможность атаки на сайт путем формирования большого количества запросов на ресайз изображения в бесконечное количество форматов, поэтому эту уязвимость требуется закрыть.

Конфигурация установки nginx

Для решения вышеуказанных требований нам потребуется следующий набор модулей nginx:

  • ngx_http_image_filter_module — для ресайза изображений;
  • ngx_http_proxy_module — для кеширования;
  • ngx_http_secure_link_module — для защиты от спама;

Модули ngx_http_image_filter_module и ngx_http_secure_link_module по-умолчанию не ставятся поэтому их нужно указать на этапе конфигурации установки nginx:

# configure --with-http_secure_link_module --with-http_image_filter_module

Конфигурация nginx

В конфигурацию нашего хоста добавляем новый location и общие параметры кеша:

...
    proxy_cache_path /www/myprojects/cache levels=1:2 keys_zone=image-preview:10m;
...
    server {
...
        location ~ ^/preview/([cir])/(.+) {
        # Тип операции
            set                         $oper $1;
        # Параметры изображения и путь к файлу
            set                         $remn $2;
        # Проксируем на отдельный хост
            proxy_pass                  http://myproject.ru:81/$oper/$remn;
            proxy_intercept_errors      on;
            error_page                  404 = /preview/404;
        # Кеширование
            proxy_cache                 image-preview;
            proxy_cache_key             "$host$document_uri";
        # 200 ответы кешируем на 1 день
            proxy_cache_valid           200 1d;
        # остальные ответы кешируем на 1 минуту
            proxy_cache_valid           any 1m;
        }
        
        # Возвращаем ошибку
        location = /preview/404 {
            internal;
            default_type                image/gif;
            alias                       /www/myprojects/image/noimage.gif;
        }
...
    }
...

Так же добавляем новый хост в конфиг:

server {
    server_name                     myproject.ru;
    listen                          81;

    access_log                      /www/myproject.ru/logs/nginx.preview.access_log;
    error_log                       /www/myproject.ru/logs/nginx.preview.error_log info;

    # Указываем секретное слово для md5
    secure_link_secret              secret;

    # Ошибки отправляем она отдельный location
    error_page                      403 404 415 500 502 503 504 = @404;

    # location Для фильтра size
    location ~ ^/i/[^/]+/(.+) {
        
        # грязный хак от Игоря Сысоева *
        alias                       /www/myproject.ru/images/$1;
        try_files                   "" @404;
    
        # Проверяем правильность ссылки и md5
        if ($secure_link = "") { return 404; }
        
        # Используем соответсвующий фильтр
        image_filter                size;
    }

    # По аналогии остальные location для других фильтров
    location ~ ^/c/[^/]+/(\d+|-)x(\d+|-)/(.+) {
        set                         $width  $1;
        set                         $height $2;
        
        alias                       /www/myproject.ru/images/$3;
        try_files                   "" @404;
    
        if ($secure_link = "") { return 404; }
    
        image_filter                crop  $width  $height;
    }
    
    location ~ ^/r/[^/]+/(\d+|-)x(\d+|-)/(.+) {
        set                         $width  $1;
        set                         $height $2;

        alias                       /www/myproject.ru/images/$3;
        try_files                   "" @404;

        if ($secure_link = "") { return 404; }

        image_filter                resize  $width  $height;
    }

    location @404 { return 404; }
}

В итоге дополнительные изображения можно забирать по ссылкам:

  • http://myproject.ru/preview/i/[md5]/[path_to_image]
  • http://myproject.ru/preview/c/[md5]/[size]/[path_to_image]
  • http://myproject.ru/preview/r/[md5]/[size]/[path_to_image]

* try_files — чувствителен к пробелам и русским символам, поэтому пришлось сделать костыль с alias.

Использование в веб-приложении

На уровне веб-приложения можно сделать следующую процедуру (Perl):

sub proxy_image {
    use Digest::MD5     qw /md5_hex/;
    my %params = @_;
    my $filter = {
                    size    => 'i',
                    resize  => 'r',
                    crop    => 'c'                  
                  }->{$params{filter}} || 'r';
    my $path = ($filter ne 'i' ?
                    ( $params{height} || '_' ) . 'x' . ( $params{width} || '_' ) . '/' :
                    ()
               ) . $params{source};
    my $md5 = md5_hex( $path . 'secret' );
    $path = '/preview/' . $filter . '/' . $md5 . '/' . $path;
    return $path;
}

my $preview_path = &proxy_image(
                    source  => 'image1.jpg',
                    height  => 100,
                    width   => 100,
                    filter  => 'resize'
                ); 

Хотя я бы еще рекомендовал рассчитывать размеры preview.

Грабли

При удалении исходного изображения, превью, естественно, удалятся из кеша не будут пока кеш не инвалидируется, а в нашем случае превью могут существовать в течение суток после удаления, но это максимум по времени.

Рубрики
  • Базы данных
    • PostgreSQL
    • Деревья
  • Без рубрики
  • Веб
    • Nginx
  • Операционные системы
    • Linux
Метки
ACL Adjacency List Contrib DevOps Extensions GRANT Linux ltree Materialized Path Nested Sets nginx ngx_http_dav_module ngx_http_image_filter_module ngx_http_map_module ngx_http_proxy_module ngx_http_random_index_module ngx_http_secure_link_module pg_hba.conf PostgreSQL privileges REVOKE Trees Ubuntu Web ZFS Деревья Индекс Миграция Оптимизация запросов триггеры

КОНСАЛТИНГ 
ПО POSTGRESQL

Консалтинг — 
это когда мы сами выполняем работу

ПОДРОБНЕЕ

ЕЩЕ СТАТЬИ ПО ДАННОЙ ТЕМЕ

PostgreSQL. Миграция. Как начать

Вот проснулись вы как-то утром и решили начать новую жизнь вместе с базой данных PostgreSQL оставив другие за бортом. Но с чего начать? Как «подкатить» и не быть отвергнутым? А ведь вы уже не молоды и «с прицепом»: с данными, нагрузкой и бизнес-логикой.
Так как в данный момент тема миграций в тренде, не могу пройти мимо и не поделится своим опытом подобных мероприятий. Данная задача не самая простая, так как требует подмены одной из фундаментальных технологий проекта — хранилище данных.

Читать далее »

PostgreSQL. Хочешь похудеть? Cпроси меня как.

Недавно попросили поднять копию одного проекта для тестов, ну и соответственно потянуть базу данных как есть из боя (pg_basebackup). Выяснилось, что физический размер базы составил 505 GB, что само по себе слегка удивило, не то, чтобы данных там было мало. Много, но не настолько.

Читать далее »

PostgreSQL ACL Object

В предыдущей статье мы рассматривали вопросы подключения и глобальных привилегий пользователей сервера PostgreSQL. Будем считать что головную боль админов в виде pg_hba.conf мы прошли, переходим к следующей.
DBA против Разработчиков, DML против DDL. Сразу хочу сказать, что мое мнение: привилегии DDL разработчику не нужны, несмотря на то, что я сам разработчик.

Читать далее »

Поддержка

Поддержка — это когда у нас возникает техническая
проблема с существующей системой,
и вам необходимо некоторое руководство

ПОДРОБНЕЕ

Postgres.men

  • Аудит
  • Консалтинг
  • Поддержка
  • Статьи и инструкции

Миграция

  • Миграция с Oracle на PostgreSQL
  • Миграция 1С на PostgreSQL

Мы в соцсетях

  • Вконтакте

© Postgres.Men by Taktive Ltd, 2022. Не является публичной офертой.