Кеширование сайта

Сейчас нами включено активное кеширование сайта и компрессия страниц. У людей, сидящих на медленных каналах интернета, сайт должен начать работать быстрее. У тех, кто зарегистрирован на сайте, больше никаких отрицательных эффектов быть не должно — но если что-то будет, сообщайте прямо тут. Возможны косяки на мобильных браузерах.

А вот у анонимусов ситуация несколько изменится. В частности, анонимусы будут видеть новые публикации не сразу, а с некоторой небольшой задержкой. Это же касается и новых комментариев. В смысле — сайт для них будет работать столь же быстро, как и для зарегистрированных, только они будут видеть состояние сайта с отставанием в несколько минут от реального. Поскольку сами они ничего публиковать и писать на сайте не могут — для них это не играет никакой роли.

Эту технологию мы тестируем уже несколько дней на других сайтах — и вроде бы всё прекрасно, глюков не замечено, а вот загрузка процессора на сервере упала в разы. Что радует.

Настоящий материал самостоятельно опубликован в нашем сообществе пользователем Proper на основании действующей редакции Пользовательского Соглашения. Если вы считаете, что такая публикация нарушает ваши авторские и/или смежные права, вам необходимо сообщить об этом администрации сайта на EMAIL abuse@newru.org с указанием адреса (URL) страницы, содержащей спорный материал. Нарушение будет в кратчайшие сроки устранено, виновные наказаны.

комментариев 59

  1. Asya:

    Ну у меня даже на 3джи норм грузилось) на планшете). Однако если будет реально быстрее, то это не может не радовать).

    • Proper:

      Уже должно чувствоваться. Кэш быстро заполняется.

      Для сравнения: обычная страница размером в 70 кбайт после компресии становится 18 кбайт. То есть в 4 раза меньше. И грузится вчетверо быстрее.

      • Asya:

        Я по ка не на планшете) а планшете я выхожу исключительно на работе) если есть время), завтра проверю).

        • Proper:

          С планшета я лично проверял, всё ОК — но мало ли какие у людей проблемы.

          • Gena:

            Токма что отобрал планшетнег у Жены- работАет!

            • zu:

              айос 8.1.1 все отлично как и раньше.)

              • Proper:

                Во, это хорошо. Потому что на яблоках я нововведение не проверял — некогда тащиться к приятелям, у которых есть обсмеянные ойпады, а сам я держу для тестов и жизни из мобильного только андыроиды.

                • zu:

                  https://pp.vk.me/c625524/v625524457/14550/nY6Kp5H5Oqk.jpg

                  Пардон, забыл, только единственное замечание. Такова ситуация наверно уже несколько месяцев, точно не помню.

                  Вообщем менюшка где логин пароль и т.д. открывается ровно настолько как на скриншоте. Я-то залогинился давно, поэтому и не вспоминаю.

          • Андрей:

            Windows Phone 8.1 всё фурычит.
            Затирается логин при автозаполнении, пароль остаётся на месте.

    • SNAIL:

      Может потмоу что уже год как Гугель внедрил в свой браузер ХРОМ сжатие данных.
      Не исключаю самообман- но визуально на Хроме в смартфоне страницы быстрее открываются чем в Лисе …

      • Proper:

        Видите ли — «внедрить сжатие» на стороне браузера мало (оно, внезапно, уже лет десять как внедрено) — надо еще чтобы вам веб-сервер согласился отдавать сжатый контент. А обычно никто этим на уровне веб-сервера не запаривается.

        К счастью для вас, у провайдеров мобильного интернета стоят прокси, которые стараются генерить именно сжатые версии страниц. Более того — они еще и картинки пережимают и поганят их качество. И у Билайна эта функция неотключаемая, хоть убейся.

        • SNAIL:

          в мобильный гугель Хром сжатие было внедрено только год назад.
          в десктопном этой шляпы нету официально — но с помощью костыльного расширения тоже типа работает.

          ЗЫ: 10 лет назад ведроида еще какбе не было …

        • SNAIL:

          ЗЫ: и сжатие идет не на стороне браузера — а на серванте гугеля, а дальше юзверю сливается уже ужатый пакет.

          • Proper:

            Все современные браузеры поддерживают сжатый контент, т.к. он является частью спецификации протокола HTTP 1.1. Собственно, это умел делать еще IE6 в 2001 году.

            Apache, Nginx и даже Google App Engine поддерживают формат сжатия gzip.

            >>в десктопном этой шляпы нету официально — но с помощью костыльного расширения тоже типа работает

            Гугель Хром не компатибелен с HTTP 1.1? А поцаны-то и не знают. ;)

            На самом деле конечно же виндовый хром поддерживал сжатый контент еще с первой беты. Вы о чем-то другом говорите.

            • SNAIL:

              ВОт : http://googlesystem.blogspot.com/2014/02/enable-data-compression-proxy-in-chrome.html

              • Proper:

                А, вот вы о чем. Вы о безумной идее Google компрессить не только отдачу Веб-сервера (что реализовано еще в начале 2000-х), но и запросы, отправляемые браузером к оному веб-серверу.

                Собственно, это опять же часть спецификации HTTP 1.1, и апач поддерживает это через mod_deflate уже очень давно — но это никем не использовалось (кроме веб-клиента Цитрикса) ввиду очевидной ненужности.

                Вот смотрите — когда я нажму кнопочку «Ответить», данные формы с моим ответом пойдут на сервер несжатые, по сути голым текстом — несмотря на то, что веб-страницы сервер шлет мне сжатыми. Гугель решил жать и эти данные. Это полезно для его Google Docs и прочих приложений, имеющих интенсивный обмен данных в обе стороны — но для классического веб-браузинга не дает никакого существенного выигрыша. Ну вот сожмем мы эту форму — будет она не 800 байт, а 400. При том, что страница, с которой я это отправляю — весит даже сжатая 18.000 байт, а с комментариями — все 30.000. На этом фоне экономия 400 байт — ерунда.

  2. Gena:

    Арбайтит как надо! А вот Asya завидую! У мню на симке гордый надпезь 4гжы, а реально в Чите… Ну есть тырнет мобильный, и то хорошо! Ведь лет пять назад и это было редкостью, а теперь , по осени, с планшетником, да ночью в машине, да за двести км от города, да в лесу, на берегу реки- и ловит , гад!

    • Asya:

      Ну у нас типа 4жди/джи есть от мегафона))))) по факту, МТС рулит на мобильном интернете. И дешево и устойчивая связь и ареал обитания интернета от данного оператора широк))). Например у меня минимальный тариф, 100 руб в мес за 50 Мегабайт в сутки на 3 джи, в остальном интернет есть, но скорость такова)))) что как будто его нет) погоду только и обновить получается).

      • Gena:

        У нас многошум рулит ваашпе. Минимальный тариф те же 50 Мб за 350 в месяц. :( А красное яйцо-отстой, хоть и обе конторы грозят 4 гжы, но реально-ЛПП. А пчелайн вообще как-то сам по себе, и охват ни о чём, и половина заявленных в рекламе «няшек» не арбайтит. Цены у пчёл ниже, но удобство так себе-специфика края.

        • Asya:

          У меня за все время существования мобильных сетей в нашей области были симки всех операторов, реально лучше всего и дешевле это МТС, остальное либо качество связи, но дорого до безобразия (Мегафон), либо цена приемлема , но качества так себе (Билайн), либо ни того ни другого (УлГСМ или Ростелеком сейчас). На данный момент имею 3 симки, 2 по работе, одну личную, Цена, качество видно сразу))).

    • dasty011:

      Под 4G на HTC one (LTE) у меня вообще летало.
      Пока на работе в горячем масле не утопил.
      Нагрудный карман не самое лучшее вместилище смарта.
      Да, и на старуху бывает проруха, и на старика хватает дурака.

  3. Митрич:

    Сижу в Африке. Планшет. Мобильный инет не просто мертвый, а супер-мега-мертвый. И сайт работает.
    Спасибо, товарищ Первый!

    • Proper:

      Мы стараемся сделать сайт максимально доступным для всех. Поэтому перешли на адаптивный дизайн, хорошо масштабирующийся на экраны с низким разрешением и на мобильные устройства, поэтому же перешли на компрессию страниц и кеширование страниц в статику. И пережатие картинок у нас стоит такое, чтобы сделать их ненапряжными для медленных каналов.

      Вот эта картинка в заголовке при размере 720px×340px имеет вес всего 45 килобайт. При этом в ленте новостей показывается ее уменьшенный клон размером 520px×245px, который весит вообще 28 килобайт. Уменьшенные клоны занимают лишнее место на сервере — но мы их всё равно генерируем, чтобы у вас лента грузилась быстрее.

      • Carpintero:

        Раньше было на смартфоне при увеличении текста он всегда оставался на ширину экрана, на новом сайте такое не идёт. Так и должно быть?

        • Proper:

          Поясните, что вы имеете в виду.

          По идее, при увеличении масштаба в некоторый момент должна свернуться правая колонка, а затем и левая колонка — так что основная колонка станет занимать почти всю ширину экрана.

          Но это зависит еще и от трактовки увеличения вашим браузером. Например, многие мобильные браузеры считают, что Zoom — это как увеличение фрагмента картинки, и сохраняют виртуальный размер (ширину экрана) неизменными.

          У меня, например, штатный браузер на Андроиде 4.4.2 трактует Zoom именно так. Но если зайти в настройки браузера и поставить размер текста 150% — всё становится ОК. При этом опция «Подгонять веб-страницы под размер окна» работает задом наперед — чтобы браузер вписывал страницы, а не скроллил по горизонтали, ее надо отключить.

          • Carpintero:

            Значит мне надо отключить эту опцию «Подгонять веб-страницы под размер окна»?
            Понял, спасибо, попробую, поиграюсь!
            У меня установлен Андроид 4.4.2. KitKat

          • Carpintero:

            Это случилось после Update 4.2.2 на 4.4.2
            Скорее всего, настройки ушли в заводские…

            • Proper:

              Кстати, спасибо, что обратили наше внимание на этот вопрос. Мы поищем для кривых Андроидов варианты загружаемых браузеров, в которых сайты наподобие этого работали бы правильно, и здесь об этом сообщим. Попозже.

          • kokshetau:

            =при увеличении масштаба в некоторый момент должна свернуться правая колонка, а затем и левая колонка — так что основная колонка станет занимать почти всю ширину экрана.=

            Сейчас проверил — масштабирование так и работает. Всё ок.

  4. Proper:

    По поводу 4G — в России ситуация такая, что 99% сетей 4G это по факту сети йоты. Йота куплена Мегафоном, поэтому 4G мегафона — это та же йота, только тарифы другие. Ну и остальные операторы раздают 4G через это же оборудование. Исключения — отдельные очень ограниченные зоны, где пчелайн и яйцо пробуют сами разворачивать 4G.

    По факту, в большинстве мест России 4G не дает пользователю никакого преимущества по сравнению с 3G+ (HDSPA и HDSPA+ протоколы). Более того — 4G от йоты вообще плохо работает с движущимися станциями, много хуже, чем 3G+ протоколы. Другими словами — 4G может иметь смысл в основном для стационарной точки (приехали на дачу или в гостинницу, и сидите в тырнете с компа или планшета).

    Для носимого девайса, вроде смартфона, который постоянно висит в тырнете — 4G не нужна, и даже просто вредна. Собственно, умнейшие производители в курсе дела, и их смартфоны в реальности сидят в сети на 3G, а 4G включают только при большом трафике. Иначе батарея будет садиться за несколько часов.

    Теперь по качеству и цене мобильного тырнета в России. Разумеется, есть особенности в каждом регионе и даже городе — но в среднем ситуация такова:

    1. Лучше всего 3G+ тырнет у Мегафона. Но он и дороже всех, да еще управление им кривое как бубен.
    2. Дешевле всего 3G+ у Билайна. У них удобное управление (удобнее только у Йоты). Но качество — от приличного до хренового, и самое плохое покрытие из большой тройки (хуже только у Теле-2, но у них вообще считайте нет интернета). Но для обычного человека билайна может хватать.
    3. МТС — что-то среднее между Билайном и Мегафоном.
    4. Йота — самое удобное управление, но плохое покрытие. Надо тестировать реальный прием и скорость в том месте, где вы хотите Йотой пользоваться, и от этого плясать. В целом помните, что во многих местах передвигать ползунок скорости Йоты выше 1-2 мбит/с — это просто деньги на ветер, и что реальная скорость Йоты зависит не столько от засылаемых вами бабок, сколько от нагрузки на соту.

    Я вам открою секрет: фактическая ширина канала на соту Йоты, выделенная под интернет-трафик, фиксирована лишь на некотором минимуме, и плавает в зависимости от разговорного трафика, которому отдан приоритет. И ваши бабки, которые вы платите за ширину канала, двигая ползунок скорости в управлении — при полной загрузке канала трактуются как заявка на аукционе с другими такими же юзерами йоты и прочих сетей, висящими на этой соте.

    То есть если вы поставили максимум 512Кбит — вам будут отдавать 512 кбит только до наступления перегрузки канала, а затем начнут делить полосу канала пропорционально оплаченному тарифу. Если реальный канал 10 Мбит — а на нем сидит одновременно 100 человек, то в среднем каждый так и будет получать 1/10 мбита, как бы они не двигали ползунки. Но тут тонкий расчет на психологию: ты двигаешь ползунок выше, платишь больше — и тебе выделяют больше, а у остальных тормозит. Они тоже двигают ползунок — им идет больше, тормозит у тебя. И вот так идет сражение баблом за пересыхающий источник. В пределе, если у всех много бабла и у всех стоит предельный анлим за большие бабки — все получают жалкие 100 кбит, пока клиенты не начнут отваливаться, матерясь «такие бабки за такие тормоза — это слишком дерзко».

    Именно так и работает 4G в центре Питера, где клиентов много.

    А вот на периферии, при низкой загрузке соты — он очень даже ничего.

    • Gena:

      Дык если б так, «борьба гитанов», сверхинтернетных маргитаноф- увы, борьбы такой уж нет-всех приравнял хреновый мобильный интырнет! :)

  5. mikhail065:

    Мурманск. Планшет, андроша….полет нормальный.)))

  6. Proper:

    Состояние WP-Super-Cache (241.83MB)
    3398 страниц в кэше
    0 страниц просрочено

    Ну вы и горазды лопатить сайт, братцы.

  7. spirit:

    не забудьте,что в смартфонах есть в настройке-

    Мобильный вид\адаптация контента к мобильному виду\

    к примеру на майлру я в мобильном вижу только усечённую
    главную страницу,новости же вообще не читаются,
    серый экран….

    а тут\топру\ всё работает))

  8. dasty011:

    Проверил на планшета и смарте, оба «андрюши», оба Aser, оба мегафоновские (Екатеринбург), в условиях приёма от 3G до «почти мертвого» приёма. Таскал девайсы по предприятию. Во всех случаях не наблюдалось проблем с загрузкой сайта. На домашнем компе, понятно, никаких траблов.
    Радует, так держать!

  9. borita:

    Докладываю из дальнего и очень деревенского зазеркалья … Прблем нет , да и раньше не было.. Не на планшете через wi-fi и с мобильника на 3G ( все Apple )

    • FLY_Slim Jr.:

      Вы огорчили Глагнэ….
      Вам придется принести Апле в жертву

      • borita:

        Сварю в кока колле и сиропом полью голову :-)

        • FLY_Slim Jr.:

          Вот.
          Глагнэ одобрит первое
          не знаю как со вторым.
          Приветствую.

  10. FLY_Slim Jr.:

    емае
    это же прошлый век кэширование.
    даже 3Ж интернет быстрее ADSL

    • Crimean1:

      «даже 3Ж интернет быстрее ADSL». Вопрос спорный.

      • FLY_Slim Jr.:

        ну, все зависит от провайдера — не спорю.
        но 1-2 больше половины получают.
        а ADSL сейчас оставили райцентрам в основном, сельским школам.
        Хотя у нас в таких местах все со спутнега, буржуйскава наверное, не в теме я.
        А так — ВОЛС. по городам более 80% покрытия.
        3Ж — кстати быдлайн раскачал в степи. Вышекнавтыкалвдольтрасс. В радиусе трех сел от 50 до 300 дворов — попадают 100% одна вышка.
        Ну короче, тут можно поспорить, если брать в расчет Монголию и Японию. ИМХО.

    • dasty011:

      Вы меня простите, надеюсь.
      Кэш-память процов первого и второго уровня является показателем быстродействия.
      То же самое касается порталов.
      Если не прав — поправьте.

      • FLY_Slim Jr.:

        Ну, кэш память, что в проце — это высокоскоростной буфер обмена и обработки данных (память самого компа все равно имеет меньшую скорость чем КЭШ память проца) — этим добились минимального «простоя» процессора.
        И с порталами Вы тоже правы.
        Но, если интернет ГоуНо — кэш интернет страниц вам поможет так же как и «узкие» каналы передачи данных по шине между основной памятью и ядром процессора.

        Так, что говорить о кэшировании при ххххом интернете…… скорость не изменится.

        • dasty011:

          Угум-с.
          «Крайние случаи» брать не надо, и без того репрезентативно.

        • dasty011:

          Извините, ширина полосы пропускания каналов — это отдельная тема, более достойная профильных форумов.
          Что такое «Свалка» в радиоэфире, знаю по профилю службы и увлечений.
          Хотя, просвещать людей — занятие достойное.
          Хотя б на примерах загруженности автомагистралей. От чего-то так до людей быстрее доходит.

  11. Proper:

    Из проведенного нами маленького теста мобильных браузеров на планшетах с экраном шириной 1280 пикселов неожиданно наилучшие результаты показал Maxton HD.

    Кстати, больше половины загружаемых мобильных браузеров упорно ломятся к данным вашего местоположения. А яндекс-браузер делает это настолько навязчиво, что его шпионский модуль продолжает ломиться к GPS даже после того, как браузер уже снесен. Но перезагрузка таки помогает.

    • FLY_Slim Jr.:

      Хром юзаю на всех устройствах
      Быстрый, не ломиться как лось шпионить(все явно уже зашпионино)
      И страницы отображает нормально.
      Яндекс вообще отстойная трабла, особенно на компе — проверял на вирте — куда только это чудо не ломится в интернетах — и кучу всякого г»овна предлагает постоянно.

      • Gena:

        Агы, согласен-Yандекс-ещё то .Хром ловчее будет.

        • Proper:

          Хром хороший, но слишком рассчитанный на дебилов. Ему не хватает настроек — особенно в мобильной версии.

          Разумеется, можно играться с about:about, about:plugins и about:flags — но это уже несколько не то.

    • dasty011:

      При инициализации браузеров бью по хотелкам наличия местоположения.
      Если не помогает — сношу браузер, естессно, предварительно заrootив и убирая предзагрузку

  12. Proper:

    >>говорить о кэшировании при ххххом интернете…… скорость не изменится

    Не совсем так.

    Во-первых, мы говорим о кешировании с преобразвоанием статики в компрессированный вид — по нашей статистике, на самой странице (без учета картинок) мы выигрываем в объеме в 3-4 раза. Соответственно страница в 3-4 раза быстрее загружается.

    Во-вторых, каждая страница из динамической генерации преобразована в статику — и, соответственно, более эффективно ложится в локальный кеш вашего браузера. Вместе с сопряженными с ней картинками. Соответственно при возврате на страницу ее перезаливка через сеть наступает значительно реже.

    Причем особенно это заметно людям анонимным, незалогиненным. Коих на сайте — 95% трафика.