Работа с файлами кэша ошибка не работает

Устранение ошибок CMS Битрикс

Опция «Проверка системы» в CMS Битрикс позволяет проверить соответствие настроек хостинга требованиям CMS и вашего сайта. При запуске этой опции на хостинге Timeweb, Битрикс, как правило, приводит несколько ошибок и замечаний. В этой статье мы рассмотрим, как их исправить.

Отправка почты

Речь идет о двух параметрах: «Отправка почты» и «Отправка почтового сообщения больше 64Кб».

Уведомление: Ошибка! Не работает

Эта ошибка возникает, если вы используете хостинг на тестовом периоде — до оплаты услуги почта недоступна. Как только хостинг будет оплачен, почта заработает.

Режим работы MySQL

Уведомление: Ошибка! innodb_strict_mode=ON, требуется OFF. Переменная sql_mode в MySQL должна быть пустая, текущее значение: NO_ENGINE_SUBSTITUTION

Эта ошибка критична. Она может привести к блокировке запросов к базе данных, что практически означает остановку работы сайта.

Решение:

Необходимо внести изменения в файлы конфигурации Bitrix, в которых задаются параметры базы данных, и указать в них нужные значения. Отредактировать файлы можно, например, с помощью Файлового менеджера.

В файл /public_html/bitrix/php_interface/after_connect.php под уже имеющимися строками и до символов ?> добавьте:

В файл /public_html/bitrix/php_interface/after_connect_d7.php под уже имеющимися строками и до символов ?> добавьте:

После этого проверка Bitrix пройдет успешно.

Размер стека и pcre.recursion_limit

Уведомление: Замечание: Возможны проблемы в работе с длинными строками из за системных ограничений

Это замечание некритично и, как правило, на работе сайтов не сказывается, однако оно может влиять на обработку очень длинного текста, например, если в нем сотни тысяч символов.

Этот параметр влияет на возможность обработки строк регулярными выражениями. Лимит по умолчанию установлен достаточно большой, чтобы можно было обработать практически любой контент на сайте, но для устранения замечания можно дополнительно внести изменения.

Решение:

• Если у вас тариф мощного хостинга, решением будет переключение сайта на PHP 7.4. Это можно сделать в разделе «Сайты» по нашей инструкции.
• Если у вас тариф обычного хостинга или если смена версии PHP не помогла, исправить ошибку, добавьте в файл /public_html/.htaccess строки:

Выполнение агентов на cron

Уведомление: Замечание: Агенты выполняются на хитах, рекомендуется перенести их выполнение на cron

Это замечание некритично. В Битрикс предусмотрен внутренний планировщик задач (агентов). Данное замечание влияет на то, насколько точно по времени сработают запланированные задачи. Грубо говоря, скрипты сайта выполняются, только когда его страницы кто-то посещает. Если нет посещений, то и таймер работать не будет. Cron позволяет полностью решить проблему с планированием задач.

Решение:

Чтобы перенести работу непериодических агентов (и передачу почты) на Сron, необходимо установить константу BX_CRONTAB_SUPPORT .

Для этого добавьте в файл /public_html/bitrix/php_interface/dbconn.php строку:

1. В разделе Crontab нажмите «Добавить новую задачу» и задайте удобное имя для задачи.

2. В пункте «Исполнитель» выберите «Исполняемый бинарный файл».

3. В пункте «Путь до файла» укажите команду следующего вида:

• В /opt/php72/bin/php укажите ту версию php, которую использует сайт. Например, /opt/php74/bin/php ( или /opt/php7.4/bin/php ).
• Вместо /home/u/user/site.ru/public_html укажите корректный путь до папки сайта и замените u и user на первую букву вашего логина и сам логин.

4. В пункте «Периодичность» выберите «Каждую минуту».

Уведомление: Ошибка! Не настроен запуск cron_events.php на cron

Эта ошибка может возникнуть, если в пункте выше вы только добавили константу, но не добавили задачу cron. Без настройки задачи в crontab будет остановлена часть агентов, в том числе с сайта перестанет отправляться почта. Письма будут накапливаться в очередь и отправляться по частям после устранения ошибки.

Решение:

Выполните приведенную выше инструкцию по добавлению задачи cron, и ошибка будет устранена.

Обязательные параметры PHP

Уведомление: Ошибка! Значение max_input_vars должно быть не ниже 10000

Эта ошибка не влияет на работоспособность сайта напрямую, но может отразиться на работе с большими формами в административной панели. При работе с инфоблоками низкое значение параметра max_input_vars может вызвать проблемы с сохранением настроек, поэтому система выделяет эту ошибку как критическую.

Решение:

Необходимо добавить следующую строку в файл /public_html/.htaccess :

Источник

Не работает кеширование компонентов на странице

По результатам отладки удалось обнаружить, что не работает кеширование компонентов (bitrix.news) на странице
и выполняются запросы вместо кеша

1. Автокеширование компонентов включено .
2. Управляемый кеш компонентов включен .
3. Кеширование HTML выключено .
4. В настройках стандартного компонента bitrix:news.list:

• Тип кеширования: авто+управляемое
• Время кеширования (сек.): 3600

Используется php 5.3.16 + wincache.

Как выяснить причину?

фильтр на странице есть,
проверял, когда выражение фильтра пустое, на индексной странице раздела,
кликая каждый раз по соответствующей ссылке на раздел из меню

общий ужас выглядит так:

У вас в юрле, случайно ckear_cache=Y не установлен?

Если ни чего не помогает — в ТП. Возможно проблемы с хостингом (дата, время, каталоги под кеш не верно формируются)

Детальный анализ выявил проблемы в работе wincache
тех.поддержка заявила о нем как «не гарантируется поддержка» и рекомендовала перейти на APC, Xcache
Apc не удалось подружить с многопоточным IIS, в рузальтате данные хоть и кешировались, но страница выдавалась со значительной задержкой
Xcache вместе с IIS 7 показал себя неплохо, на нем и остановился

возник некий глюк с Xcache
компонент bitrix:news.list содержит в себе другой нетиповой компонент , кеш работает нормально — без запросов. но стилевое оформление вложенного компонента сбивается. На уровне html в коде страницы с и без кеширования различий не заметил.
будем разбираться дальше.

Может кто уже знает ответ на вопрос проблемы со стилями при кешировании.. ?

Источник

Увеличение производительности

Коллеги, добры день!

Столкнулись с проблемой после запуска с корпоративного портала. Работает в БД Oracle. Может быть кто то сталкивался с похожей проблемой?

Как видно сильно проседают БД.

Также есть вопросы по файлу конфигурации httpd.conf. Правильно ли настроен модуль prefork? Сайт имеет около 2500-3000 одновременных подключений.

StartServers 60
MinSpareServers 60
MaxSpareServers 60
ServerLimit 60
MaxClients 60
MaxRequestsPerChild 10000

И вопрос по файлу dbconn.php, параметр memory_limit = 1024, насколько верна такая настройка?

Корп портал внедрял подрядчик. Общая проблема с медленной загрузкой главной страницы и вообще медленно работой сайта. Наверняка проблема уже была, но конкретного решения по этим вопросам найти не удалось. Как провести оптимизацию так, что бы портал если бы не залетал, то хотябы увеличилась его производительность, а то пользователи готовы съесть. Заранее спасибо за помощь!

bogdan.dudarev, портал работает в окружении, которое затащил на сервер скрипт Битрикс или сами настраивали все службы?

Автотест что показывает? /bitrix/admin/site_checker.php?lang=ru

Кеширование включено? /bitrix/admin/cache.php?lang=ru

СУБД на отдельном сервере?

Низкая скорость записи в базу — это скорее над править настройки базы или ей просто не хватает ресурсов.

Какая-то кастомизация была? Что показывает тестирование монитора производительности минут на 10?

Тест на масштабируемость показывает ошибки при генерации страниц? /bitrix/admin/perfmon_panel.php?lang=ru

1 . Oracle — т.к. все на нем. Требование компании.
2 . Автотест показывает это:
2014-Sep-26 10:52:31 Наличие необходимых модулей php (check_php_modules): OkУспешно
2014-Sep-26 10:52:32 Обязательные параметры PHP (check_php_settings): OkУспешно
2014-Sep-26 10:52:32 Значения переменных сервера (check_server_vars): OkУспешно
2014-Sep-26 10:52:32 Модуль suhosin отключен (check_suhosin): OkУспешно
2014-Sep-26 10:52:32 Модули веб сервера (check_security): OkУспешно
2014-Sep-26 10:52:32 Служебные скрипты в корне сайта (check_install_scripts): OkУспешно
2014-Sep-26 10:52:32 Параметры настройки UTF (mbstring и константа BX_UTF) (check_mbstring): OkУспешно. Сайт работает в UTF кодировке
2014-Sep-26 10:52:33 Установка параметра pcre.backtrack_limit (check_backtrack_limit): OkУспешно
2014-Sep-26 10:52:33 Размер стека и pcre.recursion_limit (check_pcre_recursion): FailОшибка
2014-Sep-26 10:52:33 Вызов method_exists на строке (check_method_exists): Fail== Request ==GET /bitrix/admin/site_checker.php?test_type=method_exists&unique_id=d9387285f7b232bcc766833ba1 ­8d9ef8 HTTP/1.1Host: msk03portal.sibur.local== Response ==HTTP/1.1 401 Authorization RequiredDate: Fri, 26 Sep 2014 06:52:33 GMTServer: ApacheWWW-Authenticate: NTLMContent-Length: 401Content-Type: text/html; charset=iso-8859-1== Body ==401 Authorization RequiredAuthorization RequiredThis server could not verify that youare authorized to access the documentrequested. Either you supplied the wrongcredentials (e.g., bad password), or yourbrowser doesn’t understand how to supplythe credentials required.==========Ошибка
2014-Sep-26 10:52:33 Настройки сайтов (check_sites): OkУспешно
2014-Sep-26 10:52:33 Работа с сокетами (check_socket): FailConnection to msk03portal.sibur.local:80== Request ==GET /bitrix/admin/site_checker.php?test_type=socket_test&unique_id=d9387285f7b232bcc766833ba18d ­9ef8 HTTP/1.1Host: msk03portal.sibur.local== Response ==HTTP/1.1 401 Authorization RequiredDate: Fri, 26 Sep 2014 06:52:33 GMTServer: ApacheWWW-Authenticate: NTLMContent-Length: 401Content-Type: text/html; charset=iso-8859-1== Body ==401 Authorization RequiredAuthorization RequiredThis server could not verify that youare authorized to access the documentrequested. Either you supplied the wrongcredentials (e.g., bad password), or yourbrowser doesn’t understand how to supplythe credentials required.==========Ошибка
2014-Sep-26 10:52:33 Лишний вывод в файлах конфигурации (check_dbconn): WarningНе удалось проверить из-за ошибки в работе с сокетами
2014-Sep-26 10:52:33 Загрузка файла (check_upload): WarningНе удалось проверить из-за ошибки в работе с сокетами
2014-Sep-26 10:52:34 Загрузка файла больше 4Мб (check_upload_big): WarningНе удалось проверить из-за ошибки в работе с сокетами
2014-Sep-26 10:52:34 Загрузка файла через php://input (check_upload_raw): WarningНе удалось проверить из-за ошибки в работе с сокетами
2014-Sep-26 10:52:34 Передача POST запроса с большим числом параметров (check_post): WarningНе удалось проверить из-за ошибки в работе с сокетами
2014-Sep-26 10:52:34 Отправка почты (check_mail): OkУспешно
2014-Sep-26 10:52:34 Отправка почтового сообщения больше 64Кб (check_mail_big): OkУспешно
2014-Sep-26 10:52:34 Проверка на наличие неотправленных сообщений (check_mail_b_event): OkУспешно
2014-Sep-26 10:52:35 Внутреннее перенаправление (функция LocalRedirect) (check_localredirect): WarningНе удалось проверить из-за ошибки в работе с сокетами
2014-Sep-26 10:52:35 Фактическое ограничение памяти (check_memory_limit): WarningНе удалось проверить из-за ошибки в работе с сокетами2014-Sep-26 10:52:35 Сохранение сессии (check_session): Ok50% done
2014-Sep-26 10:52:35 Сохранение сессии (check_session): OkУспешно
2014-Sep-26 10:52:35 Сохранение сессии без UserAgent (check_session_ua): WarningНе удалось проверить из-за ошибки в работе с сокетами2014-Sep-26 10:52:36 Работа с файлами кеша (check_cache): OkУспешно
2014-Sep-26 10:52:36 Доступ к серверу обновлений (check_update): FailНет соединения с сервером обновлений (Connection refused)2014-Sep-26 10:52:36 HTTP авторизация (check_http_auth): WarningНе удалось проверить из-за ошибки в работе с сокетами
2014-Sep-26 10:52:36 Создание и запуск файла (check_exec): WarningНе удалось проверить из-за ошибки в работе с сокетами
2014-Sep-26 10:52:36 Константа BX_CRONTAB (не должна быть определена) (check_bx_crontab): OkУспешно
2014-Sep-26 10:52:37 Разделитель дробной части (check_divider): OkУспешно
2014-Sep-26 10:52:37 Значение параметра precision (не менее 10) (check_precision): OkУспешно
2014-Sep-26 10:52:38 Передача объектов по ссылке (check_clone): OkУспешно
2014-Sep-26 10:52:40 Функция getimagesize для swf (check_getimagesize): OkУспешно
3 . Автокеширование компонентов включено.
4 . СУБД на отдельном сервере
5. Кастомизация была не значительная
6. Тестирование минут на 10:

7. Масштабируемость:

1. Переведите работу агентов на cron с хитов, если это так

2. Попробуйте включить html кеш

3. Тест на масштабриуемость показывает наличие ошибок при генерации страницы. Их быть не должно.

Источник

Проблемы при работе с кэшем и способы их решения

Меня зовут Виктор Пряжников, я работаю в SRV-команде Badoo. Наша команда занимается разработкой и поддержкой внутреннего API для наших клиентов со стороны сервера, и кэширование данных — это то, с чем мы сталкиваемся каждый день.

Существует мнение, что в программировании есть только две по-настоящему сложные задачи: придумывание названий и инвалидация кэша. Я не буду спорить с тем, что инвалидация — это сложно, но мне кажется, что кэширование — довольно хитрая вещь даже без учёта инвалидации. Есть много вещей, о которых следует подумать, прежде чем начинать использовать кэш. В этой статье я попробую сформулировать некоторые проблемы, с которыми можно столкнуться при работе с кэшем в большой системе.

Я расскажу о проблемах разделения кэшируемых данных между серверами, параллельных обновлениях данных, «холодном старте» и работе системы со сбоями. Также я опишу возможные способы решения этих проблем и приведу ссылки на материалы, где эти темы освещены более подробно. Я не буду рассказывать, что такое кэш в принципе и касаться деталей реализации конкретных систем.

При работе я исхожу из того, что рассматриваемая система состоит из приложения, базы данных и кэша для данных. Вместо базы данных может использоваться любой другой источник (например, какой-то микросервис или внешний API).

Деление данных между кэширующими серверами

Если вы хотите использовать кэширование в достаточно большой системе, нужно позаботиться о том, чтобы можно было поделить кэшируемые данные между доступными серверами. Это необходимо по нескольким причинам:

• данных может быть очень много, и они физически не поместятся в память одного сервера;
• данные могут запрашиваться очень часто, и один сервер не в состоянии обработать все эти запросы;
• вы хотите сделать кэширование более надёжным. Если у вас только один кэширующий сервер, то при его падении вся система останется без кэша, что может резко увеличить нагрузку на базу данных.

Самый очевидный способ разбивки данных — вычисление номера сервера псевдослучайным образом в зависимости от ключа кэширования.

Есть разные алгоритмы для реализации этого. Самый простой — вычисление номера сервера как остатка от целочисленного деления численного представления ключа (например, CRC32) на количество кэширующих серверов:

Такой алгоритм называется хешированием по модулю (англ. modulo hashing). CRC32 здесь использован в качестве примера. Вместо него можно взять любую другую хеширующую функцию, из результатов которой можно получить число, большее или равное количеству серверов, с более-менее равномерно распределённым результатом.

Этот способ легко понять и реализовать, он достаточно равномерно распределяет данные между серверами, но у него есть серьёзный недостаток: при изменении количества серверов (из-за технических проблем или при добавлении новых) значительная часть кэша теряется, поскольку для ключей меняется остаток от деления.

Я написал небольшой скрипт, который продемонстрирует эту проблему.

В нём генерируется 1 млн уникальных ключей, распределённых по пяти серверам с помощью хеширования по модулю и CRC32. Я эмулирую выход из строя одного из серверов и перераспределение данных по четырём оставшимся.

В результате этого «сбоя» примерно 80% ключей изменят своё местоположение, то есть окажутся недоступными для последующего чтения:

Total keys count: 1000000
Shards count range: 4, 5

Самое неприятное тут то, что 80% — это далеко не предел. С увеличением количества серверов процент потери кэша будет расти и дальше. Единственное исключение — это кратные изменения (с двух до четырёх, с девяти до трёх и т. п.), при которых потери будут меньше обычного, но в любом случае не менее половины от имеющегося кэша:

Я выложил на GitHub скрипт, с помощью которого я собрал данные, а также ipynb-файл, рисующий данную таблицу, и файлы с данными.

Для решения этой проблемы есть другой алгоритм разбивки — согласованное хеширование (англ. consistent hashing). Основная идея этого механизма очень простая: здесь добавляется дополнительное отображение ключей на слоты, количество которых заметно превышает количество серверов (их могут быть тысячи и даже больше). Сами слоты, в свою очередь, каким-то образом распределяются по серверам.

При изменении количества серверов количество слотов не меняется, но меняется распределение слотов между этими серверами:

• если один из серверов выходит из строя, то все слоты, которые к нему относились, распределяются между оставшимися;
• если добавляется новый сервер, то ему передаётся часть слотов от уже имеющихся серверов.

Обычно идею согласованного хеширования визуализируют с помощью колец, точки на окружностях которых показывают слоты или границы диапазонов слотов (в случае если этих слотов очень много). Вот простой пример перераспределения для ситуации с небольшим количеством слотов (60), которые изначально распределены по четырём серверам:

На картинке начального разбиения все слоты одного сервера расположены подряд, но в реальности это не обязательное условие — они могут быть расположены как угодно.

Основное преимущество этого способа перед предыдущим заключается в том, что здесь каждому серверу соответствует не одно значение, а целый диапазон, и при изменении количества серверов между ними перераспределяется гораздо меньшая часть ключей ( k / N , где k — общее количество ключей, а N — количество серверов).

Если вернуться к сценарию, который я использовал для демонстрации недостатка хеширования по модулю, то при той же ситуации с падением одного из пяти серверов (с одинаковым весом) и перераспределением ключей с него между оставшимися мы потерям не 80% кэша, а только 20%. Если считать, что изначально все данные находятся в кэше и все они будут запрошены, то эта разница означает, что при согласованном хешировании мы получим в четыре раза меньше запросов к базе данных.

Код, реализующий этот алгоритм, будет сложнее, чем код предыдущего, поэтому я не буду его приводить в статье. При желании его легко можно найти — на GitHub есть масса реализаций на самых разных языках.

Наряду с согласованным хешированием есть и другие способы решения этой проблемы (например, rendezvous hashing), но они гораздо менее распространены.

Вне зависимости от выбранного алгоритма выбор сервера на основе хеша ключа может работать плохо. Обычно в кэше находится не набор однотипных данных, а большое количество разнородных: кэшированные значения занимают разное место в памяти, запрашиваются с разной частотой, имеют разное время генерации, разную частоту обновлений и разное время жизни. При использовании хеширования вы не можете управлять тем, куда именно попадёт ключ, и в результате может получиться «перекос» как в объёме хранимых данных, так и в количестве запросов к ним, из-за чего поведение разных кэширующих серверов будет сильно различаться.

Чтобы решить эту проблему, необходимо «размазать» ключи так, чтобы разнородные данные были распределены между серверами более-менее однородно. Для этого для выбора сервера нужно использовать не ключ, а какой-то другой параметр, к которому нужно будет применить один из описанных подходов. Нельзя сказать, что это будет за параметр, поскольку это зависит от вашей модели данных.

В нашем случае почти все кэшируемые данные относятся к одному пользователю, поэтому мы используем User ID в качестве параметра шардирования данных в кэше. Благодаря этому у нас получается распределить данные более-менее равномерно. Кроме того, мы получаем бонус — возможность использования multi_get для загрузки сразу нескольких разных ключей с информацией о юзере (что мы используем в предзагрузке часто используемых данных для текущего пользователя). Если бы положение каждого ключа определялось динамически, то невозможно было бы использовать multi_get при таком сценарии, так как не было бы гарантии, что все запрашиваемые ключи относятся к одному серверу.

Параллельные запросы на обновление данных

Посмотрите на такой простой кусочек кода:

Что произойдёт при отсутствии запрашиваемых данных в кэше? Судя по коду, должен запуститься механизм, который достанет эти данные. Если код выполняется только в один поток, то всё будет хорошо: данные будут загружены, помещены в кэш и при следующем запросе взяты уже оттуда. А вот при работе в несколько параллельных потоков всё будет иначе: загрузка данных будет происходить не один раз, а несколько.

Выглядеть это будет примерно так:

На момент начала обработки запроса в процессе №2 данных в кэше ещё нет, но они уже читаются из базы данных в процессе №1. В этом примере проблема не такая существенная, ведь запроса всего два, но их может быть гораздо больше.

Количество параллельных загрузок зависит от количества параллельных пользователей и времени, которое требуется на загрузку необходимых данных.

Предположим, у вас есть какой-то функционал, использующий кэш с нагрузкой 200 запросов в секунду. Если на на загрузку данных нужно 50 мс, то за это время вы получите 50 / (1000 / 200) = 10 запросов.

То есть при отсутствии кэша один процесс начнёт загружать данные, и за время загрузки придут ещё девять запросов, которые не увидят данные в кэше и тоже станут их загружать.

Эта проблема называется cache stampede (русского аналога этого термина я не нашёл, дословно это можно перевести как «паническое бегство кэша», и картинка в начале статьи показывает пример этого действия в дикой природе), hit miss storm («шторм непопаданий в кэш») или dog-pile effect («эффект собачьей стаи»). Есть несколько способов её решения:

Блокировка перед началом выполнения операции пересчёта/ загрузки данных

Суть этого метода состоит в том, что при отсутствии данных в кэше процесс, который хочет их загрузить, должен захватить лок, который не даст сделать то же самое другим параллельно выполняющимся процессам. В случае memcached простейший способ блокировки — добавление ключа в тот же кэширующий сервер, в котором должны храниться сами закэшированные данные.

При этом варианте данные обновляются только в одном процессе, но нужно решить, что делать с процессами, которые попали в ситуацию с отсутствующим кэшем, но не смогли получить блокировку. Они могут отдавать ошибку или какое-то значение по умолчанию, ждать какое-то время, после чего пытаться получить данные ещё раз.

Кроме того, нужно тщательно выбирать время самой блокировки — его гарантированно должно хватить на то, чтобы загрузить данные из источника и положить в кэш. Если не хватит, то повторную загрузку данных может начать другой параллельный процесс. С другой стороны, если этот временной промежуток будет слишком большим и процесс, получивший блокировку, умрёт, не записав данные в кэш и не освободив блокировку, то другие процессы также не смогут получить эти данные до окончания времени блокировки.

Вынос обновлений в фон

Основная идея этого способа — разделение по разным процессам чтения данных из кэша и записи в него. В онлайн-процессах происходит только чтение данных из кэша, но не их загрузка, которая идёт только в отдельном фоновом процессе. Данный вариант делает невозможными параллельные обновления данных.

Этот способ требует дополнительных «расходов» на создание и мониторинг отдельного скрипта, пишущего данные в кэш, и синхронизации времени жизни записанного кэша и времени следующего запуска обновляющего его скрипта.

Этот вариант мы в Badoo используем, например, для счётчика общего количества пользователей, про который ещё пойдёт речь дальше.

Вероятностные методы обновления

Суть этих методов заключается в том, что данные в кэше обновляются не только при отсутствии, но и с какой-то вероятностью при их наличии. Это позволит обновлять их до того, как закэшированные данные «протухнут» и потребуются сразу всем процессам.

Для корректной работы такого механизма нужно, чтобы в начале срока жизни закэшированных данных вероятность пересчёта была небольшой, но постепенно увеличивалась. Добиться этого можно с помощью алгоритма XFetch, который использует экспоненциальное распределение. Его реализация выглядит примерно так:

В данном примере $ttl — это время жизни значения в кэше, $delta — время, которое потребовалось для генерации кэшируемого значения, $expiry — время, до которого значение в кэше будет валидным, $beta — параметр настройки алгоритма, изменяя который, можно влиять на вероятность пересчёта (чем он больше, тем более вероятен пересчёт при каждом запросе). Подробное описание этого алгоритма можно прочитать в white paper «Optimal Probabilistic Cache Stampede Prevention», ссылку на который вы найдёте в конце этого раздела.

Нужно понимать, что при использовании подобных вероятностных механизмов вы не исключаете параллельные обновления, а только снижаете их вероятность. Чтобы исключить их, можно «скрестить» несколько способов сразу (например, добавив блокировку перед обновлением).

«Холодный» старт и «прогревание» кэша

Нужно отметить, что проблема массового обновления данных из-за их отсутствия в кэше может быть вызвана не только большим количеством обновлений одного и того же ключа, но и большим количеством одновременных обновлений разных ключей. Например, такое может произойти, когда вы выкатываете новый «популярный» функционал с применением кэширования и фиксированным сроком жизни кэша.

В этом случае сразу после выкатки данные начнут загружаться (первое проявление проблемы), после чего попадут в кэш — и какое-то время всё будет хорошо, а после истечения срока жизни кэша все данные снова начнут загружаться и создавать повышенную нагрузку на базу данных.

От такой проблемы нельзя полностью избавиться, но можно «размазать» загрузки данных по времени, исключив тем самым резкое количество параллельных запросов к базе. Добиться этого можно несколькими способами:

• плавным включением нового функционала. Для этого необходим механизм, который позволит это сделать. Простейший вариант реализации — выкатывать новый функционал включённым на небольшую часть пользователей и постепенно её увеличивать. При таком сценарии не должно быть сразу большого вала обновлений, так как сначала функционал будет доступен только части пользователей, а по мере её увеличения кэш уже будет «прогрет».
• разным временем жизни разных элементов набора данных. Данный механизм можно использовать, только если система в состоянии выдержать пик, который наступит при выкатке всего функционала. Его особенность заключается в том, что при записи данных в кэш у каждого элемента будет своё время жизни, и благодаря этому вал обновлений сгладится гораздо быстрее за счёт распределения последующих обновления во времени. Простейший способ реализовать такой механизм — умножить время жизни кэша на какой-то случайный множитель:

Если по какой-то причине не хочется использовать случайное число, можно заменить его псевдослучайным значением, полученным с помощью хеш-функции на базе каких-нибудь данных (например, User ID).

Пример

Я написал небольшой скрипт, который эмулирует ситуацию «непрогретого» кэша.
В нём я воспроизвожу ситуацию, при которой пользователь при запросе загружает данные о себе (если их нет в кэше). Конечно, пример синтетический, но даже на нём можно увидеть разницу в поведении системы.

Вот как выглядит график количества hit miss-ов в ситуации с фиксированным (fixed_cache_misses_count) и различным (random_cache_misses_count) сроками жизни кэша:

Видно, что в начале работы в обоих случаях пики нагрузки очень заметны, но при использовании псевдослучайного времени жизни они сглаживаются гораздо быстрее.

«Горячие» ключи

Данные в кэше разнородные, некоторые из них могут запрашиваться очень часто. В этом случае проблемы могут создавать даже не параллельные обновления, а само количество чтений. Примером подобного ключа у нас является счётчик общего количества пользователей:

Этот счётчик — один из самых популярных ключей, и при использовании обычного подхода все запросы к нему будут идти на один сервер (поскольку это всего один ключ, а не множество однотипных), поведение которого может измениться и замедлить работу с другими ключами, хранящимися там же.

Чтобы решить эту проблему, нужно писать данные не в один кэширующий сервер, а сразу в несколько. В этом случае мы кратно снизим количество чтений этого ключа, но усложним его обновления и код выбора сервера — ведь нам нужно будет использовать отдельный механизм.

Мы в Badoo решаем эту проблему тем, что пишем данные во все кэширующие серверы сразу. Благодаря этому при чтении мы можем использовать общий механизм выбора сервера — в коде можно использовать обычный механизм шардирования по User ID, и при чтении не нужно ничего знать про специфику этого «горячего» ключа. В нашем случае это работает, поскольку у нас сравнительно немного серверов (примерно десять на площадку).

Если бы кэширующих серверов было намного больше, то этот способ мог бы быть не самым удобным — просто нет смысла дублировать сотни раз одни и те же данные. В таком случае можно было бы дублировать ключ не на все серверы, а только на их часть, но такой вариант требует чуть больше усилий.

Если вы используете определение сервера по ключу кэша, то можно добавить к нему ограниченное количество псевдослучайных значений (сделав из total_users_count что-то вроде t otal_users_count_1 , total_users_count_2 и т. д.). Подобный подход используется, например, в Etsy.

Если вы используете явные указания параметра шардирования, то просто передавайте туда разные псевдослучайные значения.

Главная проблема с обоими способами — убедиться, что разные значения действительно попадают на разные кэширующие серверы.

Сбои в работе

Система не может быть надёжной на 100%, поэтому нужно предусмотреть, как она будет вести себя при сбоях. Сбои могут быть как в работе самого кэша, так и в работе базы данных.

Про сбои в работе кэша я уже рассказывал в предыдущих разделах. Единственное, что можно добавить, — хорошо было бы предусмотреть возможность отключения части функционала на работающей системе. Это полезно, когда система не в состоянии справиться с пиком нагрузки.

При сбоях в работе базы данных и отсутствии кэша мы можем попасть в ситуацию cache stampede, про которую я тоже уже рассказывал раньше. Выйти из неё можно уже описанными способами, а можно записать в кэш заведомо некорректное значение с небольшим сроком жизни. В этом случае система сможет определить, что источник недоступен, и на какое-то время перестанет пытаться запрашивать данные.

Источник

Накопление большого объема баз данных влечет проблемы с производительностью сайта. Основной на то причиной является медленная обработка запросов. Здесь поможет многоуровневое кэширование. Кэш Битрикс имеет много сложных особенностей, из-за чего работать с ним не так просто. Перед работой необходимо внимательно ознакомиться с основными его параметрами.

GetUserGroupString(); 
 
// если кэш есть и он ещё не истек то
if($obCache->InitCache($life_time, $cache_id, "/")):
// получаем закэшированные переменные
    $vars = $obCache->GetVars();
$SECTION_TITLE = $vars["SECTION_TITLE"];
else :
// иначеобращаемсякбазе
    $arSection = GetIBlockSection($SECTION_ID);
    $SECTION_TITLE = $arSection["NAME"];
endif;
 
// добавляем пункт меню в навигационную цепочку
$APPLICATION->AddChainItem($SECTION_TITLE, $SECTION_URL."SECTION_ID=".$SECTION_ID);
 
// начинаем буферизирование вывода
if($obCache->StartDataCache()):
 
// выбираем из базы параметры элемента инфоблока
if($arIBlockElement = GetIBlockElement($ELEMENT_ID, $IBLOCK_TYPE)):
echo"
"; print_r($arIBlockElement); echo"
";

endif;
// записываем предварительно буферизированный вывод в файл кэша

// вместе с дополнительной переменной

$obCache->EndDataCache(array(

"SECTION_TITLE" => $SECTION_TITLE

));

endif;

?>
Здесь кэшируется HTMLи PHP переменная $SECTION_TITLE. Тип и структура PHP переменных произвольные. 
Что следует делать для отключения кэша на одной странице? Авторизуйтесь с административными правами и вызовите нужную страницу параметром 
 &clear_cache=Y (переменная clear_cache_session). Чтобы отключить кэш для всех страниц, просмотренных в рамках сессии, вызовите любую страницу параметром &clear_cache_session=Y.



  


                       
  






Привлекли 35.000.000 людей на 185 сайтов
Мы точно знаем, как увеличить онлайн–продажи


Применяем лучшие практики digital–продвижения как из вашей тематики, так и из смежных областей бизнеса. Именно это сделает вас на голову выше конкурентов и принесёт лиды и продажи.

Ваш сайт:

CPageCache
Этот класс использует все те же методы, что и CPhp, за исключением GetVars, CleanDir и AbortDataCache. Пример кэширования HTML с помощью класса CpageCache выглядит следующим образом:
GetUserGroupString(); 
 
// инициализируембуферизированиевывода
if($obCache->StartDataCache($life_time, $cache_id, "/")):
 
// выбираем из базы параметры элемента инфоблока
if($arIBlockElement = GetIBlockElement($ELEMENT_ID, $IBLOCK_TYPE)):
echo"
"; print_r($arIBlockElement); echo"
";

endif;
// записываем предварительно буферизированный вывод в файл кэша

$obCache->EndDataCache(); 
endif;

?>
Метод StartDataCache ищет валидный и не истекший файл кэша, подключает его и выводит на экран. В ином случае включается буферизация. Задается интервал времени в секундах, в течение которого файл кэша будет не истекшим и валидным. Ее результаты записываются в файл кэша методом EndDataCache. Этот же параметр сохраняет идентификатор конкретного экземпляра кэша. Если какие-то переменные способны повлиять на итог выполнения кэшируемого кода, то их значения включаются в этот идентификатор.
Почему разрастается папка кэша?
Результаты кэширования сохраняются в виде файлов в каталоге /bitrix/cache/. Если время кэширования не истекло, то вместо ресурсоемкого кода подключается заранее созданный файл кэша. Однако следует помнить, что неразумное использование кэширования приведет к серьезному разрастанию размера каталога /bitrix/cache/. Что делать в такой ситуации? Для начала стоит разобраться с основными причинами. 



  


                       
  




Очень большой и сложный сайт
Одной из причин увеличения объема папки кэша может быть большой вес вашего сайта. Допустим, интернет-магазин имеет 10 тысяч товаров в одной категории. При этом на одной странице размещено 10 товаров, а ее вес составляет 10Кб кэша. Если кэшировать каждую страницу по отдельности, то размер данных будет слишком большим. При 10 тыс. единиц по 10Кб получится 100Мб. При этом размер может быть и больше – тут все зависит от типа и особенностей верстки. 
Если подключено два вида отображения товаров (например, списком и плиткой), то размер кэша увеличится вдвое. Не стоит забывать и про фильтр, результаты которого также кэшируются. Получается больше 200 Мб на один только каталог при малом размере кэша. 
Если у вас сложный и объемный сайт, то проблема разрастания папки кэша решается двумя способами. Первый – выбор правильного времени кэширования, второй – увеличение дискового пространства. 
Неправильно определено время кэширования
Вторая популярная проблема связана с неграмотным расчетом времени кэширования. Допустим, у вас установлено время жизни кэша на 3 месяца. При этом за все это время на него никто не зашел. Особенно это проблемно при объемном кэше. Например, его размер – от 500Кб до 1 Мб. Храниться он будет довольно долго, даже если к нему не было обращения.
Решение тут простое: нужно грамотно подобрать время кэширования и расставить параметры компонентов. Возможно, время придется сократить, а некоторые данные и вовсе не кэшировать.
Неправильно настроен кэш собственных или битриксовых компонентов
Чтобы не возникало проблем с объемами данных, заранее проверяйте параметры кэширования в компонентах. Ошибки могут быть как в собственных, так и в стандартных настройках. Внимательно изучите, на основе чего формируются собственные компоненты. В некоторых случаях их придется переписать.
Простой пример: передаваемые кэшу данные меню начнут сильно увеличиваться в объемах и кэшироваться на длительное время, если в Битриксе указать MENU_CACHE_VARS. Этот метод создает кэш под каждый набор параметров. 
Ошибка с механизмом очищения кэша
Еще одна причина разрастания данных, которая решается сокращением времени кэширования и проверкой всех параметров. Например, кэш не успевает удаляться, из-за чего накапливается в больших объемах. Как следствие – порождение дублей одного и того же кэша в разных компонентах.
Как сбросить кэш?
Чтобы почистить кэш Битрикс, необходимо зайти в панель администратора, раздел «Автокэширование» — «очистка файлов кэша». Далее нужно удалить все файлы в папке /bitrix/cache/.

Очистка файлов кэша в Битрикс



  


                       
  




Второй вариант – удаление данных в панели инструментов для конкретной страницы:

Удаление кэша для конкретной страницы в Битрикс
Наконец, в настройках компонента для конкретного компонента:

Настройка кэша компонента в Bitrix
Для композитного сайта можно сбросить кэш в разделе «Настройки» — «Настройки продукта» — «Композитный сайт» — «Страницы».
Об особенностях внедрения этой технологии мы писали в статье об оптимизации сайта на «Битриксе».
Есть еще один, более простой вариант действий для сбрасывания кэша. Нужно выполнить PHP-код:
$obCache = newCPHPCache();
$obCache->CleanDir();
Все файлы кэша Битрикс будут промаркированы на удаление. Пути к файлам кэша изменятся, а значит, весь старый кэш сайта попросту не будет восприниматься. Это можно считать за моментальную очистку кэша. Останется лишь удалить указанные файлы. 
Основным преимуществом такого метода считается отсутствие необходимости держать окно браузера открытым и ждать полного удаления файлов. Система ликвидирует их порционно, по несколько файлов за итерацию. 
Настройка кэширования сайта
Система Bitrix включает разные технологии кэширования:



  


                       
  





Автокэширование. Динамические компоненты, используемые для создания веб-страниц, имеют встроенную поддержку управления кэшированием. Технология включается соответствующей кнопкой на административной панели. 
Неуправляемое кэширование. Дает возможность установить правила кэширования ресурсоемких частей страниц. Результаты кэширования сохранятся в виде файлов в каталоге bitrix/cache/. Кэш здесь не перестраивается автоматически после модификации исходных данных, а действует в течение определенного времени после создания. В связи с этим он и называется неуправляемым. 
Управляемое кэширование. Кэшированные данные обновляются незаметно для пользователя. Происходит это по мере обновления первичных данных, то есть управляются они самими данными. Такая технология используется в основном ядре продукта. 
Кэширование меню. Здесь используется специальный алгоритм, учитывающий, что большинство посетителей — это незарегистрированные пользователи. Кэш меню управляемый. Оно обновится, если отредактировать меню или изменить права доступа к файлам и папкам через API и административный интерфейс.

 Отдельно следует обозначить кэширование графических файлов и HTML кэширование. 

Что такое кеш и для чего он нужен

Кеш — специальная область на диске или в операционной памяти компьютера, предназначенная для временного хранения информации и для часто используемых данных и команд. Чаще всего используют файловый кеш, так как он самый простой. Обработанные данные сохраняются в файл на диске, и в будущем данные не обрабатываются, а сразу читаются готовые из этого файла.

При разработке приложений чаще всего узким местом является база данных. Когда данных в таблице много, чтение одних и тех же данных происходит часто — имеет смысл запоминать готовые выборки.

Представим пример, есть страница списка новостей в какой-то категории, первая страница. На странице требуется проверить права доступа пользователя, получить только активные элементы из базы данных, учесть раздел. Новости добавляются 1-2 раза в день, при этом каждый час на странице бывают сотни посетителей.

Чтобы снизить нагрузку на сервер и ускорить страницу, оптимальным вариантом является сохранить результат всех выборок из базы данных и выводить пользователям уже сгенерированный заранее контент. А кеш обновлять только при добавлении новостей.

Принцип работы кеша в Битрикс

В битрикс есть несколько реализаций кеша:

• Единый класс в новом API D7 BitrixMainDataCache
• Классы из старого ядра:
  — CPageCache — для кеширования только HTML
  — CPHPCache — для кеширования HTML и переменных

В начале использования кеша мы должны:

1. Указать время кеширования. По истечению этого срока, старый кеш удалится и создастся новый.
2. Указать имя кеша и папку хранения. Имя — уникально для каждого элемента, папка может быть общей для однотипных элементов. Удалив нужную папку, мы удалим весь кеш какой-то сущности.

Далее проверяем имеющийся кеш по нашим параметрам. Если кеша нет, запускаем кеширование и выполняем логику приложения. В случае, когда произошла ошибка и кеш сохранять не надо — можно отменить начатое кеширование. В конце сохраняем результат.

При следующем обращении к функционалу, логика запущена не будет, а результат будет получен от предыдущего выполнения. В этом случае сохраняются ресурсы сервера, а клиент получает ответ быстрее.

Группируются данные по папкам. Если у нас кеша много, но очищать надо всё разом — мы можем сохранять всё в одной папке.

Еще в Битрикс можно помечать кеш тегами.

От одной сущности в базе данных может зависеть много файлов кеша и при её редактировании, надо обновить все данные. Чтобы не помнить все зависимости сущности, кеш при создании можно помечать тегами.

В новом API D7 в Битрикс появился замечательный класс BitrixMainDataCache. Он позволяет кешировать HTML вывод и переменные.

Пример работы с классом:

use BitrixMainDataCache;

$cache = Cache::createInstance(); // Служба кеширования

$cachePath = 'mycachepath'; // папка, в которой лежит кеш
$cacheTtl = 3600; // срок годности кеша (в секундах)
$cacheKey = 'mycachekey'; // имя кеша

if ($cache->initCache($cacheTtl, $cacheKey, $cachePath))
{
    $vars = $cache->getVars(); // Получаем переменные
    $cache->output(); // Выводим HTML пользователю в браузер
}
elseif ($cache->startDataCache())
{
    $vars = [
        'date' => date('r'),
        'rand' => rand(0, 9999), // Если данные закешированы - число не будет меняться
    ];
    
	echo '<b>Какие-то данные выводятся пользователю (Если кеш не работает, то это число будет меняться: '.rand(0, 9999).')</b>';
	
    // Если что-то пошло не так и решили кеш не записывать
    $cacheInvalid = false;
    if ($cacheInvalid)
    {
        $cache->abortDataCache();
    }
    
    // Всё хорошо, записываем кеш
    $cache->endDataCache($vars);
}

// Данные будут обновляться раз в час
print_r($vars);

Чтобы проверить что всё действительно работает:

1. Создайте новую страницу на сайте
2. В контент вставьте код, который выше
3. Откройте страницу в своем браузере (проверьте чтобы в адресной строке не было параметра clear_cache)
4. Вы увидите что числа, которые в коде заданы случайными, замирают и не обновляются с обновлением страницы. Это потому что код выполнился 1 раз и результат сохранился.
5. Если на панели эрмитажа нажать Сбросить кеш — то цифры обновятся

Получение экземпляра класса BitrixMainDataCache

$cache = BitrixMainDataCache::createInstance()

Методы класса BitrixMainDataCache

Статические методы:

1. BitrixMainDataCache::createInstance() — создает объект для последующей работы не статических методов.
2. BitrixMainDataCache::clearCache($initDir) — очищает кеш в папке /bitrix/cache/$initDir.

Не статические методы:

1. $cache->initCache($TTL, $uniqueString, $initDir = false, $baseDir = «cache») — инициализация кеша. Проверяет существование кеша, вычитывает данные.

   $TTL — время жизни в секундах
   $uniqueString — уникальное имя
   $initDir — папка, где будет кеш (внутри $baseDir). Если не указать, то будет браться из текущей запрошенной страницы -> для каждой отдельной страницы будет создаваться новый кеш, хотя данные там одни и те же -> объем кеша будет огромный, а пользы будет мало. Рекомендуется всегда указывать папку.
   $baseDir — папка, внутри /bitrix. Менять не рекомендуется, потому что кеш должен храниться в /bitrix/cache.

2. $cache->startDataCache($TTL = false, $uniqueString = false, $initDir = false, $vars = array(), $baseDir = «cache») — начинает процесс кеширования. Дальше данные, которые выводятся в браузер, будут записываться (используется буфер вывода PHP).

   Все параметры как у initCache, только есть еще $vars
   $vars — переменные, которые сохранятся в кеш. Далее в коде переменные можно еще передать в endDataCache(). Параметр избыточный, передавать сюда данные не рекомендуется.

   Если вы вызывали initCache(), то параметры в startDataCache() передавать уже не стоит, вызывайте без параметров.

3. $cache->abortDataCache() — останавливает кеширование.
4. $cache->endDataCache($vars = false) — сохраняет кеш.

   $vars — переменны, которые стоит сохранить. Если переменные передаются сюда, то переданные в startDataCache() — игнорируются.

5. $cache->output() — выводит в браузер HTML из кеша.
6. $cache->getVars() — получает переменные из кеша.
7. $cache->clean($uniqueString, $initDir = false, $baseDir = «cache») — удаляет кеш с именем $uniqueString в папке $initDir.
8. $cache->cleanDir($initDir = false, $baseDir = «cache») — удаляет весь кеш в папке $initDir.

Мы можем не использовать вызов $cache->output(), если работаем только с переменными. Если работаем только с HTML — так же можем не вызывать $cache->getVars().

HTML не требуется передавать в какую-то функцию, чтобы он попал в кеш, просто отдавайте в браузер. Переменные можно сохранять не только скалярные, а все, которые можно сериализовать (массивы, объекты…) (О сериализации на php.net).

Хранение кеша по умолчанию в /bitrix/cache.

Важно знать. Чем больше файлов кеша в одной папке верхнего уровня, тем сильнее тормозит очистка кеша и бывает чтение. Поэтому старайтесь группировать кеш по папкам и не создавать их папки каждый раз уникальные.

Тегированный кеш в Битрикс D7 (он же Сache Dependencies)

В дополнение к основному классу кеширования, есть служба для установки тегов на кеш.

Рассмотрим пример с инфоблоком. Есть инфоблок Новости (ID 4), данные из него выводятся на главной странице, на странице списка новостей, так же для каждой новости есть детальная страница. Это всё отдельные файлы кеша. Когда мы добавляем какую-то новость, мы не знаем кеш каких страниц надо сбросить. API инфоблока говорит сбросить кеш по тегу iblock_id_4, а к тегу уже привязаны десятки файлов, которые удаляются.

Своего кеша у taggedCache нет, теги хранятся в базе данные в таблице b_cache_tag.

Пример работы кеширования с тегами:

use BitrixMainDataCache;
use BitrixMainApplication;

$cache = Cache::createInstance(); // Служба кеширования
$taggedCache = Application::getInstance()->getTaggedCache(); // Служба пометки кеша тегами

/*
 * Чтобы тегированный кеш нашел что ему сбрасывать, необходим
 * одинаковый путь в $cache->initCache() и  $taggedCache->startTagCache()
 * У нас путь указан в $cachePath
 */
$cachePath = 'mycachepath';
$cacheTtl = 3600;
$cacheKey = 'mycachekey';

if ($cache->initCache($cacheTtl, $cacheKey, $cachePath)) {
    $vars = $cache->getVars();

    /*
     * Еще тут можно вывести данные в браузер, через $cache->output();
     * Тогда получится замена классу CPageCache
     */
} elseif ($cache->startDataCache()) {
    // Начинаем записывать теги
    $taggedCache->startTagCache($cachePath);
    $vars = [
        'date' => date('r'),
        'rand' => rand(0, 9999), // Если данные закешированы - число не будет меняться
    ];

    // Добавляем теги

    // Кеш сбрасывать при изменении данных в инфоблоке с ID 1
    $taggedCache->registerTag('iblock_id_1');

    // Кеш сбрасывать при изменении данных в инфоблоке с ID 2
    $taggedCache->registerTag('iblock_id_2');

    // Если что-то пошло не так и решили кеш не записывать
    $cacheInvalid = false;
    if ($cacheInvalid) {
        $taggedCache->abortTagCache();
        $cache->abortDataCache();
    }

    // Всё хорошо, записываем кеш
    $taggedCache->endTagCache();
    $cache->endDataCache($vars);
}

// Данные будут обновляться раз в час или при обновлении данных в инфоблоках 1 и 2
print_r($vars);

Очистка кеша по тегу:

use BitrixMainApplication;

$taggedCache = Application::getInstance()->getTaggedCache(); // Служба пометки кеша тегами

/*
 * Где-то на отдельной странице чистим кеш по тегу.
 * В данному случае очистится кеш, который зависит от 2 инфоблока
 */
$taggedCache->clearByTag('iblock_id_2');

Получение экземпляра класса taggedCache:

$taggedCache = BitrixMainApplication::getInstance()->getTaggedCache();

Методы класса тегированного кеша

1. $taggedCache->startTagCache($relativePath) — путь, который будет очищаться при удалении кеша по тегу. Путь передавать тот же, что и в $cache->initCache().
2. $taggedCache->endTagCache() — окончание. Сохраняет привязку путей к тегам в базу данных.
3. $taggedCache->abortTagCache() — останавливает кеширование. Вызывать когда запущено кеширование, но оно уже не требуется.
4. $taggedCache->registerTag($tag) — привязывает тег к пути кеша, указанному ранее при вызове startTagCache().
5. $taggedCache->clearByTag($tag) — очистка кеша по тегу.

Стандартные теги в Битрикс

Модуль Универсальные списки (lists)
LISTS_ELEMENT_LIVE_FEED — помечается, но не чистится
lists_list_{$iblockId} — очищается при редактировании списка, который работает через инфоблок $iblockId
lists_list_any — чистится при редактировании любого списка

Модуль Веб-мессенджер (im)
IM_CONTACT_LIST — при изменении цвета статуса пользователя

Модуль Блог (blog)
blog_post_{$postId} — при изменении поста
blog_post_getsocnetperms_{$postId} — при изменении прав поста (при присваивании определенным постам привязок к рабочим группам)

Модуль Обучение (learning)
{$entityTypeId}{$entityId} — при добавлении оценки сущностям, чьи $entityTypeId равны LEARN_CHAPTER, LEARN_LESSON, LEARN_COURSE. LEARN_COURSE{$courseId} — При обновлении курса
LEARNING_GROUP_{(int) $groupId / 100} — обновление кеша сотни группы. При добавлении/изменении/удалении группы
LEARNING_GROUP — При добавлении/изменении/удалении групп

Модуль rest
bitrix24_left_menu — при смене прав приложения через BitrixRestAppTable::setAccess()

Модуль wiki
wiki_{$wikiId} — при изменении вики страницы

Модуль forum
forum_{$forumId}
forum_topic_{$topicId}
forum_msg_count{$forumId} — при изменений сообщений форума

Модуль инфоблоков (iblock)
iblock_property_enum_{$propertyId} — при изменении свойства типа перечисление
iblock_id_new — при добавлении инфоблоков
iblock_id_{$iblockId} — при изменении инфоблока

Модуль социальной сети (socialnetwork)
SONET_LOG_{$logId} — при изменении записи в живой ленте
sonet_features_{$entityType}_{$entityId} — при добавлении функционала группе sonet_feature_{$featureId} — при добавлении права на функционал
sonet_features2perms_{$permId} — при удалении права на функционал
sonet_search_{$entityType}_{$entityId}
sonet_user2group_G{$groupId} — при изменении членства пользователей в группах. При удалении группы sonet_user2group_U{$userId} — при изменении членства пользователей в группах
sonet_user2group — при изменении членства пользователей в группах. При удалении группы sonet_group_view_U{$userId}
sonet_group_{$groupId} — при удалении группы
sonet_group — при удалении группы
sonet_group_activity — при установке активности группы
sonet_subscription_{$subscriptionCode} — при добавлении, обновлении подписки. При удалении подписки с указанием кода. При удалении через указание ID не вызывается
sonet_subscription — при удалении всех подписок некоего пользователя
SONET_LOG_FOLLOW_{$userId} — при изменении подписок пользователя в живой ленте
blogpost_important_all — при редактировании важных записей
{$optionName}{$postId} — при редактировании опций блога пользователя
{$optionName}{$postId}_{$userId}} — при редактировании опций блога пользователя {$optionName}_USER_{$userId}} — при редактировании опций блога пользователя

Модуль calendar
calendar_user_{$userId} — при изменении событий в календаре пользователя
CALENDAR_EVENT_LIST — при изменении раздела в календаре

Модуль Интернет магазин (sale)
sale-location-data — при изменении местоположений

Главный модуль (main)
RV_CACHE — при удалении пользователем оценки
{$componentName} — при очистке кеша компонента
USER_CARD_{$chunkNum} — при изменении пользователя, где $chunkNum = (int) $userId / TAGGED_user_card_size; Кеш не на отдельных пользователей, а на пачку
USER_CARD — при редактировании пользователя с битриксовой авторизацией
EXTERNAL_USER_CARD — при редактировании пользователя с внешней авторизацией
USER_NAME_{$userId} — при изменении пользователя. При обновлении может вызываться не всегда, а только если передано хотя бы одно из следующих полей: NAME, LAST_NAME, SECOND_NAME, ACTIVE, LOGIN, EMAIL, PERSONAL_GENDER, PERSONAL_PHOTO, WORK_POSITION, PERSONAL_PROFESSION, PERSONAL_WWW, PERSONAL_BIRTHDAY, TITLE, EXTERNAL_AUTH_ID, UF_DEPARTMENT, AUTO_TIME_ZONE, TIME_ZONE, TIME_ZONE_OFFSET

Модуль голосований (vote)
vote_form_channel_{$voteId} — при изменении каналов голосования
vote_form_vote_{$voteId} — при изменении голоса, вопросов
vote_form_question_{$voteId} — при изменении вопросов, ответов
vote_form_answer_{$voteId} — устаревшее

Модуль landing
landing_page_{$landingId} — при изменении лендинга

Модуль веб форм (form)
form_{$formId} — при изменении формы, где {$formId} — ID формы.

Что делать, если тегов не хватает

Если вам нужны свои теги, добавляйте события, в которых сбрасывайте кеш по своему тегу.

Например, нам нужен сброс кеша при редактировании сайтов.

Добавим в init.php такой код:

AddEventHandler("main", "OnSiteDelete", "clearSiteCacheByTag", 10000);
AddEventHandler("main", "OnBeforeSiteAdd", "clearSiteCacheByTag", 10000);
AddEventHandler("main", "OnBeforeSiteUpdate", "clearSiteCacheByTag", 10000);

function clearSiteCacheByTag() {
	$taggedCache = BitrixMainApplication::getInstance()->getTaggedCache();
	$taggedCache->clearByTag('site_edit');
}

Теперь при создании, обновлении и удалении сайтов будет удаляться весь кеш по тегу site_edit.

Управляемый кеш (managed cache)

Почему этот кеш называется управляемый — не ясно, управлять им особо не выходит. Managed cache в Битрикс это такая прослойка над обычным классом кеширования для более быстрой работы и компактного кода. Используется чаще всего для кеширования выборок отдельных таблиц.

Сразу начну с минусов:

1. К этому кешу не привязать теги (без горы костылей).
2. В старых версиях (где-то до 19 версии) при вызове cleanAll() управляемого кеша, удаляется так же весь кеш, на который установлены теги.

Простой пример работы с классом:

$managedCache = BitrixMainApplication::getInstance()->getManagedCache();

$uniqId = 'my_cache_key'; // ключ, по которому сохраняем и получаем данные
$ttl = 30; // время жизни кеша

$managedCache->read($ttl, $uniqId); // считываем кеш с диска

$res = $managedCache->get($uniqId); // получаем данные из считанного файла
if ($res === false) { // если данных нет
    $res = date('r'); // то генерируем данные, тут, например, у нас тяжелая логика

    $managedCache->set($uniqId, $res); // сохраняем данные (пока будут храниться в памяти)
}

var_dump($res); // работаем с данными

В примере выше всё просто. Считываем данные, если их нет — с помощью какой-то вашей тяжелой логики генерируем, сохраняем в кеш. В следующий раз, когда данные понадобятся, если срок годности кеша еще не истечет, то получим их из кеша, сэкономив ресурсы.

Сохранение данных на диск происходит в эпилоге битрикс (заключительная часть после отработки логики страницы). Если данные большие, имеет смысл вместо функции set() использовать setImmediate(), которая сразу сохраняет данные и очищает память.

Крупные недочеты:

1. Пока на диске есть кеш по вашему ключу, новые данные сохранить не получится. Надо сперва удалить старые, а потом вызвать read(), хотя мы точно знаем что данных нет. Read() надо вызывать, потому что там устанавливается ttl, а он обязателен для сохранения.
2. В функции getImmediate() требуется указывать ttl, хотя он не используется. TTL нужен только при сохранении кеша. При том TTL не хватает при вызове setImmediate(), там то он нужен. Но так как setImmediate() не принимает в параметрах TTL, перед его вызовом требуется вызов read() для указания TTL.

В остальном работать можно.

Получение, замена кеша с использованием get/set функций.

$managedCache = BitrixMainApplication::getInstance()->getManagedCache();

$uniqId = 'my_table2';
$ttl = 30;

$managedCache->read($ttl, $uniqId);

// Получить данные из заранее считанного файла
$res = $managedCache->get($uniqId);
var_dump($res);

$dataIsValid = false;
if (!$dataIsValid) {
    $managedCache->clean($uniqId);
    $managedCache->read(900, $uniqId);

    // Сохранит в файл при окончании работы скрипта Битрикс
    $managedCache->set($uniqId, [
        'data_table_2' => rand(0, 999) . date(' :: r'),
    ]);
}

Получение, замена кеша с использованием getImmediate/setImmediate функций.

$uniqId = 'my_table3';
$ttl = 30;

// Считать файл и получить данные. Информация о считанном файле не сохраняется, поэтому, если вы захотите записать данные, придется всё равно вызывать read(). $ttl тут ни на что не влияет, параметр этот лишний
$res = $managedCache->getImmediate($ttl, $uniqId);
var_dump($res);

$dataIsValid = false;
if (!$dataIsValid) {
    // Вызов clean() очищает ресурсы после работы, поэтому если хотите после работать с кешем, то надо заново вызывать read()
    $managedCache->clean($uniqId);
    $managedCache->read(900, $uniqId);

    // Сохранит в файл немедленно. Перед этим вызовом обязателен вызов read()
    $managedCache->setImmediate($uniqId, [
        'data_table_3' => rand(0, 999) . date(' :: r'),
    ]);
}

Получение экземпляра класса managedCache:

$managedCache = BitrixMainApplication::getInstance()->getManagedCache();

Методы класса BitrixMainDataManagedCache:

1. $managedCache->read($ttl, $uniqueId, $tableId = false) — читает файл кеша, на случай если мы какие-то данные добавим. $ttl — время жизни, $uniqueId — уникальное имя, $tableId — папка в которой сохранится файл (относительно /bitrix/managed_cache). Папку указывать не обязательно.
2. $managedCache->getImmediate($ttl, $uniqueId, $tableId = false) — получение данных из кеша без предварительного считывания. $ttl — ни на что не влияет, не понятно для чего добавили его, остальное как в пункте 1.
3. $managedCache->get($uniqueId) — получить данные, которые должны быть предварительно считаны с помощью read функции из пункта 1.
4. $managedCache->set($uniqueId, $val) — добавление данных по имени $uniqueId. Чтобы данные добавились и сохранились, предварительно надо вызвать read из пункта 1. Значение может быть как скалярным значением, так и другим, которое можно сериализовать (О сериализации на php.net). Данные сохраняются на диск при подключении эпилога.
5. $managedCache->setImmediate($uniqueId, $val) — установка значения с последующим моментальным сохранением данных на диск, предварительно должна быть вызвано read(). Буфер при этом очищается и если вы снова захотите работать с $uniqueId, то надо будет вызвать заново read().
6. $managedCache->clean($uniqueId, $tableId = false) — удаление кеша по имени и папке
7. $managedCache->cleanDir($tableId) — удаление всех кешей в папке
8. $managedCache->cleanAll() — удаление всего управляемого кеша. Где-то до 19 версии битрикс удаляется почему-то еще и весь тегированный кеш.
9. BitrixMainDataManagedCache::finalize() — сохранение данных на диск. Автоматически вызывается в эпилоге битрикса.

Кеширование ORM запросов и Highload блоков.

При разработке модулей часто требуется хранение данных в базе данных, операции при этом одни и те же: Create, Read, Update, Delete (создание, чтение, обновление и удаление данных). Для быстрой работы с новыми таблицами и стандартизированного подхода создан ORM. Оно надо чтобы не писать каждый раз заново логику валидации данных, генерацию запросов, API получения данных, создания событий.

Для реализации этих целей введены понятия:

1. Cущности (BitrixMainEntityBase);
2. Поля сущностей (BitrixMainEntityField и его наследники);
3. Датаменеджер (BitrixMainEntityDataManager).

Сущность описывает таблицу в БД. Датаменеджер производит операции выборки и изменения сущности.

Более подробно можно почитать в курсе битрикса про ORM. А мы рассмотрим кеш.

D7 классы можно определить по наличию пространства имен, которое отделяется обратными слешами от имени класса. Например, в старом API работа с группами пользователей идет через класс CGroup, в новом же через BitrixMainGroupTable. Наличие символов «» говорит нам о том, что это новый API. В D7 большинство сущностей построено на основе ORM, а это нам говорит что наконец у всех классов единая сигнатура методов. Больше не будет такого у что одних первый параметр это сортировка, у других сортировка это второй параметр, а первый это фильтр…

При использовании новых запросов можно передавать в общем наборе параметров так же ключ cache с указанием ttl. Если так сделать, то в первый раз запрос пойдет до базы данных, результат сохранится в кеш, при следующем вызове этого же запроса, данные вернутся из кеша.

$res = BitrixMainGroupTable::getList([
    'cache' => ['ttl' => 3600],
]);

При добавлении/изменении/удалении данных кеш автоматически сбрасывается.

Что не так с HL блоками

Хайлоад блоки тоже работают на основе ORM, та же сигнатура методов, но вот методы изменения данных переопределены и сброс кеширования туда не добавлен! Почему? Загадка…

То есть используете вы код:

$hlbl = 2; // Указываем ID нашего highloadblock блока к которому будет делать запросы.
$hlblock = BitrixHighloadblockHighloadBlockTable::getById($hlbl)->fetch();
$entity = BitrixHighloadblockHighloadBlockTable::compileEntity($hlblock);

$entity_data_class = $entity->getDataClass();

$rsData = $entity_data_class::getList([
    'cache' => ['ttl' => 360000],
]);

while($arData = $rsData->Fetch()){
    var_dump($arData);
}

Изменяете как-то данные, а кеш по прежнему дает вам устаревшие значения до тех пор, пока не истечет срок его годности.

Решается проблема добавлением такого кода в init.php:

$eventManager = BitrixMainEventManager::getInstance();

$eventManager->addEventHandler('', 'BrandReferenceOnAfterAdd', 'clearBrandReferenceCache');
$eventManager->addEventHandler('', 'BrandReferenceOnAfterUpdate', 'clearBrandReferenceCache');
$eventManager->addEventHandler('', 'BrandReferenceOnAfterDelete', 'clearBrandReferenceCache');

function clearBrandReferenceCache($event)
{
    $event->getEntity()->cleanCache();
}

Где BrandReference — имя вашего HL блока. Данный код удаляет кеш HL блока после изменения данных.

Я бы такое событие повесил сразу на все хайлоад блоки, но так не получается, надо знать и перечислять все имена блоков.

Старый API кеширования

Использовать уже не стоит эти старые классы, есть удобные новые. Описываю для пониманию работы старого кода. Вместо единого нового класса есть 2 старых: CPageCache — для кеширования только HTML, — CPHPCache — для кеширования HTML и переменных.

Получение экземпляра класса CPHPCache

$obCache = new CPHPCache;

Методы CPHPCache:

1. $obCache->InitCache($TTL, $uniq_str, $initdir=false, $basedir = «cache») — проверяет наличие кеша на диске, инициализирует параметры. Переданные сюда параметры можно уже не передавать в StartDataCache().
2. $obCache->StartDataCache($TTL=false, $uniq_str=false, $initdir=false, $vars=Array(), $basedir = «cache») — где
   $TTL — время жизни кеша
   $uniq_str -имя
   $initdir — папка относительно $basedir
   $vars — переменные, которые в будущем могут сохраниться в кеш
   $basedir — папка относительно /bitrix, лучше не трогать
3. $obCache->EndDataCache($vars=false) — завершает кеширование. Сохраняет HTML вывод, который был после начала кеширования, и переменные из $vars на диск.
4. $obCache->GetVars() — получает сохраненные переменные из кеша.
5. $obCache->Output() — выводит сохраненный в кеше HTML.
6. $obCache->AbortDataCache() — отменяет начатое кеширование.

Пример работы с классом:

// создаем объект
$obCache = new CPHPCache;

// время кеширования - 30 минут
$life_time = 30*60;

// формируем идентификатор кеша в зависимости от всех параметров
// которые могут повлиять на результирующий HTML
$cache_id = $ELEMENT_ID.$USER->GetUserGroupString();

if($obCache->InitCache($life_time, $cache_id, "/")) {
    // получаем закешированные переменные
    $vars = $obCache->GetVars();

    // выводим на экран содержимое кеша
    $obCache->Output();
} else if ($obCache->StartDataCache()) {
    $vars = [
        /* какие-то данные, например, из базы */
    ];

    echo '<b>Какие-то данные, которые попадут в кеш</b>';
    
    $obCache->EndDataCache($vars);
}

В CPageCache всё аналогично классу CPHPCache, только нет работы с переменными.

Получение экземпляра класса CPageCache:

$obCache = new CPageCache;

Методы класса:

1. $obCache->InitCache($TTL, $uniq_str, $initdir = false, $basedir = «cache»)
2. $obCache->StartDataCache($TTL, $uniq_str=false, $initdir=false, $basedir = «cache»)
3. $obCache->EndDataCache()
4. $obCache->Output()
5. $obCache->AbortDataCache()

Кеш в компонентах

На основе описанных ниже принципов работают все стандартные компоненты и некоторые от самостоятельных разработчиков. Раздел описывает логику таких компонентов, как bitrix:news.list, bitrix:news.detail, bitrix:catalog.section, bitrix:catalog.element и других.

Для работы кеша в параметры вызова компонента добавляются параметры:

"CACHE_GROUPS" => "N", // Для разных групп пользователей - один кеш
"CACHE_TIME" => "36000000", // Время кеширования в секундах
"CACHE_TYPE" => "A", // Тип кеширования. N - выключено, A - включено, кеш автоматически сбрасывается при изменении данных, Y - включено, но кеш сам не сбрасывается

Важно понимать, что комплексные компоненты не используют кеширование. Они принимают запросы и распределяют между простыми компонентами, которые в свою очередь уже кешируют данные.

В компоненте, если предусмотрено кеширование, всегда вызывается метод startResultCache() класса CBitrixComponent. Внутри этого метода, если включено в параметрах вызова компонента, запускается кеширование (обычное и сразу тегированное). Теги нигде тут не устанавливаются.

Если в кешируемой области используется получение данных из инфоблоков, то теги на инфоблок устанавливаются внутри метода Fetch() API инфоблока. Метод GetNext() тоже работает поверх Fetch(), так что тоже ставит тег. Поэтому при работе с инфоблоками, дополнительно ставить теги не требуется.

Если требуется установить дополнительные теги в компоненте, то делать это стоит после вызова startResultCache() и до includeComponentTemplate().

В общем виде код компонента выглядит так:

<?
if(!defined("B_PROLOG_INCLUDED") || B_PROLOG_INCLUDED!==true) die();

/*
 * Валидация параметров
 */

if(!isset($arParams["CACHE_TIME"]))
    $arParams["CACHE_TIME"] = 36000000;

$arParams["IBLOCK_TYPE"] = trim($arParams["IBLOCK_TYPE"]);
$arParams["IBLOCK_ID"] = trim($arParams["IBLOCK_ID"]);
$arParams["SORT_BY1"] = trim($arParams["SORT_BY1"]);

// Требуется для того, чтобы кеширование сохранило данные из $arResult
$arResult = &$this->arResult;

/*
 * Начало кеширования
 * 
 * Если кеш уже существует - startResultCache() возвращает false,
 * заполняет $arResult, выводит верстку.
 */
if($this->startResultCache(...))
{
    /*
     * Код тут выполняется только когда нет кеша
     */
    $iterator = CIBlockElement::GetList(...);
    
    /*
     * При вызове GetNext() кеш помечается тегом инфоблока
     */
	while ($arItem = $iterator->GetNext()) {
        $arResult['ITEMS'][] = $arItem;
    }
	$this->setResultCacheKeys(array(
		"ID",
		"IBLOCK_TYPE_ID",
		"NAME",
		"SECTION",
		"ELEMENTS",
	));
	$this->includeComponentTemplate();
}

/*
 * Устанавливаются параметры, которые надо выполнять всегда, в независимости от наличия кеша
 */
$APPLICATION->SetTitle($arResult["NAME"]);

Кеширование завершается и сохраняется на диск внутри вызова CBitrixComponent::includeComponentTemplate() . Записывается HTML вывод шаблона, данные из $arResult (по фильтру указанному при вызове CBitrixComponent::setResultCacheKeys()), а так же адреса стилей, файлов js, component_epilog.php, в том числе от вложенных компонентов.

Так как шаблон подключается внутри секции кеширования, в нем тоже можно вызывать CBitrixComponent::setResultCacheKeys(), указывать теги и даже отменять кеширование.

В шаблоне компонента можно создать файлы script.js и style.css. Они будут подключаться автоматически при подключении компонента. Их подключение будет происходить даже когда компонент закеширован.

Методы класса компонентов для кеширования:

Методы класса используются одни и те же что при работе через файл component.php, что через class.php. В случае работы через class.php используются $this->arResult и $this->arParams.

1. $this->startResultCache($cacheTime = false, $additionalCacheID = false, $cachePath = false) — проверяет наличие кеша компонента, если есть, то заполняет переменную $arResult, выводит HTML в браузер и возвращает false. Если кеша нет, то начинает кеширование, запускает тегированный кеш, возвращает true.
   Так же возвращает true, но не начинает кеширование при выключенном кешировании или если кеширование выбрано авто, но в настройках отключено кеширование компонентов.

   $cacheTime — время кеширования, если передано false, то берется из $arParams[‘CACHE_TIME’]
   $additionalCacheID — кеш зависит от текущего сайта ( SITE_ID), имени компонента, имени шаблона, входных параметров $arParams. Если кеш должен зависеть от каких-либо дополнительных параметров, то их необходимо передать сюда в виде строки.
   $cachePath — Путь к файлу кеша относительно папки кешей. По умолчанию равен «/».SITE_ID.<путь к компоненту относительно bitrix/components>/<еще какая-то строка зависящая от переменной состояния>.

2. $this->endResultCache() — завершает кеширование, сохраняет кеш на диск, запоминая в том числе HTML вывод шаблона и $arResult. Автоматически вызывается при вызове $this->includeComponentTemplate().
3. $this->abortResultCache() — завершает кеширование, данные на диск не сохраняет. Метод на случай если кеширование запущено, но произошла ошибка и стоит прервать операцию.
   Если начать кеширование и не завершить его, появится множество багов.
4. $this->setResultCacheKeys($arResultCacheKeys) — принимает массив ключей по которому будет фильтрация данных в $arResult. Позволяет кешировать не весь результат, а только нужные данные.
   При повторном вызове не затирает старые ключи, а дополняет их.
5. $this->getCacheID($additionalCacheID = false) — генерирует имя кеша. Если переопределить в своем классе и указывать $cachePath, можно добиться того, что кеш не будет зависеть от текущего сайта.
   $additionalCacheID — данные из вызова startResultCache()
6. $this->clearResultCache($additionalCacheID = false, $cachePath = false) — чистит кеш компонента, параметры аналогичны startResultCache(). Вместо вызова этой функции, пользуйтесь тегированным кешем.
7. $this->clearComponentCache($componentName, $siteId = «») — очищает кеш по имени компонента.

Пример работы с кешем в компоненте при работе через class.php:

<? if (!defined("B_PROLOG_INCLUDED") || B_PROLOG_INCLUDED !== true) die();

class MyComponent extends CBitrixComponent
{

    public function executeComponent()
    {
        if ($this->startResultCache()) {

            if (empty($this->arParams['KEY'])) {
                // Если требуется отменить кеш
                $this->AbortResultCache();
                ShowError('Не установлен ключ');
                return;
            }

            /* Тут какая-то логика по заполнению $this->arResult */
            

            $this->arResult['CITY'] = 'Ижевск';

            $this->IncludeComponentTemplate();
        }
    }

}

Чтобы в настройках компонента появилась вкладка с настройками кеширования достаточно добавить параметр CACHE_TIME:

$arComponentParameters = array(
    "PARAMETERS" => array(
        // KEY - какой-то наш параметр, к кешу отношения не имеет
        "KEY" => array(
            "NAME" => "API ключ",
            "TYPE" => "STRING",
            "GROUP" => "BASE",
            "DEFAULT" => "",
        ),

        // Говорим что компонент работает с кешем
        "CACHE_TIME" => array("DEFAULT" => "3600"),
    ),
);

Важно: при подключении в шаблоне других вложенных компонентов, указывайте вышестоящий через четвертый параметр IncludeComponent(). В файле template.php ссылка на вышестоящий компонент в переменной $component. Иначе у вложенного компонента будут проблемы с подключением стилей, скриптов и component_epilog.php.

$APPLICATION->IncludeComponent($componentName, $componentTemplate, $arParams, $parentComponent)

Важно. Если вложенный компонент использует кеширование, выключайте его в параметрах вызова. Во-первых вложенный кеш полностью бесполезен, во-вторых он вреден, так как теги вложенного компонента не установятся на актуальный кеш.

Интересно:

1. В шаблоне компонента можно отменить запись кеша, а так же добавить теги на кеш.
2. Если вложенные компоненты не используют кеширование, их вывод всё равно будет закеширован в основном компоненте. После этого result_modifier.php и template.php вызываться не будут, работать будет component_epilog.php.
3. Кеш зависит от параметров вызова компонента. Если в параметрах у вас динамические данные, то для каждого варианта будет свой кеш, в этом случае бывает выгоднее просто не использовать кеширование.
4. Если вы хотите взаимодействовать из шаблона иным способом, нежели вывод HTML, то делайте это через файл component_epilog.php. Например, не получится устанавливать заголовок страницы из template.php, этот файл 1 раз закешируется и заголовок устанавливаться больше не будет.

Работа с кешем в инфоблоке с большим количеством записей

Битрикс для всего инфоблока использует только один тег и это бывает проблемой, когда записей много (десятки и сотни тысяч). Если вы добавляете/обновляете/удаляете хотя бы одну запись, сбрасывается кеш всех страниц, которые получают данные из этого инфоблока. После этого требуется заново создавать кеш даже для тех страниц, которые не менялись.

Чтобы решить эту проблему, придется отказаться от стандартного тега. Использовать будем только result_modifier.php и init.php.

Наш план:

1. Вызов компонента оставить с типом кеширования — Авто
2. В result_modifier.php сбросить стандартный тег, установить свой.
3. В init.php добавить события для сброса кеша по своему тегу.

Если делать отдельный тег для каждого элемента, то это будет слишком накладно. Можно сделать лучше: поделить все записи на чанки, например, по 500 элементов и уже на эти отдельные блоки ставить теги.

Формула для получение тега конкретного элемента:

define('IBLOCK_CHUNK_SIZE', 500);

$iblockId = 5;
$elementId = 10;

$tag = 'iblock_id_' . $iblockId . '_chunk_' . intval($elementId / IBLOCK_CHUNK_SIZE);

Для элементов с ID 1-499 тег будет iblock_id_5_chunk_0, для 500-999 iblock_id_5_chunk_1 и так далее. Но этот тег не получится добавить на страницы списка. Потому что при добавлении или удалении новости на первой странице, происходит сдвиг записей на всех страницах пагинации. При обновлении записи может измениться сортировка и опять же сдвинутся все страницы списка. Поэтому, менять принцип кеширования страниц списка нет смысла.

Работать будем с компонентами news.list и news.detail. В случае каталога — действия те же, просто обхватить надо большее количество шаблонов и событий для сброса кеша.

В result_modifier.php шаблона детальной новости добавьте код:

if ($arParams['CACHE_TYPE'] === 'A') {
    $taggedCache = BitrixMainApplication::getInstance()->getTaggedCache();
    $taggedCache->abortTagCache(); // сбрасываем стандартные теги

    $tag = 'iblock_id_' . $arParams['IBLOCK_ID'] . '_chunk_' . intval($arResult['ID'] / IBLOCK_CHUNK_SIZE);

    $taggedCache->startTagCache($this->__component->getCachePath());
    $taggedCache->registerTag($tag); // Ставим свой тег
}

Выше мы остановили тегированный кеш, чтобы сбросить установленные стандартные теги. После начали его заново и установили свой тег. Завершит тегированный кеш уже битрикс, так как он начинал его.

При добавлении данного алгоритма на страницы списка могут появиться баги на сайте, смотрите по вашей ситуации.

В result_modifier.php шаблона news.list добавьте:

if ($arParams['CACHE_TYPE'] === 'A') {
    $taggedCache = BitrixMainApplication::getInstance()->getTaggedCache();
    $taggedCache->abortTagCache();

    $taggedCache->startTagCache($this->__component->getCachePath());

    foreach ($arResult['ITEMS'] as $arItem) {
        $tag = 'iblock_id_' . $arParams['IBLOCK_ID'] . '_chunk_' . intval($arItem['ID'] / IBLOCK_CHUNK_SIZE);
        $taggedCache->registerTag($tag);
    }
}

Если на этом этапе установить константу IBLOCK_CHUNK_SIZE и начать пользоваться сайтом, то у вас просто перестанет сбрасываться кеш компонентов при редактировании записей — это значит что стандартный тег перестал работать.

В init.php добавьте код:

define('IBLOCK_CHUNK_SIZE', 500);

AddEventHandler("iblock", "OnAfterIBlockElementUpdate", "ClearIblockCacheHandler");
AddEventHandler("iblock", "OnAfterIBlockElementAdd", "ClearIblockCacheHandler");
AddEventHandler("iblock", "OnAfterIBlockElementDelete", "ClearIblockCacheHandler");

function ClearIblockCacheHandler($arFields)
{
    if($arFields['IBLOCK_ID'] == 7 and (! isset($arFields["RESULT"]) or $arFields["RESULT"])) {
        $tag= 'iblock_id_' . $arFields['IBLOCK_ID'] . '_chunk_' . intval($arFields['ID'] / IBLOCK_CHUNK_SIZE);

        $taggedCache = BitrixMainApplication::getInstance()->getTaggedCache();
        $taggedCache->clearByTag($tag);
    }
}

В коде выше 7 — это ID инфоблока в котором мы меняем теги кеша. После добавления, обновления и удаления записей — сбрасываем кеш по тегу. Сбросятся детальные новости тега и страницы списка новостей, на которых была запись.

Так же можно добавить события на сброс кеша при изменении параметров инфоблока, при изменении свойств и другое. Список всех событий есть по ссылке https://dev.1c-bitrix.ru/api_help/iblock/events/index.php

Так при обновлении одной записи сбрасывается кеш только 500 страниц, а не всех десятков тысяч.

Проблема чрезмерного роста кеша

Рост кеша меню

Частая проблема на сайтах — огромный кеш меню, хотя в нем нет много данных.

При работе компонента меню по умолчанию в кеш попадает в том числе выбранный пункт, который в свою очередь зависит от текущей страницы. Для этого компонент создает для каждой страницы отдельный кеш. Если страниц на сайте много, данные занимают большой объем на диске.

У компонента есть параметр CACHE_SELECTED_ITEMS, который, по не понятной причине, не выведен в настройки компонента. По умолчанию он устанавливается в Y и кеш начинает зависеть от адреса страницы.

Чтобы отключить это поведение, добавьте такой параметр в вызов меню: «CACHE_SELECTED_ITEMS» => «N»

В итоге получится у вас что-то такое:

<?$APPLICATION->IncludeComponent("bitrix:menu", "top", Array(
   "ROOT_MENU_TYPE" => "top",   // Тип меню для первого уровня
   "MENU_CACHE_TYPE" => "A",   // Тип кеширования
   "MENU_CACHE_TIME" => "3600",   // Время кеширования (сек.)
   "MENU_CACHE_USE_GROUPS" => "N",   // Учитывать права доступа
   ...
   "CACHE_SELECTED_ITEMS" => "N", // Не создавать кеш меню для каждой страницы
   ),
   false
);?>

Сброс кеша в Битрикс

Через админку

Основной способ сброса кеша находится в админке в разделе Настройки -> Настройки продукта -> Автокеширование. Вкладка Очистка файлов кеша.

Варианты очистки:

1. Только устаревшие — удаление кеша срок годности которого уже истек. Удаляет файлы которые уже не используются.
2. Все — всё понятно, удалить весь кеш.
3. Меню — удалить кеш меню.
4. Весь управляемый
5. Все страницы HTML кеша — HTML кеш — это часть композитного кеша. Удалить эти данные.
6. Сайты24 — удалить кеш лендингов сайтов 24.

Другие вкладки на странице:

1. Кеширование компонентов — тут кнопка включения/выключения кеширования компонентов, но не всех, а тек у кого режим Авто + Управляемое.
2. Управляемый кеш — включение/отключение управляемого кеша.

Выключается кеширование только для режима разработки, на боевых сайтах отключать кеширование крайне не рекомендуется.

Удалить кеш кнопкой на эрмитаже

Нажатие кнопки на эрмитаже заставляет весь кеш на странице не видеть старые данные и создавать всё заново, после чего кеш сохраняется на диск. Важно понимать что кеш перезаписывается конкретно на вашем хите. Если у пользователей тот же кеш, то у них он тоже будет новый. А если кеш какого-то компонента зависит от групп пользователя, то у админов кеш сбросится, а у посетителей данные останутся старые.

Сбросить кеш програмно

Так же можно удалить кеш через API, но для этого надо знать как к нему обратиться.

Удалить кеш по тегу (в данном случае удалится кеш инфоблока 2):

$taggedCache = BitrixMainApplication::getInstance()->getTaggedCache();
$taggedCache->clearByTag('iblock_id_2');

Удалить кеш зная имя и папку:

$cache = BitrixMainDataCache::createInstance()
$cache->clean($uniqueString, $initDir);

Удалить весь кеш в папке:

$cache = BitrixMainDataCache::createInstance()
$cache->cleanDir($initDir);

Другие варианты сброса кеша

Если кеш удаляется через админку долго, можно ему помочь удалив файлы на сервере через SSH или FTP. Удалите вручную все файлы в папках bitrix/cache, bitrix/managed_cache.

Кеш компонентов с автокешированием, которые используют инфоблоки, можно сбросить пересохранив какой-то элемент инфоблока (того инфоблока, который выводится в компоненте).

Другое

Что за папки /bitrix/cache/js и /bitrix/cache/css

Напрямую к кешу эти папки отношения не имеют. Там лежат объединенные файлы стилей с скриптов страниц, если включена опция объединения статики в настройках главного модуля.

Для чего глобальная переменная $CACHE_MANAGER

Переменная является посредником для управляемого и тегированного кеша. Используется устаревшими частями кода Битрикс, не удаляется для сохранения обратной совместимости.

Объем кеша: 0 Б при работе memcached.

Если для кеширования вы используете мемкеш, то его объем может не считаться. Это нормальная ситуация, переживать не стоит. Кеш при этом работает.

Про кеширование в браузере

Браузер кеширует статические ресурсы (стили, скрипты, картинки…). Браузер не кеширует HTML страницу. (Кеширование HTML браузером можно сделать при работе через заголовок 304 Not Modified, но такое делают редко).

Если вы добавляете скрипты через штатное API Битрикс (например $APPLICATION->AddHeadScript(), BitrixMainPageAsset::getInstance()->addCss(), файлы script.js, style.css в шаблоне…), то браузер будет сбрасывать кеш скриптов и стилей при изменении файла на сервере. Так происходит потому что Битрикс добавляет к адресу файла временную метку.

При изменении файла меняется его дата обновления, временная метка в ссылке на файл меняется, для браузера это новый файл, браузер запрашивает файл с сервера.

К картинкам временная метка не добавляется, поэтому при их обновлении могут быть проблемы.

Кеш стилей и скриптов не сбрасывается, когда вы подключаете их не через API, а тегами в шаблоне.

<script type="text/javascript" src="/bitrix/templates/books/js/script.js"></script>

Если вы добавляете скрипты как в примере выше, то никаких временных меток не указывается. Браузер не может узнать про изменение файла на сервере и не обновляет его.

Чтобы заставить браузер не использовать кеш, можно открыть Инстументы разработчика и на вкладке Network поставить галочку Disable cache. Пока инструменты разработчика открыты, кеш будет отключен на текущей вкладке.

Так же можно обновить вкладку сочетанием Shift + F5, тогда кеш браузера сбросится.

Пожалуйста, оцените на сколько вам понравилась статья!

Основные виды проблем при установке кэша:

1. Приложение не видит кэш.
2. Появление сообщения о необходимости скачивания дополнительных файлов при запуске программы или игры.
3. Нехватка памяти.

Разберемся в причинах возникновения и порядке устранения проблем. Для исправления ошибок потребуется встроенный или сторонний файловый менеджер, например, Total Commander, CX Проводник, ES File Manager, ES Проводник и другие.

1. Приложение не видит кэш или просит скачать дополнительные файлы

Если приложение не видит кэш, значит некорректно распакован архив или неверный путь к файлу *.obb.

Разберем порядок действий на примере установки кэша к игре Toca Life: World с использованием Total Commander:

1. Запустить файловый менеджер.

1. Перейти на внутренний накопитель, а затем в папку «Android».

1. Зайти в «obb».

1. Если папка с кэшем найдена, нужно перейти к разделу «2. Нехватка памяти», иначе перейти к следующему пункту инструкции.

1. Проверить другие директории на факт наличия папки с файлом *.obb. Если папка не найдена, повторно установить кэш.

1. При обнаружении папки с кэшем нужного приложения вызвать всплывающее меню. Для этого нужно удерживать палец на названии папки 2-3 секунды.

1. Выбрать пункт меню «Копировать/Переместить/Отправить».

1. Для указания места перемещения нажать на стрелочку.

1. Открыть папку «Android».

1. Зайти в «obb».

1. Нажать «ОК».

1. Затем кликнуть «Переместить».

После выполнения пунктов инструкции запустить приложение. Если проблема сохранилась, перейти к следующему разделу «2. Нехватка памяти».

2. Нехватка памяти

Чтобы проверить состояние памяти, нужно:

1. Из «Настроек» перейти в раздел «О телефоне».

1. Посмотреть объем свободного места в блоке «Хранилище».

Если места мало, нужно освободить память, воспользовавшись одним из предложенных ниже вариантов. В ином случае перейти к этапу «Сообщить об ошибке».

2.1. Перенос файлов на другой носитель

Если места мало, нужно перенести фотографии, аудио и видео контент на облако, компьютер или внешний носитель.

Порядок переноса контент на примере Total Commander:

1. Найти перемещаемый файл.

1. Вызвать всплывающее меню, удерживая на названии файла палец несколько секунд.

1. Нажать «Копировать/Переместить/Отправить».

1. Для выбора места, куда будет перемещен контент, кликнуть на стрелочку.

1. Выбрать требуемую папку и нажать «ОК».

1. Кликнуть на «Переместить».

2.2. Удаление файлов

Порядок действий на примере Total Commander:

1. Найти ненужный контент.

1. Вызвать всплывающее меню, удерживая на названии файла палец несколько секунд.

1. Нажать «Удалить».

1. Подтвердить действие, кликнув «Да».

2.3. Удаление программ и игр

Чтобы удалить программы и игры, нужно:

1. Из «Настроек» перейти сначала в «Приложения» и потом во «Все приложения».

1. Перейти в раздел «Удаление».

1. Выбрать приложение и нажать «Удалить».

2.4. Очистка кэша приложений

Очистить кэш программ и игр можно двумя способами. Первый вариант — ручной, когда необходимо производить удаление временных файлов в каждом приложении. Второй способ — пакетный, подразумевающий использование специальной программы.

2.4.1. Ручное очищение кэша

Порядок действий:

1. В разделе «Все приложения» зайти в нужную программу или игру.

1. Нажать кнопку «Очистить» и выбрать пункт «Очистить кэш».

1. Для подтверждения действия кликнуть на «ОК».

2.4.2. Пакетная очистка

Для удаления кэша необходимо использовать специальное приложение, например, CCleaner. При первом запуске программы:

1. Нажать «Начать использование».

1. Кликнуть на «Продолжить с рекламой». Для получения доступа к расширенному функционалу программы и избавления от рекламы потребуется оплатить подписку.

1. Нажать «Начать».

1. Кликнуть на стрелочку напротив «Предоставьте нам доступ».

1. Нажать «Разрешить».

1. В окне «Доступ к данным об использовании» найти приложение CCleaner. Зайти в настройки, кликнув по строке с названием программы.

1. Переместить бегунок в правую сторону напротив «Доступ к истории использования».

1. В открывшемся окне поставить галочку напротив «Я осознаю возможные риски…» и нажать «ОК».

1. Нажать на стрелочку напротив «Сканирование на наличие ненужных файлов».

1. Кликнуть по «Посмотреть результаты».

1. Снять везде галочки, кроме пункта «Видимый кэш».

1. Нажать кнопку «Завершить чистку».

Если CCleaner уже установлен на устройстве и ранее использовался:

1. Запустить программу и нажать «Быстрая очистка».

1. Снять везде галочки, кроме пункта «Видимый кэш».

1. Нажать кнопку «Завершить чистку».

После освобождения места попробовать снова установить приложение. При сохранении проблемы сообщить нам, следуя приведенной ниже инструкции.

3. Сообщение с ошибкой

При сохранении проблемы с установкой кэша сообщите нам об этом следующим образом:

1. На странице приложения, с которым возникли сложности, перейти вниз к блоку комментариев.

1. Заполнить все поля. В сообщении необходимо подробно описать суть проблемы, привести название ошибки, наименование и версию браузера, а также операционной системы. Нажать «Добавить комментарий».

Модератор комментариев в течение суток сообщит, как решить возникшую проблему.

При установке кэша могут появиться следующие ошибки:

1. Программа или игра не находят кэшированные данные.
2. Приложение при открытии требует загрузить на устройство дополнительные файлы.
3. Мало места на гаджете.

Устранение проблем выполняется с помощью файлового менеджера. Если на устройстве нет встроенного приложения («Проводника»), следует установить стороннюю программу: Total Commander, Файловый менеджер, ES Проводник. Порядок решения проблем будет показан на примере использования Total Commander.

1. Приложение не находит кэш или требует загрузить дополнительные файлы

Причина ошибки, когда программа либо игра не находит кэш, заключается в неверной распаковке архива или указании неправильного пути к файлу *.obb.

Для устранения проблемы нужно:

1. Открыть Total Commander.

1. Зайти в раздел «Внутренний общий накопитель».

1. Перейти в директорию «Android», далее в «obb».

1. При обнаружении папки с кэшем продолжить устранение проблем с раздела «2. Нехватка памяти», иначе – следовать рекомендациям данной инструкции.

1. Просмотреть другие директории каталога. При отсутствии папки с файлом *.obb заново распаковать архив, иначе – следовать рекомендациям данной инструкции.

1. Удерживать палец на имени директории с кэшем 2 секунды до момента появления меню.

1. Из перечня действий выбрать «Копировать/Переместить/Отправить».

1. Кликнуть по двойной стрелке.

1. В открывшемся окне перейти из раздела «Внутренний общий накопитель» в папку «Android», далее – в подпапку «obb».

1. Подтвердить выбранный путь нажатием «ОК».

1. Перенести папку нажатием кнопки «Переместить».

Запустить приложение. При сохранении проблемы перейти к следующему этапу.

2. Нехватка памяти

Порядок проверки объема незанятого места на устройстве:

1. Найти в «Настройках» пункт «О телефоне» и зайти в раздел.

1. Ознакомиться с информацией, отображающейся в блоке «Хранилище».

При обнаружении нехватки памяти требуется очистка места. В ином случае следует перейти к этапу «3. Уведомление об ошибке».

2.1. Перенос контента

Переместить фото, аудио или видеофайлы можно на компьютер, ноутбук, SD-карту, облачное хранилище. Чтобы переместить контент, требуется:

1. Выбрать файл в Total Commander и задержать палец на имени элемента на 2 секунды до появления меню.

1. Тапнуть «Копировать/Переместить/Отправить».

1. Нажать двойную стрелку, выбрать директорию и кликнуть «ОК». 

1. Нажать «Переместить».

Если места все равно не хватает, продолжить очистку хранилища.

2.2. Удаление контента

Чтобы очистить место от ненужного контента, следует:

1. Выбрать файл в Total Commander и задержать палец на названии элемента на 2 секунды до возникновения меню.

1. Тапнуть сначала «Удалить», а потом «Да».

Проверить состояние памяти. При нехватке места продолжить очистку устройства.

2.3. Деинсталляция приложения

Порядок удаления программ и игр:

1. Зайти сначала в «Настройки», а потом в раздел «Приложения».

1. Тапнуть по подразделу «Все приложения».

1. Найти и кликнуть по урне (раздел «Удаление»).

1. Выбрав неиспользуемую программу либо игру, кликнуть «Удалить».

Если проблема нехватки места на устройстве сохранилась, перейти к следующему шагу.

2.4. Очищение кэша приложения

Способы очистки кэша:

1. Ручной – следует зайти в каждое приложение и очистить кэш.
2. Пакетный – с привлечением сторонних приложений.

2.4.1. Ручной способ

Чтобы очистить кэш, следует:

1. Зайти в «Настройки», а потом в раздел «Приложения».

1. Перейти в подраздел «Все приложения».

1. Выбрать программу либо игру.

1. Тапнуть по пункту «Очистить».

1. Нажать сначала «Очистить кэш», а потом «ОК».

Если проблема нехватки места на устройстве сохранилась, перейти к следующему этапу.

2.4.2. Пакетный способ

Потребуется использовать для очистки кэша стороннее приложение, например, CCleaner. В зависимости от того, применялась ранее программа на устройстве или только установлена, порядок действий разнится. 

Если приложение только установлено и впервые запущено:

1. Кликнуть «Начать использование», потом «Продолжить с рекламой» и «Начать».

1. Тапнуть по стрелке, которая расположена напротив строки «Предоставьте нам доступ».

1. Нажать «Разрешить».

1. Найдя в перечне CCleaner, зайти в этот пункт и кликнуть по бегунку.

1. Поставить галку в квадрате напротив строки «Я осознаю возможные риски…», потом нажать по кнопке «ОК».

1. Тапнуть по стрелке, которая расположена напротив строки «Сканирование…».

1. Нажать кнопку «Посмотреть результаты».

1. Оставив галку рядом с «Видимый кэш», кликнуть «Завершить чистку».

Попробовать выполнить инсталляцию кэша. В случае сохранения сложностей перейти к следующему этапу «3. Уведомление об ошибке».

При использовании CCleaner на гаджете ранее требуется:

1. Открыть приложение и тапнуть по круглой кнопке «Быстрая очистка».

1. Оставив галку рядом с «Видимый кэш», кликнуть «Завершить чистку».

Попробовать инсталлировать кэш. Если проблема не исчезла, перейти к следующему этапу.

3. Уведомление об ошибке

Если рекомендации не помогли установить кэш, требуется уведомить модератора сайта о сложившейся ситуации. Для этого:

1. Перейти на страницу программы или игры, кэш которой поставить на устройство не получилось.

1. Спустившись вниз к блоку комментариев, тапнуть по «Прокомментировать».

1. Указать «Никнейм» и затем заполнить «Текст комментария». Обязательно подробно описать проблему и привести название ошибки (при наличии), указав помимо версий Андроид и веб-обозревателя, объем свободного места.

1. Поставить галку рядом с «Я не робот».

1. Нажать «Отправить».

Модератор комментариев даст разъяснение, как устранить возникшую проблему, в течение 1-2 дней.

Виды ошибок:

1. Требуется скачивание дополнительных файлов.
2. Игра не видит кэш.
3. Нехватка свободной памяти.

Чтобы устранить проблемы, потребуется файловый менеджер: встроенные в Андроид «Проводника» либо стороннее приложение, например, Total Commander.

1. Требуется скачивание дополнительных файлов либо игра не видит кэш

Ситуации с появлением окна с требованием дозагрузки файлов либо ошибкой обнаружения кэша появляются из-за неверного расположению файла «*.obb». Причина – неправильно распакован архив. Для рассмотрения этапов устранения проблемы будем использовать Total Commander и кэш игры «Леди Баг и Супер Кот». Порядок действий:

1. Из главного меню файлового менеджера перейти во внутренний накопитель.

1. Из директории «Android» зайти в «obb».

1. Если папка с кэшем присутствует, перейти к разделу «2. Нехватка памяти», в ином случае – продолжить выполнение этой инструкции.

1. Проверить другие папки на наличие подпапки с файлом «*.obb». Если директории нет – требуется повторно распаковать архив. При обнаружении – следовать рекомендациям этой инструкции.

1. Если папка с кэшем располагается в неверном месте, нужно задержать палец на наименовании 2 секунды и выбрать из меню пункт «Копировать/Переместить/Отправить».

1. Нажав двойную стрелку, перейти к определению правильного места расположения директории.

1. Из папки «Android» зайти в «obb» и кликнуть по кнопке «ОК», находящейся вверху экрана.

1. Нажать «Переместить».

Если после перемещения директории с кэшем в правильное место проблема не исчезла, следует перейти к следующему разделу инструкции.

2. Нехватка памяти

Чтобы понять, сколько свободного места на смартфоне или планшете имеется, потребуется:

1. Войти в раздел «О телефоне» из «Настроек».

1. В «Хранилище» ознакомиться с количеством свободной памяти.

В случае, когда места достаточно для инсталляции кэша перейти к части «3. Уведомление об ошибке». Если выявлена нехватка свободной памяти, потребуется очистить устройство от ненужной, редко используемой информации.

2.1. Перенос файлов

Контент следует переместить на иной носитель, в качестве которого может выступать компьютер или ноутбук, флешка, облако. Чтобы это сделать, нужно:

1. Запустить Total Commander.

1. Выбрать контент для перемещения.

1. Удерживать палец на имени файла 2 секунды, выбрать из возникшего меню пункт «Копировать/Переместить/Отправить».

1. Кликнуть по двойной стрелке, чтобы выбрать места, куда будет перенесен контент.

1. Нажать «ОК», а затем «Переместить».

2.2. Удаление файлов

Этапы удаления контента:

1. Открыть Total Commander и выбрать файл.

1. Вызвать меню, удерживая палец на имени 2 секунды.

1. Из списка выбрать «Удалить».

1. Подтвердить, кликнув «Да».

2.3. Удаление приложений

Чтобы деинсталлировать программу либо игру, следует:

1. Из «Настроек» через «Приложения» зайти в раздел «Все приложения».

1. Войти в «Удаление». Для этого нужно кликнуть по значку урны.

1. Выбрать неиспользуемое приложение, нажать на «Удалить».

2.4. Очистка кэша приложений

Прибегать к стандартному способу удаления кэша стоит при малом количестве приложений. Это обусловлено необходимостью войти в каждую программу, игру и потом произвести очистку. Другой вариант – специальные приложения. Рассмотрим оба способа.

2.4.1. Стандартная очистка кэша

Порядок действий:

1. Из «Настроек» через «Приложения» зайти в раздел «Все приложения».

1. Выбрать требуемый пункт из списка.

1. Зайти в приложение и в нижнем меню нажать по «Очистить».

1. Кликнуть по пункту «Очистить кэш» и затем кнопку «ОК».

2.4.2. С помощью стороннего приложения

В качестве примера будем использовать CCleaner. Рассмотрим порядок очистки кэша, если программа ранее не использовалась, а также в случае неоднократного запуска на устройстве. После установки и открытия приложения:

1. Кликнуть на «Начать использование».

1. Нажать «Продолжить с рекламой».

1. Кликнуть по кнопке «Начать».

1. Нажать на стрелочку, расположенную рядом с «Предоставьте нам доступ».

1. В появившемся окошке кликнуть по пункту «Разрешить».

1. Найдя в списке CCleaner, зайти и нажать на бегунок.

1. В появившемся окошке после простановки галки рядом с фразой «Я осознаю возможные риски…», кликнуть «ОК».

1. Нажать на стрелочку, расположенную справа от пункта «Сканирование».

1. Кликнуть «Посмотреть результаты».

1. Снять галки везде, кроме строки «Видимый кэш».

1. Кликнуть «Завершить чистку».

В случае сохранения проблемы с установкой кэша нужно перейти к последующему разделу инструкции.

При использовании приложения ранее порядок действий иной:

1. Нажать «Быстрая очистка».

1. Снять галки везде, кроме строки «Видимый кэш».

1. Кликнуть «Завершить чистку».

В случае сохранения проблемы с установкой кэша нужно перейти к последующему разделу инструкции.

3. Уведомление об ошибке

При сохранении сложностей необходимо сообщить об этом модератору сайта. Чтобы оставить комментарий, нужно:

1. Зайти на страницу игры, кэш которой не устанавливается.

1. Опуститься к блоку комментариев.

1. Ввести «Ник» и «Текст комментариев». Следует подробно описать проблему, привести версию Андроида, браузера, количество свободного места.

1. Поставить галку «Я не робот» и нажать «Отправить».

Модератор сайта предоставит ответ с инструкцией о порядке устранения проблемы в течение 1-2 дней.

Не устанавливаются приложения на андроид

Последнее обновление: 08/10/2022

Связанные записи

Операционная система Андроид благодаря открытому коду является очень гибким софтверным решением для любых мобильных гаджетов. Каждый производитель брендированных смартфонов вносит свои модификации в ОС и создает версии оболочки. Для расширения функционала пользователи устанавливают множество дополнительных приложений, игр как из официального интернет-магазина Google Play Маркет, так и со сторонних ресурсов. Часто при инсталляции файлов apk, скачанных из альтернативных источников, может возникнуть проблема, когда процесс прерывается, а на экране появляется надпись «Синтаксическая ошибка. Ошибка при синтаксическом анализе пакета». Отчего возникает синтаксическая ошибка Андроид, как решить эту проблему, рассмотрим подробно в этой статье.

• Почему возникает ошибка синтаксиса
• Несоответствие версии ОС Андроид
• Меняем политику безопасности ОС Андроид
• Отключение антивирусной программы
• Поврежденный АРК-файл
• Появление ошибки синтаксиса из-за вирусов
• Решение проблемы через отладку по USB
• Дополнительные способы решения проблемы синтаксиса загрузки арк-файлов

Почему возникает ошибка синтаксиса

Основные причины, по которым система сообщает о сбое при установке приложений, следующие:

• версия операционной системы Android не поддерживает установку данного приложения или обновления;
• в телефоне установлена политика безопасности, запрещающая инсталляцию ПО, полученного не из Google Play Маркет;
• неполная загрузка арк-файла, либо архив содержит ошибки, поврежден;
• вирусы, либо антивирусная программа, не позволяют развернуть приложение;
• в manifest-файл программы внесены некорректные изменения.

В каждом отдельном случае существуют свои способы устранения ошибки синтаксиса. Рассмотрим их подробнее.

Несоответствие версии ОС Андроид

Каждое приложение, даже новый релиз уже установленной программы, работают на определенной версии операционной системы Android. Когда она не соответствует требованиям, то программа не устанавливается и выдает ошибку. Обновить Андроид 9, например, до десятой версии стандартными способами, как ОС Виндовс, невозможно. Есть обходные пути, но они достаточно рискованные, так как могут привести к сбоям в работе операционки.

Решается эта проблема следующими способами:

• скачать арк-файл приложения той версии, которая поддерживается текущей операционной системой;
• установить последние обновления для ОС Андроид;
• искусственно изменить требования версии через специальный инструмент.

Для начала проверьте, какая версия прошивки установлена на вашем гаджете, установите последние обновления.

1. В «Настройках» откройте вкладку «Система», затем «О телефоне».

   

2. Здесь указана версия вашей операционной системы Андроид. Версия EMUI  —  это оригинальная прошивка производителя смартфона.

   

3. Вернитесь в меню «Система», откройте «Обновление ПО» и нажмите «Проверка обновлений». Смартфон должен быть в этот момент подключен к интернету. Система проверит наличие обновлений и установит последние в случае необходимости. Это не меняет релиз ОС Андроид, а лишь устанавливает последние дополнения разработчика.

   

4. Теперь посмотрите системные требования приложения. Для этого откройте его в Google Play Маркет, пролистайте страницу вниз и в разделе «Дополнительная информация» будет указана поддерживаемая версия Андроид для данной программы.

   

5. Если вы войдете в Play Маркет под личным аккаунтом Гугл, к которому привязано Андроид-устройство, то сервис автоматически определит совместимость приложения с установленной версией операционной системы.

Есть приложения, которые не только учитывают версию прошивки, но и другие аппаратные и программные требования конкретного устройства. Другими словами, даже если вы ради установки какой-нибудь экзотической игры, приобретете смартфон с Андроид 11, не факт, что приложение на нем загрузится без ошибки синтаксиса.

Меняем политику безопасности ОС Андроид

По умолчанию все официальные версии ОС Андроид содержат заперт на установку программ, полученных из неизвестных источников. В таком случае файл арк, скачанный с какого-нибудь сайта, не будет распаковываться и система выдаст сообщение «Ошибка при синтаксическом анализе пакета». Следует отменить блокировку.

1. В «Настройках» откройте раздел «Безопасность и конфиденциальность», перейдите в «Дополнительные настройки».

   

2. В разделе «Установка приложений из внешних источников» выберите необходимое приложение и установите ползунок «Разрешить установку приложений».

   

3. В некоторых моделях устройств и релизах Андроид можно разрешить загрузку из альтернативных источников для всех приложений. Для этого в разделе «Безопасность» достаточно передвинуть ползунок напротив надписи «Неизвестные источники».

Отключение антивирусной программы

Антивирус, установленный на Андроид-устройстве, может блокировать загрузку некоторых приложений, считая их небезопасными. Чаще всего такое случается с программами, инсталлируемыми из арк-файла. Для решения проблемы временно отключите антивирус, попробуйте заново установить приложение. После удачной инсталляции не забудьте снова активировать антивирусное ПО.

Поврежденный АРК-файл

Еще одна причина появления сообщения «Ошибка при синтаксическом анализе пакета» при распаковке установочного файла состоит в том, что сборка архива некорректная, либо файл скачан не полностью. 

1. Проверьте размер скачанного файла и исходного. Если они не совпадают, попробуйте повторить загрузку.
2. Скачайте арк-файл нужного приложения с другого сайта и попробуйте развернуть программу из него.
3. Платные приложения Гугл Плей, скачанные с альтернативных АРК-сайтов, требуют правильной установки кэш-файлов. Прочитайте инструкцию, которая содержится в архиве установочного пакета.

Появление ошибки синтаксиса из-за вирусов

Вредоносные программы могут мешать стабильной работе Андроид и приложений, влиять на установку стороннего ПО. Скачайте в Google Play Маркет бесплатный антивирус и просканируйте смартфон. Я пользуюсь антивирусной программой «Avast Mobile Security». Вы можете выбрать другую, например, «Антивирус Dr. Web Light». В бесплатной версии придется смириться с наличием рекламных баннеров.

Решение проблемы через отладку по USB

Неоднозначный метод, но некоторые пользователи утверждают, что с его помощью удалось решить задачу установки приложения из арк-файла. Для начала включите отладку в режиме разработчика.

1. В «Настройках» откройте раздел «Система», затем вкладку «О телефоне». Несколько раз тапните по надписи «Номер сборки» пока на экране не появится надпись «Теперь вы разработчик».

2. 

   Вернитесь в меню «Система», откройте раздел «Для разработчиков». Перейдите в специальное меню управления расширенным функционалом ОС Андроид.

   

3. Найдите соответствующий пункт «Отладка по USB» и передвиньте ползунок для активации режима.

В данном режиме попробуйте вначале скачать файл АРК на компьютер, а затем через кабель USB переместите его на мобильное устройство и запустите. Возможно, ошибка синтаксического анализа пакета исчезнет.

Дополнительные способы решения проблемы синтаксиса загрузки арк-файлов

Некоторые их этих способов довольно сложные и подойдут скорее «продвинутым» пользователям. Применять их стоит, когда все другие варианты исправления проблемы не помогли. Здесь я упомяну о таких решениях только обзорно.

1. Редактирование файла программой APK Editor. Потребуется платная версия Pro, так как именно в ней активирована функция редактирования параметров арк-файла. Программу можно скачать в Google Play. Далее через редактор арк-файла меняете параметры совместимости приложения с вашей версией ОС Андроид.
2. Отмена изменений в файле приложения AndroidManifest.xml. Если вы осуществили в файле приложения AndroidManifest.xml какие-либо правки, то следует его попытаться восстановить в исходное положение «по умолчанию». Также может помочь возврат исходного имени файла в случае его изменения.
3. Ошибку инсталляции может создавать конфликт приложений, когда уже запущенный сервис не дает установить новое ПО. Попробуйте установить нужную программу в безопасном режиме Андроид.
4. Загрузка арк-файла с карты памяти или из аттачмента электронного письма также может привести к сложностям в распаковке и запуске инсталлятора. Сохраните файл на внутренней памяти телефона и повторите загрузку.
5. Когда проблема с установкой приложений приобрела систематический характер и ошибка возникает регулярно, скорее всего, придется возвращать Андроид к заводским настройкам. Предварительно сохраните все важные данные на сторонних носителях, в облачном хранилище.

Как всегда, при решении проблем с программным обеспечением, советую двигаться пошагово от простого к сложному. Столкнувшись с невозможностью установки нужного приложения по причине ошибки синтаксического анализа пакетов, вначале проверьте совместимость с релизом вашей ОС Андроид. Попробуйте обновить операционную систему стандартным методом. Запустите антивирусную проверку или, наоборот, отключите антивирус на время установки. Не помогло, а новое приложение очень необходимо? Примените другие методы, описанные в статье. Будьте аккуратны при распаковке арк-файлов со сторонних сайтов.

Post Views: 399

Открытость операционной системы Android позволяет устанавливать приложения разными способами. Это можно делать как через специализированные приложения вроде Google Play, так и через APK-файлы, то есть вручную. И в тот момент, когда пользователь выбирает второй вариант установки, при попытке открыть APK на экране появляется ошибка при синтаксическом анализе пакета. Проблема является довольно частой, но, к счастью, поддается решению. Давайте посмотрим, что мы можем сделать при возникновении синтаксической ошибки.

Что такое синтаксический анализ пакета

Сначала разберемся, с чем мы имеем дело, и какое отношение к Android имеет синтаксис, знакомый нам по школьному курсу русского языка. В лингвистике синтаксической ошибкой называют нарушение связи слов в предложении. В программировании это понятие имеет схожее значение и, если не углубляться в подробности, ошибка синтаксического анализа на Андроид — проблема, вызванная отсутствием совместимости между действующей конфигурацией операционной системы и APK (пакетом).

⚡ Подпишись на Androidinsider в Дзене, где мы публикуем эксклюзивные материалы

Подобного рода неполадки чаще всего дают о себе знать на устройствах со старой версией Android. Но это не значит, что исправить ошибку синтаксического анализа пакета можно только обновлением Андроид. Просто старые версии операционной системы имеют ряд особенностей, которые не позволяют установить каждый APK, несмотря на заявленную совместимость.

Как исправить синтаксический анализ пакета

Поскольку ошибка при синтаксическом анализе пакета Андроид возникает в процессе ручной установки APK, в первую очередь рекомендую инсталлировать приложение через магазин Google Play. Там все файлы проверяются на вирусы, а несовместимый софт даже не отображается в списке. Если ваше приложение отсутствует в магазине, попробуйте установить APK в соответствии с рекомендациями, изложенными здесь. Если и это не поможет — действуйте по нашей инструкции, и решение точно найдется.

❗ Поделись своим мнением или задай вопрос в нашем телеграм-чате

Как переименовать файл

Как я уже сказал, ошибка при синтаксическом анализе обычно возникает на смартфонах со старым Android. Особенностью устройств на ранних версиях операционной системы является то, что они не могут прочитать содержимое APK-файла с большим количеством символов. Тот же Android 7 вводят в ступор лишние точки в названии. Следовательно, для решения проблемы нужно переименовать файл:

1. Найдите проблемный APK.
2. Выделите файл.
3. Нажмите кнопку «Еще».
4. Выберите опцию «Переименовать».
5. Присвойте файлу короткое имя, состоящее из латинских символов.

С высокой долей вероятности после внесения изменений в название файла ошибка синтаксического анализа пакета при установке исчезнет. Если нет — воспользуйтесь следующим вариантом решения проблемы.

Файл поврежден

Также неполадки при синтаксическом анализе пакета бывают вызваны повреждением APK. Что я имею в виду? Во-первых, файл мог загрузиться не до конца. Естественно, в таком случае установочный пакет будет не полным, и смартфон не сможет прочитать его содержимое. Почему это произошло — другой вопрос. Либо в процессе загрузки прервалось интернет-соединение, либо на смартфоне закончилась память. Что делать в таком случае — читайте тут.

🔥 Загляни в телеграм-канал Сундук Али-Бабы, где мы собрали лучшие товары с АлиЭкспресс

Еще не стоит исключать вероятность изначального повреждения файла. То есть APK мог быть залит на сайт, откуда вы его скачивали, в неисправном виде. Единственная рекомендация в такой ситуации — скачать APK-файл через другой источник. В конце я приведу несколько примеров, откуда загрузить APK бесплатно и безопасно.

Старая версия Андроид

Конечно, проблема могла возникнуть и по причине устаревшей версии Android. Да, подавляющее большинство приложений работает и на Android 7, но с каждым обновлением системные требования становятся более жесткими. Поэтому настоятельно рекомендую проверить версию Андроид на телефоне, в чем вам поможет отдельный материал. Затем сопоставьте ее с требованиями, указанными на странице приложения.

Отмечу также, что многие люди жалуются на ошибку при синтаксическом анализе пакета на телевизоре. Если на вашем ТВ-приемнике установлена операционная система Android TV, то при установке APK обязательно проверяйте совместимость. Приложение изначально должно быть предназначено для телевизионного Андроид.

Как переместить файл

Если при синтаксическом анализе пакета возникла неполадка, убедитесь, что сам APK-файл находится во внутренней памяти телефона. Конечно, приложения можно устанавливать и с карты памяти. Однако, если вы покупали дешевую MicroSD-карту, такая возможность будет заблокирована из-за низкой скорости записи или повреждения файловой системы. Для решения проблемы нужно просто переместить файл во внутреннюю память:

1. Выделите APK-файл.
2. Нажмите кнопку «Переместить».
3. Укажите любую папку на внутреннем накопителе и подтвердите перемещение.

Наконец, выделю еще несколько факторов, которые теоретически могли стать причиной появления ошибки при синтаксическом анализе пакета Android. Это конфликт с одним из установленных на телефоне приложений и блокировка неизвестных APK антивирусом. Обязательно учитывайте данные факторы.

⚡ Подпишись на Androidinsider в Пульс Mail.ru, чтобы получать новости из мира Андроид первым

Где скачать APK

Итак, у APK ошибка при синтаксическом анализе пакета очень часто возникает по причине неисправного или поврежденного файла. Минимизировать риски помогают специальные веб-магазины, откуда можно бесплатно скачать APK:

• APKMirror;
• APKPure;
• APK Store.

Подробнее о каждом из этих магазинов мы рассказывали здесь, так что не забывайте читать и другие материалы на нашем сайте, которые помогут вам оставаться в курсе новостей, а также решить распространенные проблемы.

Синтаксическая ошибка на Android-устройствах — одна из старейших и наиболее распространенных ошибок, с которыми сталкиваются владельцы Android-устройств. Ошибка обычно появляется при попытке установить приложение на мобильный телефон. Сообщение о ней выглядит так: «Синтаксическая ошибка. Ошибка при синтаксическом анализе пакетах». Понимать это нужно следующим образом: «приложение не может быть установлено на вашем телефоне из-за проблемы синтаксического анализа»

Если вы продолжите попытки установки выбранного софта путем внесения изменений в manifest-файл приложения, то вряд ли избавитесь от ошибки. Искусственно снижать требования программы к системе — не лучшая идея. Сегодня мы решили досконально разобраться в вероятных причинах появления ошибки и предложить вам несколько способов ее несложного и безопасного устранения.

Прежде чем приступить к исправлению ошибки, давайте посмотрим, что может послужить причиной ее возникновения. На сегодняшний день известны несколько таких причин:

1. Внесение изменений в manifest-файл приложения (например, изменение требований к версии ОС Android).
2. Повреждение или неполная закачка .apk файла.
3. Загрузка и установка сторонних приложений из неизвестных источников при отсутствии разрешения на подобные действия в настройках смартфона.
4. Несовместимость версии ОС Android или аппаратного обеспечения смартфона с требованиями устанавливаемого приложения.
5. Блокировка установки любых сторонних приложений настройками безопасности.

Способ 1. Проверка manifest-файла приложения

Это решение предназначено только для пользователей, которые пользуются программами для внесения изменений в manifest-файлы приложений. Таким образом, если вы один из них и сделали какие-либо изменения в файл приложения AndroidManifest.xml, вам нужно попытаться восстановить его в исходное состояние «по умолчанию». Прежде чем что-то предпринимать, убедитесь в том, что название .apk было изменено. Например, если первоначальный .apk был назван original.apk, и вы переименовали его original1.apk то вам, возможно, придется переименовать его обратно, присвоив исходное имя, которым является «Original.apk».

После того, как переименование выполнено, вновь попытайтесь установить приложение на ваш телефон и посмотреть, пропала ли ошибка при синтаксическом анализе пакета.

Возможно, возникла проблема с кодом приложения. Диагностировать конкретную причину в данном случае очень сложно, и универсальных методов решения проблемы не существует — здесь либо придется разбираться долго и серьезно, либо пойти по пути наименьшего сопротивления, воспользовавшись альтернативным способом установки выбранного приложения (например, с другого устройства).

Способ 2: Разрешить установку приложений из неизвестных источников

В соответствии с требованиями безопасности Android-смартфон может запрещать устанавливать сторонние приложения и софт из неизвестных источников, позволяя делать это только из Google Play Маркет. Запрет связан с тем, что установка сторонних приложений из неизвестных источников может повредить ваш телефон.

Так что, если вы пытаетесь установить файл .apk, то можете столкнуться с «ошибкой при синтаксическом анализе пакета». Чтобы исправить ошибку и обойти запрет, нужно разрешить установку приложений из неизвестных источников. Соответствующий пункт имеется в настройках безопасности телефона.

• Перейдите в раздел «Настройки»;

  

• Далее «Безопасность»;

  

• Найти «Неизвестные источники» и галочкой разблокировать загрузку. Если смартфон выдаст запрос, подтвердите свое решение, нажав OK.

Вернитесь в папку, где находится файл .apk. Нажмите на него и установите приложение.

Способ 3: Включить отладку по USB

Включение отладки по USB не является действительно необходимым для установки Android-приложений с помощью файла .apk. Но некоторые пользователи утверждают, что решили проблему с синтаксической ошибкой на Андроид именно этим способом.

Чтобы включить отладку по USB, необходимо включить режим разработчика на своем устройстве. Для этого выполните следующие действия:

• Зайдите в «Настройки»;

  

• Найдите раздел «О телефоне» и зайдите в него;

  

• Прокрутите вниз до пункта «Номер сборки», нажмите на него 7 раз (после седьмого касания вы должны увидеть на экране «Теперь вы разработчик»)

  

• Затем вернитесь в раздел «Настройки», прокрутите вниз и найдите «Меню для разработчика»;

  

• Найдите там раздел «Отладка по USB» и активируйте процесс.

Процедура включения отладки по USB для некоторых устройств может иметь свои особенности. Ознакомиться со спецификой действий более подробно можно в следующей статьей.

Способ 4: Отключить антивирус

Синтаксическая ошибка также может произойти, если ваша антивирусная программа блокирует установку. Большинство антивирусов пытаются блокировать установку приложений, которые на их взгляд могут выглядеть ненадежными или подозрительными. Так что, если вы пытаетесь установить .apk файл, причина появления ошибки, возможно, кроется в том, что ваше антивирусное приложение блокирует файл .apk, предотвращая установку «подозрительного» софта.

Попробуйте временно отключить антивирус и попытаться установить файл .apk. Если причина угадана верно, установка пройдет без проблем и сообщений об ошибке при синтаксическом анализе пакета андроид.

Способ 5: Поврежденный или не полностью загруженный APK-файл

Ошибка также может произойти из-за поврежденного файла .apk. Попробуйте загрузить свежую версию APK-файла и установить приложение. Возможно, это поможет устранить ошибку. Кроме того, убедитесь, что вы скачали полный файл — для этого достаточно сравнить размеры предлагаемого и загруженного файла. Частичная загрузка файла .apk непременно приведет к ошибке синтаксического анализа во время установки приложения.

Способ 6: Несовместимость приложения

Некоторые программы не поддерживают устаревшие версии операционной системы Android. Ряд приложений несовместим с устаревшей аппаратной частью устройства. В обоих случаях при попытке установки приложения вы получаете сообщение об ошибке синтаксического анализа пакета Android. Например, когда вы пытаетесь установить приложение, которое требует Android 8 Oreo и выше, на смартфон с Android 7 Nougat. Чтобы не попасть в подобную ситуацию, внимательно читайте описание приложения на Google Play Маркет, особенно в той его части, где приведены системные требования.

Сегодня мы рассмотрели ряд способов решения синтаксической ошибки и выяснили причины ее возникновения. Если вы сталкивались с ней на своем устройстве и успешно преодолели, расскажите, пожалуйста, о своем опыте в комментариях. Возможно, именно ваш метод станет спасительным для кого-то из пользователей.

В каталоге Битрикс установлен тип кеширования Авто + Управляемое, композит отключен. Один раз в сутки автоматически получаются данные Центрального банк о курсах валют и изменяются цены товаров заданные в валюте.
При установленном типе кеширования (Авто + Управляемое), кеш компонента каталога, при изменении данных должен сбрасываться автоматически, однако этого не происходит. Раз в сутки приходится чистить кеш каталога в ручную для изменения цен товаров.

Как решить проблему, настроить автоматическое обновление кеша каталога после изменении данных о стоимости товаров при изменении курса валют?

Возможно были допущены ошибки при верстке и создании шаблонов Битрикс, на что следует обратить внимание?