Уважаемые друзья сообщества!Версия Apache Doris 2.0.3 официально выпущена 14 декабря 2023 г. Эта версия больше подходит для сложных типов данных, сбора статистической информации и создания дампов. . Многие функции, такие как индексирование, анализ озера данных и управление распределенными копиями, были оптимизированы. Каждый может скачать и испытать эту версию.
Кроме того, я хотел бы выразить искреннюю благодарность 104 участникам, которые предоставили более 1000 элементов оптимизации функций и исправлений ошибок для версии Apache Doris 2.0.3, внося важный вклад в повышение производительности и стабильности.
GitHub下载:https://github.com/apache/doris/releases
下载页:https://doris.apache.org/download/
Новые возможности
Автоматический сбор статистики
Статистическая информация используется оптимизатором CBO для оценки затрат.Сбор статистической информации помогает оптимизатору понять характеристики распределения данных, оценку стоимости плана выполнения и выбор плана выполнения для повышения эффективности запросов.
Начиная с версии 2.0.3, Apache Doris поддерживает автоматический сбор статистики и включен по умолчанию. После фиксации каждой транзакции импорта Apache Doris записывает информацию таблицы, обновленную транзакцией импорта, и оценивает работоспособность статистики таблицы. Когда работоспособность ниже настроенных параметров, Doris автоматически запускает задание по сбору статистики. Чтобы сократить затраты ресурсов на выполнение статистических информационных заданий, Apache Doris будет автоматически собирать статистическую информацию путем выборки.Пользователи также могут настраивать параметры в соответствии с потребностями для получения более точной информации о распределении данных.
Для получения дополнительной информации см.:https://doris.apache.org/docs/query-acceleration/statistics/
Платформа озера данных поддерживает сложные типы данных.
-
Java UDF, каталог JDBC, таблица Hudi MOR и другие функции поддерживают сложные типы данных.
-
Каталог Paimon поддерживает сложные типы данных.
-
Каталог Paimon поддерживает версию Paimon 0.5.
Добавьте больше встроенных функций
-
Новый оптимизатор поддерживает функцию BitmapAgg.
-
Поддержка функций дайджеста серии SHA
-
Функции агрегации min_by и max_by поддерживают тип данных растрового изображения.
-
Добавить функцию миллисекунд/микросекунд_add/sub/diff
-
Добавлены функции JSON_insert, json_replace, json_set JSON.
Улучшить оптимизацию
Оптимизация производительности
-
Когда инвертированный индекс соответствует, где условие с высокой скоростью фильтрации сочетается с обычным условием, где с низкой скоростью фильтрации, объем ввода-вывода столбца индекса значительно снижается.
-
Оптимизируйте эффективность случайного чтения данных после фильтрации по условиям.
-
Оптимизировать производительность использования старой функции get_json_xx для типа данных JSON, улучшив ее в 2–4 раза.
-
Поддерживает конфигурацию для понижения приоритета потока чтения данных, чтобы обеспечить ресурсы ЦП и производительность записи в реальном времени.
-
Добавлена функция uuid-numeric, которая возвращает bigint, производительность в 20 раз выше, чем у функции uuid, которая возвращает строку.
-
Случай, когда производительность улучшилась в 3 раза
-
Сократите ненужные вычисления предикатов при выполнении механизма хранения.
-
Поддержка оператора подсчета на уровень хранения
-
Оптимизация производительности вычислений за счет поддержки типов, допускающих значение NULL, в выражениях и или.
-
Поддерживает перезапись оператора ограничения, который должен выполняться перед присоединением к большему количеству сценариев, чтобы повысить эффективность выполнения.
-
Добавляйте и устраняйте бесполезные заказы операторов во встроенном представлении, чтобы повысить эффективность выполнения.
-
В некоторых случаях оптимизирована точность оценки количества элементов и модели затрат для повышения эффективности выполнения.
-
Оптимизирована логика перемещения предикатов и логика регистра каталога JDBC.
-
Оптимизирована эффективность чтения после первого открытия файлового кэша.
-
Оптимизируйте стратегию кэширования SQL таблицы Hive, используйте время обновления раздела, хранящееся в HMS, чтобы определить, является ли кэш недействительным, и улучшите частоту попадания в кэш.
-
Оптимизированная эффективность сжатия при слиянии при записи.
-
Оптимизирована логика распределения потоков табличных запросов для уменьшения использования памяти.
-
Оптимизация использования памяти устройством чтения столбцов
Улучшения управления распределенными репликами
Оптимизация пропускает удаление разделов, совместное размещение групп, сбой непрерывной балансировки времени записи, невозможность балансировки таблиц горячего и холодного уровней и т. д.;
Улучшенная безопасность
-
В конфигурации подключаемого модуля журнала аудита для повышения безопасности вместо паролей в виде открытого текста используются токены.
-
Улучшение безопасности конфигурации Log4j
-
Конфиденциальная информация пользователя не отображается в журналах
Исправления ошибок и улучшения стабильности
сложные типы данных
-
Исправлена проблема, из-за которой карта/структура не корректно обрезала CHAR(n) фиксированной длины.
-
Исправлена проблема сбоя записи вложенной карты/массива структуры.
-
Исправлена проблема, из-за которой count Different не поддерживает массив/карту/структуру.
-
Решите проблему сбоя BE во время процесса обновления после появления в запросе удаления сложного типа.
-
Исправлена проблема сбоя BE jsonb в условии, где
-
Исправлена проблема сбоя BE при наличии типа массива во внешнем соединении.
-
Исправлена проблема с ошибкой чтения десятичного типа в формате orc.
Инвертированный индекс
-
Исправлена проблема, при которой комбинация ИЛИ НЕ приводила к тому, что результаты условия были неверными, когда запрос инвертированного индекса был отключен.
-
Исправлена проблема сбоя BE при записи инвертированного индекса пустого массива.
-
Исправлена проблема сбоя сжатия индекса BE, когда выходные данные пусты.
-
Исправлена проблема сбоя BE при добавлении инвертированного индекса, когда в вновь добавленный столбец не записываются данные.
-
Исправлена проблема отсутствия и утечки жестких ссылок на инвертированный индекс при обновлении до версии 2.0 после случайного создания инвертированного индекса в версии 1.2.
материализованный вид
-
Устранена проблема сбоя BE, вызванная повторяющимися выражениями, включенными в оператор group by.
-
Отключите использование типов float/doubled в предложении group by при создании представления.
-
Расширенная поддержка запроса выбора для обращения к материализованным представлениям.
-
Исправлена проблема, из-за которой материализованное представление не могло быть использовано при использовании псевдонима таблицы.
-
Исправлена проблема с использованием Percentile_approx при создании материализованных представлений.
Выборочный запрос
-
Устранена проблема, связанная с тем, что функция образца таблицы не работает должным образом в таблице разделов.
-
Устранена проблема, из-за которой планшет, указанный в образце таблицы, не работал.
таблица первичных ключей
-
Исправлено исключение нулевого указателя при обновлении на основе условий первичного ключа.
-
Исправлена проблема с регистром некоторых имен полей обновления столбцов.
-
Исправлена проблема, из-за которой при изменении схемы у Mow возникали дублирующиеся ключи.
Импорт и уплотнение
-
Исправлена ошибка неизвестного дескриптора слота при подпрограмме загрузки многотаблицы первого класса.
-
Устранена проблема сбоя BE, вызванная одновременным доступом к статистике памяти.
-
Исправлена проблема сбоя BE, вызванная повторной отменой импорта.
-
Исправлена проблема с ошибкой подключения брокера при загрузке брокера.
-
Устранена проблема, заключающаяся в том, что результат запроса может быть неверным, если предикат удаления используется одновременно с уплотнением и сканированием.
-
Исправлена проблема с печатью большого количества журналов трассировки стека при наличии задачи уплотнения.
Совместимость с озером данных
-
Решите проблему сбоя запроса, вызванного специальными символами в таблице айсберга.
-
Устранение проблем совместимости между различными версиями метахранилища Hive.
-
Исправлена проблема с чтением ошибки таблицы разделов MaxCompute.
-
Устранить проблему сбоя резервного копирования в объектное хранилище.
Совместимость скинов JDBC
-
Устранена проблема с обработкой каталога JDBC ошибки формата даты Oracle.
-
Исправлена проблема с чтением каталога JDBC исключения даты MySQL 0000-00-00.
-
Исправлена проблема исключения указателя пространства-времени, когда значением по умолчанию типа времени данных является current_timestamp при чтении данных из MariaDB.
-
Исправлена проблема сбоя BE, когда каталог JDBC обрабатывает тип растрового изображения.
Планирование и оптимизация SQL
-
Исправлена проблема неправильного обрезки разделов в некоторых сценариях.
-
Исправлена проблема некорректной обработки подзапроса в некоторых сценариях.
-
Исправлены некоторые ошибки семантического анализа.
-
Исправлена проблема возможной потери данных при выполнении правого внешнего/анти-соединения.
-
Исправлена проблема, из-за которой предикаты неправильно переносились операторами агрегации.
-
Исправлена проблема, из-за которой в некоторых случаях возвращаемый заголовок результата был неверным.
-
Если выражение nullsafeEquals (<=>) включено в качестве условия соединения, хэш-соединение можно спланировать правильно.
-
Исправлена проблема некорректного отсечения столбцов в операторе операции набора.
изменение поведения
-
Формат вывода сложных типов данных array/map/struct изменен для соответствия формату ввода и спецификации JSON. Основное изменение по сравнению с предыдущей версией заключается в том, что даты и строки заключаются в двойные кавычки, а внутри — пустые значения. массив/карта отображаются как нулевые.
-
По умолчанию, если атрибут пользователя не установлен, можно использовать только узлы группы ресурсов по умолчанию, тогда как в предыдущих версиях можно было получить доступ к любому узлу.
resource_tags.location -
поддерживает разрешение SHOW_VIEW. Пользователи с разрешением SELECT или LOAD больше не смогут выполнять инструкции , и им необходимо предоставить разрешение SHOW_VIEW отдельно.
SHOW CREATE VIEW