Модель данных базы данных является ключом к пониманию, этот раздел HBase модель рядный данных, основные понятия, связанные с моделью данных, и описывает физические и концептуальные представления представления базы данных Hbase.
Обзор модели данных
HBase является разреженной, многомерной, заказали карту.
Каждая ячейка в этой таблице индексируется с помощью ключа строки, группы столбцов, и временной штамп колонке классификаторов быть идентифицированы. Значение каждой ячейки необъяснимое строка данные типа. Когда пользовательские данные хранятся в таблице, каждая строка имеет уникальный строк и любое количество столбцов ключей.
Каждая строка таблицы группы, состоящая из одного или более столбцов, семейный столбец может содержать любое количество столбцов. В том же режиме, каждая строка, содержащая группу столбцов одно и то же, то есть, номер группы и имена столбцов одинаковы, но количество столбцов в каждой группе столбцов в каждой строке может отличаться , как показано на фиг.
Модель данных схематически на фиг. 1 HBase
Та же семья колонки вместе внутри данных, хранящихся в HBase, поддержка семьи столбца динамические расширения, вы можете добавлять новые столбцы в любое время, без числа столбцов, определенных заранее. Таким образом, хотя каждая строка в таблице будет иметь ту же семью столбца, но может иметь очень разные столбцы. Из-за этого, каждую строку данных для всей таблицы отображения, значение некоторого столбца пуста, поэтому таблицы HBase редкие.
HBase, когда операция обновления, и не будет удалить старую версию данных, но создает новую версию, старая версия все еще сохраняется.
Пользователи могут установить количество версий HBase защищены. В запросе к базе данных, пользователь может выбрать, чтобы получить самую последнюю версию с определенного времени, или время, чтобы получить все версии. Если время запроса не содержит штамп времени, то система будет возвращать данные из самого последнего времени, что текущая версия.
HBase предоставляет два варианта способов восстановления данных: один, чтобы сохранить данные последней версии, а другая сохраненная версия в самом последнее время, например, в прошлом месяце.
Основная концептуальная модель данных
Данные HBase хранится в таблице, со строками и столбцами, это представляет собой многомерную карту структура. В этом разделе описаны основные понятия, связанные с моделью данных HBase для унифицированного представления. ,
1. В следующей таблице (таблица)
HBase используется для организации таблицы данных, таблица состоит из множества строк и столбцов, столбец разделен на множество групп столбцов.
2. строка (строки)
Внутри таблицы, каждая строка представляет объект данных. Каждая строка состоит из ряда клавиш (строка ключа) и одного или более столбцов. Ключ строки однозначно определяет строку, ключ строки и никакого конкретного типа данных двоичных байт для хранения, в алфавитном порядке.
Поскольку таблица является строка за строкой, чтобы последовательно хранилище ключей, ключ дизайн строки является очень важным. Важно принципы проектирования ряд клавиш связан с ключом строки должны храниться в закрытом положении, например, при записи таблицы дизайна сайта, ключи строки должны полностью изменить доменное имя (например, org.apache.www, org.apache.mail, org.apache.jira), эта конструкция позволяет доменное имя, связанное с апачом, хранящимся в позиции таблицы очень близко.
Доступ к строкам таблицы только три способов: один ключом строки транзакции получения однострочной, доступ к нескольким строкам данных в заданном интервал отрезка связей линии; полное сканирование таблицы.
3. В колонке (колонка)
Ароматические колонки совместного идентификатора в колонке (колонка семье) и классификатор колонки (колонок Классификатор), из: для интервала, например, семейство «»: qualifiero
Группа 4. Колонка (Column Семейный)
В определении HBase таблицы, когда необходимо настроить заранее семейство столбцов, все столбцы в таблице должны быть организованы в семье колонки внутри. После определенного семейства столбцов, не может быть легко изменен, так как он будет влиять на физическое хранение HBase реальную структуру, но столбец классификатор семьи столбца их соответствующие значения могут быть динамически добавлены или удалены.
Каждая строка в таблице имеет ту же группу столбцов, но не требует столбец в каждой группе строк иметь последовательную колонку отборочного, так что таблица разреженную структуру, так что избыточные данные можно избежать в некоторой степени ,
HBase колонна семья представляет собой набор столбцов. Все графы с членами семьи столбца имеют одинаковый префикс, например, курсы: история и курсы: курсы по математике членов семей перечислены. «:» Это колонна Сепаратор группы, и имена столбцов используется для различения префикса. семьи Колонны должны быть объявлены в таблицу времени настройки, вы всегда можете создать новый столбец.
Колонка классификатора (колонок Классификатор)
Семейный столбец данных по столбцам для отображения спецификатора. Колонка отборочные без предварительного определения, не должны быть согласованы между различными рядами. Никакой специальной колонки классификатор типа данных в двоичные байты для хранения.
6. Блок (ячейка)
Ключевые строки, столбцы и группа столбцов отборочных блок вместе с данными идентификации, сохраненных в ячейке в данных клетках, называются, не существует какой-либо конкретный типа данных в двоичные байты для хранения.
7. временной метки (метки времени)
По умолчанию, каждый блок данных будет использовать вставку временной метки для идентификации версии.
При чтении блока данных, если метка не задана, по умолчанию возвращает последние данные, писать новый блок данных, если метка не установлена, текущее время по умолчанию. Столбец номер версии каждый из блоков данных групп сохраняется отдельно HBase, по умолчанию, три версии HBase хранения данных.
Концептуальное представление
В концептуальном зрении HBase, стол можно рассматривать как разреженное, многомерные отношения отображения, на «+ OK ключ семья колонке: Колонка футового предела временной метка оператор +» формат может найти определенный блок данных. Так как таблицы Hbase немногочисленны, поэтому некоторые столбцы могут быть пустыми.
HBase фиг. 2 представляет собой концептуальный вид, фрагмент информации таблицы страниц памяти. Строка ключа является обратным УКЛ, такие как обратный www.cnn.com com.cnn.www.
Преимущества обратного URL является то, что вы можете сделать содержание данных из того же сайта хранятся в соседнем положении, что может улучшить пользовательские данные сайта скорости чтения. Содержимое столбца семья хранится содержимое страницы, якорный колонок семья хранится ссылочными ссылки на этой странице, колонок мима семейных магазинов, типа страницы средств массовой информации.
2 HBase концептуальный вид, показанный на фиг.
Com.cnn.www сайт концептуального вид приведен на рисунке 2 , только одна строки данных, однозначно идентифицирует линия «com.cnn.www», каждый раз , когда логический данные модифицированного эта линия соответствует временной метке , связанной. Есть четыре таблицы: Содержание: HTML,
Anchor: cnnsi.com, Anchor: my.look.ca и мим: типа, каждый из столбцов в колонке префикса , приведенного в качестве которого принадлежит группе.
Как видно из фиг.3, общей страницы содержимого версии 3, соответственно, что соответствует времени t3 штемпеля, Т5 и Т6. Веб-страница привел две страницы, являются my.look.ca и cnnsi.com, были процитированы времени t8 и t9. Типы веб-медиа от запуска t6 «текст / html».
Для того, чтобы найти блок данных может быть «трехмерные координаты» к, т.е. [ключа строки, группы столбцов: колонка классификатор, метка времени].
Например, на рисунке 3:
- [ "Com.cnn.www", анкерные: cnnsi.com, T9] данные, соответствующие клетки как "CNN".
- [ "Com.cnn.www", якорь: my.look.ca, T8] У в одном пакете данных, соответствующих "CNN.com".
- [ "Com.cnn.www", мим: тип, t6] из блоков данных, соответствующих "текст / HTML".
Как видно из фиг.3, концептуальной таблицы вида HBase, каждая строка содержит ту же самую группу столбцов, хотя и не требуется для каждой строки данных хранятся в каждом столбце в группе. Так, например, первые две строки данных на фиг. 3, содержимое колонки и содержимое колонки ароматическую группу мим пуст. После того, как линия передачи данных 3, содержимые колонок пуста якорь группа. После двух строк данных, содержимое группы столбцов мима пусто.
Физическая Просмотр
Хотя концептуальной точки зрения зрения, HBase каждая таблица состоит из множества строк, но в уровне физической памяти, это использование хранения на основе столбца, а не реляционной базы данных в виде линии на основе хранение. Это одна важная разница HBase и реляционных баз данных.
Фиг.2 представляет собой концептуальный вид при выполнении физической памяти, будут сохранены, как на фиг. 33 фрагментов. Другими словами, таблица HBase будет храниться отдельно в соответствии с содержимым, якоря и мим 3 колонки семей. Данные, принадлежащие к одной и той же группе столбцов держались вместе, одновременно, и каждая группа столбцов с ключами строки хранится и дополнительно содержит временную метку.
В концептуальной точки зрения на фиг. 2, можно увидеть много столбец пуст, то есть, эти ценности не существуют над столбцами. В физическом зрении, и эти пустые столбцы не хранятся в нуль, но не будут сохранены, которые могут сэкономить много места для хранения. Когда запрос этих пробелов единицы, возвращает нулевое значение.
3 HBase физический вид фиг.
21. HDFS основные принципы и дизайн
22. Архитектура и реализация механизма HDFS
23. HDFS чтения и записи данных
24. в HDFS два режима
25. профиле NoSQL
26. NoSQL профиль типа
27. Профиль HBase
28. HBase столбчатых данные модель
29. HBase оболочка
30 .HBase основной рабочий механизм
31 .HBase общий API Java
- 32. экземпляр HBase из программирования API Java
33. Hadoop MapReduce
34. рамочном Hadoop MapReduce
35. Hadoop MapReduce рабочего потока
36. MapReduce Case Study: Количество слов
37. Hadoop механизм MapReduce
38. примеры программирования MapReduce