Показники on etcd

Тестування продуктивності використання памʼяті сховища

Mon, 01 Jan 0001 00:00:00 +0000

Два компоненти сховища etcd споживають фізичну памʼять. Процес etcd виділяє індекс в памʼяті для прискорення пошуку ключів. Кеш сторінок процесу, керований операційною системою, зберігає нещодавно доступні дані з диска для швидкого повторного використання.

Індекс в памʼяті містить усі ключі в структурі даних B-дерево, разом з вказівниками на дані на диску (значення). Кожен ключ у B-дереві може містити кілька вказівників, що вказують на різні версії його значень. Теоретичне споживання памʼяті індексом в памʼяті можна приблизно оцінити за формулою:

Тестування продуктивності використання памʼяті Watch

Mon, 01 Jan 0001 00:00:00 +0000

Примітка

Функції спостереження знаходяться в активній розробці, і їх використання памʼяті може змінюватися в процесі розвитку. Ми не очікуємо значного збільшення понад зазначені нижче цифри.

Основною метою etcd є підтримка дуже великої кількості спостерігачів, які виконують величезну кількість спостережень. etcd прагне підтримувати O(10k) клієнтів, O(100K) потоків спостереження (O(10) потоків на клієнта) і O(10M) загальних спостережень (O(100) спостережень на потік). Памʼять, яку споживає кожне окреме спостереження, становить найбільшу частину загального використання памʼяті etcd, і тому є обʼєктом поточних та майбутніх оптимізацій.

Тестування продуктивності etcd v3

Mon, 01 Jan 0001 00:00:00 +0000

Фізичні машини

Тип машини GCE n1-highcpu-2

1x виділений локальний SSD, змонтований у /var/lib/etcd
1x виділений повільний диск для ОС
1.8 ГБ памʼяті
2x CPU
версія etcd 2.2.0

Кластер etcd

1 учасник etcd, що працює в демо-режимі v3

Тестування

Використовуйте інструмент тестування продуктивності etcd v3.

Продуктивність

читання одного ключа

розмір ключа в байтах	кількість клієнтів	QPS читання	90-й процентиль затримки (мс)
256	1	2716	0.4
256	64	16623	6.1
256	256	16622	21.7

Продуктивність майже така ж, як і з порожнім обробником сервера.

Тестування продуктивності використання памʼяті etcd v2.2.0-rc-memory

Mon, 01 Jan 0001 00:00:00 +0000

Фізична машина

Тип машини GCE n1-standard-2

1x виділений локальний SSD, змонтований у /var/lib/etcd
1x виділений повільний диск для ОС
7.5 ГБ памʼяті
2x ЦП

etcd

etcd Version: 2.2.0-rc.0+git
Git SHA: 103cb5c
Go Version: go1.5
Go OS/Arch: linux/amd64

Тестування

Запуск кластера etcd з 3 учасниками, кожен з яких використовує 2 ядра.

Довжина імені ключа завжди 64 байти, що є розумною довжиною середнього ключа.

Максимальне використання памʼяті

etcd може використовувати максимальну памʼять, якщо один з підписувачів мертвий і лідер продовжує надсилати знімки.
max RSS - це максимальне використання памʼяті, зафіксоване в 3 запусках.

байти значення	кількість ключів	розмір даних (МБ)	max RSS (МБ)	max RSS/співвідношення даних на лідері
128	50000	6	433	72x
128	100000	12	659	54x
128	200000	24	1466	61x
1024	50000	48	1253	26x
1024	100000	96	2344	24x
1024	200000	192	4361	22x

Поріг розміру даних

Коли etcd досягає порогу розміру даних, це може легко викликати вибори лідера і відкинути частину пропозицій.
У більшості випадків кластер etcd повинен працювати безперебійно, якщо він не досягає порогу. Якщо він не працює добре через недостатні ресурси, зменшіть розмір його даних.

байти значення	обмеження кількості ключів	рекомендований поріг розміру даних (МБ)	споживаний RSS (МБ)
128	400K	48	2400
1024	300K	292	6500

Тестування продуктивності etcd v2.2.0-rc

Mon, 01 Jan 0001 00:00:00 +0000

Фізична машина

Тип машини GCE n1-highcpu-2

1x виділений локальний SSD, змонтований у /var/lib/etcd
1x виділений повільний диск для ОС
1.8 ГБ памʼяті
2x CPU

Кластер etcd

3 учасники etcd 2.2.0-rc, кожен працює на окремій машині.

Детальні версії:

etcd Version: 2.2.0-alpha.1+git
Git SHA: 59a5a7e
Go Version: go1.4.2
Go OS/Arch: linux/amd64

Також ми використовуємо 3 учасників etcd 2.1.0 alpha-stage для формування кластера для отримання базової продуктивності. Коміт head etcd знаходиться на c7146bd5, що є тим самим, який ми використовували в тестуванні продуктивності etcd 2.1.

Тестування продуктивності etcd v2.2.0

Mon, 01 Jan 0001 00:00:00 +0000

Фізичні машини

Тип машини GCE n1-highcpu-2

1x виділений локальний SSD, змонтований як каталог даних etcd
1x виділений повільний диск для ОС
1.8 ГБ памʼяті
2x ЦП

Кластер etcd

3 учасники etcd 2.2.0, кожен працює на окремій машині.

Детальні версії:

etcd Version: 2.2.0
Git SHA: e4561dd
Go Version: go1.5
Go OS/Arch: linux/amd64

Тестування

Запустіть іншу машину, поза кластером etcd, і запустіть інструмент тестування hey HTTP benchmark tool з патчем для повторного використання зʼєднань, щоб надсилати запити до кожного учасника кластера etcd. Дивіться інструкції з тестування для патча та кроків для відтворення наших процедур.

Тестування продуктивності etcd v2.1.0

Mon, 01 Jan 0001 00:00:00 +0000

Фізичні машини

Тип машини GCE n1-highcpu-2

1x виділений локальний SSD, змонтований у /var/lib/etcd
1x виділений повільний диск для ОС
1.8 ГБ памʼяті
2x ЦПУ
версія etcd 2.1.0 alpha

Кластер etcd

3 учасники etcd, кожен працює на окремій машині

Тестування

Запустіть іншу машину та використовуйте hey HTTP benchmark tool, щоб надсилати запити до кожного учасника etcd. Перевірте benchmark hacking guide для детальних інструкцій.

Продуктивність

читання одного ключа

розмір ключа в байтах	кількість клієнтів	цільовий сервер etcd	QPS читання	90-й процентиль затримки (мс)
64	1	тільки лідер	1534	0.7
64	64	тільки лідер	10125	9.1
64	256	тільки лідер	13892	27.1
256	1	тільки лідер	1530	0.8
256	64	тільки лідер	10106	10.1
256	256	тільки лідер	14667	27.0
64	64	всі сервери	24200	3.9
64	256	всі сервери	33300	11.8
256	64	всі сервери	24800	3.9
256	256	всі сервери	33000	11.5

запис одного ключа

розмір ключа в байтах	кількість клієнтів	цільовий сервер etcd	QPS запису	90-й процентиль затримки (мс)
64	1	тільки лідер	60	21.4
64	64	тільки лідер	1742	46.8
64	256	тільки лідер	3982	90.5
256	1	тільки лідер	58	20.3
256	64	тільки лідер	1770	47.8
256	256	тільки лідер	4157	105.3
64	64	всі сервери	1028	123.4
64	256	всі сервери	3260	123.8
256	64	всі сервери	1033	121.5
256	256	всі сервери	3061	119.3