Агрегация логов

oxy

Знаток
🏆
📜
Сообщения
502
Реакции
152
Кто то сталкивался с таким? Что используем, где храним, какие подводные камни?
 

Bayer

Специалист
⚖️
🏆
📜
Сообщения
816
Реакции
270

oxy

Знаток
🏆
📜
Сообщения
502
Реакции
152
Не, log4j не даст мне нужной гибкости. Допустим у меня есть 20 разных серваков и мне нужно слить логи воедино (логи nginx, системные, базы данных и самих приложух что вертятся внутри) и что то уже с ними делать.
Для этого есть связка ELK или fluentd. Так же есть beats, fluentbit, graylog, logging in docker/k8s.. Вот есть ли у кого то опыт работы с чем то подобным

PS docker {container} logs это можно не предлагать, там есть логгирование на уровне ноды. Но интересны как раз подводные камни в виде плохой доки, жадности к ресурсам, не надежности и т.д.

Короче нужен ответ в стиле "я использую logstash + elastic + kibana" по тому то, и меня зае*ло что джава отжирает 80% оперативы...
 

oxy

Знаток
🏆
📜
Сообщения
502
Реакции
152
Посмотреть вложение 2925

1) Если сервер ляжет что тогда? Есть ли гарантия доставки логов?
2) Если мне нужно читать логи с контейнера, а не стучаться к нему по http? Я не хочу тянуть джаву в контейнер где крутится один не большой GO скрипт
3) Если контейнеров много, в каждом по 10 логов, которые постоянно пополняются (допустим access логи), может ли оно стакать? И как долго оно проживет?
4) Фильтрация и распарсивание? Например с acces лога мне нужно понять на какой машине начали прилетать ошибки 500 и каких клиентов это задело?

Короче тут не просто нужно слить все в одну помойку. Тут нужно что то, что поможет с этими логами нормально работать
 

oxy

Знаток
🏆
📜
Сообщения
502
Реакции
152
Вот кто там кричал что на форуме не поднимается интересных вопросов? Вот вам... Только проблема в том, что я на 90% уверен что это последний ответ в этой теме ведь многие тут только и сталкивались что с бк и пхп 5.5)))
 

Insallah

Эксперт
👑
🏆
📜
Сообщения
1,689
Реакции
541
А какие логи? Когда-то на заре баловался набросом логов в базу sqlite и потом имея на руках базу визуализировал как хотел.
1) Если сервер ляжет что тогда? Есть ли гарантия доставки логов?
2) Если мне нужно читать логи с контейнера, а не стучаться к нему по http? Я не хочу тянуть джаву в контейнер где крутится один не большой GO скрипт
3) Если контейнеров много, в каждом по 10 логов, которые постоянно пополняются (допустим access логи), может ли оно стакать? И как долго оно проживет?
4) Фильтрация и распарсивание? Например с acces лога мне нужно понять на какой машине начали прилетать ошибки 500 и каких клиентов это задело?
Кейс узкоспециализированный. В таких масштабах не знаю не сталкивался. Но всякие народные штуки врозе заббикса\нагиоса не закрывают вопрос?
 

oxy

Знаток
🏆
📜
Сообщения
502
Реакции
152
Ну начнем с access и какого нибудь slow_query...
Да посмотри любое упоминание стека ELK) Интересны именно подводные камни

> Для этого есть связка ELK или fluentd. Так же есть beats, fluentbit, graylog, logging in docker/k8s..
Ну и тут не стоит честно говоря вопрос о использовани чего то другого
 
Последнее редактирование:

Bayer

Специалист
⚖️
🏆
📜
Сообщения
816
Реакции
270
Фильтрация и распарсивание? Например с acces лога мне нужно понять на какой машине начали прилетать ошибки 500 и каких клиентов это задело?
Подключаешь анализатор логов и вроде как все
 

oxy

Знаток
🏆
📜
Сообщения
502
Реакции
152
Подключаешь анализатор логов и вроде как все
А можно подробней? А то звучало так: набросаешь нейросеть там на коленке с нуля)))

Просто анализатор логов в вышеприведенном стеке и был logstash + fluentd + elastic. Другими словами это 66% всей связки. А от тебя это звучит как что то маленькое легковесное и подключаемое одной командой)))))
 

oxy

Знаток
🏆
📜
Сообщения
502
Реакции
152
накинь к нему rabbitmq
Какой смысл?

Это же logstash и делает в поле фильтров

Кто то сталкивался с таким? Что используем, где храним, какие подводные камни?
Напомню свой вопрос) А о ELK стаке я практически сразу написал...
 

Bayer

Специалист
⚖️
🏆
📜
Сообщения
816
Реакции
270
Какой смысл?


Это же logstash и делает в поле фильтров


Напомню свой вопрос) А о ELK стаке я практически сразу написал...
Так а что тебе тогда надо? Я просто не так силён в этом вопросе, но вроде получается что имеющиеся ресурсы покрывают проблему. Логи получаем, логи сортируем, логи читаем.
 

Insallah

Эксперт
👑
🏆
📜
Сообщения
1,689
Реакции
541
Да посмотри любое упоминание стека ELK)
Смотрел, но нечего сказать, так как у меня не прижилось и опыта боевого использования на проде нету.

Так а что тебе тогда надо? Я просто не так силён в этом вопросе, но вроде получается что имеющиеся ресурсы покрывают проблему.
Ему надо пользовательский опыт. И яркие проблемы в эксплуатации. Либо явное указание их отсутвия.
 
  • Like
Реакции: oxy
Внимание! Эта тема устарела на 644 дней.
Тут обсуждать нечего, лучше создай новую тему. Конечно, если очень-очень нужно (например хочешь ответить на древний вопрос), то отвечай. Но помни: некропост — зло, а модератор не дремлет!
Сверху