본문 바로가기

[AWS]/MEGA-SAM-FM35

[AWS] 그라파나 CPU/MEM 모니터링 설정 방법 SELECT mean("usage_idle")*-1+100 FROM "30d"."cpu" WHERE ("region" = 'eu-west-1') AND $timeFilter GROUP BY time($__interval), "host" ## 그라파나 MEMORY 사용현황 모니터링 SELECT mean("used_percent") FROM "30d"."mem" WHERE ("region" = 'us-west-2') AND $timeFilter GROUP BY time($__interval), "host" 2021. 12. 30.

[“outputs.influxdb”] did not complete within its flush interval Hi, can anyone help to sort out why there is errors: [“outputs.influxdb”] did not complete within its flush interval. Flush Interval was 10s, I have increased it to 15s but still getting errors. Nov 30 13:28:57 home-home-grafana-1 systemd[1]: Reloading The plugin-driven server agent for reporting metrics into InfluxDB. Nov 30 13:28:57 home-home-grafana-1 telegraf[972]: 2020-11-30T11:28:57Z I! Re.. 2021. 12. 29.

[AWS] TELEGRAF Metric_buffer_limit can’t exceed 1000 #9712 It looks like 1000 is the maximum buffer size we can reach with parameter metric_buffer_limit. Telegraf v1.19.3 in a Docker container. Here is my configuration : [agent] interval = "1s" round_interval = true metric_batch_size = 1000 metric_buffer_limit = 1000000 collection_jitter = "0s" flush_interval = "1s" flush_jitter = "0s" debug = true quiet = false omit_hostname = false ###################.. 2021. 12. 23.

[AWS 활용] #11 Grafana : Install Dashboard Default InfluxDB/Telegraf Metrics (텔레그래 ## cpu / host / usage_user / mean --> Run Query 클릭 ## 그라파나 홈페이지 이동 - BrightPattern - System 클릭 -> Copy ID to Clipboard 선택 ## 표준 메트릭 가져오기 (중요) ## 다시 그라파나로 이동 - Manage 클릭 --> Import 클릭 --> 11116 입력 --> InfluxDB 입력 -> Import 클릭 - 템플릿은 적용되었으나, 텔레그래프에서 정보 연동 안됨 (telegraf.conf 수정 필요) - Memory Edit 클릭 : 쿼리문으로 수집하는 방법 참고 - Kernel Edit 클릭 (그냥 참고) ## telegraf.conf 파일 편집 - [[inputs.net]] 활성화 - [[inputs.net.. 2021. 12. 20.

[Linux]Load Average 란? Load Average를 간단히 말하자면 시스템의 부하를 평균치로 알려주는 값입니다. Load Average가 정확히 무슨 의미이며 리눅스 OS상에서 어떻게 확인할 수 있을까요? Load Average 란? Load Average란 얼마나 많은 프로세스가 실행 중 혹은 실행 대기중인지를 의미하는 수치입니다. 조금더 자세히 말해 프로세스 상태 중에서 R(Running)과 D(Uninterruptible waiting)상태 프로세스 개수를 1분, 5분, 15분마다 평균낸 값을 말합니다. 일반적으로 1분 값보다는 5분, 15분의 값을 많이 사용합니다. 프로세스 상태 R(Running)이란? CPU에서 수행이되고 있거나 실행가능한 상태를 말합니다. 프로세스 상태 D(Uninterruptible waiting) .. 2021. 12. 5.

[AWS] 리눅스 CPU Load Average의 위험 범위는? 이 포스트를 검색해 들어왔다면, 아마 Load average라는 개념에는 익숙할 것이다. 널리 알려진 바와 같이, Load average는 uptime이나 top 명령어를 쳤을 때 나타나는 세 실수 값으로, 실제 예는 아래와 같다. load average: 0.00, 0.01, 0.05 대부분의 사람들이 load average의 개념을 다음과 같이 파악하고 있다. 세 숫자가 1분, 5분, 15분 동안 실행 대기 중인 프로세스의 평균 개수이며, 낮을수록 좋다는 것, 그리고 load average가 높으면 해당 머신이 과부하 상태라는 것 정도. 자, 그럼 load average의 한계 값은 얼마일까? 이른바 “좋은”, “나쁜” load average 값이란 어느 정도일까? 그리고 Load average에 대.. 2021. 12. 2.

[Linux 명령어 ] uptime : load average 확인 uptime 얼마나 많은 프로세스가 실행 중이거나 실행대기인지 의미하는 수치 load average : 현재 시스템이 얼마나 많은 일을 하고 있는지 의미 (높으면 많은 일을 하고 있다) 부하적용 테스트 yes command에 cpu가 99%가 되도록 테스트 : yes >/dev/null 해석 1분 5분 15분마다 프로세스 갯수의 평균값 프로세스의 개수를 세는 것이기 때문에 CPU Core수에 따라서 의미가 상대적 참고 uptime의 내용은 proc/loadavg에서 파일로 확인할 수 있음 load average가 높다는 의미는? 의심되는 문제 1) cpu를 사용하려는 프로세스가 많다 2) io에 병목이 생겨서 io작업을 대기하는 프로세스가 많다 추가 테스트 1) cpu를 사용하는 프로세스가 많을 때 (C.. 2021. 12. 1.

DISK I/O 병목현상 해결방법 아시나요??? 메일서비스를 운영중인 서버가 i/o 병목현상이 일어나고 있습니다. 서버가 8코어라서 i/o wait 값이 12.5%인데 top 명령어로 확인하였을때, wa값이 20%이상으로 치솟고 있습니다. 병목현상이 맞죠?? 혹시 해결방법 아시나요?? 오늘 아침부터 갑자기 발생했고, 이거때문에 메일이 접속이 제대로 안되고있어요 ㅠ ====================== 문제를 봤을때는 디스크 i/o의 문제에 초점을 맞추기보다는 갑자기 왜 i/o 가 증가했는지를 확인해보셔야 할 것 같습니다. 메일 서버를 별도로 구축하신거 같은데, 릴레이 설정이 몇으로 되어 있는지, 메일 핑퐁에 대한 deny 설정이 되어 있는지, 과도한 스팸 인입으로 메일 큐가 많이 쌓이지는 않았는지등 확인해볼 필요가 있을 것 같습니다. 1.메일 릴레.. 2021. 11. 22.

[AWS - 활용] Linux에서 DISK I/O 사용량 확인 ## 1초 간격으로 Disk의 I/O 정보만 표시 iostat -d 1 iostat -d 1 == vmstat 1 (DISK IO 같은 값 확인 가능) Linux에서 DISK I/O 사용량 확인 Version : ubuntu SQL Server Linux 버전 출시로 MS SQL DBA분들이 Linux에 대한 관심이 많이 높아졌다. 이번 팁에서는 Linux에서 SQL Server를 사용할때 알아두면 좋은 리눅스 팁을 공유한다. DBA 역할 중 하나는 데이터베이스를 지원하는 스토리지 서브 시스템이 올바르게 작동하는지 확인하는 것이다. 동작을 확인하는 방법에는 DMV(Dynamic Management View) function인 sys.dm_io_pending_io_requests, sys.dm_io_vir.. 2021. 11. 22.

Grafana 설치 및 Grafana를 활용한 EC2 모니터링 // 설치 전 확인 # sudo apt-get update # sudo apt-get upgrade # apt-get install -y software-properties-common # sudo add-apt-repository "deb https://packages.grafana.com/oss/deb stable main" # wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add - # sudo apt-get update // 그라파나 설치 # sudo apt-get install grafana # sudo apt-get install -y apt-transport-https # sudo ls /usr/lib/systemd/sys.. 2021. 11. 14.

Grafana와 CloudWatch 연동 # 그라파나에 클라우드 와치를 연동하여 데이터 지표를 확인하는 방법에 대해서 알아보자. - AWS 로그인 후 EC2 인스턴스에서 마우스 우 클릭 후 보안 탭으로 이동한다. 보안 탭에서 IAM 역할 수정을 클릭하여 IAM 정책을 등록하자. - 중요한것은 클라우드 와치 지표를 그라파나에서 확인하고자 하는 모든 인스턴스는 보안 탭에서 IAM 역할 수정을 해줘야 한다. 위에서부터 3개의 인스턴스에 IAM 역할 수정을 한 후 저장을 하자. - 그라파나에 접속 후 데이터소스 생성을 클릭하여 지표로 사용할 데이터를 생성 합니다. - add data soucre를 클릭하여 데이터 소스를 생성할 서비스를 선택합니다. 검색에 cloudwacth를 검색하여 클라우드 지표 데이터를 가져옵니다. - 지표 이름을 입력하고, Pr.. 2021. 11. 14.

Mbps를 MB/s로 변환하는 방법 #인터넷속도 100M ## BPS 계산 우리가 알고있는 광고속 인터넷속도 100메가는 100Mbps를 뜻합니다. 인터넷 품질 테스트를 해보면 다운로드 속도가 100Mbps보다 조금 부족한 90~98Mbps가 나옵니다. 이렇게 우리가 알고있는 100Mbps를 MB/s로 단위 환산을 해보겠습니다. MB/s로 단위를 환산하는 이유는 웹에서 다운로드를 할때는 MB/s단위로 보여지기 때문입니다. *위 이미지에 MB에서 KB로 환산하는 이미지입니다. Mbps를 MB/s로 단위 환산하는 방법 Mbps * 0.125 = MB/s 와 같습니다. Mbps에 0.125를 곱해주는 이유는 1bit *8 = 1Byte이기 때문입니다. Mbps * 0.125 계산법이 어려우신분은 Mbps / 8 = MB/s 로 계산하셔도 됩니다. 집이나 직장에서 동.. 2021. 11. 14.

킬로바이트, 메가바이트, 기가바이트, 테라바이트가 뭐지? ## BPS 계산기 https://www.google.com/search?q=bps%EA%B3%84%EC%82%B0%EA%B8%B0&biw=1149&bih=799&sxsrf=AOaemvLmbz581LU6Lfre6btNFYDT1u30Qg%3A1636642314045&ei=Ci6NYe6aAtKDoASQyrv4BA&oq=bps%EA%B3%84%EC%82%B0%EA%B8%B0&gs_lcp=Cgdnd3Mtd2l6EAMyBQgAEIAEOg0IABCABBCHAhCxAxAUOgsIABCABBCxAxCDAToLCC4QgAQQxwEQ0QM6CAguEIAEELEDOhEILhCABBCxAxCDARDHARDRAzoHCCMQ6gIQJzoKCAAQgAQQhwIQFDoICAAQgAQQsQM6CwguEIAEEMcBEK8BOgcIABC.. 2021. 11. 12.

파이썬 gettext 이용하여 다국어 번역기 만들기 gettext란 ? 리소스를 적게 사용하여 다양한 언어로 번역할 수 있도록 개발된 리눅스 프로그램이다. 무려 1995년도에 만들어졌지만 아직까지 유용하게 쓰여지고 있다. po 파일만 만들면 쉽게 지정한 언어로 번역을 할 수 있다. po 파일을 쉽게 작성하기 위한 poedit(https://snapcraft.io/poedit)이라는 유틸리티도 있다. gettext 를 import 한 python 파일 만들기 print_('변수')로 작성한 내용이 po 파일에 생성된다. # test_gettext.py # -*- coding: utf-8 -*- import gettext import re import sys reload(sys) sys.setdefaultencoding('utf-8') t = gettext... 2021. 10. 31.

telegraf.conf 파일 (Telegraf 1.20.2) [root@ip-10-20-14-105 telegraf]# telegraf --version Telegraf 1.20.2 (git: HEAD f721f53d) 2021. 10. 19.

그라파나 대시보드 참고용 https://grafana.com/grafana/dashboards/1443 Telegraf Host Metrics dashboard for Grafana Telegraf Host Metrics grafana.com 2021. 10. 19.

[AWS-중요] Grafana, InfuxDB, Telegraf를 이용한 모니터링 시스템 구성 1. 소개 원래는 Prometheus를 기반으로 모니터링 시스템을 구성할 계획이었으나 여러 이유로 influxDB를 기반으로 하는 모니터링 시스템을 구성하게 됐다. 구성 과정을 기록으로 남긴다. 운영 중인 www.joinc.co.kr를 모니터링 한다. www.joinc.co.kr 서버는 AWS에 위치하고 있으므로 이론상 CloudWatch 만으로 모니터링 시스템 구성이 가능하다. 지금은 InfluxDB를 기반으로 모니터링 환경을 만들 계획이다. CloudWatch와 InfluxDB(혹은 Prometheus)와의 비교문서는 따로 정리하도록 하겠다. 1.1. Telegraf Telegraf는 데이터를 수집하고 전송하는 소프트웨어다. MongoDB, MySQL, Redis, Nginx와 같은 애플리케이션을 비.. 2021. 10. 17.

[AWS] telegraf로 system metric(cpu, ram) 수집하여 elasticsearch에 저장하기 1. Input Plugins : 데이터 수집 2. Processor Plugins : 변형하거나 필터링 가능 3. Aggregator Plugins : 최소값, 최대값, 평균값으로 조합 가능 4. Output Plugins : 데이터를 적재하거나 저장 ## 설치하기 ## Elasticsearch 정상확인 ## Kibana 정상확인 ## telegraf.conf 파일 수정 - agent / outputs / inputs 3곳 수정 필요 ## telegraf 설정값 재적용 [root@ip-10-20-14-105 telegraf]# telegraf -config /etc/telegraf/telegraf.conf ## Kibana 에서 데이타 조회 재확인 https://www.youtube.com/watch?.. 2021. 10. 14.

[AWS] Telegraf에서 system metric 수집 & Elasticsearch에 적재하기 Telegraf는 influxdata(사)에서 opensource로 제공하는 plugin 기반의 metric수집 server agent이다. github url : https://github.com/influxdata/telegraf telegraf의 역할이 이해하기 어렵게 느껴질 수 있는데, 간단히 말하자면 아래와 같이 input, process, output이 가능하다. Telegraf로 할 수 있는 일 System의 ram, cpu수치를 elasticsearch에 적재 Redis의 data를 elasticsearch에 적재 File log를 influxdb에 적재 즉, input plugin으로 뽑아낸 데이터를 output plugin이 지원하는 곳으로 보낼 수 있다. System metric을 e.. 2021. 10. 14.

[AWS] Telegraf 다운로드 https://www.influxdata.com/get-influxdb/ Get InfluxDB Get started with InfluxDB Cloud, InfluxDB Open Source, and InfluxDB Enterprise all purpose-built for time series data: InfluxDB Cloud (database as a service), InfluxDB (the essential time series toolkit), InfluxDB Enterprise (to run InfluxDB anywhere), and www.influxdata.com ## Telegraf 다운로드 주소 (아마존 리눅스 설치) https://portal.influxdata.com/downl.. 2021. 10. 14.

[AWS - LINUX] TELEGRAF 설치 및 구동 wget https://dl.influxdata.com/telegraf/releases/telegraf_1.14.3-1_amd64.deb sudo dpkg -i telegraf_1.14.3-1_amd64.deb cd /etc/telegraf yfkwon@DESKTOP-A0P47SN î‚° /etc/telegraf î‚° sudo mv telegraf.conf telegraf.conf_20200607 yfkwon@DESKTOP-A0P47SN î‚° /etc/telegraf î‚° vi telegraf.conf yfkwon@DESKTOP-A0P47SN î‚° /etc/telegraf î‚° sudo vi telegraf.conf yfkwon@DESKTOP-A0P47SN î‚° /etc/telegraf î‚°.. 2021. 10. 14.

[AWS] ALB, NLB 기본 개념 정리하기 ELB : AWS의 로드밸런서 서비스 - Basic - 서버 부하 분산 - EC2, ECS의 컨테이너, Lambda, .. - 타겟 그룹에 대한 헬스 체크 - 고정 세션 - SSL Offload (SSL 암복호화) - 헬스 체크를 통한 다운 서버 제외 .. - HTTP Header를 조작하여 전달 대상을 정하거나 고정 페이지를 반환, ACM의 SSL 인증서를 탑재하여 EC2의 부하 를 줄이고, WAS를 앞에 내세워 보안 기능을 강화하거나, CF를 연결하여 반응 속도를 향상하며 최근에 나온 Global Accelerator를 사용하여 Global Server Load Balancing (GSLB)의 기능을 활성화시키는 등 다양한 기능을 할 수 있다. - AutoScaling # ELB 아키텍쳐 - AWS의.. 2021. 10. 12.

[AWS] Amazon EC2 Instance 유형 알아보기 Amazon EC2 Instance 유형 EC2는 각 사용 사례에 맞게 인스턴스 유형을 제공한다. 인스턴스 유형은 CPU, Memory, Network, Storage 등 다양한 목적에 의해 달라지며, 애플리케이션에 따라 적합한 리소스 조합을 선택할 수 있는 유연성을 제공한다. Instance Type은 크게 다음의 유형으로 나뉜다. 1. 범용 ( General Purpose ) : 일반적인 용도에 사용할 수 있다. 1) A1 : Arm 기반 워크로드 2) T2 : 버스트가 가능한 범용 인스턴스 유형 (CPU 크레딧 존재함) : 인텔 제온 프로세서 3) T3a, T3 : 버스트가 가능한 범용 인스턴스 유형 (CPU 크레딧 존재함) : AWS Nitro System 기반의 전용 하드웨어 및 경량 하이퍼바이.. 2021. 10. 11.

[AWS] EBS(Elastic Block Storage) 추가 및 사용방법 EBS란? - EBS란 Amazon EC2 인스턴스에 디스크처럼 사용할 수 있는 Block Storage이다. 자세한 내용 EBS란? - http://galid1.tistory.com/220 EBS 확인 1) EC2 대시보드의 좌측 하단의 ELASTIC BLOCK STORAGE탭을 클릭하면 생성된 EBS목록을 확인할 수 있다. 2) 인스턴스에서 확인 - 인스턴스를 생성하고 df -h 명령어를 통해 현재 연결되어있는 디스크를 확인한다 => /dev/xvda2 의 이름으로 10G가 연결되어있는 것을 볼 수 있다. EC2에 EBS추가하기 - 별다른 설정이 필요없이 EC2 생성시 4단계에서 필수적으로 생성하도록 되어있다 EC2에서 EBS삭제하기 - 우선 EBS를 사용중인 인스턴스에 접근하여 해당 EBS장치를 u.. 2021. 10. 11.

[AWS-장애처리] Root Volume (루트볼륨)을 다른 EC2 Instance에 붙이기 1. 개요 EC2에서 작업을 하다가 Critical한 이슈가 발생한 경우, EC2 Instance에 접근을 못하는 경우 등 여러가지 이유로 Root Volume을 다른 Instance에 붙여서 복구 작업을 진행해야 하는 경우가 있다 사람일은 누구나 모르기 때문에 Root Volume을 다른 Instance에 붙여서 원인을 파악한 이후 복구하는 방법에 대해 알아보도록 하겠다. 2. 실습 실습하기 전에 알아두면 좋은 내용들에 대해서 링크를 걸어둠 EC2에 Attach되는 Storage들은 타입이 무엇인지, Root Volume 전용인지 등에 따라 다르게 부여된다. 실습 환경 Public Subnet에 있는 EC2 Instance 2대 A : 접속이 불가능하며, 복구해야 할 EC2 ⇒ Root Volume을 .. 2021. 10. 11.

[AWS] 스플렁크(SPLUNK) 머신데이터 splunk : 머신데이터 플랫폼 "머신데이터를 아무런 제약 없이 수집->저장->분석->시각화 할 수 있는 실시간 분산 플랫폼 이다." 빅데이터는 들어봤는데 스플렁크 하면서 머신데이터(machine data)는 처음들어 봐서 구글링을 해봤다. 그런데 스플렁크에서 정의된 머신데이터밖에 없었다. 스플렁크에서 정의한 머신데이터 머신데이터(machine data)는 어디에나 있습니다. 머신 데이터는 비행기와 엘리베이터에서 신호 등, 건강 모니터링 장치에 이르기 까지 모든 장치에서 생성됩니다. 머신 데이터는 매일 수많은 방식으로 인간의 삶에 영향을 미치고 삶의 수준을 향상 시킵니다. 더 찾아보니 데이터는 관점에 따라 인간이 만들어내는 데이터와 기계가 만들어 내는 데이터로 구분할 수 있다고 한다. splunk는 이.. 2021. 10. 10.

[AWS] Splunk 설치 및 설정 Splunk란? 스플렁크(Splunk)는 웹 기반 인터페이스를 통해 데이터 수집, 검색, 분석 및 모니터링을 위한 비정형 데이터 분석 솔루션이다. 현업에서는 주로, 보안 혹은 관제를 위한 빅데이터 솔루션으로 사용된다. 자체적으로 다양한 앱을 지원하는데 오늘은 기본적인 설치 방법에 대해서 알아보고자 한다. Splunk 사양 구분 CPU Memory Disk OS 최소 요구 사항 2+ GHz 6코어 2소켓+ 12GB+ RAID 0 or 1+0 64bit Splunk는 주로 빅데이터를 위한 서버에 구축하기 때문에, 요구하는 최소 사양의 경우는 위와 같다. Tip 추가적인 팁으로는 추후 클러스터링 환경을 구축하게 되는 경우 서로 다른 성능의 하드웨어를 붙이게 되는 경우 가장 낮은 성능의 하드웨어에 맞춰서 성능이.. 2021. 10. 10.

[AWS] 스플렁크(Splunk) 개념 및 설치 방법 1. Splunk란 무엇인가? 로그를 수집하고 사용자가 원하는 결과를 추출하는 대용량 로그 수집/분석 시스템이다. 컴퓨터, 네트워크 장비에서 생성하는 로그 데이터에 최적화되어 있지만 텍스트 기반의 로그라면 어떤 장비로부터 로그를 수신하고 분석할 수 있다. 2. Splunk 다운로드 방법 Splunk는 평가판으로 60일간 사용할 수 있다. 아래의 Splunk 홈페이지에 접속한다. https://www.splunk.com/ SIEM, AIOps, Application Management, Log Management, Machine Learning, and Compliance | Splunk Splunk Inc. the Data-to-Everything Platform turns data into action.. 2021. 10. 10.

[AWS-참고] Elastic Load Balancer's new Blue and Green Deployment feature - 단일 인스턴스에 적용 ## Green 인스턴스 ## Blue 인스턴스 ## ALB용 타겟그룹 작성 - Blue - 타겟그룹 edit 클릭 ## ALB용 타겟그룹 작성 - Green - 타겟그룹 edit 클릭 ## ALB 생성 - 처음 타겟그룹은 하나만 선택 가능 : BlueTG - ALB 생성중 ## ALB 생성 후, Green 타겟그룹 추가 - Listeners Edit 클릭 - 연필 클릭 https://www.youtube.com/watch?v=kActn76Fwxo 2021. 10. 5.

[AWS-성공] 블루/그린(Blue/Green) 방식으로 무중단 배포 AWS Blue/Green 배포 실습하기 블루/그린(Blue/Green) 방식이 무엇인지 잘 모르겠다면 여기 를 먼저 읽고 오는 것을 추천합니다. 그럼 바로 실습을 진행해보겠습니다. 먼저 Auto Scaling Group을 만들겠습니다. (먼저 블루 그룹을 만드는 것입니다.) 1. 시작템플릿 생성 (블루그룹 시작템플릿 없을시) 시작 템플릿을 통해서 이미지와 인스턴스 유형을 등록해주면 Auto-Scaling을 통해서 템플릿 스펙에 맞게 인스턴스가 생성됩니다. 2. Auto-Scaling 그룹 만들기 (블루그룹) 그리고 위와 같이 만든 시작 템플릿을 등록하겠습니다. 그리고 위와 같이 가용영역 두 개를 지정하겠습니다. 이렇게 두개를 지정하면 Auto Scaling을 통해 인스턴스를 만들 때 가용영역을 번갈아 .. 2021. 10. 5.

이전 1 2 다음

티스토리툴바