$ ls -lt posts/cloud/
cloud_
40 posts in cloud.
-
Bitbucket Pipeline + Docker 삽질 기록
Next.js 앱을 Bitbucket Pipelines(x86_64)에서 빌드해 ARM64 EC2(Graviton)에 배포하며 만난 yarn peer dependency 에러, --immutable fetch 실패, exec format error를 self-hosted runner로 해결한 과정.
[cloud] -
ECS 태스크가 시작되지 않을 때: TaskFailedToStart & EMPTY CAPACITY PROVIDER
ECS 서비스는 떴는데 태스크가 실행되지 않고 TaskFailedToStart: EMPTY CAPACITY PROVIDER가 반복될 때, ECS Agent 확인부터 task definition과 EC2 인스턴스의 아키텍처(x86_64/arm64) 불일치를 찾아낸 과정.
[cloud] -
ecs with ec2
Amazon ECS를 EC2로 사용하려는 이유엔 몇 가지가 있을 수 있다. 다중 태스크를 돌릴 게 아니라 개발용으로 한 개만 실행시킬 거라면 ec2의 인스턴스 패밀리를 낮게 잡아서 실행하는 것이 비용적으로 효율적일 것이다.
[cloud] -
Bitbucket에서 ECR로 push하는 Pipeline 구축하기
Bitbucket pipeline으로 ECR 자동 배포 구성하는 방법이다.
[cloud] -
AWS ECS
Amazon ECS(Elastic Container Service)는 컨테이너 애플리케이션을 쉽게 배포하고 관리할 수 있는 완전 관리형 컨테이너 오케스트레이션 서비스이다.
[cloud] -
Docker & Dockerfile 그리고 Multi-stage
Dockerfile과 Multi stage 도커파일은 도커 이미지를 생성하기 위한 선언형 스크립트다. 기본 규칙만 익혀두면 다른 프로젝트의 Dockerfile도 빠르게 읽고 이해할 수 있다. Format 도커파일의 기본 작성 포맷은 아래와 같다. 명령문(instruction)은 대소문자를 구분하지 않지만 편의상 대문자로…
[cloud] -
serverless esbuild로 패키지 사이즈 줄이기
serverless로 AWS Lambda를 패키징 하다보니 코드가 늘어날 수록 패키징 및 deploy 시간이 점점 더 늘어났다. 이대로 안되겠다 싶어 방법을 찾아보던 중 를 발견해 적용해보았는데 결과는 대만족! 설치 공식 홈페이지에서 자세한 옵션과 설치 및 적용 방법을 볼 수 있다. 적용 방법은 너무너무 간단하다. 그리…
[cloud] -
EC2 스토리지 용량 변경하기
’No space left ...’ 에러가 발생했을 때 스토리지 용량을 수정하는 방법이다. 그 전에 먼저 스토리지가 모두 사용중인 게 맞는지 확인이 필요하다. 100% 사용중으로 나와서 스토리지 용량 변경을 진행했다. 변경 방법 1. 콘솔에서 연결된 EBS 스토리지 용량을 수정한다. 2. 인스턴스에서 를 설치한다. 3.…
[cloud] -
AWS cli credential helper로 codecommit 인증하기
이미 저장된 Codecommit credential이 있어서 다른 계정의 codecommit을 이용하려 할 때 credential helper 팝업이 뜨지 않아 이용이 불가능했다. 멀티 계정으로 codecommit을 이용하기 위해 AWS cli credential helper를 등록해 문제를 해결할 수 있었다. 사용 방…
[cloud] -
serverless environment variable
serverless 프레임워크에서 환경 변수를 사용하는 방법은 여러가지가 있다. 그중 가장 간단하다고 생각되는 방법은 비교적 나중에 추가된 기능인 파일을 그대로 읽어오도록 하는 방법이다. 적용 방법 serverless.yml serverless.yml 파일에 옵션을 true로 넣어주면 된다. serverless에서 지원…
[cloud] -
VPC 내부 AWS Lambda DynamoDB 연결하기
Elasticache를 사용하려는데 같은 VPC 내부에서만 접근이 가능해서 Lambda를 VPC 내부에 위치시켰다. 그랬더니 DynamoDB로 직접 접근이 되지 않고 무한히 Timeout만 발생했다. 당연히 안되겠지. DynamoDB VPC 엔드포인트 사용을 보고 문제를 해결할 수 있었다. 다만 문서에서는 CLI 명령으…
[cloud] -
AWS AppSync DynamoDB Resolver update Add 사용
AppSync DynamoDB Javascript Resolver에서 update increment, decrement는 이미 존재하는 row에 대해서만 작동하기 때문에 에러가 발생한다. 이는 update의 increment 사용시 DynamoDB 요청으로 변형되기 때문이다. 아래는 increment를 사용한 Javas…
[cloud] -
[AWS] SQS batch item failures
Snowball anti patterns SQS에서 실패 처리된 메세지 핸들링은 매우 중요하다. 보통의 경우 Lambda가 batch를 처리하다 에러가 발생하는 경우 전체 메세지가 큐에 다시 들어가게 된다. 예를 들어 배치 크기가 100인 경우 한 번에 100개의 메세지가 처리되는 건데 77번째 메세지 처리 중 에러가…
[cloud] -
[AWS] DLQ(Dead Letter Queue) 리드라이브
DLQ SQS에서 란 성공적으로 처리되지 않은 메세지를 담고있는 큐를 말한다. DLQ는 자동으로 설정되는 것은 아니고, 일단 큐를 생성한 후 해당 큐를 다른 큐의 DLQ로 설정하여 사용할 수 있다. DLQ도 소스 큐와 같은 유형의 큐여야 한다. FIFO 큐의 DLQ는 FIFO 큐가 되어야 하는 것이다. (스탠다드 큐도…
[cloud] -
[AWS] aws-sdk v3 마이그레이션 (Node.js 18.x 런타임)
serverless로 Labmda를 컴파일하는데 aws sdk v3를 사용하라는 warning이 계속 나타나서 이참에 업그레이드를 하기로 했다. AWS에서 sdk v3로 코드를 바꿔주는 커맨드가 있긴한데 난 그걸로는 부족해서 이참에 리팩토링도 진행했다. v3로 버전업 되면서 달라진 점이 몇 가지 있는데 장점이 많아 업그…
[cloud] -
cloudwatch log insights query sdk
javascript sdk를 사용해 cloudwatch log insight를 사용하는 법을 정리한다. 코드 참고 Stackoverflow
[cloud] -
Code Deploy 배포 자동화 이슈
온프레미스 인스턴스에 작업 codedeploy agent config 파일이 없다는 이슈 명령어 사용시 config file이 같은 디렉토리에 생성된다. 명령어 사용시 위치에 파일을 만든다. SSL validation error 시도해본 방법들 certification 경로를 못 불러오는건 아닌가 하여 환경 변수 재설정
[cloud] -
Step Functions 작성하기
나중에 또 쓸 일이 있을 것 같아서 기록해둔다. SQS에 쌓여있는 Queue를 10초에 한 번씩 처리하도록 했다. Step 10초에 한 번 람다를 실행시키는 Step Functions Stemp Functions 에서 실행시키는 iterator 람다는 아래와 같다.
[cloud] -
Ubuntu18.04 CodeDeploy agent cli 설치
AWS 공식 문서에서는 Codedeploy agent 설치시 AWS Systems Manager를 사용할 것을 권장한다. 하지만 나는 온프레미스 서버에서의 간단한 세팅을 원하기 때문에 그냥 cli로 설치하기로 했다. 🥸 설치 사용중인 Ubuntu 버전에 따라 설치 커맨드가 달라지고 잘못 입력할 경우 패키지를 지웠다 깔…
[cloud] -
SQS Lambda Trigger
SQS Lambda Trigger란 Lambda trigger로 SQS를 등록할 수 있다. Standard 큐와 FIFO 큐 모두 지원한다. Lambda는 큐를 poll하여 가져온 큐 메시지로 동기적으로 Lambda 함수를 실행한다. Lambda는 batch안의 메시지들을 읽고 각 batch당 한 번씩 Lambda 함수…
[cloud] -
serverless 사용해보기
Serverless는 개발 프로세스를 단순화하기 위해 만들어졌다. AWS에서 Lambda를 작성한다면 각 Lambda마다 함수를 작성해야 하고 매번 환경 설정을 해야 한다. 그렇게 작성한 Lambda는 AWS 콘솔에서 다른 서비스와 연결시켜줘야 사용할 수 있다. 이런 과정을 간소화해주는 것이 Serverless Fram…
[cloud] -
CodeDeploy
CodeDeploy는 Amazon EC2 인스턴스, 온프레미스 인스턴스, 서버리스 Lambda 함수 또는 ECS 서비스로 애플리케이션 배포를 자동화하는 배포 서비스이다. 기존 코드 변경 없이도 사용이 가능하다. 장점 신속한 새 기능 출시 애플리케이션 배포 시 가동 중지 방지 수동 배포와 관련된 다양한 위험 없이 애플리케…
[cloud] -
AWS SAM (Lambda Typescript로 작성하기)
SAM은 Serverless Application Model의 줄임말이다. 서버리스 애플리케이션을 빌드하는 데 사용할 수 있는 오픈 소스 프레임워크이다. 서버리스 애플리케이션이란 작업을 수행하는 데 함께 작동하는 Lambda 함수, 이벤트 소스 및 기타 리소스의 조합이다. 단순 Lambda 함수 그 이상으로, API,…
[cloud] -
Kinesis
Amazon Kineses를 사용하면 실시간 스트리밍 데이터를 손쉽게 수집, 처리 및 분석할 수 있으므로 새로운 정보에 신속 대응할 수 있다. Amazon Kineses에서는 기계 학습, 분석 및 기타 애플리케이션을 위해 비디오, 오디오, 애플리케이션 로그 데이터와 같은 실시간 데이터를 수집할 수 있다. 중요 특징 실시…
[cloud] -
Cloudwatch Log Insights query
Cloudwatch Log Insights는 로그 그룹을 쿼리하는 데 사용할 수 있는 쿼리 언어를 지원한다. 로그 유형의 필드를 검색하고 기호로 시작하는 필드를 자동으로 생성한다. Cloudwatch 로그를 일일이 뒤지고 싶지 않다면 사용법을 알아두는게 좋다. 쿼리 명령어 | 명령어 | 설명 | | | | | displ…
[cloud] -
Data analytics3 - Athena, Glue 실습
: 로그 데이터를 Athena Glue로 분석하기 CloudWatch 로그 데이터를 S3 로 옮기는 방법은 두 가지가 있다. 1. Export log data to S3 directly 2. Using Kinesis Firehose to push log messages from CloudWatch Logs to S3 옵…
[cloud] -
Data analytics2 - DataLake
DataLake Data lake는 정형화된 그리고 비정형화된 그 어떤 데이터도 모두 저장할 수 있는 중앙화된 집중식 레파지토리이다. 말 그대로 필터링이나 정제화가 진행되지 않은 데이터가 흐르는 강이다. 특징 데이터를 구조화 할 필요 없이, 있는 그대로 저장하여 데이터에 따라 서로 다른 분석 작업을 진행 할 수 있고,…
[cloud] -
Data Analytics1 - Athena
표준 SQL을 사용하여 AWS S3에 저장된 데이터를 쉽게 바로 분석할 수 있는 대화형 쿼리 분석 서비스 특징 사용하기 쉽다. (아테나가 S3 저장소를 가리키도록 하고 스키마를 정의하고 표준 SQL로 쿼리 한다) 서버리스 서비스이다 인프라를 관리할 필요가 없다. 99.999999999%의 객체 내구성을 보장한다. 자동으…
[cloud] -
AWS - DynamoDB6
DynamoDB로 집계내기 문제 DynamoDB는 pure ’key value’ NoSQL로 집계와 같은 메서드는 제공하지 않는다. 생각해본 다른 방법 1. Apache Hive 연동 2. 별도 table 두기 3. Amazon Redshift 이용 1. Hive 사용 장점 : RDB에서 사용하는 쿼리문을 그대로 사용할…
[cloud] -
AWS - DynamoDB5
DynamoDB 설계 키 설계 DynamoDB는 NoSQL이기 때문에 어떤 쿼리를 사용하게 될 지 생각해보고 해당 작업을 빠르게 할 수 있는 키를 설정하는 것이 매우 중요하다. DynamoDB의 기본키는 ’파티션 키’와 ’정렬 키’로 이루어진다. 새 테이블을 만들 때 기본키는 무조건 지정해야 한다. 기본키 기본키는 테이…
[cloud] -
AWS - DynamoDB4
DynammoDB 요금 정책 요금 정책에는 두 가지가 있다. 1. 온디맨드 용량 모드 요금 해당 APP이 테이블에서 수행하는 데이터 READ/WRITE에 대해 요금이 부과된다. 워크로드의 확장/축소를 DB가 알아서 처리하기 때문에 읽기 및 쓰기 처리량을 지정할 필요가 없다. APP의 트래픽 처리량을 예측하기 힘든 경우…
[cloud] -
AWS - DynamoDB3
Dynamodb + Lambda 주의할 점 이전에는 event, context, callback 을 사용했지만 세번째 인자 callback은 더이상 잘 사용되지 않는다고 한다. 현재는 를 포함한 response 구조를 가진 객체를 return 하면 된다. Dynamodb로 작업하기 fetch data 데이터를 가져오는…
[cloud] -
AWS - DynamoDB
DynamoDB AWS의 종합 관리형 NoSQL DB 서비스이다. 원활한 확장성과 성능을 제공한다. NoSQL vs RDBMS RDBMS : 데이터를 유연하게 쿼리할 수 있지만, 쿼리 비용이 상대적으로 높아 트래픽이 많은 상황에서는 확장성이 떨어진다. 유연성을 목표로 설계하는 것이 중요하고 정규화가 중요하다. NoSQL…
[cloud] -
AWS - DynamoDB2
DynamoDB 활용가능성 DynamoDB를 사용할 수 있는지 계속해서 활용방안을 생각해보고있다. 현 상황 재생량을 전송하는 작업에서 uuid로 구분되는 MySQL(RDBMS) 로그 데이터 테이블에 insert와 update가 빈번하게 발생하고 있다. 이를 개선시키고자 한다. 이슈 1. 재생량 전송 처리 서버를 분리한다…
[cloud] -
Node.js + Lambda + APIGateway + DynamoDB
Lambda 람다는 서버리스 코드 실행 컴퓨팅 서비스이다. 항상 가동되는 것이 아니라 필요 시에만 코드를 실행하기 때문에 경제적이다. 또한 사용자는 컴퓨터 자원에 대해서는 고려하지 않아도 되며 오로지 코드에만 책임을 가지기 때문에 상황에 따라 아주 효율적으로 사용될 수 있다. 람다는 다양한 언어로 사용할 수 있다. No…
[cloud] -
CodeCommit
CodeCommit AWS CodeCommit은 클라우드에서 asset을 비공개로 저장하여 관리할 수 있도록 AWS에서 호스팅되는 버전 관리 서비스이다. Git의 표준 기능을 지원하므로 기존 Git 기반 도구와도 원활하게 연동된다. CodeCommit이 지원하는 기능들 AWS가 호스팅하여 종합 관리 서비스를 제공함 암호…
[cloud] -
AWS Node.js SDK로 S3 사용해보기 & multer-S3
설치 자격증명 global credential file을 통해 자격증명을 할 수도 있고 다양한 방법이 있다. 나는 간단하게 파일을 생성하여 사용했다. (IAM 사용자 생성 후 sdk 사용을 위한 키 밸류 값들은 받아놓은 상태) 파일은 다음과 같이 불러올 수 있다. S3 생성 및 리스팅 S3 접근 권한이 있는 계정이라면…
[cloud] -
Github page AWS Route53 custom domain으로 서비스하기
Route53은 AWS의 클라우드 DNS 웹 서비스 이다. DNS 서비스를 제공하는 다른 서비스들도 많지만 Route53을 사용할 경우 EC2 또는 CloudFront 등 AWS에서 실행되는 인프라에 효과적으로 연결된다. 이번에는 Route53에서 도메인을 사서 github page로 연결시켜보았다. 다른 더 저렴한 같…
[cloud] -
S3 & CloudFront 연동
AWS CloudFront 공식문서 CloudFront html, css, js 및 이미지 파일과 같은 정적 & 동적 웹 컨텐츠를 사용자에게 더 빨리 배포하도록 지원하는 AWS의 웹 서비스이다. 전세계의 엣지 로케이션을 통해 뛰어난 전송 능력을 가지고있다. 파일의 사본이 여러 위치에 보관되므로 안정성과 가용성도 향상된다…
[cloud] -
S3
Amazon S imple S torage S ervice 인터넷 스토리지 서비스를 위한 AWS 서비스 구성요소 bucket : container와 같은 개념. 파일이 저장될 프로젝트를 말한다. Data Object : 저장되는 파일. 객체 형식으로 저장된다. 실제 ’파일’과 파일을 설명하는 ’메타데이터’로 구성된다.…
[cloud]