$ grep -rl "#AWS" posts/
#AWS_
27 posts tagged with AWS.
-
Bitbucket Pipelines로 Serverless 배포 자동화하기
OIDC로 키 없이 AWS에 배포하고, 머지할 때마다 전체 배포가 돌지 않게 만든 과정
[aws] -
AWS CodeBuild docker pull 429 에러 (Docker Hub rate limit) 해결
CodeBuild에서 베이스 이미지를 받다 간헐적으로 나는 429 에러의 원인인 Docker Hub pull rate limit과, Docker Hub 로그인·ECR Public·private ECR로 피하는 세 가지 방법을 정리했다.
[aws] -
CodeBuild에서 사설 인증서 레지스트리(insecure registry)로 이미지 push하기
x509: certificate signed by unknown authority 에러가 나는 Harbor 같은 사설 레지스트리에, CodeBuild 권한 모드와 daemon.json insecure-registries 설정으로 이미지를 push한 과정을 정리했다.
[backend] -
ecs with ec2
Amazon ECS를 EC2로 사용하려는 이유엔 몇 가지가 있을 수 있다. 다중 태스크를 돌릴 게 아니라 개발용으로 한 개만 실행시킬 거라면 ec2의 인스턴스 패밀리를 낮게 잡아서 실행하는 것이 비용적으로 효율적일 것이다.
[cloud] -
Bitbucket에서 ECR로 push하는 Pipeline 구축하기
Bitbucket pipeline으로 ECR 자동 배포 구성하는 방법이다.
[cloud] -
AWS ECS
Amazon ECS(Elastic Container Service)는 컨테이너 애플리케이션을 쉽게 배포하고 관리할 수 있는 완전 관리형 컨테이너 오케스트레이션 서비스이다.
[cloud] -
SQS Lambda Trigger
SQS Lambda Trigger란 Lambda trigger로 SQS를 등록할 수 있다. Standard 큐와 FIFO 큐 모두 지원한다. Lambda는 큐를 poll하여 가져온 큐 메시지로 동기적으로 Lambda 함수를 실행한다. Lambda는 batch안의 메시지들을 읽고 각 batch당 한 번씩 Lambda 함수…
[cloud] -
Cloudwatch Log Insights query
Cloudwatch Log Insights는 로그 그룹을 쿼리하는 데 사용할 수 있는 쿼리 언어를 지원한다. 로그 유형의 필드를 검색하고 기호로 시작하는 필드를 자동으로 생성한다. Cloudwatch 로그를 일일이 뒤지고 싶지 않다면 사용법을 알아두는게 좋다. 쿼리 명령어 | 명령어 | 설명 | | | | | displ…
[cloud] -
Data analytics3 - Athena, Glue 실습
: 로그 데이터를 Athena Glue로 분석하기 CloudWatch 로그 데이터를 S3 로 옮기는 방법은 두 가지가 있다. 1. Export log data to S3 directly 2. Using Kinesis Firehose to push log messages from CloudWatch Logs to S3 옵…
[cloud] -
Data analytics2 - DataLake
DataLake Data lake는 정형화된 그리고 비정형화된 그 어떤 데이터도 모두 저장할 수 있는 중앙화된 집중식 레파지토리이다. 말 그대로 필터링이나 정제화가 진행되지 않은 데이터가 흐르는 강이다. 특징 데이터를 구조화 할 필요 없이, 있는 그대로 저장하여 데이터에 따라 서로 다른 분석 작업을 진행 할 수 있고,…
[cloud] -
Data Analytics1 - Athena
표준 SQL을 사용하여 AWS S3에 저장된 데이터를 쉽게 바로 분석할 수 있는 대화형 쿼리 분석 서비스 특징 사용하기 쉽다. (아테나가 S3 저장소를 가리키도록 하고 스키마를 정의하고 표준 SQL로 쿼리 한다) 서버리스 서비스이다 인프라를 관리할 필요가 없다. 99.999999999%의 객체 내구성을 보장한다. 자동으…
[cloud] -
AWS - DynamoDB6
DynamoDB로 집계내기 문제 DynamoDB는 pure ’key value’ NoSQL로 집계와 같은 메서드는 제공하지 않는다. 생각해본 다른 방법 1. Apache Hive 연동 2. 별도 table 두기 3. Amazon Redshift 이용 1. Hive 사용 장점 : RDB에서 사용하는 쿼리문을 그대로 사용할…
[cloud] -
AWS - DynamoDB5
DynamoDB 설계 키 설계 DynamoDB는 NoSQL이기 때문에 어떤 쿼리를 사용하게 될 지 생각해보고 해당 작업을 빠르게 할 수 있는 키를 설정하는 것이 매우 중요하다. DynamoDB의 기본키는 ’파티션 키’와 ’정렬 키’로 이루어진다. 새 테이블을 만들 때 기본키는 무조건 지정해야 한다. 기본키 기본키는 테이…
[cloud] -
AWS - DynamoDB4
DynammoDB 요금 정책 요금 정책에는 두 가지가 있다. 1. 온디맨드 용량 모드 요금 해당 APP이 테이블에서 수행하는 데이터 READ/WRITE에 대해 요금이 부과된다. 워크로드의 확장/축소를 DB가 알아서 처리하기 때문에 읽기 및 쓰기 처리량을 지정할 필요가 없다. APP의 트래픽 처리량을 예측하기 힘든 경우…
[cloud] -
AWS - DynamoDB3
Dynamodb + Lambda 주의할 점 이전에는 event, context, callback 을 사용했지만 세번째 인자 callback은 더이상 잘 사용되지 않는다고 한다. 현재는 를 포함한 response 구조를 가진 객체를 return 하면 된다. Dynamodb로 작업하기 fetch data 데이터를 가져오는…
[cloud] -
AWS - DynamoDB
DynamoDB AWS의 종합 관리형 NoSQL DB 서비스이다. 원활한 확장성과 성능을 제공한다. NoSQL vs RDBMS RDBMS : 데이터를 유연하게 쿼리할 수 있지만, 쿼리 비용이 상대적으로 높아 트래픽이 많은 상황에서는 확장성이 떨어진다. 유연성을 목표로 설계하는 것이 중요하고 정규화가 중요하다. NoSQL…
[cloud] -
AWS - DynamoDB2
DynamoDB 활용가능성 DynamoDB를 사용할 수 있는지 계속해서 활용방안을 생각해보고있다. 현 상황 재생량을 전송하는 작업에서 uuid로 구분되는 MySQL(RDBMS) 로그 데이터 테이블에 insert와 update가 빈번하게 발생하고 있다. 이를 개선시키고자 한다. 이슈 1. 재생량 전송 처리 서버를 분리한다…
[cloud] -
Node.js + Lambda + APIGateway + DynamoDB
Lambda 람다는 서버리스 코드 실행 컴퓨팅 서비스이다. 항상 가동되는 것이 아니라 필요 시에만 코드를 실행하기 때문에 경제적이다. 또한 사용자는 컴퓨터 자원에 대해서는 고려하지 않아도 되며 오로지 코드에만 책임을 가지기 때문에 상황에 따라 아주 효율적으로 사용될 수 있다. 람다는 다양한 언어로 사용할 수 있다. No…
[cloud] -
CodeCommit
CodeCommit AWS CodeCommit은 클라우드에서 asset을 비공개로 저장하여 관리할 수 있도록 AWS에서 호스팅되는 버전 관리 서비스이다. Git의 표준 기능을 지원하므로 기존 Git 기반 도구와도 원활하게 연동된다. CodeCommit이 지원하는 기능들 AWS가 호스팅하여 종합 관리 서비스를 제공함 암호…
[cloud] -
AWS Node.js SDK로 S3 사용해보기 & multer-S3
설치 자격증명 global credential file을 통해 자격증명을 할 수도 있고 다양한 방법이 있다. 나는 간단하게 파일을 생성하여 사용했다. (IAM 사용자 생성 후 sdk 사용을 위한 키 밸류 값들은 받아놓은 상태) 파일은 다음과 같이 불러올 수 있다. S3 생성 및 리스팅 S3 접근 권한이 있는 계정이라면…
[cloud] -
Github page AWS Route53 custom domain으로 서비스하기
Route53은 AWS의 클라우드 DNS 웹 서비스 이다. DNS 서비스를 제공하는 다른 서비스들도 많지만 Route53을 사용할 경우 EC2 또는 CloudFront 등 AWS에서 실행되는 인프라에 효과적으로 연결된다. 이번에는 Route53에서 도메인을 사서 github page로 연결시켜보았다. 다른 더 저렴한 같…
[cloud] -
S3 & CloudFront 연동
AWS CloudFront 공식문서 CloudFront html, css, js 및 이미지 파일과 같은 정적 & 동적 웹 컨텐츠를 사용자에게 더 빨리 배포하도록 지원하는 AWS의 웹 서비스이다. 전세계의 엣지 로케이션을 통해 뛰어난 전송 능력을 가지고있다. 파일의 사본이 여러 위치에 보관되므로 안정성과 가용성도 향상된다…
[cloud] -
S3
Amazon S imple S torage S ervice 인터넷 스토리지 서비스를 위한 AWS 서비스 구성요소 bucket : container와 같은 개념. 파일이 저장될 프로젝트를 말한다. Data Object : 저장되는 파일. 객체 형식으로 저장된다. 실제 ’파일’과 파일을 설명하는 ’메타데이터’로 구성된다.…
[cloud] -
AWS ubuntu18.04 FTP 설치하기
파일관리를 좀 더 편하게 하기위해 FTP를 설정했다. 인스턴스를 만들 때 마다 필요하기 때문에 설정방법을 알아두면 편하다. vsftpd 설치 vsftpd는 ubuntu의 기본 ftp 설치 패키지다. 패키지 관리자 을 업데이트 해주고 를 설치한다. 설치된 vsftpd를 재실행시키고 ubuntu가 실행될 때마다 함께 실행되…
[backend] -
Flask앱 AWS로 배포하기
도커를 사용해 간편하게 배포한다. 서버 세팅을 직접 하는 방법은 [’[FLASK] FLASK와 NGINX 클라우드 서비스 구동하기’](https://studyeong.blogspot.com/2020/02/flask flask nginx.html) 예전에 블로그에 정리해놓았다. 준비 사항 프로젝트 코드가 AWS 인스턴스…
[backend] -
AWS 시작하기
AWS 계정 만들기 AWS 계정을 만드는 것은 간단하다. AWS Console로 이동하여 회원가입하고, 클라우드 서비스는 비용이 나가는 서비스이기 때문에 billing info또한 작성해야 한다. 클라우드 서버를 통해 작업하는 것은 보안이 철저해야 한다. AWS 에도 다양한 상품이 존재하고, 상품에 따라서 눈깜빡할 사이…
[backend] -
클라우드 컴퓨팅
클라우드 컴퓨팅이라는 단어는 사실 굉장히 넓은 범위를 포함하고 있다. 2000년대 초 부터 많이 사용되기 시작한 단어로, 구름 위에 있는 보이지 않는 컴퓨터 자원을 사용해 작업한다는 뜻이다. 대부분의 작업을 온라인에 분산되어 존재하는 데이터 센터(=클라우드)에 맡겨 수행하고, 사용자의 컴퓨터는 클라우드에 접속하여 상호작…
[backend]