분류 전체보기
-
[ERROR] failed to create:[AWSEBInstanceLaunchWaitCondition]Cloud/AWS 2023. 5. 24. 01:18
배경 public subnet 에 NAT Instance 를 사용하여 인터넷 연결을 할 수 있도록 구축했다 private subnet 에 beanstalk 환경을 구축하였으나 실패했다 (pending -> Info) INFOEnvironment health has transitioned from Info to No Data. Initialization completed 23 seconds ago and took 19 minutes. None of the instances are sending data. INFORebuilt environment: Citron-app-env. However, there were issues during launch. See event log for details. ERRO..
-
[AWS] CLICloud/AWS 2023. 5. 22. 23:18
CLI AWS CLI는 version1 , version2 가 존재한다 version1 - pip로 설치 pip install awscli version2 - AWS local mode 제공 환경설정 IAM, 사용자 생성 → 액세스 키 생성 aws --version aws configure # AWS Access Key ID: MYACCESSKEY # AWS Secret Access Key: MYSECRETKEY # Default region name [us-west-2]: us-west-2 # Default output format [None]: json S3 CLI aws s3 mb s3://bucket-name # 버킷생성 aws s3 sync . s3://bucket-name # 현재 위치의 모든..
-
[데이터] 데이터웨어하우스 종류기타 2023. 5. 22. 21:44
1. AWS RedShift 페타바이트(PB) 스케일 데이터의 분산 처리 가능한 웨어하우스 python으로 UDF 작성 가능 고정비용, 예약 가격 및 가변비용 옵션 지원 (Redshift Serverless) SQL (PostgreSQL) , CSV, JSON , Avro , Parquet AWS Kenesis와 연동해 실시간 데이터 처리도 가능 2. Snowflake 데이터 판매가 가능한 Data Sharing /Marketplace 제공 가변비용 옵션 SQL , CSV, JSON , Avro , Parquet 실시간 데이터 처리도 가능 3. Google Cloud Bigquery Nested fields , repeated fields 지원하는 데이터웨어하우스 가변비용, 고정비용 옵션 지원 SQL ,..
-
[데이터] 데이터 조직 업무기타 2023. 5. 22. 21:42
Data Lake 모든 데이터를 보존하는 스토리지 ETL 외부에서 DataLake , DataWarehouse 로 데이터를 가져오는 것 Airflow (권장) ETL 관련 SaaS - FiveTran , Stitch Data 아직까지 기능이 강력하지 않아 데이터엔지니어가 없는 경우만 사용 ELT DataLake, DataWarehouse 에서 데이터를 처리하는 것 데이터웨어하우스 회사에 필요한 모든 데이터를 모아놓은 중앙 데이터베이스 AWS Redshift , BigQuery , Snowflake 오픈소스 기반 하둡(Hive, Presto) / Spark 프로덕션 데이터베이스와 별개의 데이터 베이스 SQL 지원 빅데이터 처리 프레임워크 다수의 서버로 구성되어 있다 Fault Tolerance : 소수의 ..
-
[AWS] NAT gateway 대신 NAT Instance 생성하기 (with Bastionhost)Cloud/AWS 2023. 5. 22. 16:14
NAT gateway 대신 NAT Instance 생성하기 (with Bastionhost) 목표 : 비용절감을 위해, NAT Instance와 Bastion 호스트를 하나의 인스턴스로 구현 NAT Instance private 서브넷의 인스턴스들이 인터넷에 접속하기 위한 네트워크 주소 변환을 처리한다 private 서브넷 인스턴스의 아웃바운드 트래픽을 퍼블릭 IP 주소로 변환하어 인터넷으로 전달 VPC public 서브넷에 위치하는 인스턴스 Bastion Host ssh를 통해 외부에서 VPC 내 private 서브넷과 통신을 돕는 호스트 VPC public 서브넷에 위치하는 인스턴스 , NAT Instance를 겸할 수 있다 VPC , 서브넷, 라우팅 테이블, 인터넷 게이트웨이 생성 NATSG 보안그..
-
[AWS] CI/CDCloud/AWS 2023. 5. 18. 11:53
CI/CD CodeCommit 클라우드에서 소스를 비공개로 관리하는 서비스 CodeCommit 클라우드에서 소스를 비공개로 관리하는 서비스 CodeBuild 클라우드에서 소스코드를 컴파일하고 단위 테스트를 실행하는 서비스 - buidspec 스크립트 - Artifact, 빌드에 참고할 환경변수 지정 CodeDeploy 빌드된 코드를 자동으로 배포하는 서비스 - 어플리케이션 외 다양한 대상에 대해 배포를 수행한다 (Lamda , EC2 ..) - 세밀하고 다양한 배포 시나리오 제공 (블루/그린 배포 ..) CodePipeline 3가지 서비스를 이용해 파이프라인을 자동화하는 서비스 CI / CD 시나리오 소스코드 관리 - CodeCommit 빌드 , 테스트 , 배포 파이프라인 - CodePipeline 지..