Hide

일반적으로 두개의 리스트를 병렬로 다루고 싶을 때 zip() 메소드를 이용한다. 나같은 경우 두개의 리스트를 하나하나 루프를 돌며 비교하는 검증 작업을 진행하고 있었다. 작업 도중 한가지 문제점을 발견했는데, 바로 사이즈가 다를 때였다. zip()을 사용하여 두개의 리스트를 순회하면 사이즈가 다른 경우 사이즈가 작은 리스트의 작업까지만 순회하고 루프를 종료한다. a = [1, 2, 3] b = [4, 5] for x, y in zip(a, b): print(f'x: {x} / y: {y}') 예를 들어 위와 같이 사이즈가 다른 두개의 리스트를 zip을 통해 순회하면 결과는 다음과 같다. x: 1 / y: 4x: 2 / y: 5 나는 마지막 값까지 순회하며 처리하고 싶었다. 그렇다면 무언가 특정 값으로 P..

보통 파이썬으로 MongoDB에 접근하여 작업할 때 MongoEngine을 자주 사용했었다. 형태가 Django의 모델과 상당히 유사하고 사용법또한 간단했다. 또한 가장 눈여겨봤던 점은 커뮤니티 활성도였다. 타 ODM보다 깃허브 스타가 많았으며 스택오버플로우 등에서 관련 자료를 찾기 쉬웠다. MongoEngine은 PyMongo를 좀 더 사용하기 쉽게 Wrapping해놓은 라이브러리이다. PyMongo를 사용해보면 알겠지만 문법이 간결하지않고, 조금 더 Raw한 느낌이다. 실제로도 가장 네이티브에 근접하게 만들어진 라이브러리이기에 속도 또한 빠르다. 그렇기에 MongoEngine이란 ODM을 사용하고 있었는데, 아무래도 PyMongo의 모든 기능을 제공하진 않는다. 일반적인 작업은 그냥 몽고엔진만을 통해..

현재 나는 AWS ECS를 사용하고 있다. 해당 환경을 통해 서버를 구동하면 자동으로 AWS AMI(Amazon Machince Image)를 사용하여 인스턴스를 구동하게 된다. 또한 Redis를 사용하기 위해 Elasticache를 사용하고 있는데, 일반적으로 Elasticache는 외부에서 접근이 불가능하다. 따라서 같은 VPC내에 있는 EC2 인스턴스 내부에서 접근해야한다. 위 과정에서 나는 기존에 ECS를 통해 생성되어있던 인스턴스를 통해 Elasticache에 붙기로 했고, 해당 인스턴스내에서 redis-cli를 설치하는 방법에 대해 간략하게 정리한다. 1. AMI에서 설치하는 방법sudo yum install -y gcc sudo yum install -y wget wget http://dow..

기존에 ECS를 사용하여 docker-compose를 배포하는 방법(https://hides.kr/1016)에 대해 포스팅했었다. 일반적인 ECS는 EC인스턴스 위에 컨테이너가 돌아가는 형태이므로 EC2에 대한 디펜던시를 가져갈 수 밖에 없다. 하지만 큰 문제가 없어서 계속 사용을 하던 중 Fargate 비용 인하 소식을 듣게 되었다. (https://aws.amazon.com/ko/about-aws/whats-new/2019/01/announcing-aws-fargate-price-reduction-by-up-to-50-) 최대 50% 요금을 인하한다고 하는데, 그래도 EC2를 이용하는 방법보다는 비용이 비싼 편이다. EC2 Container Service와 Fargate Container Servic..

파이썬에서의 일급함수, 데코레이터를 구현하는 방법은 알고 있었지만 그것이 무엇인지 정확하게 설명할 수 있을까? 라는 질문을 나에게 던져본다면 잠시 망설일 것 같다. 평소에 이론적인 지식보다는 실무적으로 실제 구현 능력을 키우는 것에 좀 더 집중했기 때문인데 기본기를 다시 한번 다지자라는 마음으로 이렇게 포스팅으로나마 정리해본다. 첫 번째로 일급 함수에 대해 설명할 것이며 두 번째로 클로저에 대해서, 최종적으로 이 모든 특성을 결합하여 데코레이터를 만들어본다. 일급 함수(First citizen function)파이썬에서의 함수는 일급 함수이다. 일급 함수는 다음과 같은 조건에 만족해야한다. 1. 하나 또는 여러개의 함수를 인자로 받을 수 있다.2. 리턴 값으로 함수를 줄 수 있다.3. 변수에 함수를 담을..

토이 프로젝트를 진행하면서 어떤 웹 프레임워크를 사용할까 고민을 많이 했었다. 기존에는 Django 또는 Flask로 대부분의 작업을 진행했는데, 요즘 파이썬 비동기 프로그래밍에 관심이 생겨서 관련 프레임워크를 찾아봤다. 많은 프레임워크가 있었고 그 중 aiohttp, sanic, vibora 총 3가지를 후보군으로 뒀다. 먼저 aiohttp는 주변에서 추천해주길래 한번 써봤는데 나쁘진 않았다. 하지만 sanic과 vibora보다 퍼포먼스가 좋지 않았다. 두번째로 vibora는 가장 속도가 빨랐다. 하지만 깃헙 스타가 5000개밖에 되지 않았다. 결과적으로 sanic을 사용하기로 결정했는데 그 이유는 다음과 같다. 첫번째로 형태가 Flask와 비슷했다. 나는 보통 프로젝트를 시작할 때 boilerplat..

보통 장고를 실행시키거나 테스트를 진행할 때 아래와 같은 명령어를 사용한다. python3 manage.py runserverpython3 manage.py test 이와 같이 manage.py를 통해 장고에 대한 작업을 진행하는 형태이다. 위처럼 하나의 파일을 통해 원하는 명령어를 실행시킬 수 있다면 관리하기도 용이할 것이다. 편리하게도 장고측에서 위처럼 이미 정의되어있는 명령어 이외에도 Custom하게 명령어를 만들 수 있도록 기능을 제공해준다. 먼저 아래의 명령어로 앱을 하나 생성한다. django-admin startapp testapp 그다음 앱 내부에 management라는 폴더를 생성한다. 그리고 해당 폴더 내부에 commands라는 폴더를 추가로 생성한다. commands폴더 내부에 실행시..

데이터를 동기화시키기 위해 기존 컨테이너가 아닌 추가적인 컨테이너를 띄워야하는 상황이 발생했다. 따라서 크론 관련 이미지를 알아보던 중 그냥 익숙한 우분투에 크론잡을 설치하여 사용하기로 결정했다. 진행하던 중 생각치도 못한 이슈들이 몇가지 발생하여 이렇게 기록한다. 아마 많은 사람들이 동일하게 겪는 증상이라고 생각하며 본 포스팅이 조금이나마 도움이 됐으면 한다. 1. 크론잡이 실행되는 쉘의 환경변수와 도커로 접속했을 때 쉘의 환경변수가 다르다. 따라서 만약 특정 프로그램을 실행시킬 때 환경변수가 필요한 상황이라면, crontab -e로 잡을 스케쥴링할 때 최상단에 환경변수도 같이 명시해줘야한다. ex) PATH=1 2. Dockerfile에 RUN service cron start와 같이 크론 서비스를 ..

0. ECR 푸시Fargate로 실행시킬 도커 이미지를 빌드하고 ECR에 푸시해놓은 상태로 진행한다고 가정한다. ECR 푸시 과정은 이전 포스팅에 담겨있다. 1. 클러스터 생성먼저 ECS콘솔로 들어간 후 클러스터 생성을 누른다. 첫번째가 Fargate용 클러스터이므로 선택하고 다음 단계를 누른다. 나는 기존에 존재하는 VPC를 그대로 사용할 것이므로 VPC 생성은 체크하지 않았다. 원하는 클러스터 이름을 적고 생성을 누른다. 위와 같이 나온다면 성공적으로 클러스터를 생성한 것이다. 2. 작업 정의(Task Definition) 생성다음으로 작업 정의를 생성해줘야 한다. ECS콘솔 - 작업정의로 들어가서 새 작업 정의 버튼을 클릭한다. 왼쪽에 있는 FARGATE 전용 작업 정의를 선택하고 다음 단계로 넘어..

QuerySet is LazyDjango의 QuerySet은 Lazy하다. 한마디로 코드 상에서 쿼리를 구성해도 실제 데이터베이스에 접근하는 것은 평가(Evaluate)될 때 한번 뿐이다. 따라서 이러한 특성을 잘 이용한다면 데이터베이스에 접근하는 횟수를 줄일 수 있고 쿼리를 최적화하여 퍼포먼스를 증가시킬 수 있다. When QuerySets are evaluated내부적으로 QuerySet은 실제로 데이터베이스에 접근하지않고 필터링, 슬라이싱등의 작업을 할 수 있다. 한마디로 평가(Evaluate)되기 전까지 데이터베이스에 접근하지 않는다는 말이다. 아래와 같은 동작을 했을 때 QuerySet이 평가되고 실제 데이터베이스에 접근한다. - Iteration : QuerySet은 Iterable(순회 가능..