Coding/Python 검색 결과

해당 글 64건

Python Method Chaining

SQLAlchemy, MongoEngine 또는 Django ORM 등의 쿼리를 보면 Chaining을 통해 쿼리를 쉽게 작성할 수 있다는걸 알 수 있다. 예를 들어 아래와 같은 형태이다. User.objects.filter(user_id=1).order_by('-user_id')위 쿼리는 user_id=1의 결과값을 역순으로 정렬하여 return해준다. 쿼리에서 알 수 있듯이 filter().order_by() 형태로 함수들을 Chaining해줬다. 만약 Chaining을 지원하지 않았다면 filter()를 한번해주고 그 결과값을 다시 order_by()를 해주는 형태로 나눠서 작성해야 했을 것이다. 이는 상당히 많은 경우에서 유용한데, 파이썬의 경우 정말 간단한 방법을 통해 Method..
Coding/Python 2019.07.17 19:14

ECS Blue/Green CodeDeploy 연동 배포 자동화 스크립트

이전에 AWS ECS를 사용할 때 Deployment Type을 Blue/Green Deployment로 지정하여 배포하는 방법에 대해 포스팅했었다. (https://hides.tistory.com/1013) 해당 포스팅을 통해 서비스를 생성하면 CodeDeploy의 애플리케이션쪽에 자동으로 연관된 애플리케이션과 배포 그룹이 생성된다. ECS콘솔에서 서비스를 선택하고 직접 업데이트 버튼을 눌러서 배포를 진행할수도 있지만 명령어를 한번 실행시키는 형태로 배포를 자동화시키고 싶었다. 그래서 awscli쪽을 알아보던 중 CodeDeploy관련 create-deployment를 이용하면 쉽게 가능할 것이라고 생각했다. 자세한 문서는 https://docs.aws.amazon.com/cli/latest/refer..
Coding/Python 2019.06.21 18:29

Python Kafka를 통한 Event Bus 사용해보기

(Kafka는 위 사진처럼 Producer들이 Kafka 클러스터에 요청을 보내면, 구독하고 있던 Consumer들이 해당 정보를 받아볼 수 있다) 일반적으로 Monolithic Architecture에서 Microservice Architecture로 옮겨갈 때 가장 문제가 되는 부분이 바로 데이터 동기화 문제이다. MSA는 많은 장점을 가지고 있지만 그만큼 단점 또한 존재한다. 이번 포스팅에서는 그 중 하나인 "데이터 동기화 문제"에 대해 다뤄본다. 수많은 MSA 어플리케이션이 존재하고 동일하게 같은 데이터를 필요로 한다면 어떻게 할까. 각 서버에서 API 엔드포인트를 열어놓고 HTTP Request를 통해 받아오는것도 하나의 방법이지만 중복된 데이터를 각 어플리케이션에 맞게 가공하여 들고있는 것 또..
Coding/Python 2019.06.21 11:59

Python zip으로 병렬처리 시 리스트의 크기가 다른 경우

일반적으로 두개의 리스트를 병렬로 다루고 싶을 때 zip() 메소드를 이용한다. 나같은 경우 두개의 리스트를 하나하나 루프를 돌며 비교하는 검증 작업을 진행하고 있었다. 작업 도중 한가지 문제점을 발견했는데, 바로 사이즈가 다를 때였다. zip()을 사용하여 두개의 리스트를 순회하면 사이즈가 다른 경우 사이즈가 작은 리스트의 작업까지만 순회하고 루프를 종료한다. a = [1, 2, 3] b = [4, 5] for x, y in zip(a, b): print(f'x: {x} / y: {y}') 예를 들어 위와 같이 사이즈가 다른 두개의 리스트를 zip을 통해 순회하면 결과는 다음과 같다. x: 1 / y: 4x: 2 / y: 5 나는 마지막 값까지 순회하며 처리하고 싶었다. 그렇다면 무언가 특정 값으로 P..
Coding/Python 2019.06.14 16:22

MongoEngine과 Pymongo 같은 Connection 유지하는 방법

보통 파이썬으로 MongoDB에 접근하여 작업할 때 MongoEngine을 자주 사용했었다. 형태가 Django의 모델과 상당히 유사하고 사용법또한 간단했다. 또한 가장 눈여겨봤던 점은 커뮤니티 활성도였다. 타 ODM보다 깃허브 스타가 많았으며 스택오버플로우 등에서 관련 자료를 찾기 쉬웠다. MongoEngine은 PyMongo를 좀 더 사용하기 쉽게 Wrapping해놓은 라이브러리이다. PyMongo를 사용해보면 알겠지만 문법이 간결하지않고, 조금 더 Raw한 느낌이다. 실제로도 가장 네이티브에 근접하게 만들어진 라이브러리이기에 속도 또한 빠르다. 그렇기에 MongoEngine이란 ODM을 사용하고 있었는데, 아무래도 PyMongo의 모든 기능을 제공하진 않는다. 일반적인 작업은 그냥 몽고엔진만을 통해..
Coding/Python 2019.06.13 15:32

Python 일급함수/클로저/Decorator에 관해서

파이썬에서의 일급함수, 데코레이터를 구현하는 방법은 알고 있었지만 그것이 무엇인지 명확하게 하나의 문장으로 설명할 수 있을까? 라는 질문을 나에게 던져본다면 잠시 망설일 것 같다. 평소에 이론적인 지식보다는 실무적으로 실제 구현 능력을 키우는 것에 좀 더 집중했기 때문인데 기본기를 다시 한번 다지자라는 마음으로 이렇게 포스팅으로나마 정리해본다. (최대한 간단한 예제를 통해 설명할 예정이다)첫 번째로 일급 함수에 대해 설명할 것이며 두 번째로 클로저에 대해서, 최종적으로 이 모든 특성을 결합하여 데코레이터를 만들어본다. 일급 함수(First citizen function)파이썬에서의 함수는 일급 함수이다. 일급 함수는 다음과 같은 조건에 만족해야한다. 1. 하나 또는 여러개의 함수를 인자로 받을 수 있다...
Coding/Python 2019.06.04 16:17

Python async/await로 비동기 프로그래밍하기

토이 프로젝트를 진행하면서 어떤 웹 프레임워크를 사용할까 고민을 많이 했었다. 기존에는 Django 또는 Flask로 대부분의 작업을 진행했는데, 요즘 파이썬 비동기 프로그래밍에 관심이 생겨서 관련 프레임워크를 찾아봤다. 많은 프레임워크가 있었고 그 중 aiohttp, sanic, vibora 총 3가지를 후보군으로 뒀다. 먼저 aiohttp는 주변에서 추천해주길래 한번 써봤는데 나쁘진 않았다. 하지만 sanic과 vibora보다 퍼포먼스가 좋지 않았다. 두번째로 vibora는 가장 속도가 빨랐다. 하지만 깃헙 스타가 5000개밖에 되지 않았다. 결과적으로 sanic을 사용하기로 결정했는데 그 이유는 다음과 같다. 첫번째로 형태가 Flask와 비슷했다. 나는 보통 프로젝트를 시작할 때 boilerplat..
Coding/Python 2019.05.23 20:07

MongoEngine ReferenceField without ObjectId

기존에 MongoEngine을 사용할 때 Embedded와 Reference방식에 대한 비교를 진행하는 글을 포스팅 했었다. (https://hides.tistory.com/1015) 현재 Reference 방식을 사용하여 도큐먼트를 모델링하던 중 ObjectId를 사용하지않고 원하는 필드를 사용하는 방법에 대해 궁금해졌고 그 방법에 대해 포스팅한다. 먼저 아래와 같이 User, Item 두개의 모델을 정의한다.from mongoengine import *connect('test')class User(Document): user_id = StringField() user_pw = StringField()class Item(Document): user_id = ReferenceField(User, requ..
Coding/Python 2019.03.26 14:31

Python datetime으로 시간 더하고 빼는 방법

보통 파이썬으로 시간 관련 작업을 할 때 datetime 라이브러리를 사용한다. 이번 작업에서는 현재시간에서 특정 시간을 더하고 빼는 과정이 필요했는데 그 과정을 포스팅에 담아본다.from datetime import datetimenow = datetime.now().replace(microsecond=0)위 라인을 차례대로 인터프리터에 입력해보면 아마 아래와 같은 값이 나올 것이다. (microsecond=0을 준 이유는 해당 옵션을 사용하지 않기 위함임. 제거해도 상관없다.)datetime.datetime(2019, 3, 25, 12, 38, 46)위 결과를 통해 알 수 있듯이 now()를 사용하면 현재 시간을 datetime객체로 반환해준다. 또한 내부적으로 __str__ 매직메소드가 구현되어 있..
Coding/Python 2019.03.25 12:44

MongoEngine EmbeddedDocument/Reference

MongoEngine Embedded vs Reference현재 파이썬으로 MongoDB와 연동하여 작업을 진행하고 있다. Raw query를 사용하는 사람은 당연히 없으므로 ODM(Object Document Mapper)을 찾아보던 중 Mongoengine이 가장 좋을 것 같다는 판단이 들어서 해당 ODM을 선택하여 개발중이다.MySQL등 RDB계열을 사용하다가 처음 NoSQL으로 넘어온 사람들에게 가장 헷갈리는 부분이 바로 '관계를 어떻게 표현해야할까' 이지 않을까 싶다. 나같은 경우에도 기존 관계형 데이터베이스만 사용하다보니 NoSQL에서 관계를 어떻게 해야할 지 많은 고민이 됐다. 이 포스팅은 그에 관련하여 많은 정보를 담진 않을 것이고 실제 Mongoengine을 통해 어떠한 형태로 도큐먼트를..
Coding/Python 2019.03.18 16:00