분류 전체보기 검색 결과

해당 글 816건

Redlock 알고리즘

개요 이전에도 동시성 관련된 글을 몇개 포스팅한적이 있다. 실무에서도 redlock알고리즘의 구현체인 aioredlock을 활용하여 동시성 제어를 진행하고 있는데, redlock 알고리즘에 대해 조금 더 자세히 살펴봐야할 것 같아서 Redis 공식 문서를 찾아봤고 나에게 필요한 부분만 추려서 번역을 진행했다. 본문은 https://redis.io/docs/reference/patterns/distributed-locks/ 에서 확인할 수 있다. Safety and Liveness Guarantees Safety property: 상호배제. 어떤 순간에도 하나의 클라이언트만 락을 획득할 수 있어야 한다. Liveness property A: 데드락이 발생하지 않는 것. 락을 획득한 클라이언트에 문제가 생겨..
Coding 2022. 7. 2. 00:14

FastAPI에서 SQLAlchemy Session 다루는 방법

개요 FastAPI는 비동기 프레임워크이다. 내부적으로는 Starlette를 Wrapping한 프레임워크인데 일반적인 동기 프레임워크인 Flask, Django등과는 다른 패러다임을 가지고 있다. 그에 따라 프로덕션 레벨에서 서비스를 운영하며 많은 트러블슈팅이 있었고 그 중 데이터베이스와 통신을 위해 사용하는 SQLAlchemy 라이브러리 또한 큰 이슈가 발생했었다. 기존에는 SQLAlchemy 1.3버전을 사용하고 있었기 때문에 비동기를 지원하지 않았지만 1.4버전부터 AsyncSession을 통한 비동기를 지원하기 시작했고 현재 사내 코드를 마이그레이션 하기위해 개인적인 테스트를 진행하고 있다. 본 포스팅에서는 비동기 프레임워크에 SQLAlchemy를 올바르게 사용하기 위한 트러블 슈팅을 포함하여 최..
Coding/Python 2022. 3. 23. 19:57

SQLAlchemy AsyncSession으로 비동기 적용하며 생긴 문제점

개요 이전 포스팅(https://hides.tistory.com/1101)에서 SQLAlchemy 1.4부터 지원하는 AsyncSession을 사용하여 비동기 세션을 적용하는 방법에 대해 다뤄봤었다. 관련하여 테스트를 진행하던 도중 문제점을 하나 발견했고 나름 크리티컬하다고 볼 수있다고 생각하여 문제점에 대해 다뤄보고 해결방법에 대해 기술한다. asyncio.current_task와 문제점 SQLAlchemy 공식문서에서 async_scoped_session() 메소드 관련 문서를 찾아보면 위와 같은 글을 찾을 수 있다. 주목할점은 scopefunc인자에 asyncio의 current_task를 넣어준다는 점이다. scoped_session()의 scopefunc인자에 값을 대입하는 경우 registr..
카테고리 없음 2022. 3. 21. 18:32

SQLAlchemy AsyncSession으로 비동기 적용하기

개요 현재 서버 프레임워크로 FastAPI를 사용하고 있었고 SQLAlchemy는 1.3대 버전을 사용중이었다. 따라서 DB쪽은 여전히 동기형태로 작업이 진행되기 때문에 비동기 프레임워크의 장점을 제대로 살리지 못했다. 물론 database, peewee등 비동기 ORM이 존재하지만 팀 내 구성원간의 러닝커브등을 고려하여 기존에 사용하던 SQLAlchemy를 그대로 사용중이었다. 하지만 SQLAlchemy 1.4버전부터 비동기 처리를 지원하기 시작했고 그에 따라 마이그레이션을 준비하며 테스트하는 과정을 간단하게 담아본다. create_async_engine from sqlalchemy.ext.asyncio import create_async_engine engine = create_async_engine..
Coding/Python 2022. 3. 18. 19:03

바이낸스 회원가입하는 방법 총정리

개요 예전에 바이낸스(Binance)라는 해외 코인거래소 사이트의 회원가입 방법에 대해 포스팅한 적이 있습니다. 그 이후 한국에도 공식적으로 바이낸스 코리아라는 사이트가 생겼지만 2021년 한국에서 철수했다는 기사를 접할 수 있었는데요. 크게 달라진 점은 없지만 이전과는 사이트의 UI나 회원가입할 때 필요로 하는 정보들이 조금씩은 달라졌기에 최신의 정보를 제공하기 위해 다시 한번 바이낸스 사이트에 가입하는 방법에 대해 자세하게 포스팅합니다. 가입 방법 먼저 아래 링크를 클릭하여 바이낸스 회원가입 페이지로 접속합니다. https://accounts.binance.me/en/register 접속하면 위와 같이 국가를 선택하는 팝업창이 하나 뜨게 됩니다. 기본적으로 대한민국이 선택되어 있을텐데요. 아래에 있는..
정보/가상화폐코인 2022. 2. 9. 20:14

Java List Stream Optional로 null 방지하기

개요 현재 Spring Data Redis를 통해 레디스를 다루고 있다. 먼저 아래의 코드부터 살펴보자. @Getter @RedisHash(value = "article") public class RedisArticle { @Id @Indexed private Long id; private String title; private String description; private String nickname; private Long commentCount; private List comments = new ArrayList(); private LocalDateTime createTime; private LocalDateTime updateTime; @Builder public RedisArticle(Lon..
Coding/Java Spring 2022. 1. 27. 19:15

Localstack으로 AWS SNS + SQS 로컬에서 도커로 테스트하는 방법

개요 기본적으로 개발 환경에서 테스트를 진행할 때 dockerize하여 진행하는 방법을 선호한다. 케이스마다 다르겠지만 실제로 존재하는 서비스에 붙어서 진행하는게 아닌 모든걸 도커화하여 진행하면 아무런 영향을 끼치지 않고 실행 및 종료를 할 수 있기 때문이다. AWS SNS+SQS를 활용하던 중 AWS관련 서비스들은 도커로 테스트할 수 없을까 찾아보다가 localstack이라는걸 발견하여 관련 테스트 진행법에 대해 포스팅한다. docker-compose.yml localstack: image: localstack/localstack:latest environment: - AWS_DEFAULT_REGION=ap-northeast-2 - EDGE_PORT=4566 - SERVICES=sqs,sns ports..
Coding 2022. 1. 21. 19:50

Spring Hibernate EventListener로 엔티티 변경 감지하는 방법

개요 현재 토이 프로젝트에 간단하게 CQRS 아키텍처를 도입해보고 있다. 따라서 쓰기DB, 읽기DB 총 2개의 데이터베이스가 존재하고 쓰기 요청이 오는 경우 쓰기DB에 데이터를 기록함과 동시에 SQS에 이벤트를 발송하고 있다. 그리고 읽기DB에서는 해당 SQS를 컨슈밍하고 있다가 변경 이벤트가 들어오면 내부적으로 동기화를 진행하는 형태이다. 위 요구사항에 따라 엔티티에 변경사항이 생긴다면 감지한 후 이벤트를 발생해줘야하기 때문에 관련 이벤트 리스너를 찾아봤는데, Hibernate의 EventListener를 활용하면 손쉽게 가능하다는것을 알게 되었다. JPA에서 이벤트 리스너를 제공해주지만 Hibernate의 기능을 사용해야 좀 더 세분화하여 활용할 수 있다고 하여 사용하게 됐다. (참고: https:/..
Coding/Java Spring 2022. 1. 21. 19:29

Spring AWS SNS + SQS로 이벤트 처리하는 방법

개요 요즘 MSA, CQRS 등 아키텍처에 관한 흥미로운 주제들이 많다. 이러한 아키텍처적인 관점에서 항상 등장하는 부분이 바로 Event driven을 통한 loose coupling이다. CQRS를 예를 들어서 설명해보자. 데이터를 저장하는 명령 요청이 들어오면 쓰기DB에 데이터를 적재하고 읽기DB와의 데이터 동기화를 위해 메시지를 발행한다. 그리고 읽기DB에서는 메시지를 수신하여 데이터를 동기화시킨다. 만약 쓰기DB쪽 서버에서 직접 읽기DB 서버에 데이터 저장을 요청하는 형태라고 생각해보자. 이러한 경우 읽기DB 서버에 문제가 생긴다면 해당 문제는 쓰기DB 서버까지 전파된다. 따라서 쓰기DB는 단순히 이벤트를 발행하고 필요한 곳에서 해당 이벤트를 가져와서 사용하는 형태로 구성하여 각 서버간 의존성을..
Coding/Java Spring 2022. 1. 18. 23:09

Spring Flyway로 DB 마이그레이션 관리하는 방법

개요 실무에서는 데이터베이스 테이블을 생성하거나 수정하는 행위를 할 때 수동으로 관리하지않고 마이그레이션 라이브러리등을 사용한다. 파이썬은 Django의 경우 기본적으로 마이그레이션 기능이 제공되며 SQLAlchemy는 alembic이라는 대표적인 라이브러리가 존재한다. 스프링 또한 마찬가지인데 일반적으로 Flyway를 사용한다고 한다. 이런류의 라이브러리를 사용하면 히스토리를 버전별로 관리할 수 있고 디비 스키마를 코드로 관리할 수 있기 때문에 장점이 많다. 설치 implementation 'org.flywaydb:flyway-core:6.4.2' build.gradle에 위 의존성을 추가한다. How to 먼저 resources폴더 내부에 db폴더를 만들고 db내부에 migration이라는 폴더를 만..
Coding/Java Spring 2022. 1. 6. 22:31