Coding/Python 검색 결과

해당 글 78건

ElasticSearch Ngram 활용하여 검색하는 방법

개요 많은 케이스가 있겠지만 보통 검색 용도로 ElasticSearch를 사용하는 것으로 알고 있다. MySQL의 경우 LIKE쿼리를 사용하여 검색을 할 수 있는데, %파이썬% 과 같이 앞뒤로 %를 사용하여 검색하는 경우 인덱스를 태우지 못하고 Full scan을 해버린다. 데이터베이스는 데이터베이스일 뿐 검색용도가 아니기에 애초에 적합하지 않다. 그렇다면 엘라스틱 서치를 사용하여 단순히 검색 쿼리를 날리면 바로 해결이 가능할까? 보통 DB를 접하다가 ES를 처음 접하는 사람들은 LIKE쿼리와 같이 Wildcard를 줘서 검색하는 방법을 찾곤 한다. (나또한 그랬다) 아무리 엘라스틱 서치가 검색 용도에 적합하다고는 하지만, 데이터베이스와 마찬가지로 와일드 카드를 통해 검색을 진행하면 속도 저하가 발생할 ..
Coding/Python 2021. 8. 11. 11:18

FastAPI SQLAlchemy 연동하며 발생한 문제 정리

개요 기존과 다른 패러다임을 가진 비동기 프레임워크 FastAPI와 SQLAlchemy를 연동하는 과정에서 발생했던 문제들과 어떠한 형태로 해결했는지에 대해 다뤄본다. 사전 지식 SQLAlchemy는 scoped_session() 함수를 활용하여 Thread-local한 세션을 생성할 수 있다. 이 때 scopefunc 라는 인자에 특정한 함수를 콜백 형태로 넣어주게 된다면 세션 사용 시 아래와 같은 로직을 통해 세션을 관리하게 된다. session.registry.registry에 키/밸류 쌍의 딕셔너리를 생성한다. scopefunc에 넣어준 함수를 통해 키를 결정하고(가져오고) 해당 값을 통해 session.registry.registry에 접근하여 사용할 세션을 가져와서 사용한다. 추후 sessio..
Coding/Python 2021. 5. 24. 15:45

FastAPI SQLAlchemy Session 객체 연동하기

개요 동기적으로 돌아가는 서버의 경우 Thread-local을 적용하면 각 Request별로 다른 Context를 가지도록 할 수 있다. 하지만 asyncio를 통해 이벤트 루프를 사용하는 비동기 서버의 경우(FastAPI, Sanic...) Thread-local로는 이러한 문제를 해결할 수 없다. 따라서 Python 3.7 버전부터 제공되는 ContextVar를 사용해야하는데 이에 대해 간략하게 기술한다. 참고로 예제 서버는 FastAPI이다. 발생할 수 있는 문제 그렇다면 어떠한 문제가 발생할 수 있을까? 일반적으로 파이썬의 코루틴은 싱글 스레드로 동작하기때문에 하나의 스레드에서 여러가지의 일을 Concurrency하게 번갈아가며 수행한다. 그렇기에 SQLAlchemy의 세션 객체 또한 공유하면서 ..
Coding/Python 2021. 2. 15. 15:18

Pydantic SQLAlchemy relationship conditional load

1. 개요현재 서버 프레임워크로는 FastAPI를 사용하고있고 ORM은 SQLAlchemy를 사용하고 있다. FastAPI는 내부적으로 Pydantic이라는 라이브러리와 강결합되어있는 형태이며 해당 라이브러리를 디폴트로 Serialize등의 행위를 수행한다. 서버의 아키텍처는 Layered architecture를 사용하고 있었고, Repository에서의 반환값을 ORM모델이 아닌 Pydantic모델로 통일하자는 이야기가 있었다. (Entity와 비슷한 개념이라고 볼 수 있겠다) 일반적으로 ORM 모델을 정의할 때 ORM의 장점을 살리기위해 relationship을 정의하고 해당 property를 통해 관계된 테이블의 요소에 접근한다. 여기서 문제가 하나 발생했는데, SQLAlchemy 모델 -> Py..
Coding/Python 2020. 9. 22. 13:55

SQLAlchemy Many To Many Additional Column

1. 요구 사항이벤트와 비디오는 M:N관계이다. 이벤트에 속한 비디오를 가져올 때 특정 컬럼을 통해 정렬하여 가져와야 한다. 2. 해결 방법아래와 같이 events, videos두개의 테이블이 존재한다고 가정한다.class Event(Base): __tablename__ = 'events' id = Column(BigInteger, primary_key=True, autoincrement=True) title = Column(Unicode(255))class Video(Base): __tablename__ = 'videos' id = Column(BigInteger, primary_key=True, autoincrement=True) name = Column(Unicode(255))만약 여러개의 비디오가..
Coding/Python 2020. 6. 26. 12:24

SQLAlchemy PostgreSQL JSON컬럼 변경안되는 문제 해결 방법

1. 개요PostgreSQL은 JSON타입의 컬럼을 지원한다. NoSQL처럼 Schemaless 형태의 데이터를 저장할 필요성이 있지만, NoSQL로 가기는 조금 꺼려지는 경우에 사용하기 용이할것같다. SQLAlchemy에서 JSON타입의 컬럼을 다루다보면 이상하게도 값이 업데이트되지 않는 현상이 발생한다. 예를 들어서, class Order(Base): __tablename__ = 'orders' id = Column(Integer, primary_key=True, autoincrement=True) info = Column(JSONB)위와 같은 테이블이 있다고 가정하자. info같은 경우 JSON타입으로 되어있는데 만약 값을 바꾸고 싶다면 일반적으로 아래와 같은 코드를 사용할 것이다. order = ..
Coding/Python 2020. 4. 25. 21:43

파이썬 오픈소스 라이브러리 개발기

1. 개요지금으로부터 약 3주 전, pythondi(https://pypi.org/project/pythondi/) 라는 라이브러리를 개발하여 pypi에 오픈소스로 배포하였다. 그 과정에 대해 간단하게나마 후기를 남긴다. 2. 뭐하는 라이브러리인데? pythondi는 무엇을 하는 라이브러리일까. 이에 대해 설명하기 위해서는 먼저 객체 지향 5대 원칙에 대해서 알아야한다. 이를 앞글자만 따서 SOLID라고 부르는데, 각 스펠링마다의 의미는 다음과 같다. (본 포스팅은 SOLID원칙에 대한 포스팅이 아니므로 간략하게만 설명한다) S: Single Responsibility Principle(단일 책임 원칙) O: Open Closed Principle(개방 폐쇄 원칙)L: Liskov Substitution..
Coding/Python 2019. 12. 6. 10:43

readthedocs.org에 문서화하는 방법

1. readthedocs.org 가입readthedocs.org위 사이트로 들어가서 회원가입을 진행한다. 2. Sphinx 설치먼저 문서화할 파이썬 소스 폴더로 들어가서 docs라는 폴더를 하나 생성한다. pip3 install sphinx 그리고 위 명령어를 통해 sphinx를 설치한다. 그리고 아래의 명령어를 통해 설정을 시작한다. sphinx-quickstart 대충 뭐 이런식으로 여러가지 질문들이 나오는데 원하는대로 설정을 해주면, 최종적으로 위와 같은 화면을 볼 수 있다. make html 마지막으로 위 명령어를 내려주면 설정을 토대로 파일들이 생성된다. 3. 테마 설정 pip3 install sphinx-rtd-theme 위 명령어를 통해 테마를 설치한다. 기본적으로 설치되는 테마는 조금 직..
Coding/Python 2019. 11. 14. 19:06

파이썬 패키지 Pypi에 오픈소스 등록하는 방법

1. pypi 회원가입 https://pypi.org/ 위 사이트로 들어가서 회원가입을 진행한다. 2. setup.py 파일 생성setup.py 파일을 하나 생성하고 아래의 내용으로 채워넣는다. # encoding: utf-8 import setuptools with open("README.md", "r") as fh: long_description = fh.read() setuptools.setup( name="패키지 이름", version="버전", author="만든이", author_email="이메일주소", description="패키지 설명", long_description=long_description, long_description_content_type="text/markdown", ur..
Coding/Python 2019. 11. 12. 17:43

Python Dependency Injection

오늘은 SOLID원칙 중 하나인 Inversion of Control(의존성 역전)에 대해 설명하겠다. 의존성 역전을 구현하려면 Dependency Injection라는 기법을 사용해야 한다. 관련 정보를 인터넷에 검색하면 대부분 자바의 스프링 프레임워크 예제가 나온다. 그만큼 스프링에서는 DI를 사용하는것이 일반적이며 널리 알려진 방법중에 하나이다. 하지만 파이썬에 관한 자료는 정말 찾기 힘들다. 인터넷에 공개되어있는 코드를 봐도 DI를 적용한 예제는 현재까지 본적이 없다. 그나마 몇가지 라이브러리들이 존재하긴 하는데, 실제로 내부에서 어떠한 형태로 돌아가는지 파악하기가 힘들어서 직접 구현해보고 그 과정을 이렇게 포스팅으로 남긴다. 먼저 다음과 같은 코드가 있다고 가정해보자. class Repo: de..
Coding/Python 2019. 11. 9. 19:39