241218 - dbt 서울 5차 밋업

평소 자주보여서 관심은 가졌던 기술 중 하나인 dbt 의 정기 밋업이 있어서 한번 가봤다

dagster + dbt

• dagster 는 airbyte,dbt 등의 오픈소스와 매우 잘 어울려서 연계하여 구성이 용이하다(airbyte의 경우는 한계가 있다는 얘기도 있어서 좀 더 문서를 찾아봐야 할 거 같다)
• jinja 템플릿을 사용해서 쿼리에 파라미터의 동적바인딩도 가능 (배치 쿼리를 동적으로 바인딩해서 유리한 케이스는 언제 있을지 모르겠다)
• model, macro 같은 용어가 낯설다.
• 쿼리의(sql) 오케스트레이션 특화같은 느낌
• 거버넌스 관리의 (일부)자동화. restdoc 만들듯이 만들어둔 파일들에서 문서를 자동으로 생성해 줌
• 기다란 쿼리 하나를 여러개의 모델로 쪼개고 dbt로 구성하면 해당 모델들간의 연결로 표현이 되서 이해가 편하다
• 많은 블로그에서 dbt를 소개하지만 사실상 도입까지 갔던 회사는 좀 적은데 도입에 들어가는 workload와 attitude가 많다고 한다. 기업에서 비용도 투자하고 참여자의 적극적인 스터디와 정성적 업무노력이 필요하니 해당 사유때문에 poc에서 터지는듯

dbt를 이용한 crm 기반의 파이프라인 poc

• 시티즌 데이터 에널리스트.. 란건 처음 듣는데 요즘 핫하다는 내용. 얘기를 들어보니 adhoc 쿼리를 통해 비즈니스상의 데이터 조회 니즈를 풀어주는 사람을 말하는 거 같다
• 복잡함을 해결하기위해서 일단 s3에 꽂고 dbt로 다 처리하는데 이걸 airflow로 스케줄링
• airflow 도입시에 operator를 하나 쓰냐 여러개 쓰냐의 장단점이 명확
• airflow 자체가 어려움. airflow 를 단순화 하고 dbt 도입.
• dbt 클라우드 사용시 api 엔드포인트 제공해서 매우 좋다. but cost
• semantic layer connector 로 data serving을 용이하게 할 수 있다.

질문자와 응답세션

1. poc 자료는 엄청 많은데 실제 도입사례는 좀 보기 힘들아 왜그럴까? -> 도입에 들어가는 공수가 많은데 그 여유가 있는 조직이 어렵고, 모두의 공감을 얻기도 어려워서가 아닐까

2. 아주 복잡하고 긴 쿼리를 개발해서 운영한다면 담당자가아 아니면 이해도 힘들고 유지보수도 힘들다 그런관점에서 dbt 도입해서 아주 작은 쿼리의 프로세스로 구조화 한다면 유지보수도 용이성이 엄청나게 증가할 것 같다. 내가 이해한게 맞나? -> 맞다.