스프링 클라우드 데이터 플로우 공식 레퍼런스를 한글로 번역한 문서입니다.
전체 목차는 여기에 있습니다.
스프링 부트 애플리케이션이 아니더라도, 애플리케이션을 도커 컨테이너로 등록하면 Data Flow로 배포할 수 있다. Data Flow는 심지어 다른 언어로 작성한 애플리케이션도 배포할 수 있다. 하지만 이런 애플리케이션들은 스프링 부트에서 쓰는 설정 프로퍼티들을 환경 변수로 전달해주면, 알아서 이 프로퍼티를 읽어와야 한다. 메세지를 컨슘하거나 생산하면서 스트림을 구성하는 애플리케이션은 메세징 미들웨어를 위한 클라이언트 라이브러리를 포함시켜야 한다. 태스크를 구성하는 애플리케이션은 Task 테이블(Data Flow가 생성하는)에 데이터를 업데이트해야 한다.
시연을 위해 세 가지 유형의 파이썬 애플리케이션을 만들고 도커 컨테이너에 패키징해본다.
- 첫 번째 애플리케이션은 Data Flow로 배포하는 스트림의
processor이며, kafka-python 라이브러리를 사용해서 컨슈머와 프로듀서 커넥션을 생성한다. - 두 번째 애플리케이션은 Data Flow로 배포하는 태스크다.
- 세 번째 애플리케이션은 Data Flow로 배포하는 스트림의
application이다. 이런 앱 타입엔 Data Flow가 프로듀서와 컨슈머를 연결하는 환경 변수를 설정해주지 않기 때문에,source,processor,sink를 배포하는 것과는 또 다르다. 이런 환경 변수들은 직접 배포 프로퍼티로 설정해야 한다. 이 레시피에선 다이나믹 라우터 통합 패턴을 구현해input스트림 타임스탬프를even이나odd다운스트림 채널에 전달한다.
파이썬 애플리케이션을 Data Flow 스트림의 프로세서로 실행하기
파이썬 태스크를 만들고 배포하기
파이썬 애플리케이션으로 스트림을 생성하고 배포하기
Next :
Python Stream Processor
파이썬 애플리케이션을 Data Flow 스트림의 프로세서로 실행하기
전체 목차는 여기에 있습니다.