카프카 - 토픽 공부 내용

카프카 토픽에 대해 알아보자. 

강의 링크는 아래 유툽 링크 참고

https://www.youtube.com/watch?v=7QfEpRTRdIQ 

카프카 토픽

화면 캡쳐로 대충 알아보자.

내용은 나중에 정리하던지

 

카프카는 데이터 생성자, 소비자가 있다.

테이터는 토픽 단위로 처리된다.

토픽은 어떤 이벤트나 데이터를 저장하는 단위의 제목이다. 아래 예와 같이 클릭로그, 결제로그 등이 토픽이 될 수 있다.

토픽은 이름을 정해주면, 된다. 데이터는 맘대로 넣을 수 있다.

카프카 토픽, 이벤트 등등

파티션이란는 개념이 나온다

토픽이라는 하드디스크에 파티션이 있는 느낌이다. 하나의 토픽에 여러개의 파티션이 있을 수 있다.

일단 하나는 생성해야 토픽 메시지를 보관할 수 있다.

카프카 파티션

소비자는 이 파티션 큐에 있는 메시지를 처리한다. 0번 부터 6번까지 처리하면 된다.

이때 소비자가 새롭게 나타 나면, 이 소비자는 다시 0번 부터 처리 하면된다. 즉, 메시지가 소비된다고 사라지는 것은 아니다. 일반적인 큐가 아닌 형태, 기존 메시지가 보관되어, 새로운 소비자가 나타나도 첨부터 다시 처리할 수 있다.

카프카 소비자 2개

파티션이 하나 늘어나면, 메시지가 각 파티션에 지정해서 넣을 수도 있지만 기본적으로 라운드 로빈 방식으로 메시지가 저장된다.

카프카 파티션 추가

주의할 점은 파티션을 줄일 수 없기 때문에 증가할 때 많이 고려해야 한다.

카프카 파티션 삭제 불가

그럼 젤 궁금한 것은 언제 메시지가 삭제되는가?

소비되면 삭제되는 것이 아니므로 먼가 정책이 있을 듯

카프카 레코드 삭제 조건

생각 나는게 다네. 보존 시간이나 보존 크기가 어느정도 커지면 지우나 보다. 강제로 지울수 없나?

일단 마무리..여기까지