Sign in Subscribe

Latest

Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention

Summary Motivation * Transformer는 성능은 매우 좋으나 내부 구조의 복잡함으로 인해서 계산비용이 기하급수적으로 증가하는 문제가 있다. 이 부분에 대한 개선은 Dot Product를 이용해서 지속해서 개선해왔으나, 여전히 개선이 필요한 분야이다. * 연구분야는 1)크게 메모리사용량을 줄이기 위한 방안을 찾는 부분과 2)Sequence Length를 늘려서 맥락을 최대한 이해할 수 있게 하려는 부분인데 계산량 자체를
Bongho Lee

산출물의 크기는 유지한 채, 더욱더 빠르게 프로덕트를 만든다면?

더 빠르게, 더 빠르게 프로덕트를 만들면 어떨까? 매 스프린트에서 만들어야 하는 산출물의 사이즈를 줄이고 줄이면서 속도를 맞출 수 있겠지만, 사이즈를 줄이지 않고 어떻게든 납기일을 맞춘다면 어떻게 될까? 프로덕트는 만들 수 있겠지만, 경직되고 확장에 대한 유연성은 낮추고 그 문제만을 풀기 위해 디자인 될 것이다. 그렇다면 프로덕트를 만들 때마다, 확장은 어렵고, 새롭게
Bongho Lee

롤모델이 필요한 이유, What Would Jesus(My Role Model) Do?

이전에 존잡생각에서 "회사에서 본인을 빠르게 성장시키는 방법"에 관한 글을 본 적이 있다. 구체적으로 내용이 기억나지는 않지만, 거기서 나오는 그래프는 기억이 난다. 스타트업 초기에 회사의 성장과 개인의 성장은 비례를 한다. 하지만 어느 시점부터 회사가 규모의 경제의 변곡점에 도달하면 개인의 성장과 회사의 성장의 기울기는 크게 벌어지기 시작한다. 개인은 정체하고 회사는 더욱
Bongho Lee

[요약]AI기반 생성 컨텐츠에서 고려해야할 세가지 리스크

서론 * AI 생성 콘텐츠(AIGC)는 이미지, 텍스트, 오디오, 비디오 등의 콘텐츠가 포함된 몇 년간의 중요한 관심사 . * AIGC는 양날의 검이 되어 최근 책임 있는 사용과 관련하여 많은 비판을 받고 있는 상황이다. 프라이버시 * 개인정보 노출. 대규모 기반 모델은 프라이버시 위험에 취약 * 이러한 모델을 기반으로 구축된 AIGC 모델도 개인정보 노출의 위험성이 있음
Bongho Lee

리더로서 내 사람을 만드는 것은 중요하다.

회사에서 팀장으로 이제 만 1년을 채운다. 이제는 실무 자체는 손을 대지 않되,  코드리뷰나 방향성 정도만 개입을 하고 기타 관리 측면에서 일정이나, 놓치고 있는 부분들에 대해서만 체크를 하고 있다. 하지만 이런 형태의 업무 자체로는 내 커리어의 선택옵션을 늘리는데 크게 도움이 되지 않는다고 생각해서 코칭에 관심을 가지기 시작하였고, 그래서 성과향상를 위한 코칭리더십이라는
Bongho Lee

비즈니스에서는 Output보다 Outcome을 고민해야 한다.

개발조직의 팀장으로 온지 이제 1년을 채워간다. 생각보다 쉽지 않고, 여전히 가야할 길이 멀다. 그 중에 가장 쉽지 않았던 부분이 바로 Output과 Outcome에 대한 구별과 이에 기반한 업무 진행방식을 이해시키는 것이었다. 내가 오기 전에도 개발팀은 Output과 Outcome을 충분히 잘 만들고 있었다. 차이가 있다면 Output에 대한 이해도를 바탕으로 능동적으로 일을 하는 것은
Bongho Lee