Search suggestions:

경비
요양보호사
임상병리사
응급구조사
선원모집
구내식당
미화원
호텔청소
알바
생산직
용접
청소 구인
고령자 일자리
서울
부산
인천
경기도
서울특별시
인천광역시
경기도 안산
경기도 수원
경상남도 창원
경기도 이천
화성 화성시
대전
서울 강동구
대구
경기도 김포
Apply

LLM Research Engineer (신입/경력)

KakaoTalk
Full time
2일 전
  • 직원 유형
정규직

  • 영입인원
0 명

  • 조직소개

우리 조직은 카카오의 자체 언어모델인 Kanana 시리즈를 연구 및 개발합니다. 특히 언어모델을 개발함에 있어서, pre-training 단계에서 데이터의 처리부터 모델 구조 선정 및 학습까지 전과정을 주도적으로 개발하고 있습니다. 국내에서 몇 안되는 언어모델을 자체개발하는 경험을 하고싶은 다양한 연구 경험과 리더십 역량을 보유한 우수한 인재들의 지원을 기다립니다.

✳︎ 참고) 연구 결과
  • Kanana LLM 1.5 개발기 (link)
  • Kanana: Compute-efficient Bilingual Language Models (link)
  • 작지만 강한 Kanana Nano 효율적으로 개발하기 (link)
  • 밑바닥부터 Kanana LLM 개발하기: Pre-training (link)

  • 업무내용
  • 추론 및 학습 효율을 높이기 위한 Large Language Model(LLM) 구조 탐색 및 최적화 (Mixture of Experts, Multi-head latent attention 등)
  • 비용 효율적인 언어 모델 학습을 위한 알고리즘 연구 및 응용 (Pruning & Distillation, Hyperparameter transfer, Scaling law 등)
  • 비용 효율화를 위한 학습 및 데이터 최적화 연구 (fp-8 training, dataset mixture search 등)
  • LLM 학습을 위한 대규모 데이터 수집, 생성 및 메타 정보 부착 기술 연구 및 개발 (Synthetic dataset generation, RegMix 등)

  • 지원자격
CS AI
  • ML 등 관련 전공 석사 이상 또는 이에 준하는 프로젝트 경험이 있는 분
  • Python 및 딥러닝 프레임워크를 능숙하게 활용할 수 있는 개발 역량을 가진 분
  • 연구 및 개발에 대한 지속적인 관심이 있으며, 새로운 기술과 업무에 도전하는 자세를 가진 분

  • 우대사항
  • LLM 관련 CUDA kernel 개발 경험이 있는 분
  • 대규모 GPU/TPU 클러스터 환경에서 초거대 모델 학습 최적화 경험이 있는 분
  • Model parallel 관련 기술(Data/Model/Pipeline/Context/Expert Parallel 등) 연구 및 개발 경험이 있는 분
  • 사전학습을 위한 페타바이트 수준의 텍스트 데이터 수집 및 분산 처리 경험이 있는 분
  • LLM 학습 데이터의 품질 향상과 평가를 위한 연구 및 개발 경험이 있는 분
  • CVPR, NeurIPS, ICLR, ICCV, ICML 등 AI 분야 최상위 학회 논문 발표 또는 공동 연구 경험이 있는 분
  • ACM ICPC 등 주요 프로그래밍 대회 수상 경력 또는 이에 준하는 알고리즘 문제 해결 역량을 보유한 분

  • 지원프로세스

서류전형(CV 또는 프로젝트 경력 pdf파일 또는 url 첨부 필수) > 코딩테스트 > 사전인터뷰 > 1차 인터뷰 > 2차 인터뷰 > 처우 협의 > 최종 합격 및 입사
※ 영입 진행 상황에 따라 전형이 추가/변경될 수 있습니다.

  • 근로제도
  • 완전선택근무제
해당 포지션은 월 총 근무시간 범위 내에서 크루 스스로 하루의 업무 시작 및 종료 시간을 설정하여 자율적으로 몰입하여 근무할 수 있는 <완전선택근무제>를 적용받습니다.
  • 월 1일 리커버리데이
매월 마지막 주 금요일은 크루의 휴식과 충전을 위한 <리커버리데이>로 운영됩니다.
  • 주 1일 원격근무
업무와 협업의 효율성을 우선으로 하여, 리커버리데이가 없는 주에는 <주 1일 원격근무>가 가능합니다.

Save Apply
Report job
Other Job Recommendations:

Research Analyst | Equity Research

Macquarie Group
서울
Join our successful Equity Research team based in Seoul, where you will cover the Battery and Chemical/Oil sector in Korea. As a...
1일 전

Field Service Engineer I

Waters
서울
As Field Service Engineer, you are an ambassador of Waters and will bring to the market Waters’ products and services The...
4일 전

Etch Product Engineer for KTC R&D Center

램리서치
서울
  • Collaboratively engineer innovative semiconductor equipment...
  • Collaborate with cross-functional and cross-cultural teams...
3주 전

eCommerce Trainee (Intern)

Opella
서울
  • Assist in eCommerce Marketing analysis and planning -...
  • Research & analyze the Health Functional Food market...
1일 전

Regulatory Affairs Specialist, Animal Nutrition & Health (Contract)

서울
  • A chance to impact millions of consumers every day –...
  • A science led company, cutting edge research and creativity...
4일 전