Jobless Developer
Toss logo
Toss

Posted 21 months ago

Open

Data Engineer (DataOps)

SeoulOn-siteFull-time

AI Summary

Data Engineer (DataOps) develops and maintains the data Kubernetes infrastructure, supports data ingestion and serving pipelines, and improves the log/search platforms used by the organization.

About this role

합류하게 될 팀에 대해 알려드려요

  • 토스증권 Data Engineer(DataOps)는 Data Division내에 Data Infra Team에 속해 있어요.
  • Data Infra Team은 크게 Hadoop Eco 기반의 빅데이터 인프라와 로그/검색 플랫폼(Elasticsearch)을 운영하고 Data 기술조직에서 데이터 입수, 각종 데이터 작업 등 다양하게 사용하는 Kubernetes에 대한 운영과 기술지원을 하고 있어요. 그리고 사내 데이터 리터러시를 향상시키기 위한 데이터 분석 플랫폼을 개발하고 있어요.

Data Division이 궁금하신가요?

  • 토스증권 Data Division은 세계 최고로 데이터를 잘 다루는 증권사가 되기 위해 데이터 기술, 서비스 그리고 데이터 기반의 의사결정에 기여하고 있어요.
  • 다양한 데이터 직군이 모여 밀접하게 협업하며 즐겁게 일하고 있어요.
  • 또한 주기적으로 Tech Weekly를 진행하며 서로의 노하우를 공유하고 있어요. 본인의 흥미와 의지가 있다면 얼마든지 다른 직군의 업무와 노하우를 공유받을 수 있어요.

합류하면 함께 할 업무예요

  • 안정적인 로그 플랫폼 운영 및 사용성 개선
    • 토스증권에서 로그 플랫폼(Elasticsearch)은 각종 서비스에서 발생하는 로그들을 저장하고 있어 증권 서비스 운영에 있어서 핵심 도구 중에 하나예요.
    • 초당 수백만건 이상의 데이터를 지연없이 입수하고 빠르게 검색이 가능이 가능하도록 다양한 시도와 사용성을 개선해 나가야 해요.
  • 토스증권 검색 플랫폼 운영
    • 토스증권에서는 Elasticsearch를 기반으로 한 검색 플랫폼을 활용해서 종목, 뉴스, 콘텐츠 등 다양한 검색 서비스를 제공하고 있어요.
    • 검색 엔지니어 분들과 협업해서 정확하고 지연이 없는 빠른 검색을 위한 환경을 만들어 나가요.
  • Data Kubernetes 운영 및 기술지원
    • Data Division의 다양한 엔지니어(Data Engineer, ML Engineer, DW Engineer, Search Engineer) 분들은 데이터 전용 Kubernetes를 활용하여 데이터 입수 부터 데이터 서빙/배치, 내부 인터널 등 다양하게 활용하고 있어요.
    • Data Engineer(DataOps)는 Data Kubernetes 인프라를 운영하면서 발생하는 문제를 해결하고 장기적인 관점에서 지속적으로 시스템을 발전시켜요.
    • 또한 데이터 엔지니어의 업무 경험을 지속적으로 분석하고 프로세스 개발, 운영 그리고 고도화 작업을 담당해요.

이런 분과 함께하고 싶어요

  • 5년 이상의 Data Engineer 경험이 필요해요.
  • Elasticsearch나 Solr 와 같은 검색 엔진을 활용해보았거나 운영경험을 작성해 주시면 좋아요.
  • 분산 데이터 베이스를 활용해보았거나 운영경험을 작성해 주시면 좋아요.
  • Kubernetes + Istio 기반의 인프라 운영 경험을 작성해 주시면 좋아요.
  • Hadoop Eco 시스템에 대한 이해도를 가지고 있거나 활용 경험이 있으면 좋아요.
  • 대규모 분산 환경에서 메트릭 시스템을 구축하고 운영한 경험을 적어주시면 좋아요.
  • 컨테이너 오케스트라 기반의 서비스와 CI/CD 서버 운영 경험을 적어주시면 좋아요.
  • 현재 몸담고 있는 조직에서 엔지니어링 경험을 자동화하거나, 툴을 만들어서 개선하는 역량이 필요해요.
  • 토스증권에서는 일을 직접 지시하는 것이 아니라, 목표를 위해 각자 협업을 하는 조직이기 때문에 엔지니어링 경험에서 좋지 않은 퍼널을 제거하는 시야를 가지고 있으면 좋아요.

토스증권에서 사용하는 기술

  • Python, Kotlin, Java, Spring Boot, Spring Cloud Config
  • Elasticsearch stack, Opensearch stack, Vector
  • Kubernetes + Istio, Haproxy
  • GoCD, ArgoCD, Ceph, Harbor, Git, Github Actions, Airflow
  • Prometheus + Thanos, Elastalert, Grafana
  • Hadoop, Impala, Spark, Hbase, Clickhouse
  • Kafka, Kafka Connect, KSQL
  • Oracle, Mysql, Mongodb, Redis
  • SQL, DBT

토스증권으로의 합류여정

  • 서류 접수 > 직무 인터뷰 > 문화적합성 인터뷰 > 레퍼런스 체크 > 처우 협의 > 최종합격 및 입사

꼭 확인해 주세요

  • 이력서 및 제출 서류에 허위 사실이 발견되거나 근무 이력 중 징계사항이 확인될 경우, 채용이 취소될 수 있어요.
  • 토스증권 내규에 따라 채용 금지자 또는 결격사유 해당자는 채용이 취소될 수 있어요.
  • 장애인 및 국가보훈대상자는 지원 시 관련법에 따라 우대하고 있어요.

Skills

AirflowArgoCDCephCI/CDClickHouseDbtElasticsearchGitGitHub ActionsGoCDGrafanaHadoopHarborHBaseImpalaIstioJavaKafkaKafka ConnectKotlinKSQLKubernetesMongoDBMySQLOpenSearchOraclePrometheusPythonRedisSparkSpring BootSpring Cloud ConfigThanosVector

Explore related jobs

Browse these categories