LabBase転職はプライド月間をお祝いする
検索
クリックして検索プロンプトに代入する
キャンセル
  • クリックして検索プロンプトに代入する 画像認識を活かせる求人を広く提案して クリックして検索プロンプトに代入する
  • クリックして検索プロンプトに代入する LLMモデル開発をしている企業を探したい クリックして検索プロンプトに代入する
  • クリックして検索プロンプトに代入する 医療業界の課題を解決する企業で研究開発をしたい クリックして検索プロンプトに代入する
  • クリックして検索プロンプトに代入する 機械学習やデータサイエンスを用いたコンサルティングを行う企業を探したい クリックして検索プロンプトに代入する

募集強化中

Software Engineer - LLM Pre-Training

株式会社Preferred Networks

仕事内容

Preferred Networksでは大規模言語モデル(LLM)を中心としたマルチモーダルな基盤モデルの開発を進めています。LLM・生成AIの基盤モデル開発に加え、エンタメ、科学計算、ロボットといった自社事業領域を強化するための応用開発や、多様な産業への応用研究も行っています。 事前学習チームの役割は、LLMの大規模な事前学習を行い、高性能な事前学習モデルを構築することです。事後学習を終えた後のモデルが実用的で価値の高いものとなるようにLLMに知識や能力を学習させる必要があります。 強化学習などの手法の発展により、LLMは事後学習によって様々な能力を発揮させることができるようになっている一方で、事前学習で全く学習できていない能力を事後学習で発揮させることは難しいという報告もあります。事後学習で高い性能を発揮させるためには、事前学習での取り組みも重要です。 大規模言語モデル - 事前学習エンジニアは、高性能なLLMの事前学習のために必要な研究開発に取り組みます。事前学習モデルの最終的な性能を決めるデータセット戦略・モデルアーキテクチャ・学習手法の研究開発以外にも、大規模・長期間の学習を効率よく安定して実行し続けるための取り組みなども行っています。 Preferred Networks is developing multimodal foundation models centered around Large Language Models (LLMs) and is expanding its research into applied development and industrial application research to strengthen its business domains in entertainment, scientific computing, robotics, and others. The pre-training team’s role is to conduct large-scale pre-training of LLMs and develop high-performance pre-trained LLMs. The goal is to equip the LLM with the necessary knowledge and capabilities to ensure that models after post-training are practical and valuable. While advancements in techniques like reinforcement learning have enabled LLMs to demonstrate various capabilities through post-training, some reports suggest that achieving capabilities that were not learned during pre-training through post-training alone can be challenging. To achieve strong performance in post-training, pre-training efforts are equally crucial. As a LLM Pre-training Engineer, you will engage in research and development required for high-performance LLM pre-training. In addition to developing datasets strategy, model architectures, and training methodologies that ultimately determine the final performance of pre-trained models, you may also work on optimizing and ensuring efficient, stable execution of large-scale, long-term training.

会社情報

ディープラーニング（深層学習）技術を核としたAI、ソフトウェア、ハードウェアの研究開発および社会実装を行う企業。産業用ロボットの知能化、自動運転、ライフサイエンス、スーパーコンピュータなど、幅広い分野で最先端技術の実用化に取り組んでいる。

ユーザー登録で
よりマッチした求人が見つかる

LabBase転職とは
技術求人に特化した
「パーフェクトサーチ生成AI」です。

検索画面の要素

膨大な求人から今までできなかった柔軟な条件の検索を。

  • 株式会社LabBaseについて詳しく教えて
  • 自分の経歴に合った企業を教えて
  • LLMモデル開発をしている企業を探したい
  • 画像認識企業で独自のデータ/デバイスを持つ企業を探したい
  • 無機化学領域でマテリアルズインフォマティクスを活用したい

新規登録は簡単1分で登録完了します。