PCクラスタワークショップ in 大阪2023「ビッグデータとHPC」

2022年11月に発表した第4世代AMD EPYCプロセッサーに、新しいラインナップが2023年上半期に追加されます。AMD 3D V-Cacheテクノロジーを採用した Genoa-X と、スケールアウト性能を大きく向上させた Bergamo です。これらの新しいプロセッサーの技術概要を説明いたします。また、AI推論をCPU、GPU、FPGAで一元的に適応させる AMD Unified Inference Frontend について解説します。

演算処理の高速化と説明性の確保にも応えられる説明可能ＡＩ（ＸＡＩ）の登場は、ヘルスケアデータ解析の進展に大きく貢献してきた。日立はＸＡＩの独自開発を進めており、これまでにヘルスケアデータ解析への応用を行ってきた。本発表では日立が独自開発したＸＡＩ技術の概要、及びＸＡＩのヘルスケアデータ解析への適用事例を紹介するとともに、今後の展望について述べる。

「Open OnDemand」は米国オハイオ・スーパーコンピュータ・センターを中心に開発が進められているHPCシステムを利用するためのオープンソースのWebポータルです。PBS Pro、SLURM、Grid Engine、Torque、LSFなどのジョブスケジューラに対応しており、特にJupyter Notebookなどのインタラクティブなジョブにも対応しています。弊社ではシステムの構築からカスタマイズ、運用まで幅広く対応いたします。

HPCやAIの世界においては、解析用の計算アルゴリズムが次々と開発投入されるばかりでなく、扱われるデータ量やパラメーター量も急速に増加しています。これにより、データのロードに費やされる時間は大きなボトルネックとなり、アプリケーション全体のパフォーマンスに影響を及ぼします。今回は、これらIOのボトルネックを回避するためのIO管理や高いIO性能を実現するNVIDIA Magnum IOをはじめ、NVIDIAのビッグデータに対応する製品や技術をご紹介いたします。

OCIはクラウドならではのAgilityに優れたデータ処理基盤と安価で高速・堅牢なストレージに加え、インフラに最適化された機械学習基盤や広帯域低遅延RDMAネットワークと最新のCPUやGPUで構成されるHPCクラウド基盤を提供し、ビッグデータ-HPCを協力にサポートします。国内の東京-大阪両リージョンはどちらもSINET6に接続され、SINET6を介した通信の転送データ量は無制限に無料でご利用頂けます。ビッグデータやHPCにおけるクラウドサービスの弱点の多くを排除したOCIの特長をご紹介させて頂きます。

ビッグデータという言葉は初出から十余年、既にバズワードとしての役割は終えて久しい。しかしデータがビッグでなくなったかと言うと、そうでないことは論を待たない。データ処理技術はAIモデル乱造の時期を過ぎ、シンギュラリティを目前に控えているようにすら見える一方、データハンドリングは依然POSIXファイルシステムとオブジェクトストレージに依存している。この状況に対応していくためのソリューションを紹介する。

データ分析や前処理に広く用いられているデータフレームの高速化技術を紹介します．データフレーム用ライブラリとしてはPythonのPandasが有名ですが，本技術は実行時に中間言語生成・最適化などを行うコンパイル技術を利用することで，Pandasと互換のAPIでの高速化を可能とします．本技術を用いたPython用高速データフレームライブラリと合わせてご紹介します。

DDNが提供するHPC/AI Solutionについて、5/22-24 ドイツ・ハンブルグで行われた ISC23での発表も踏まえてご紹介させていただきます。