About

不動産クライアント向けRAG(検索拡張生成)チャットボット

• 不動産・プロパティ業界のクライアント向けに、Azure OpenAIのチャットアプリクイックスタートを初期PoC(概念実証)の出発点とし、Azure AI Searchでカスタムドキュメントチャンキング・インデキシングパイプラインを開発してGPT-3.5と連携させ、社内ナレッジに基づくチャットサービスを構築。
• 顧客チームがナレッジベースから作成したグラウンドトゥルースデータセットを用いてシステムを評価。正解ソース文書に対する検索精度を測定するとともに、LLM-as-judgeを用いて生成回答の品質を人間が作成した回答要約と比較してスコアリング。
• CI/CDとインフラのデプロイメントにおけるベストプラクティスを導入。

食品小売クライアント向け予測モデルのSnowflakeへの移行

• AWS SageMakerからSnowflakeネイティブ技術(Snowflakeのモデルレジストリを含む)へ、予測モデルのソースコードとモデルアーティファクトをPythonとSnowparkを用いて移行。
• 特徴量エンジニアリングをSnowpark DataFrame処理に移行し、Snowflakeウェアハウスを適切なサイズに調整し、中間テーブルを永続化して再計算を回避することで、MLパイプラインの実行時間を2時間から30分に短縮。
• ラグ・リード特徴量と季節性シグナルを設計し、マーケティングデータとイベントデータをモデルに統合することで、予測精度を82%から87%に改善。
• GitHubによるコードレビュー、GitHub ActionsによるCI/CD、実験管理をデータサイエンスチームに導入し、開発ワークフローと生産性を改善。
• テックリードとして、週次マイルストーンの設定、技術的方向性の策定、および顧客との要件収集や調整をリード。

産業・IoTテクノロジークライアント向けSQLServerからSnowflakeへの移行

• 13TBの顧客データをSnowflakeに効率的に移行。Airflowを活用してジョブオーケストレーションを合理化し、シームレスなデータ移行を実現。
• BCPを用いてデータをエクスポートし、Snowflakeステージのファイル形式、圧縮、バッチサイズ、並列ロードを調整してデータの取り込みと保存を高速化。
• AWS S3を統合してセキュアでスケーラブルなデータ転送を実現し、移行プロセスにおけるデータの整合性とアクセシビリティを確保。
• 増加分のみのデータコピーと動的データパイプラインのアプローチを通じてSQL Serverの変更をSnowflakeに継続的に同期されるためのシステムを実装。このリアルタイムのデータ可用性により、分析機能とレポーティングの精度が向上した。

Data Engineering

• 様々な社内部門からのデータを収集・分析するデータ分析プラットフォームの開発と保守に貢献しました。プラットフォームのコアコンポーネントのシステムアーキテクチャを設計しました。これには、コンピュートSQLエンジンTrino、ストレージHDFS、認証ワークフロー、およびHadoopエコシステムが含まれます。
• データ分析チームと協力し、データを取得するためのクエリをチューニングし、基盤となる物理スキーマを改善することで、BIダッシュボードのパフォーマンスを向上させました。
• Apache KafkaからHDFSへネットワークトラフィックフローデータを取り込むためのデータパイプラインをPysparkを使用して開発しました。このパイプラインは秒間100万レコード以上を処理し、DDoS攻撃を緩和するためのリアルタイム異常検出に使用されました。
• SQLエンジンTrinoをBIツール、認証システム、データウェアハウスツールなど、他の社内データプラットフォームコンポーネントと統合しました。Javaを使用してTrinoのためのカスタムコネクターを開発し、オープンソースコミュニティに貢献しました。
• Java、Docker、JavaScriptを使用してYouTube再生統計データ収集ツールを開発し、1000ノード以上からYouTube再生のランタイム統計を収集して、QUICプロトコルとHTTPによるインターネットのエンドユーザー品質体験を分析・比較しました。Pythonのデータ可視化ツールplotlyを使用して、1000ノード以上から収集・分析したデータをもとに、2018年ギリシャで開催されたACM CoNEXTで研究成果を発表しました。

Software Engineering

• ReactJSを使用してデータカタログメタデータプラットフォームを開発し、日本語テキストの高度な検索、テーブル検索、スキーマ情報、および10以上の異なる社内システムおよびツールからのメタデータなどの機能を提供することで、チームの生産性を向上させました。
• DeepL API、JavaScript、およびNode.jsを使用して、オープンソースのマークダウンドキュメンテーションツール「CodiMD」に、日英および英日翻訳機能と日本語の漢字に対するふりがな（平仮名での読み）を開発しました。この機能は、日本語を話さないエンジニアと日本人エンジニア間のコミュニケーションと協力を強化しました。
• 2021年に開催されたTrino Japan Virtual Meetupで、NTTコミュニケーションズのTrino使用状況とアーキテクチャ設計について発表しました。
• 新しいチームメンバーをトレーニングし、データプラットフォームの全体的なアーキテクチャを理解するのを助けました。役立つチュートリアルやガイドを作成し、チームの生産性を向上させました。