Data Architect

Job Title: Data Architect(Bilingual)

Location: Tokyo, Japan

Job Type: Full time

Work mode: Hybrid 2-3 days onsite/week

Description

We will gradually develop the system, from the layer where data is stored as is to the layer where it is converted into a format usable for business operations.

Requirements

• Total of 12+ years of development/design/architecting experience with a minimum of 5 years’ experience in Big Data technologies on-prem and on cloud.
• Experience with architecting, building, implementing and managing Big Data platforms On Prem or On Cloud, covering ingestion (Batch and Real time), processing (Batch and Realtime), Polyglot Storage, Data Analytics and Data Access
• Good understanding of Data Governance, Data Security, Data Compliance, Data Quality, Meta Data Management, Master Data Management, Data Catalog
• Proven understanding and demonstrable implementation experience of big data platform technologies on cloud (AWS, Azure or GCP) including surrounding services like IAM, SSO, Cluster monitoring, Log Analytics etc.
• Experience working with Enterprise Data Warehouse technologies, Multi-Dimensional Data Modeling, Data Architectures or other work related to the construction of enterprise data assets.
• Strong Experience implementing ETL/ELT processes and building data pipelines including workflow management, job scheduling and monitoring.
• Experience building stream-processing systems, using solutions such as Apache Spark Streaming, Apache Kafka etc.
• Experience with Spark technology is a must.
• Good experience with any Cloud datastores such as Snowflake, AWS Redshift, Azure Synapse, Google BigQuery, etc.
• Experience with Big Data querying tools.
• Experience in other related technologies (such as Airflow, Nifi, Elastic Search, etc.) is a plus.
• Strong experience with data modeling and schema design
• Strong SQL programming background
• Excellent interpersonal and teamwork skills
• Experience to drive solution/enterprise level architecture, collaborate with other tech leads.
• Strong problem solving, troubleshooting and analysis skills.
• Experience working in a geographically distributed team.
• Experience with leading and mentoring other team members.
• Good knowledge of Agile Scrum
• Good communication skills.

Mandatory Requirements:

• Total of 10+ years of development/design/architecting experience with a minimum of 3 years’ experience in Data technologies on-prem and on cloud.
• Experience with architecting, building, implementing and managing Data platforms On Prem or On Cloud, covering ingestion, processing, Polyglot Storage, Data Analytics and Data Access
• Good understanding of Data Lineage, Data Security, Data Compliance, Data Quality, Data Governance, Metadata Management, Master Data Management, Data Catalog capabilities
• Proven understanding and demonstrable implementation experience of big data platform technologies on Azure cloud including surrounding services like IAM, SSO, Cluster monitoring, Log Analytics etc.
• Experience working with Data Architectures related to the construction of enterprise data assets across database/data lake/data warehouse (e.g. PostgreSQL)
• Strong Experience implementing ETL/ELT processes and building data pipelines including workflow management, job scheduling and monitoring (e.g. using Talend)
• Must have demonstrated capability of Architecting scalable SAAS based platform.
• Should have experience in enterprise applications on cloud or on-premise environments.
• Should have experience in multi tenancy.

Desired Skills

• Excellent interpersonal and teamwork skills
• Experience to drive solution/enterprise-level architecture, collaborating with other leads.
• Strong problem-solving, troubleshooting and analysis skills.
• Good knowledge of Agile Scrum
• Good communications and presentation capabilities
• Good understanding of secure product development
• Create solution architecture documents on a good level with deep technical details.
• Work closely with Lead Solution Architect in identifying solution requirements and key case-studies/scenarios for the future solution.
• Maintain a strong understanding of industry trends and best practices.
• Bilingual with Japanese proficiency N2 must have.

仕事内容

• 合計 12+ 年の開発/設計/設計の経験と、オンプレミスおよびクラウドでのビッグデータテクノロジーでの最低5年の経験。
• オンプレミスまたはクラウド上のビッグデータプラットフォームの設計、構築、実装、管理の経験、取り込み(バッチおよびリアルタイム)、処理(バッチおよびリアルタイム)、多言語ストレージ、データ分析、データアクセス
• データガバナンス、データセキュリティ、データコンプライアンス、データ品質、メタデータ管理、マスターデータ管理、データカタログに関する十分な理解
• IAM、SSO、クラスター監視、ログ分析などの周辺サービスを含むクラウド(AWS、Azure、またはGCP)上のビッグデータプラットフォームテクノロジーの実証済みの理解と実証可能な実装経験。
• エンタープライズデータウェアハウステクノロジー、多次元データモデリング、データアーキテクチャ、またはエンタープライズデータ資産の構築に関連するその他の作業の経験。
• ETL / ELTプロセスを実装し、ワークフロー管理、ジョブスケジューリング、監視などのデータパイプラインを構築した豊富な経験。
• Apache Spark Streaming、Apache Kafkaなどのソリューションを使用したストリーム処理システムの構築経験
• Spark テクノロジーの経験は必須です。
• Snowflake、AWS Redshift、Azure Synapse、Google BigQueryなどのクラウドデータストアでの優れたエクスペリエンス。
• ビッグデータクエリツールの経験。
• 他の関連テクノロジー(Airflow, Nifi, Elastic Searchなど)の経験があれば尚可。
• データモデリングとスキーマ設計に関する豊富な経験
• 強力なSQLプログラミングのバックグラウンド
• 優れた対人スキルとチームワークスキル
• ソリューション/エンタープライズレベルのアーキテクチャを推進し、他の技術リーダーと協力した経験。
• 強力な問題解決、トラブルシューティング、分析スキル。
• 地理的に分散したチームでの勤務経験。
• 他のチームメンバーを指導し、指導した経験。
• アジャイルスクラムに関する十分な知識
• 優れたコミュニケーションスキル

必須要件:

• 合計10 +年の開発/設計/建築経験(最低3年)
• オンプレミスおよびクラウドでのデータテクノロジーにおける長年の経験。
• データプラットフォームの設計、構築、実装、管理の経験
• プレムまたはオンクラウド、取り込み、処理、多言語ストレージ、データ分析、データアクセスをカバー
• データリネージ、データセキュリティ、データコンプライアンス、データ品質、データガバナンス、メタデータ管理、マスターデータ管理、データカタログ機能に関する十分な理解
• ビッグデータの実証済みの理解と実証可能な実装経験
• IAM、SSOなどの周辺サービスを含むAzureクラウド上のプラットフォームテクノロジー、
• クラスター監視、ログ分析など
• データベース/データレイク/データウェアハウス(PostgreSQLなど)にわたるエンタープライズデータ資産の構築に関連するデータアーキテクチャでの作業経験
• ETL/ELTプロセスの実装、ワークフロー管理、ジョブスケジューリング、モニタリング(Talendの使用など)を含むデータパイプラインの構築 に関する豊富な経験
• スケーラブルなSAASベースのプラットフォームを設計する能力を実証している必要があります。
• クラウドまたはオンプレミス環境でのエンタープライズアプリケーションの経験が必要です。
• マルチテナントの経験が必要です。

望ましいスキル

• 優れた対人スキルとチームワークスキル
• ソリューション/エンタープライズレベルのアーキテクチャを推進し、他のリードとコラボレーションした経験。
• 強力な問題解決、トラブルシューティング、分析スキル。
• アジャイルスクラムに関する十分な知識
• 優れたコミュニケーションおよびプレゼンテーション機能
• 安全な製品開発に関する十分な理解
• 深い技術的詳細を含む適切なレベルのソリューションアーキテクチャドキュメントを作成します。
• リードソリューションアーキテクトと緊密に連携して、ソリューション要件と将来のソリューションの主要なケーススタディ/シナリオを設計します。
• 業界の動向と優秀取組み事例の理解
• 日本語能力N2以上のバイリンガルスキル

Job responsibilities

Job Responsibilities

• Work directly with the Client teams to understand the requirements/needs and rapidly prototype data and analytics solutions based upon business requirements.
• Architect, Implement and manage large scale data platform/applications including ingestion, processing, storage, data access, data governance capabilities and related infrastructure.
• Support Design and development of solutions for the deployment of data analytics notebooks, tools, dashboards and reports to various stakeholders.
• Communication with Product/DevOps/Development/QA team
• Architect data pipelines and ETL/ELT processes to connect with various data sources.
• Design and maintain enterprise data warehouse models.
• Take part in the performance optimization processes.
• Provie guidance on research activities (like PoCs) if necessary.
• Manage cloud-based data & analytics platform.
• Establishing best practices with CICD under Big Data scope
• Trade-off skills with Customer for solution definitions and approvals.
• クライアントチームと直接連携して要件/ニーズを理解し、業務要件に基づいてデータおよび分析ソリューションのプロトタイプを迅速に作成します。
• 取り込み、処理、ストレージ、データアクセス、データガバナンス機能、および関連インフラストラクチャを含む大規模なデータプラットフォーム/アプリケーションを設計、実装、および管理します。
• サポートデータ分析ノートブック、ツール、ダッシュボード、およびレポートをさまざまな利害関係者に展開するためのソリューションの設計と開発。
• 製品/DevOps/開発/QAチームとのコミュニケーション
• データ パイプラインと ETL/ELT プロセスを設計して、さまざまなデータ ソースに接続します。
• エンタープライズ データ ウェアハウス モデルを設計および保守します。
• パフォーマンス最適化プロセスに参加します。
• 必要に応じて、研究活動(PoCなど)に関するガイダンスを提供します。
• クラウドベースのデータと分析プラットフォームを管理します。
• ビッグ データ スコープでの CICD を使用した優秀取組み事例の確立
• ソリューションの定義と承認を得るための顧客との交渉スキル