Filecoinエコシステム内のエンジニアリングチームは、Filecoin Data Tools（FDT）プロジェクトを位置づけ、顧客データの大規模なオンボーディングを開始しました。このプラットフォームは、3つのパイロットイニシアチブを通じて、迅速かつシームレスにデータをオンボードする使いやすさを実証し、現在、ファイルコインエコシステム内のより多くの顧客のサポートを開始する準備ができています。
今回の発表は、私たちのエコシステム企業が世界中の開発者に実用的なクラウドDX/UXを提供するための次の論理的進歩を意味します。
FDTとは何ですか？
FDT（Filecoin Data Tools）は、Filecoin Networkの上に構築されたコンピュートとストレージの技術セットです。Filecoin Networkは、ネットワーク収益とインセンティブが組み込まれた分散型ストレージネットワークです。私たちは、クラウドが素晴らしい開発者体験を持っていることを認識しています。したがって、分散型ネットワークが提供できる透明でオープンソースのインセンティブ層とともに、クラウドレベルのDXの利点を実現することが私たちの野望です。
この技術スタックには、開発者が分散型アプリケーションを構築するために使用できる、コンピューティング、ストレージ、ネットワークリソースなどの様々なコンポーネントが含まれています。 実際、Filecoin Data Toolsが提供するコンポーネントを用いて、すでに多くのチームが興味深いソフトウェアを構築しており、スケーラブルで柔軟、かつ安全な設計となっているため、幅広いユースケースに適した製品となっています。
FDTラインナップ
Estuaryは内部が大きく変わっても、製品として継続されています。さらに、Estuary Dashboardは、ネットワーク上のストレージ案件を監視・管理するためのユーザーフレンドリーなインターフェイスを提供します。Estuaryは、開発者がFilecoinの上にストレージアプリケーションを構築できるEstuary APIや、ネットワークと統合するためのさまざまなライブラリやツールを提供するEstuary SDKなど、さまざまな開発者向けツールやAPIを引き続き提供する予定です。
Estuaryのような製品やエコシステム内の他のツールに力を与えるスタックです。Delta Technology Stackは、Filecoinストレージネットワーク取引を作成・管理するためのオープンソースツールのスイートです。これには、Delta Deal Making Engine、大規模データセット用のDelta Dataset Manager、封印されていないコピーを保存して提供するためのEdge-UR Gatewayが含まれます。
Deltaの説明
Deltaは、Filecoin Network上のストレージ取引の準備と管理のプロセスを簡素化するために使用することができます。Deltaは、データの管理、バージョン管理、メタデータの管理、ストレージ取引のステータスの追跡に使用することができ、これらすべてが、ユーザーがFilecoin Network上でデータを公開することを容易にします。
Delta Deal Making Engineにより、ユーザーは必要なストレージスペースの量、価格、交換の条件など、ストレージ取引の条件を指定することができます。そして、このプラットフォームは、Filecoin Network上のスマートコントラクトを使用して、ストレージ取引の条件を強制し、取引を促進します。
Deltaは、Filecoin Network上でストレージ取引を準備する際の複雑な作業を包み込み、分散型ストレージネットワーク上にデータを複製したいユーザーにシームレスな体験を提供するために使用することができます。
特徴
- ディール提案の準備と発表
- ピースコミットメントの計算と最適化
- E2E/インポート対応(オンライン/オフライン)
- 自動/手動修理とディールリニューアル
- ウォレットの割り当て
- ストレージプロバイダーの割り当てと選択
- ブロックストアのクリーンアップ
- ディールステータス管理
- レプリケーション管理
Delta Dataset Manager
Delta Dataset Manager (Delta DM) は、インポートストレージ取引（別称アウトオブバンドワークフロー）を通じてデータセットを Filecoin Network にオンボードするための取引レプリケーション追跡を管理するツールです。これは、転送がアウトオブバンドで処理される方が良いような、大量のデータに対する取引を迅速に行うためのソリューションを提供します。
Delta DMプラットフォームは、直感的なウェブベースのインターフェースを通じて、データセットの合理的な管理を可能にします。レプリケーションとDataCapを追跡し、クライアントサービスプロバイダーには、取引のためのプルメカニズムを通じたセルフサービスを提供します。
データ準備やデータ転送にとらわれず、BoostやLotusから独立して実行できるため、Delta DM + Deltaは完全に独立したソリューションとして運用することができます。
Delta Importer
Delta Importerは、Storage Providerインフラストラクチャ上で実行するように設計されたスタンドアローンのバイナリです。ファイルシステムからBoostへのCARファイルのインポートを自動化します。Delta DMと統合してセルフサービスAPIからディールを要求することで、Delta Importerは完全に自動化されたディールメイキングとディールインジェストパイプラインを促進します。Delta DMには複数の動作モードがあり、さまざまな異なるデータ取り込み戦略をカバーします。
近日公開予定
- DMに戻るディールのエンドツーエンドのトラッキング
- 案件追跡のためのコマンドラインインターフェイス
- 失敗した案件のインポートの再試行
Edge-URは、Filecoin Network上にあるにもかかわらず、自分のデータにアクセスする必要があるユーザーのために、高可用性データを実現するシンプルなソリューションです。Edge-URは、顧客が同じAPIキーを使用してEstuary上のユーザーコンテンツをアップロードおよび取得することを可能にする専用ノードです。各顧客には専用のノードが割り当てられ、アップロードプロトコルを切り替えてシームレスな体験を提供します。データは依然としてHTTPでアップロードする必要がありますが、Edge-URノードは、ストレージ取引を行うためのDeltaノードへのファイルの転送を容易にします。
エッジが提供する安価なウォームリトリーブレイヤーと、ファイルコインの無料コールドアーカイブレイヤーを併用することで、企業はストレージコストを大幅に削減することができます。 このストレージコストの削減は、IT予算の他の分野に適用することができ、チームはより強力なIT環境を構築することができます。
全体として、Edge-URは、ユーザーコンテンツのセキュリティと制御を維持しながら、Estuaryでのデータのアップロードと取得のプロセスを簡素化します。
特徴
- 他のIPFSノードとピアリング可能な軽量IPFSノード。
- アップロードとリトリーブ – ユーザーはファイルをアップロードし、直後にリトリーブすることができるようになります。
- Deltaを使用した非同期ディールメーキングプロセス。
- コンテンツとそれに関連するディールを追跡します。
Ptolemyは、通常S3バケットや連続したファイルシステムに限定される大規模データセットを処理するオーケストレーションエンジンとして機能するように設計されています。Ptolemyは、ファイルシステム全体の構造をCARファイルにパッケージ化し、取引に利用することができます。Ptolemyの目標は、ストレージプロバイダとエンドユーザが同様に、データ準備にまつわる労力を取り除くことです。
特徴
- ファイルシステム全体のクイックスキャンとコンテナ化、および近日公開予定のS3バケット。
- 自動車ファイルのCommpとRoot CIDの計算
- 人間が読めるファイル名から対応するルートCIDへのインデックス作成
- Ptolemyワーカーの追加による水平スケーリング
Filecoin Data Infrastructureは、ディールメイキングエンジンやその他のFilecoinテクノロジーやサービスのための低コストで信頼性の高いコンピュートとストレージの青写真となることで、分散化へのステップを示し、Filecoinネットワークを前進させる。これは拡張可能なコンピュートクラスタ、ストレージシステム、仮想化クラスタであり、高可用性とKubernetesを含んでいます。
FDIはまた、あなた自身の「FDI-alikes」を構築し、あなた自身のハードウェア上で、あなた自身の条件で、あなた自身のエンタープライズグレードのFilecoinクライアントインフラを実行するために使用できる、自動化ツールとinfrastructure-as-codeのオープンセットである。異なるハードウェア、異なるソフトウェアに適応でき、すべてがプラグイン可能でオープンソースです。
とりわけ、FDIはCustomer Provisioned Infrastructureのプロビジョニングを可能にし、エンジニアリングチームが初めて不換紙幣と引き換えにクライアントに代わってインフラを稼働させることを可能にします。私たちは、ファイルコインエコシステムのチームが、ネットワークに有意義なデータを搭載し続ける一方で、コストを削減できるよう支援しています。この作業については、今後数週間かけてより詳細に説明します。
Storage.marketは、データストレージ製品の情報ハブとして、ストレージ市場の分析やデータストレージに関連する最新ニュースをユーザーに提供します。このプラットフォームは、業界の動向を常に把握し、ストレージ製品やサービスについて十分な情報を得た上で意思決定を行いたい企業や個人にとって、特に有用なものとなるでしょう。
クライアント・エンゲージメント
Filecoin Networkにデータを搭載するために、ユーザーはネットワークと対話し、データのアップロード、検索、管理などの様々な操作を実行できる特定のツールやアプリケーションを使用する必要があります。私たちのエンジニアリングチームは、私たちのチームが提供するツールと専門知識を利用して、ファイルコイン・ネットワークにデータを搭載するソリューションを構築している複数のクライアントと協力しています。
このようなプロジェクトで複数のクライアントと協力することは、各クライアントが独自の要件、使用例、技術的能力を持っているため、難しいことです。しかし、ファイルコイン・ネットワークのアーキテクチャ、プロトコル、機能、そしてクライアントのニーズと期待に関する知識を活用することで、クライアントの要件を満たすカスタマイズされたソリューションを開発し、分散型ストレージの利点を活用できるようにします。
ラディアントアースとの協働
ラディアントアースは、機械学習と地球観測（EO）技術の活用により、グローバルにポジティブなインパクトを促進することを目的とした革新的な組織である。彼らは、世界中の専門家や研究者に信頼される、高品質でオープンなリソースを提供しています。
Radiant Earthのコアミッションの1つは、EOの機械学習に関する標準を開発できる実践コミュニティを育成することです。これは、機械学習、EO、および関連分野の専門家を集め、協力し、知識を共有し、責任ある効果的な方法でこれらの技術を使用するためのベストプラクティスを開発することを意味します。
ラディアント・アースとの仕事の一環として、私たちは私たちの技術スタックを使って、彼らの機械学習とEOデータのごく一部をファイルコイン・ネットワークに搭載しました。私たちは、これを達成するために必要な手順を理解し、私たちのツールを使って、彼らのデータが適切にフォーマットされ、安全に保存され、簡単にアクセスできることを保証しています。
使用したツール
- Ptolemy
- Delta Dataset Manager（デルタデータセットマネージャー
- デルタディールメーキングエンジン
- デルタインポータ
課題
比較的小さなデータセットであるにもかかわらず、膨大な数の小さなファイル（約771万9000個）が存在し、それらを手作業でカーファイルに揃えるには非常に長い時間が必要だった。
小さなファイルのI/Oは非常に困難であるため、カーファイル生成の最適化が最も重要である。
エンドユーザーは、PoCの一環として、シームレスなダウンロード体験を求めました（チームはこれを実現しました）
SUCHOとの協働
SUCHOは、ウクライナの文化遺産をデジタル化し保護するために、世界中から集まった1,500人以上のボランティアがオンラインで協力する素晴らしいイニシアチブです。ウクライナで進行中の紛争に対応して、SUCHOはウクライナの文化機関が所有する5,000以上のウェブサイトと約40TBのデータを保護するために行動を起こし、これらの貴重なリソースが失われたりオフラインになるのを防ぐことを目的として、世界中の5種類のストレージプロバイダーと提携しています。
使用したツール
- Ptolemy
- Delta Dataset Manager（デルタデータセットマネージャー
- デルタディールメーキングエンジン
- デルタインポータ
課題
様々なファイルサイズが混在しているが、1TiBを超えるファイルもあり、32GiBセクタに効率よくパッキングするのは容易ではない。
無料のAWS S3サービスの帯域幅の制限により、スロットルされた接続でデータセットを取得するのは長いプロセスだった。
Encloudとの協業
Encloudはデータセキュリティに特化しており、ユーザーにアクセスの自由を提供しながらセキュリティ機能をさらに高めるためにFilecoinを使用することの重要性を知っています。
私たちはこのイニシアチブでEncloudと協力しており、彼らの概念実証をテストするために、私たちのライブEdge-URノードへのアクセスを提供しました。
使用したツール
- Delta
- Edge-UR
お問い合わせ
取り組みについて詳しくはこちら
Filecoin Slack (チャンネル #エコシステム-dev)
Githubのリンク：
アプリケーション・リサーチ｜デルタ｜デルタDM｜エスチュアリー
製品ページ：
コメント