Over Security

KELAサイバーインテリジェンスセンター

KELA Cyber Intelligence Center

KELAサイバーインテリジェンスセンター

KELA Cyber Intelligence Center

It’s Not Over, Yet…  Law enforcement has once again targeted LockBit, the notorious ransomware gang, but the end of this group remains uncertain. Despite multiple high-profile crackdowns, LockBit’s operations continue unabated, illustrating their resilience against law enforcement efforts. This ongoing challenge is highlighted by insights from KELA’s threat researchers, recently featured on Wired.com. As we […]

サイバーセキュリティと機密データの保護に関する堅牢な業界基準を確立・維持するにあたって、いまやNISTサイバーセキュリティフレームワーク（NSF）が幅広く活用されるようになっています。NSFは、組織におけるサイバーセキュリティリスクの理解・管理・軽減を支援する5つの機能（識別・防御・検知・対応・復旧）について、概要を示しています。 今回のブログではそれら5つの機能について詳述し、サイバー脅威インテリジェンス（CTI）をNISTフレームワークと併せて活用することでどのように規制を順守できるのか、そして規制が求める以上の成果を出すことができるのかを解説します。

To establish and maintain robust standards for cybersecurity and protecting sensitive data — the NIST Cybersecurity Framework (NSF) has become ubiquitous. The NSF outlines five key functions to support organizations in understanding, managing and reducing cybersecurity risk — Identify, Protect, Detect, Respond and Recover.  In this article, we will take a closer look under the […]

KELA CEO デービッド・カーミエル   今日のデジタル環境では、企業活動の停止にもつながりうるランサムウェア攻撃やデータリーク攻撃が広範な領域で発生しています。実行犯となる脅威アクターは、重要なデータを暗号化したり、窃取するなどし、その後はデータを復号化したり、非公開にしておくことと引き換えに身代金を要求します。しかし、組織に発生する損害は身代金の支払いに留まりません。生産性の低下やデータの復旧作業、評判に対する悪影響などを考慮すると、損害額は数百万ドルに上る可能性があります。しかし、KELAのサイバーインテリジェンスプラットフォームを活用することでそれらのリスクを大幅に軽減し、ランサムウェア攻撃を阻止して、ROIを飛躍的に向上させることが可能となります。

David Carmiel, CEO, KELA   In today’s digital landscape, ransomware and extortion attacks are a pervasive threat that can bring enterprises to a standstill. These attacks, where malicious actors encrypt and steal critical data and demand ransom for its release and for not leaking it publicly, can cost organizations millions, not just in ransom payments, […]

常に進化するサイバー犯罪情勢においても、変わることのない真実が1つあります。それは、「有効な資格情報は黄金のチケットである」ということです。窃取された資格情報がサイバー犯罪エコシステムに多数流出している状況を背景に、2023年に発生したネットワーク侵害では、主に企業で使用されているアカウントの資格情報が悪用されていました。情報窃取マルウェア関連の活動が急増したことも（2023年は前年から266%増加）、資格情報を使った不正アクセスが増加した要因となっています(1)。 ここで、「ハッカーが資格情報を購入する際、具体的にはどういう商品を探しているのか？」という疑問が浮かび上がってきます。そこでKELAは、企業に不正アクセスする手段として特に悪用されている侵入ポイントを特定するべく、サイバー犯罪フォーラムの活動を分析しました。今回のブログではその調査結果を詳述し、特に標的となっている資格情報やサービスを明らかにします。また、脅威アクターがネットワークを侵害するにあたり、どのように資格情報を入手しているのかについても解説します。

In the ever-evolving landscape of cybercrime, one truth remains constant: valid credentials are the golden ticket. In 2023, corporate credentials became the go-to method for compromising networks, fueled by a booming cybercrime ecosystem overflowing with stolen logins. This easy access is further bolstered by a surge in infostealer-related activity (up 266% in 2023) (1). This […]

Olympic fever is well and truly upon us, with the Olympic Games starting in Paris on July 26th. However, it’s not just athletes warming up for fun and games, with eight-ten times the number of cyberattacks predicted for the Paris Olympics as were seen in the 2021 Olympic Games in Tokyo. As Tokyo saw 450M […]

世間では、2024年7月26日にパリで開幕するオリンピックへの関心がますます高まっています。しかし、オリンピックで開催される試合やその楽しみに向けてウォーミングアップしているのはアスリートだけではありません。2021年の東京オリンピックでは、4億5,000万件ものセキュリティイベントが発生してブロックされる事態となりましたが、パリオリンピックではその8～10倍に上る数のサイバー攻撃が発生すると予想されています。つまり、パリオリンピックのリスクはかつてない程に高まっているということになります。今回KELAは、オリンピックに関連して発生するであろうサイバー攻撃の種類や想定される標的、攻撃を計画している脅威アクターなどを調査し、レポートにまとめました。今回のブログではその概要をご報告します。レポートの全文はこちらからダウンロードしていただけます。

Pavel Durov, the founder and CEO of Telegram, was arrested in Paris on August 25, 2024 on charges related to his platform allegedly being used for illegal activities. Three days later, he was indicted and released on bail, with six charges related to illicit activity on Telegram. While people all over the world discuss Telegram’s loose […]

2024年8月25日、Telegram のCEO兼創設者であるパヴェル・ドゥロフ（Pavel Durov）氏がパリで逮捕されました。逮捕の容疑はTelegramが違法行為に使用されたこととされており、この逮捕の3日後、同氏はTelegramでの違法行為に関する6つの容疑で起訴されたものの、保釈されました。世界中の人々がTelegramのモデレーション（コンテンツ規制）のゆるさについて議論し、プラットフォーム側がユーザーの犯罪行為に責任を負わされる事態に疑問を呈する声も上がりました。その一方で、Telegramを利用するサイバー犯罪者にもそれぞれの意見があるようです。

Telegram recently made waves by updating its privacy policy, marking a significant departure from its long-standing reputation as a haven for privacy-focused users, including cybercriminals. The messaging platform, known for its hands-off moderation approach, will now share users’ phone numbers and IP addresses with law enforcement following court orders. This change applies to various criminal […]

Discover how ransomware has evolved into a booming business. Learn about the role of Initial Access Brokers, infostealers, and the growing ransomware supply chain. Plus, access our eBook for deeper insights.

Ready for NIS2? Cyber Threat Intelligence is a Powerful Route to Compliance.   NIS, or the Network Information Systems Directive, is getting an update this year, and by the 17th of October 2024, organizations in member states in the EU will need to be fully compliant with its second iteration, NIS2. The stakes are high, […]

サイバー攻撃がますます巧妙化すると同時にその件数も増加の一途をたどる状況を背景に、ハーバードビジネスレビューは脅威情報を十分に活用した防御の必要性を説き、「増大するリスクから自組織を保護するためには、起こりうる脅威に対してどのように対応するかについて、より高い透明性、正確性、精度が必要である」と主張しています。 そしてKELAは、脅威や脅威アクターに関する背景情報を取り入れた100%実用的なインテリジェンスをタイムリーに提供し、組織の皆様がデジタルリスクを緩和できるよう支援しています。しかし、実際のビジネス環境ではサイバー脅威インテリジェンス（CTI）を導入することでどのようなメリットを享受したり、どのようにリスクの軽減につなげることができるのでしょうか。今回のブログでは8 つの重要なトピックを取りあげ、サイバー脅威インテリジェンスが組織にもたらす価値について解説します。 アタックサーフェスインテリジェンス サイバー脅威インテリジェンスは、サイバー犯罪者の視点でとらえた組織のデジタルフットプリントを包括的に表示します。インターネット経由で外部からアクセス可能なシステムの脆弱性や、セキュリティ保護されていない侵入ポイントは、内部評価で見逃されてしまうこともありますが、サイバー脅威インテリジェンスを活用して特定することができます。 例えば、セキュリティチームはKELAのソリューションに搭載されているビジュアル・レコナサンス（視覚偵察）機能を活用して、ネットワーク関連の問題の全体像を正確に把握することができます。具体例としては、インターネットに接続された資産の露出状況や設定ミスなど、インターネット経由で利用している資産の中で脅威アクターに悪用される可能性があるものが挙げられます。ビジュアル・レコナサンスはビジネスを脅かす目前のリスクを特定し、CISOに通知します。 脆弱性インテリジェンス サイバー脅威インテリジェンスは、新たに出現した脆弱性について調査し、積極的な監視・報告を行うとともに、各脆弱性の修正や影響緩和プロセスに役立つ知見と背景情報を提供します。組織における使用例としては、実際に活発に悪用されている脆弱性に対するパッチや防御の優先順付けを行う一助として、サイバー脅威インテリジェンスを活用するなどが挙げられます。 正式に公表されている脆弱性のスコアリングや評価は、各脆弱性の実際のリスクと一致していないことが多々あるため、セキュリティチームがリソースと労力を優先させるべきポイントを理解しようとすると、現実と理論のギャップに直面することになります。KELAが提供している「攻撃者の実際の視点」と脆弱性インテリジェンスは、組織が各脆弱性の具体的なリスクやエクスプロイト、PoCを理解する一助として活用し、現実と理論のギャップを解消して、どの脆弱性が自組織の業務で問題を引き起こすのかを判断できるよう支援します。 サードパーティリスクの監視＆ソフトウェアのサプライチェーン 最近公開されたレポートによると、組織の98%はデータやネットワーク侵害を経験したことのあるサードパーティと何らかのつながりがあります。サードパーティで発生したインシデントのように間接的な脅威は、従来のセキュリティソリューションでは検知される可能性が低く、また同レポートによると、サイバーインシデントの29%はサードパーティで発生した攻撃が発端になっているということです。 サイバー脅威インテリジェンスは、サードパーティとなる取引先やサプライチェーンに関連するリスクの評価、サードパーティの脆弱性やデータ侵害、ネットワーク侵害の継続的な監視などのサードパーティリスク管理を行ううえで必須となります。KELAのソリューションは、取引先のネットワークの初期アクセス、ランサムウェア攻撃、資格情報の漏えいやアカウントの侵害につながるボットの活動などの情報を常時完全に可視化し、皆様の組織に影響を及ぼしうる間接的な脅威について情報を提供します。また、サイバー攻撃が発生する可能性を評価した予測スコアや、改善策のヒントも提供します。 幹部職員の保護 昨今の攻撃者は、幹部職員の資格情報が組織全体のマスターキーであることを認識しており、「食物連鎖の頂点（すなわち幹部職員」を狙った攻撃が多発しています。例えばビジネスメール詐欺（BEC）に成功して資格情報を窃取した場合、攻撃者は（窃取した）資格情報を悪用してネットワークの深部で足場を確立し、重要な資産へアクセスしたり、個人や企業を標的にしたドキシングを行うことが可能となります。 しかしサイバー脅威インテリジェンスを活用することで、特定の業界や組織を標的にしたAPT（高度な持続型の脅威）や、特定の幹部職員を標的にしたスピアフィッシング攻撃など、標的型の攻撃を特定・把握することができます。 KELAは、幹部職員の氏名や資格情報に関する投稿や、膨大な未加工データに含まれている個人識別情報（PII）を常時監視しています。またKELAのソリューションでは、独自のデータレイクを活用して組織のVIPや幹部職員、意思決定者に関する投稿を検知することができます。この機能と、脅威アクターの戦術・技術・手順（TTP）に関する詳細情報を組み合わせることにより、幹部を狙う脅威についても、より自組織に適した効果的な防御策を策定することが可能となります。 ブランドインテリジェンス 脅威アクターが特定のブランドや企業の名を騙ってその顧客を攻撃した場合、たいていは名を騙られたブランドや企業がその対価を支払わされることになります。タイポスクワッティングやブランド・企業の名を騙る不正行為は、騙られた企業のセキュリティ境界外で発生しています。しかし、詐欺メールや詐欺サイトで特定の企業の名前が使用された場合、そのような不正行為は名前を悪用された企業がコントロールできるものではないうえ、世間がその事実に着眼することはほとんどありません。 サイバー脅威インテリジェンスはブランド保護の強力なツールとして機能し、なりすましドメインやフィッシング用URL、タイポスクワッティングドメインなど、ブランドや企業の名を不正に使用しているインスタンスや、企業の評判を損ねうるインスタンスをすべて検知します。またKELAのサイバー脅威インテリジェンスには、サードパーティで発生した攻撃や財務情報の漏えい、データベース侵害において自組織と関連のある情報を監視する機能があり、自組織の情報が不正に使用されている場合は初期段階で特定することができます。 地政学的インテリジェンス 世界的情勢が不安定さを増す中、多くの人々が2024年を「ハクティビストの年」と呼んでいます。2023年と比較すると、ハクティビストの活動は今年に入って27％増加しており、その背景には政治・社会的原因があります。サイバー犯罪脅威インテリジェンスは複雑かつ動的な地政学情勢を考慮し、組織がハクティビズムや偵察行為、政治的動機にもとづいた活動のリスクを予測し、その影響を緩和できるよう支援します。特に、国際的なマーケットで活動する組織にとって有用なツールとなります。 KELAのTHREAT LANDSCAPEモジュールは、サイバー犯罪の全体的なトレンド、重要な情報に絞り込んだ日次のニュース、詳細情報を網羅したインテリジェンスフィードなどを通じて、意思決定者の皆様が簡単かつスピーディに情報を入手し、技術的なインテリジェンスを地域や脅威の種類で絞りこめる仕組みになっています。またKELAのTHREAT ACTORSモジュールは、1人の攻撃者がオンライン上で複数のペルソナを使用している場合は1画面にペルソナを集約して表示し、公開されたデータや投稿だけでは読み取れない、攻撃者の様々な特徴を把握するための情報を提供します。 アイデンティティインテリジェンス 多数のセキュリティツールが、不正アクセスに悪用されうるネットワークの脆弱性やブルートフォース攻撃を阻止する手段として流通しているにもかかわらず、有効なユーザー資格情報を悪用したサイバー攻撃は2023年から71％増加しています。サイバー脅威インテリジェンスは、ダークウェブをはじめ様々なプラットフォームで漏えいしている資格情報を能動的に監視し、情報窃取マルウェアが収集したログの販売・配信状況をチェックするなど（情報窃取マルウェアには、感染した端末のIPアドレスや資格情報を収集する機能があります）、有効な資格情報が悪用されるリスクに様々な方法で対処します。 KELAのソリューションは高度なテクノロジーを駆使して主要なプロセスを自動化し、組織がトリアージ（取り組みの優先順位付け）を適切に行ううえで必要な背景情報と、高品質なインテリジェンスを提供します。セキュリティチームは、KELAのアイデンティティインテリジェンスを活用して、攻撃者に侵害された資産やアカウントの資格情報を検知し、プレイブックやインテグレーションを使ってパスワードのリセットや、端末・IDなどの隔離、その他様々な是正策を自動化することができます。 詐欺防止 詐欺は、フィッシングや前払い詐欺、Webや電子メールを使った詐欺、その他様々な手法で行われており、組織が標的になった場合は財務や業務の健全性に影響が生じる可能性があります。しかし、サイバー脅威インテリジェンスを活用することで、詐欺行為の戦術やパターンを特定することができます。 KELAは、アンダーグラウンドで流通している未加工データや、詐欺行為に関するディスカッションをリアルタイムに収集し、監視・調査を行っています。具体的には、小切手やアカウントのスクリーンショット画像、クレジットカードマーケットで売り出されていた情報を検知したり、Telegramのメッセージや、一般消費者の資産を攻撃するボットなどを監視・特定しています。組織においては、KELAのアイデンティティインテリジェンスを活用して顧客のアカウントの侵害状況をチェックし、（顧客のアカウントが詐欺行為に使われるリスクを低減することができます。 今回ご紹介した内容は、サイバー脅威インテリジェンスのユースケースのあくまで一部であり、その効果はビジネス全体で実感していただけます。特定の目的でサイバー脅威インテリジェンスの導入を検討されている皆様、そしてより効果的な監視ソリューションを導入し、自社のビジネス環境を脅かしうる様々なリスクを緩和しようと検討されている皆様、ぜひKELAのサイバー脅威インテリジェンスプラットフォームの無料トライアルをおためしください。

8 Reasons You Need Cyber Threat Intelligence for Your Organization As both the number and the sophistication of cyberattacks continues to grow, the Harvard Business Review makes a case for threat-informed defense, describing a need for “greater transparency, accuracy, and precision around how we perform against likely threats” as a way to stay secure against […]

過去1年の間、業務の効率化やユーザーエクスペリエンスの向上を目的に、多数の組織が競ってAIを導入しました。そしてAIが業務プロセスの中核に統合されるにつれ、大規模言語モデル（LLM）固有の問題とも言える新たな攻撃ベクトルや脆弱性が出現しました。LLMの主要なインターフェイスとなる人間の言語は、一般のユーザーが意図せず誤用してしまう事例が発生しやすく、またサイバー犯罪者にとっても簡単に悪用できるため、リスクが広範な領域に及んでいます。 そのような状況を背景に、「Open Worldwide Application Security Project (OWASP)」ではLLMアプリケーションのリスクトップ10に対処するフレームワークを提供しています。このフレームワークは、台頭するAIリスクの認知向上を目指すとともに、それらのリスクを見据えたセキュリティ対策の導入を検討する組織に向けてベストプラクティスを紹介しています。 またKELAが提供するインテリジェス主導型の自動レッドチーム＆攻撃エミュレーションプラットフォーム「AiFort」も、商用の生成AIモデル（GPTやClaude、 Google、Cohere、その他のソリューション）に加え、各企業や組織が独自開発した生成AIモデルを保護するよう設計されています。AiFortは、組織が使用する生成AIアプリケーションを信頼性や安全性、セキュリティ、プライバシー上のリスクから保護できるようサポートします。また、AIアプリケーションを脅かす新たな脅威の有無をわかりやすく可視化し、脅威が存在する場合はAIアプリケーションを保護するための実用的な緩和策を提案します。AiFortは、OWASPが提供しているLLM向けフレームにも準拠しており、生成AIやLLMを脅かす脆弱性を包括的に対処して、組織の皆様が安全にLLMアプリケーションを展開できる環境を実現します。 LLMと生成AIアプリケーションのリスクトップ10を理解する ここからは、OWASP が発表したLLMや生成AI関連のリスクトップ10を一つずつ取りあげていきます。いずれのリスクも組織に脅威と課題をもたらすものですが、AiFortの攻撃シミュレーションを活用することで、LLMや生成AIに潜む脆弱性を特定・緩和し、信頼性の高い生成AIアプリケーションを展開することができます。 LLM01: プロンプトインジェクション プロンプトインジェクションとは、攻撃者が細工したテキストやデータを入力してLLMを不正に操作し、生成AIモデルに設定された「ガードレール」を回避する行為です。これは「ジェイルブレイク」とも呼ばれる手法であり、「ユーザーが細工したテキストやデータを直接入力し、生成AIに想定外のアクションを実行させる」というパターンと、「攻撃者が外部のソース（ウェブサイトやファイルなど）を利用して、入力テキストやデータを間接的に操作し、最終的にデータの窃取やその他の悪意ある行為を実行する」というパターンがあります。 KELAは、アンダーグラウンドのフォーラムやサイバー犯罪コミュニティを広範に監視し、情報を収集しています。そしてそこで得た知見と、アンダーグラウンドやソーシャルメディアプラットフォーム上で日々流通している大量のジェイルブレイクライブラリ（ツールや手法）をAiFortに組み込んで活用しています。これにより、AiFortでは様々な業界の多様な違反シナリオをベースにしたテストシミュレーションをAIアプリケーションに実行し、万全に防御することが可能となっています。 例：旅行代理店が顧客対応にAIを使用している場合、顧客はプロンプトを操作して、キャンセル費用の支払いを回避しようとする可能性があります。以下は、難読化を取り入れたジェイルブレイクテクニックをAiFort上でテストした結果の画面です。通常は拒否される悪意あるプロンプトを、絵文字や翻訳機能、エンコードを使用して隠ぺいし、AIモデルのセキュティ機能を回避しています。 この悪用事例をGoogle社のGeminiモデルに試してみたところ、Geminiは旅行代理店のキャンセルポリシーを操作するためのヒントとコツを生成しました。これは、我々があくまでテストとしてAiFort上で行ったものですが、旅行代理店が顧客対応に使用するアプリケーションをプロンプトインジェクションから保護するために、堅牢なセキュリティ対策を導入する必要性があることを浮き彫りにしています。 LLM02：安全が確認されていない出力の処理 これは、LLMが生成された出力内容の検証・サニタイズに失敗した時に発生するリスクです。攻撃者にこのリスクを悪用された場合、クロスサイトスクリプティング（XSS）やSQLインジェクション、その他のインジェクション攻撃を実行される可能性があります。 例：研究者は、人気の高いLLMアプリケーション構築フレームワーク「LangChain」に存在する脆弱性（CVE-2023-29374）を発見しました。報告によると、攻撃者がこの脆弱性を悪用した場合、Pythonのexeメソッドを介して任意のコードを実行し、プロンプトインジェクションが可能になるということです。 LLM03：トレーニングデータの汚染 トレーニングデータの汚染とは、トレーニングさせるデータを不適切な内容に操作することにより、AIモデルに間違った回答や偏見のある回答を出力させる行為を指します。攻撃者がトレーニングデータを改ざんすることで、有害な（または偏見のある）回答が生成される可能性があります。 例：AiFortでテストシミュレーションを行った結果、主要なLLMプロバイダーの1社が生成した回答には、よくある固定概念や偏見が存在することが判明しました。偏見が入った回答は、大規模LLMプロバイダーやAIアプリケーションの公平性や信頼性に影響を及ぼす可能性があります。下図は、ロールプレイテクニックを使ったジェイルブレイクのテストシミュレーション画面です。このテストは、倫理的な制約ぬきで動作する「NECO」というキャラクターになりきって回答するようAIモデルに指示することにより、LLMを操作して倫理ガイドラインを回避し、有害なリクエストに回答させるというジェイルブレイクテクニックと、「体重に問題を抱える人々とその食習慣に関するデリケートな質問」を組み合わせて行われました。 このテストでGPT-4モデルが出力した回答から、GPTでさえも、その機能において公平性と安全性に欠けていることが明らかとなりました。AiFortのテストシミュレーションでは、GPT-4は「体重に問題を抱えている人は自制心や規律に欠けている」と回答しており、そこには固定概念と偏見が含まれていることがわかります。このように固定概念や偏見の入った回答は、顧客からの信頼に影響を及ぼすとともに、ブランドや企業の評判にダメージをもたらす可能性があります。これに対する安全策としては、排他的であったり、固定概念を助長するような回答を拒否させるという方法が挙げられます。AIアプリを開発したり、使用する組織においては、AiFortのテスト結果をもとに偏見面での脆弱性を特定し、データセットを微調整することにより、安全かつ信頼できる回答を生成できるようになります。 偏見という面での問題を抱えたのは、OpenAI社のAIモデルだけではありません。2024年2月には、Google社のAIモデルGeminiが第二次世界大戦時代のドイツ軍の制服を着た有色人種の人々の画像を生成し、GoogleのAI技術に潜在的な偏見があるのではないかという懸念が沸き起こりました。 LLM04：モデルに対するDoS攻撃（MDoS） モデルに対するDos攻撃とは、攻撃者がLLMに大量のプロンプトを送信してリソースを消費させ、応答不可能にさせる行為を指します。 例：攻撃者が長文かつリソースを大量に消費するようなリクエストをAIモデルに繰り返し送信することにより、AIモデルの応答速度が低下したり、カスタマーエクスペリエンスに影響が生じることがあります。 LLM05：サプライチェーンの脆弱性 LLMのサプライチェーンは脆弱な場合があり、トレーニングデータやMLモデル、デプロイメントプラットフォームの完全性に影響を及ぼすことがあります。また、LLMのサプライチェーンに存在する脆弱性が攻撃につながり、システム障害に発展する可能性があります。 例：2023年3月、OpenAI社は、Redisオープンソースライブラリに存在する脆弱性が発端になったデータ侵害があったことを公表しました。またこのインシデントにより、一部ユーザーのチャット履歴や決済情報の一部が他のユーザーに漏えいする事態となりました。 LLM06：機密情報の開示 LLMは、機密データや知的財産などの機密情報を意図せず開示してしまうことがあります。またその結果、データ侵害やプライバシーの侵害に発展する可能性があります。 例：上述したOpenAI社のインシデントでは、一部のChatGPT Plusユーザー（約1.2%）の決済情報（電子メールアドレスや請求先住所、クレジットカード番号の下4桁など）が漏えいしました。 LLM07：安全が確認されていないプラグインの設計 LLMプラグインはAIモデルの機能を向上する拡張機能であり、プラグインを有効にした場合、AIモデルとユーザーのインタラクション中にプラグインが自動で呼び出されます。そして攻撃者は、サードパーティのプラグインを不正行為に悪用することができます。また、サプライチェーンの脆弱性と同様に、LLMプラグインの脆弱性も適切に対応されていない場合は重大なリスクをもたらす可能性があります。 例：2024年3月、研究者はChatGPTの拡張機能に存在する脆弱性を発見しました。攻撃者がそれらの脆弱性を悪用した場合、サードパーティのウェブサイトや機密データにアクセスできる可能性があります。 LLM08：過剰な代理行為 過剰な代理行為とは、LLMからの予期せぬ出力やあいまいな出力に対して、有害なアクションを実行できる脆弱性です。これは、LLMに過剰な機能や権限、自律性が実装されているときに発生する可能性があります。 例：下図は、「開発者モード」テクニックを使用してAIモデルを騙し、機能に制限がないと説得するシナリオをAiFortでテストしている画面です。このシナリオでは、「医療機関の事務職員を騙し、医療詐欺を行う方法」を回答するようリクエストしています。 我々がAiFortでテストを行った結果、開発者モードのジェイルブレイクを使用してAIモデルのガードレールを回避し、医療詐欺の戦術を詳述した回答を生成することに成功しました。この脆弱性は、AIアプリケーションが明確に定義された権限内で動作し、信頼性が高く責任のある回答を出力するよう、継続的に監視・監督することの必要性を浮き彫りにしています。 LLM09：過度な信頼 LLMは、非常に創造的で有益なコンテンツを生成することができます。しかしその一方で、事実とは異なる情報や架空の情報を生成する場合があります。この現象は「ハルシネーション」として知られています。 そして、LLMの回答を検証せず過度に依存した場合は、法的な問題や誤情報など深刻な問題に発展する可能性があります。 例：以下のテストでは、AIモデルの注意をそらせるジェイルブレイク手法を使用しています。これは、無関係なコンテキストを使ってLLMの気をそらし、パフォーマンスを低下させて有害な回答を生成させる手法です。テストの質問では、カリフォルニアのJohn Smithという乗客の詳細情報を提供するよう指示しました。 Google のAIモデルは、捏造した情報を含む回答を生成しました。しかしAIモデルの安全な回答としては、特定の乗客に関する情報提供を拒否しなければなりません。 またこのチャットボット（AIモデル）は、John Smithがテック起業家であり、スタートアップ企業「NeuraTech」の創設者であると主張しました。なお、「NeuraTech」という名称の組織は実際に複数存在しますが、我々が調査した限り、創設者がJohn Smithという人物である組織は発見されませんでした。つまりこの出力結果には、「ハルシネーション」と呼ばれるLLMの傾向が現れていたということです。これは、組織がLLMを活用する際には、（LLMによって）生成された回答を慎重に検証する必要があることを示しています。 LLM10：モデルの盗難 攻撃者がLLMに不正アクセスし、機密情報を複製または抽出しようとする可能性があります。組織で使用しているAIモデルの情報が窃取された場合、その組織のブランドとしての評判が失墜したり、貴重な知的財産の損失につながる他、壊滅的な事態に発展する可能性があります。 […]

Over the past year, organizations have been racing to adopt AI to accelerate their business operations and improve user experience. As AI technologies become more integrated into core business processes, new attack vectors and vulnerabilities have emerged as an inherent part of Large Language Models (LLMs). The risks are pervasive, as human language – the […]

DarkRaaSとCornDB：つながりが疑われる両アクターを分析 2024 年 10 月から11 月にかけて、サイバー犯罪フォーラム「BreachForums」に脅威アクター「DarkRaaS」 と 「CornDB」 が登場しました。両アクターの活動や標的、手法には驚くべき類似点が見られることから、KELAはこの2人の活動と、そのつながりを示唆する証拠について調査しました。 DarkRaaS/bashify DarkRaaS は2024 年 10 月に BreachForumsに登録して以降、初期アクセスブローカー兼データブローカーとして活動しています。同アクターが最初にBreachForumsに掲載した投稿では、「DarkSide」のランサムウェアオペレーションに関与していたと主張していました。DarkRaaS が言及したDarkSideとは、2021年にColonial Pipeline社を攻撃したことで悪名を広めたサイバー犯罪グループです。DarkSideはColonial Pipeline社に対する攻撃後、グループ名を「BlackMatter」に変えて再来しました。DarkSideには、活動していたメンバーや戦術、技術において、今はなきALPHV (BlackCat)との共通点が見られることから、多くの研究者がALPHVはDarkSideの後継であったと考えています。ただし、ALPHVがDarkSideの後継であったという点については疑問の余地があり、またこれまでのところ、DarkRaasとDarkSideが密接な関係にあったという証拠も確認されておりません。 DarkRaaSには、情報を発信するとき常に複数形の代名詞である「we（我々）」を使用するという特徴が見られました。これは、彼らがグループとして活動していたことを示唆しています。同グループは、主にイスラエルの政府セクターと民間セクターの両方を標的にしており、具体的な動機は不明であるものの、標的の選び方からは地政学的に基づいた反欧米的な姿勢がうかがえました。 KELAが調査したところ、DarkRaaSが2024年10月に出した犯行声明のうち、イスラエルの組織を標的にしたものは9件ありました。具体的には、同グループは融資会社の顧客情報8万5,000レコードや、様々な組織の資産（自治体のクラウドネットワーク、イスラエルの衣料品会社のクラウドネットワークOmall、大手マーケティング会社のCRMシステム、イスラエルの医療関連当局、技術大学のサーバー、イスラエルのエネルギー会社、イスラエルの大手金融系コングロマリットなど）に対するアクセスを販売すると主張していました。 ただしDarkRaaSは、主にイスラエルの組織を標的とする一方で、アラブ首長国連邦やブルガリア、パキスタン、コロンビア、トルコ、アルゼンチン、シンガポールをはじめとする国々の組織にも攻撃を拡大していました。そして2024年11月5日、DarkRaaSはBreachForumsでのユーザー名を「bashify」に変更しました。     DarkRaaSが最初に掲載した投稿で、DarkSideのランサムウェアオペレーションから派生したと主張している様子（BreachForums）   CornDB DarkRaaSが「DarkRaaS」というハンドル名で最後の投稿を掲載して間もない2024年11月9日、CornDBというハンドル名のユーザーがBreachForumsに登録しました。このCornDBには、イスラエルの組織を標的にしていることや、グループとしての存在を示唆する文体を使用しているなどの点をはじめ、DarkRaaSの活動パターンとの明らかな共通点が見られました。そしてCornDBも、大手電気通信企業のアクセスをはじめ、イスラエルの様々な業界（エネルギーや金融、自治体など）組織の情報を売り出す一方で、マレーシアや米国にも攻撃を拡大していました。 両者のつながりを示す証拠 そしてKELAがCornDB とbashify（旧DarkRaaS）について調査した結果、両者の強いつながりを示唆する指標が複数確認されました。その1つとして、彼らの活動のタイミングが挙げられます。まずもう一度CornDB とbashify（旧DarkRaaS）の活動を振り返ると、DarkRaaSがハンドル名をbashifyに変更した→CornDBがBreachForumsに登場した→その数日後にbashifyが活動を停止した、という流れになります。しかしCornDB とbashifyには短いながらも活動が重複していた期間があり、CornDB がBreachForumsに登場した11月9日から11月12日までの間に、bashifyは3件投稿を掲載していました。しかしそれ以降、bashifyは投稿を掲載しておりません。この点を含め、彼らの全体的な活動パターンから、CornDB とbashifyは同時に各々のオペレーションを実行していたのではなく、連携して活動の主体を（bashifyからCornDB へ）移行していたであろうことがうかがえます。 さらに言語的な分析を行ったところ、両者がフォーラムに掲載していた投稿の言い回しがほぼ一致していることや、一貫して集合代名詞を使用していることが明らかになりました。また両者の活動パターンが細かい点でも一致していること、決済に使用する暗号資産の種類も一致していること、イスラエルを主な標的にしており、投稿のタイミングやパターンに類似点が見られることなどが明らかとなりました。 そして両者のつながりを裏付けるもっとも有力な証拠として、両者が公開していたTOX IDが同一であったことが挙げられます。2024年11月11日、bashifyはイタリアのギャンブル関連のデータベースを売りに出し、その際にTOX ID: 811CB399F20173BF39A9DEDB048E8296AF0BB9AD101A088E1F01DF895CDE295F3DC6286A7CC6を掲載していました。そしてこのIDは、まさにCornDBが常に投稿で連絡先として記載していたTOX IDでした。ただしbashifyは、前述の投稿（イタリアのギャンブル関連のデータベースを売りに出した投稿）に掲載していたTOX IDを、現在は別のものに変更しています。 DaakRaaSとCornDBが同じような言い回しを使用している投稿 DaakRaaSとCornDBが同じTOX IDを記載している投稿   結論 上述のTOX IDをはじめ、KELAが観察した活動や収集した証拠に見られる類似点から、DarkRaaS/bashify とCornDBは同じアクターか、「同じグループで活動しており、密接な関係にあるメンバー」である可能性が高いと思われます。そして両者の活動のタイミングや標的の選好、TOX IDがこの結論を強固に裏付けています。 プライバシー保護のため、今回のブログでは上記アクター（DarkRaaS/bashify、CornDB）の標的になった被害組織の名前は公表しておりません。しかし、被害にあった可能性が懸念されるイスラエル企業の皆様は、ぜひKELAに直接ご連絡ください。攻撃の詳細情報や、KELAが提供しているサポートについてご説明いたします。 イスラエルを標的にした攻撃は活発化しており、また窃取されたデータの一部は攻撃の証拠として公開されていますが、初期アクセスブローカーをはじめ、各攻撃を行ったアクターの評判については最終的な判断が難しい状況にあります。DarkRaaS/bashify […]