PWS Cup 2024

PWS Cup 2024 は終了しました。ご参加頂いたみなさま、ありがとうございました。

What’s New

PWS Cup 2024 概要

コンテストストーリー

企業Aは顧客データを利用して映画の推薦システムを作りたいと思い、推薦システム開発のコンペのために顧客データを匿名化してコンペ参加者に提供することとした。しかし匿名化したつもりでも、外部のデータと突き合わせるなどして個人特定されたりプライバシーが侵害されたりした事例がある。さらに最近では、安全とおもわれる匿名化データや統計データでも複数組み合わせると元のデータが復元されてしまう「データベース再構築攻撃」も問題となっている。企業Aは、個人特定攻撃やデータベース再構築攻撃を防ぎつつ、有用性の高い匿名化データを作成できるだろうか？

コンテスト概要

コンテスト参加者は、加工者と攻撃者の双方の立場となって、データの加工と、加工されたデータへの攻撃技術を競います。データの加工では、参加者は顧客データを公開したい企業を想定した加工者となり、与えられたデータを加工してデータに含まれる人のプライバシーを保護することを目指します。加工されたデータへの攻撃では、参加者はデータの中身を暴こうとする人を想定した攻撃者となり、他の参加者が加工したデータに含まれる人の秘密の情報をより多く暴くことを目指します。

コンテストの流れ

コンテストは、以下の2つのフェーズからなります。

  1. 加工フェーズ:
    • 各チームは、映画の評価に関する架空のデータから、複数の匿名化データを作成する（各匿名化データは、多属性の元データから、分析用途に応じて必要な属性のみ抽出したデータを加工したものとする）。
    • 匿名化データは、有用性をなるべく損ねることなく、他人が元の情報を特定しづらいように加工すること。
  2. 攻撃フェーズ:
    • 各チームは、出題者によっていくつか黒塗りされた元データの値を、匿名化データを用いて推定する（データベース再構築攻撃）。
    • また、氏名等が切り離された元データを、匿名化データを用いて氏名等とつなぎ合わせて個人特定を試みる。

これらを順に実施した後、出題者により各チームの加工と攻撃の結果が評価されます。加工の評価は加工データと元データからそれぞれ得られる分析結果の近さ（近いほどよい）と秘密データの他のチームからの正しい推測の困難さ（困難であるほどよい）の観点から、攻撃の評価は他のチームの加工データに対する推測の正確さ（正確であるほどよい）の観点から、それぞれ行います。コンテスト期間中に加工フェーズ、攻撃フェーズ、評価の一連の流れを2回実施します。1回目を予備戦、2回目を本戦と呼び、予備戦と本戦での評価結果を総合して本コンテストの勝者を決定します。

加工フェーズの手順

  1. 事務局から配布データ3セットを受け取る
  2. 匿名化するデータを配布データ3セットから1セット選ぶ
  3. 選んだ配布データセットのID（例：00）をForumタブのスレッドで申告する
  4. 選んだ配布データセットのファイル名（例：Bi00.csv, Bi00_0.csv, … , Bi00_9.csv）をチームIDを含めたIDにリネームする
    • 例：チームIDが99の場合、B99.csv, B99_0.csv, … , B99_9.csvとする（iは含まないことに注意）
  5. 選んだ配布データセットを匿名化する
    • 例：チームIDが99の場合、B99_0.csv, … , B99_9.csvをそれぞれ匿名化した10個のファイルC99_0.csv, … , C99_9.csvを作成する
  6. checkCi.pyを用いて、匿名化した10個のファイルの形式に問題がないことを確認する
    • 例：python checkCi.py B99_0.csv C99_0.csv
  7. チームID（例：99）を記載したファイルid.txtを作成する
  8. 匿名化した10個のファイル（例：C99_0.csv, C99_1.csv, … , C99_9.csv）とid.txtをzipファイルにする
    • ファイル名は任意。例えばsubmission.zipとする。zipファイルの直下に匿名化した10個のファイルとid.txtが配置されるようにする。フォルダを含めるとエラーになるので注意
  9. My Submissionsタブを押し、少し下にあるクリップのアイコンを押すと提出ファイル選択のウィンドウが出るので、前で作成したzipファイルを選択して提出する
    • ファイル選択前に、クリップのアイコンの少し上にあるコメント欄にコメントを書くと、（Resultsタブを押すと出てくる）リーダーボードに結果と共にコメントが表示される
  10. 画面下に、提出したzipファイルの処理状況が表示される。Status欄がFinishedになれば処理完了
    • 5分以上かかる場合もあるので気長に待つ。不備があると、Failedになったり、SubmittingやRunningのままになったりする。原因不明でFinishedにならない場合は事務局（pwscup2024-info(at)csec.ipsj.or.jp（“(at)”をアットマーク“@”に置換ください））までご連絡ください
  11. Status欄がFinishedになるとActions欄に現れる二つのアイコンのうち、左側のアイコン（カーソルを合わせるとAdd to Leaderboradと表示される）を押す
  12. チェックマークのアイコンに変われば完了。リーダーボードに反映される

攻撃フェーズの手順

  1. 攻撃用データ（予備選、本選）をダウンロードする
    • コードの修正や提出失敗データの取り込みにより、リーダーボードの結果と多少異なる場合があるので注意
  2. 各チームに対する攻撃結果データを作成する（50行2列のcsv形式とし、1列目は個人特定攻撃結果、2列目はDB再構築攻撃結果とする）
  3. 各チームの攻撃結果データをまとめた単一のcsvファイル（50行44列のデータ）を作成する
    • 2i-1列目にチームiに対する個人特定攻撃結果、2i列目にチームiに対するDB再構築攻撃結果を記入する
    • 自チームおよび加工データ提出無しチーム（予備選ではチーム08, 13, 19）に対応する列は、空欄とするかアスタリスク（’*’）で埋める
    • ファイル名はExx.csv（xxは自チームID）とする
  4. Exx.csvとid.txtをzipファイルにする（ファイル名は任意）
  5. 加工フェーズ同様、My Submissionsからzipファイルを提出し、結果をリーダーボードに反映させる

参加者向け資料

主催

情報処理学会 コンピュータセキュリティ研究会 PWS組織委員会
（コンピュータセキュリティシンポジウム2024に併催）

PWS Cup 2024 スケジュール

スケジュールは予告なく変更することがあります。あらかじめご了承ください。 本ページに記載の日時は特に断りのない限り日本標準時(JST)です。システムに記載の日時は協定世界時(UTC)ですので、ご注意ください。

日付 イベント
2024/07/12(金) 16:00~17:00 PWS Cup 2024＆ iPWS Cup 2024説明会 （参加登録はこちら)
2024/07/12(金) ~ 2024/07/24(水) エントリー受付期間
2024/07/26(金) ~ 2024/09/02(月) 予備戦
2024/09/10(火) ~ 2024/10/15(火) 本戦
2024/10/24(木) 発表・表彰式

PWS Cup 2024 発表・表彰式

日時：2024/10/24(木)

場所：神戸国際会議場 B会場（国際会議室301）

タイムテーブル：

9:10-9:30 開会式、競技説明、結果発表

9:30-10:20 チーム01～07 プレゼン（各チーム7分）

10:20-10:40 休憩　※CSSの休憩時間と同じ時間帯

10:40-11:25 チーム01～07 ポスター発表

11:30-12:20 チーム08～14 プレゼン（各チーム7分）

12:20-13:40 昼休み　※CSSの昼休みと同じ時間帯

13:40-14:25 チーム08～14 ポスター発表

14:30-15:20 チーム15～21 プレゼン（各チーム７分）

15:20-15:40 休憩　※CSSの休憩時間と同じ時間帯

15:40-16:25 チーム15～21 ポスター発表

16:25-16:50 休憩（授賞審査）

審査員：井口誠（Kii）、小野元（NICT）、菊池浩明（明治大）、千田浩司（群馬大）、中村優一（ソフトバンク）、濱田浩気（NTT）、東貴範（TOPPANデジタル）、藤田真浩（三菱電機）、古川諒（NEC）、前田若菜（LINEヤフー）

16:50-17:10 表彰式、閉会式

参加方法

参加チーム

チームID チーム名 意気込み チーム代表者 所属 ポスター
01 宮地研.exe 頑張ります！ 柳下 智史 大阪大学　宮地研究室 -
02 私達日本語本当下手 張り切って行こう！！ 陳 柏瑄 陽明交通大学 -
03 ポップコーン がんばります。 - - -
04 Hots - 郭 亚楠 Inner Mongolia University of Technology Team04
05 SHA-NES 今年は総合優勝！ - NECソリューションイノベータ -
06 神ぼ大νττ 馬が逃げ，ぼっちがきた 小林 雅弥 神奈川大学 -
07 たけのこ映画守り隊 - - - -
08 0xA 面白そうだとなと思い、参加しました。 - - -
09 ステテコ泥棒 神戸リベンジャーズ・雪辱・ステテコ実力不足 - 明治大学 / 三菱電機 Team09
10 動的計画法 - - - -
11 Gunmataro117 PWS CUP 2024に参加することになり、
大変光栄です。この大会を通じて、
最高のパフォーマンスを発揮し、
自分自身の限界に挑戦することを
楽しみにしています。努力と準備を
重ねてきましたので、
自信を持って競技に臨み、
素晴らしい成果を収めたいと思います。
皆さんの応援に感謝し、全力で頑張ります		 岡嶋 佳歩 群馬大学 Team11
12 HAL 頑張ります 松本 知優 大阪大学 -
13 （出場取消）無量匿名処 『勝つさ』 - - -
14 privocy 推して参る - 静岡大学 -
15 ES5 頑張ります - - -
16 佐古研究室 - 渡邉 健 早稲田大学 -
17 こそっとアタック、しれっとブロック プライバシーを守るのは簡単さ、攻撃かわしてデータを探査 岡野 真空 静岡大学 -
18 匿名アノニマス - - - -
19 RITCHEY はじめての参加です！ - - -
20 KAT-TUNE 共同チームで力を合わせます！ - KDDI総合研究所 / ARISE analytics / トヨタ自動車 Team20
21 PR.AVATECT - - TOPPANデジタル Team21
22 春日部防衛隊（かすかべ防衛隊） - CHEN, YI-HSUAN National Yang Ming Chiao Tung University -
チームID アカウント 予備戦配布データ 予備戦採用データ 本戦配布データ 本戦採用データ
01 myjlabexe 10, 20, 30 30 10, 20, 30 20
02 zelret 24, 40, 87 40 51, 55, 56 55
03 jbstkf 55, 66, 77 77 05, 06, 07 06
04 rq1543179 08, 09, 12 08 12, 15, 16 16
05 shioriabe 02, 14, 28 14 04, 14, 28 14
06 masaya 58, 15, 05 58 09, 34, 49 34
07 takenoko 51, 52, 53 51 01, 02, 03 03
08 yanomichi 07, 42, 88 18, 22, 23 22
09 autefu 21, 86, 91 21 00, 13, 53 13
10 pwscup2024 13, 16, 17 16 24, 25, 26 24
11 kabutookajima 18, 19, 25 25 27, 29, 31 29
12 grape1977 03, 50, 54 54 11, 41, 58 58
13 harada （出場取消）11, 23, 69
14 shibata 22, 33, 44 33 32, 33, 35 35
15 pwscup2024kobe 90, 80, 70 80 64, 65, 66 64
16 mgoto 26, 27, 29 26 36, 37, 38 36
17 okano 43, 57, 99 43 39, 40, 42 39
18 hajime 31, 32, 34 31 17, 19, 54 17
19 ritz2024 01, 04, 06 67, 68, 69 68
20 kattune 35, 36, 37 35 43, 44, 45 45
21 takanori 00, 79, 89 00 08, 21, 59 59
22 crbfwd 38, 39, 41 38 46, 47, 48 46

最終結果

総合

ベストアタック賞

ベストプレゼン賞

ベストデータサイエンティスト賞

プライバシーポリシー

公式X(旧Twitter)

PWSCUP公式Xで最新情報をお知らせしています。

お問い合わせ先

PWS組織委員会 PWS Cup 2024 ワーキンググループ
- pwscup2024-info(at)csec.ipsj.or.jp（“(at)”をアットマーク“@”に置換ください）