PWS 実行委員会からのお知らせ

PWS Meetupイベント開催(2017/02/09)

今年度のプライバシーワークショップ(PWS)活動の総括としまして,Meetupイベントを  2017年2月9日 13時~ 東京大学 本郷キャンパス 工学部6号館3階にて開催いたします.
PWS CUPの振り返りと来年度の予定,公的統計の秘匿基準,技術や法律の最新動向などの講演を予定しています. ぜひご参加ください.

最終ランキング公開(2016/10/17)

2016年10月11日に秋田で行われたPWSCUP本戦によって,最終ランキングが決定しました. 厳正な審査の結果,T-AND-Nチームが優勝となりました.おめでとうございます.
今年もPWSCUPにご参加いただいた皆様,ありがとうございました. データの公開に賛同頂けたチームの結果データが公開されておりますので,ご参照ください.

再識別フェイズ開始・本戦ルール公開(2016/09/27)

大変お待たせいたしました.再識別フェイズの開始,及び本戦ルールを公開いたしました.
再識別フェイズのルールも変更されまして,予備戦の再識別フェイズは勝者を定めないこととなりました.詳しくは新ルール,及び最新論文をご参照ください.また,本戦参加のエントリーもお願いいたします.

予備戦ルール・日程変更(2016/09/09)

予備戦:匿名化フェイズにつきまして,提出された資料を元にルールの改変が行われました. 大変申し訳ございませんが,9月7日以前に提出されたデータを論理削除いたしました.改めて新ルールに従い,ご提出をお願いいたします. それに伴い,匿名化フェイズを 9/20(火)まで延長いたしました.最新のルール,及び,指標に関する説明をご参照ください.

第5回 PWS勉強会のご案内【9月29日(木)17時~ 】

今月のPWS勉強会の日程が発表されました.ご興味のある方はご参加ください.
タイトル:差分プライバシーチュートリアル  講師:佐久間淳先生(筑波大学)  場所:東京大学 本郷地区キャンパス 工学部6号館3F セミナー室AD ※計算限界(ELC)・秋の学校の発表と同じ内容です.発表スライドは英語になります.

PWS CUP 2016 予備戦サイト公開 (2016/08/24)

今年度のルールが発表されました.9月1日までをルールの浸透期間と位置づけ,自由にシステムを扱える日とします.今年度のルール等についてご確認ください.

最終ランキング(2016/10/11)


2016年10月11日に秋田で行われたPWSCUP本戦の結果,最終順位が決定しました.
1位から3位までのチームにはCSS2016内で表彰が行われました.おめでとうございます.

予備戦(A)本戦(B)A*0.1B*0.9合計チーム名組織責任者
610.60.91.5T-AND-N東京大学中川裕志
120.11.81.9シライ5000--
530.52.73.2鋼鉄の錬金術師新日鉄住金ソリューションズ株式会社波多野卓磨
340.33.63.9Justice電気通信大学清 雄一
10514.55.5チームぼっちKii株式会社井口誠
460.45.45.8カコウマシマシプライバシカラメ--
280.27.27.4nifigaki静岡大学西垣正勝
1771.76.38.0ステテコ伊藤2明治大学総合数理学部菊池浩明
890.88.18.9MDLer筑波大学佐久間淳
13101.3910.3匿名戦隊アノニマーズ--
15111.59.911.4チーム名--
7120.710.811.5狛犬--
11131.111.712.8Ice Sushi情報セキュリティ大学院大学土井 洋
14141.412.614.0がん(りゅうじ)ま--
18151.813.515.3先魁金沢大学満保 雅浩
9160.914.415.3ブラザーフッド個人参加岡本 靖浩
12161.214.415.6時計仕掛けのオレンジ個人松本武史
16161.614.416.0一芸道--
19161.914.416.3PRIVACY HUMAN--
2016214.416.4トシモン--
21162.114.416.5チーム三茶池田智弘
22162.214.416.6付け焼刃--
23162.314.416.7てんねんすい所属なし田中健二
また,本戦にて「優勝チームのデータに対し最も多く再識別を行ったチーム」に「再識別賞」が授与されました.
審査の結果 ステテコ伊藤2チーム,鋼鉄の錬金術師チーム の両チームが同数にて受賞されました.
ご参加いただきました皆様,ありがとうございました.

予備戦ランキング(2016/10/04)

No. チーム 所属組織 責任者 合計
1 シライ5000 - - 0.03781
2 nifigaki 静岡大学 西垣正勝 0.04500
3 Justice 電気通信大学 清 雄一 0.05087
4 カコウマシマシプライバシカラメ - - 0.05644
5 鋼鉄の錬金術師 新日鉄住金ソリューションズ株式会社 波多野卓磨 0.12979
6 T-AND-N 東京大学 中川裕志 0.05987
7 狛犬 - - 0.47211
8 MDLer 筑波大学 佐久間淳 0.59250
9 ブラザーフッド 個人参加 岡本 靖浩 0.49178
10 チームぼっち Kii株式会社 井口誠 0.58104
11 Ice Sushi 情報セキュリティ大学院大学 土井 洋 0.75911
12 時計仕掛けのオレンジ 個人 松本武史 0.85344
13 匿名戦隊アノニマーズ - - 0.27987
14 がん(りゅうじ)ま - - 1.00810
15 チーム名 - - 0.94618
16 一芸道 - - 0.96610
17 ステテコ伊藤2 明治大学総合数理学部 菊池浩明 1.05405
18 先魁 金沢大学 満保 雅浩 0.81969
19 PRIVACY HUMAN - - 1.91326
20 トシモン - - 2.07118
21 チーム三茶 池田智弘 1.93032
22 付け焼刃 - - 2.00641
23 てんねんすい 所属なし 田中健二 2.06381

本戦ランキング(2016/10/11)

No. チーム 所属組織 提出ファイル 責任者 安全性 有用性 合計
1 T-AND-N 東京大学 [M][T][P] 中川裕志 0.22250 0.00961 0.23211
2 シライ5000 - 非公開 - 0.23750 0.01031 0.24781
3 鋼鉄の錬金術師 新日鉄住金ソリューションズ株式会社 [M][T][P] 波多野卓磨 0.25500 0.00524 0.26024
4 Justice 電気通信大学 [M][T][P] 清 雄一 0.27500 0.01346 0.28846
5 チームぼっち Kii株式会社 [M][T][P] 井口誠 0.30250 0.01031 0.31281
6 カコウマシマシプライバシカラメ - 非公開 - 0.32000 0.00296 0.32296
7 ステテコ伊藤2 明治大学総合数理学部 [M][T][P] 菊池浩明 0.34750 0.01275 0.36025
8 nifigaki 静岡大学 [M][T][P] 西垣正勝 0.37250 0.04403 0.41653
9 MDLer 筑波大学 [M][T][P] 佐久間淳 0.38500 0.04704 0.43204
10 匿名戦隊アノニマーズ - 非公開 - 0.55000 0.00559 0.55559
11 チーム名 - 非公開 - 0.31000 0.43606 0.74606
12 狛犬 - 非公開 - 0.75750 0.01468 0.77218
13 Ice Sushi 情報セキュリティ大学院大学 [M][T][P] 土井 洋 0.89250 0.04789 0.94039
14 がん(りゅうじ)ま - 非公開 - 0.92750 0.02251 0.95001
15 先魁 金沢大学 非公開 満保 雅浩 1.00000 0.00000 1.00000

FAQ

【質問】論文には E = Max(用意されたサンプルと再識別者による再識別の再識別率) で定まるとされています. 匿名加工フェーズの順位は,再識別フェーズ中に入れ替わるという認識で正しいでしょうか?

【回答】
こちら,本コンテストの核となる考え方ですので,ご説明いたします.
匿名加工フェイズは,いわば「有用性が高く,かつ実行委員が用意した再識別アルゴリズムをかいくぐる」データを生成するフェイズです.

その結果データは,再識別フェイズ開始時に「行番号データ」以外は全て公開されます.
もし,匿名加工フェイズで優秀な成績であったとしても,使用しているアルゴリズムが単純であれば,その手法を類推することが可能かもしれません.

その結果,他のチームによって再識別された値が,用意されたアルゴリズムよりも優れていた場合,その値がMax(ReidE)となります.
即ち,有用性を高く保ちつつ,他のチームに類推されない手法で匿名加工を行ったチームが勝利することになります.

従って,匿名化フェイズの勝者は再識別フェイズの最終日に決定します.正確に言いますと,全てのチームが再識別フェイズのデータを提出完了した時点で決定します.
※再識別フェイズにつきましても,助走期間を設けて,ルールの周知が可能な仕組みを用意します.

【質問】再識別アルゴリズムに関する説明が少なく,論文に記載されていない指標が存在します. また,再識別プログラムの一部において,不安定ソートやランダム値を用いて,結果が一意になりません.

【回答】
現状では,再識別アプリケーションによる再識別結果は,あくまでも参考という位置づけになっております.
そのため,その際にランダム要素等を含んだ値が使われる場合もあるため,常に同じ値になるとは限りません.
再識別フェイズでは,各再識別アルゴリズムによる成功数を参考に,他の参加者によるデータの再識別を試みます.

【質問】サンプルプログラムは,各指標について別の言語で記述されており,理解が困難です.他の言語によるサンプル提供の予定はありますか.

【回答】
申し訳ございません.現状では,それぞれの評価用のプログラムをそのまま提供する形となっており,複数言語への展開は予定しておりません.来年度以降は,より解りやすいコード説明を作成するなど,対策を検討いたします.

今年度の評価アプリケーションは,データ量の増加から,評価結果の出力を速めることを重視しており,理解が難しい点もございます.
ソースコードの解析によって疑問・質問等がございましたら,実行委員までご連絡ください.
また,頂いた質問への回答内容などは,本ページに掲載しまして,共有いたします.

【質問】ルール論文には,有用性指標としてハミング距離について記載されていました.本指標は,今後利用される可能性はありますか.

【回答】
ハミング距離については,論文作成時には指標として検討されていたのですが,予備戦ルール検討の結果,削除されることになりました.
現在,本戦におけるルールは決定されておりませんため,本指標が復活するかは不明ですが,もし利用される場合は,サイト等にて至急告知いたします.ご了承ください.

【質問】ルール論文には,提出可能なT'の行数は100万行以下,と記載がされていますが,投入できません.

【回答】
大変申し訳ございません.初期ルール論文に定義されておりました行数に関する条件が変更されています.
現在の定義では,|M|=400行 |T|=38087行 としまして

 |T|/2 ≦ |T'| ≦ 2|T| = 19044行-76174行
 10 ≦ |M'| ≦ |M|

主にシステムの負荷的な観点からの変更となります.ご了承ください.

【質問】提出したデータが表示されません.または,評価結果と異なる値が表示されています.

【回答】
プログラム上の仕様についてご説明します.
現在のプログラムでは,同じチームが3個以上の匿名加工データを提出したとき,4個以前のデータは「論理削除」されます.

「論理削除」されたデータは,「チーム管理」から再取得できますので,後日に再提出することも可能です. ただし,ランダム値による評価を行うシステムなどが含まれるため,全く同じ数値が出るとは限りません.

また,結果データ中に"9.99999999"の値が含まれている場合,評価システムエラーの可能性があります.
エラー数値,またはデータとして存在し得ない値が含まれている場合,運営側で精査した上で,データを「論理削除」する場合があります.

また,グラフデータ中では,上記エラー数値は,再識別率:1.00000000,有用性:2.99999999と表示されます. これは,グラフ表示のための最大値調整ですので,提出数値に変更はありません.

円滑なコンテスト運営のための措置ですので,申し訳ございませんが,ご協力ください. 問題がありましたら,お気軽に運営にご連絡ください.

【質問】投入するファイル名は「M_」「T_」から始まるものとされていますが,_(アンダースコア)は必要ですか.

【回答】
現状のプログラムでは,先頭文字 M,T,Pから始まれば良いことになっていますので,厳密には,アンダースコアは必要ありません.
ですが,投入ファイルのバックアップ等のファイル管理では,アンダースコアが入っている前提で処理しています,
トラブル発生時などにファイルが追えなくなる可能性がありますため,なるべく「_」を含めたファイル名にしてください.

【質問】列削除の手法を利用することは可能ですか.

【回答】
予備戦のルールでは,列削除は行うことはできません.
PWSCUP2016論文の表7では,列削除の代替記号表記として " - " を使用していますが, 伝票IDのフォーマットは自然数9桁以内であることを要求していますため,この値は利用できません.

自然数9桁以内(例:1,999999999など)を用いて,全ての行に対して同じ値にするなど, 実質的に伝票ID列の意味をなくす形で対応をお願いいたします.

【質問】所属組織等を非公開で参加できますか.

【回答】
組織等のご都合によりまして,名前等が公表できない場合は登録時にその旨をご登録ください.
好成績を収めた企業様には,大会終了後に改めて公表をお願いする場合もあります.

【質問】学生だけで応募できますか.

【回答】
いいえ,学生だけで参加を希望される場合は,研究室の先生などに一度相談いただき,責任者としてご登録いただくことを必須としております.
大会でトラブル等が発生した場合などに備えた措置ですので,ご協力ください.また,複数の組織・研究室による参加も可能です.

【質問】匿名化処理の知識が少ないのですが.

【回答】
実行委員会より,サンプルプログラムや資料等が多く提供されます.これから研究を行いたい方にもお勧めいたします.
また,実行委員会までご相談いただければ,他の研究所・企業様などとマッチングさせていただくことも可能です. お気軽に実行委員までご連絡ください.

【質問】再識別コンテストだけ参加したいのですが.
【回答】
今年度は匿名加工フェイズ・再識別フェイズなどのどちらかのみ参加することはできません.
もし,片方にしかデータをご提出いただけなかった場合は,そのフェイズの点数は最低点となります. あらかじめご了承ください.
【質問】どのような環境で動作しますか?
【回答】
本システムは以下の環境での動作を想定しております。
※2016年7月時点


Windows Internet Explorer 11
Firefox 最新版(※)
Google Chrome 最新版(※)

関連資料

ルール論文


2016年度のルール論文です.本戦向けの資料を更新しましたのでご参照ください.

1) PWSCUP: 履歴データを安全に匿名加工せよ (9/27 ver.)
菊池 浩明,小栗 秀暢,野島 良,濱田 浩気,村上 隆夫,山岡 裕司,山口 高康,渡辺 知恵美
  ※予備戦最新ルールにあわせまして,論文も改訂されました.ご確認ください.

2) PWSCUP競技ルールver1.3 (10/4 ver.)
本戦用のルールが公開されました.ご確認をお願いします.


PWSCUP 2015 関連資料

以下は PWSCUP 2015 関連論文,資料になります.

1) 匿名加工・再識別コンテストIce & Fireの設計
菊池 浩明 , 山口 高康 , 濱田 浩気 , 山岡 裕司 , 小栗 秀暢 , 佐久間 淳
コンピュータセキュリティシンポジウム2015論文集,2015(3),363-370 (2015-10-14).

2) PWS CUP 匿名加工・再識別コンテスト"Ice and Fire" 競技ルール

3) 匿名加工・再識別コンテスト PWSCUP2015の報告と匿名加工方法の評価
菊池 浩明 , 山口 高康 , 濱田 浩気 , 山岡 裕司 , 小栗 秀暢 , 佐久間 淳
暗号と情報セキュリティシンポジウム2016論文集

4) Ice and Fire: Quantifying the Risk of Re-identification and Utility in Data Anonymization
Hiroaki Kikuchi, Takayasu Yamaguchi, Koki Hamada, Yuji Yamaoka, Hidenobu Oguri, Jun Sakuma
The 30th IEEE International Conference on Advanced Information Networking and Applications(AINA 2016),Crans-Montana.Switzerland, (2016-5).

5) 匿名加工・再識別コンテストを通じた情報流通プラットフォームの検討
小栗 秀暢 , 黒政 敦史 , 松井 くにお
研究報告コンピュータセキュリティ(CSEC),(2016-03).


[ PWS MEETUP発表資料 (2016/3/2) ]
1) 匿名加工再識別コンテスト2015振り返り
山岡 裕司(富士通研究所)

2) 全部門第一位チーム「ψ沈黙のジャスティスψ」が解説する最強の匿名加工技術
濱田 浩気(NTTセキュアプラットフォーム研究所)

3) 2016年度コンテストの計画について
菊池浩明(明治大)


PWS2016実行委員会


委員長

    菊池浩明 (明治大学)


副委員長

    千田浩司 (NTT)


委員

    荒井ひろみ (東京大学)、伊藤伸介(中央大学)、小栗秀暢 (ニフティ)、 佐久間淳 (筑波大学)、島岡政基 (セコム)、須川賢洋 (新潟大学)、寺田雅之 (NTTドコモ)、野島良 (NICT)、濱田浩気 (NTT)、古川諒 (NEC)、南和宏 (統計数理研究所)、村上隆夫 (産業技術総合研究所)、山岡裕司 (富士通研)、山口高康 (NTTドコモ)、吉浦裕 (電気通信大学)、渡辺知恵美(筑波大学)



後援

    個人情報保護委員会




Copyright 2016 (社)情報処理学会 コンピュータセキュリティ研究会 PWS実行委員会 All rights reserved.

後援:個人情報保護委員会