Cryptographic techniques used to provide integrity of digital content in long-term storage

Małgorzata Bladoszewska; Tomasz Brożek; Michał Zając

ArticleOriginal scientific text

Title

Cryptographic techniques used to provide integrity of digital content in long-term storage

Authors , ,

Abstract

POL

ENG

Wzrastająca ilość informacji tworzonej i/lub gromadzonej elektronicznie pociąga za sobą potrzebę konstruowania systemów o różnych okresach ich przechowywania. Ze względu na okres przechowywania systemy te dzielą się na systemy zapewniające: przechowywanie krótkoterminowe - na okres poniżej trzech lat (np. w systemach billingowych, Internecie), przechowywanie średnioterminowe - na okres od 3 do 10 lat (np. dane podatkowe), przechowywanie długoterminowe - na okres powyżej 10 lat, ale z określonym końcowym terminem tego okresu, przechowywanie bezterminowowe - na okres powyżej 10 lat, bez oznaczenia końcowego terminu tego okresu (np. dane historyczne, dane rządowe, rejestracje audiowizualne, rodzinne archiwa osób prywatnych, itp.). Bezterminowe przechowywanie danych nazywane jest umownie przechowywaniem ,,wieczystym''. W przypadku przechowywania wieczystego szczególnego znaczenia nabiera kwestia wierności (integralności) przechowywanych zasobów cyfrowych. Z tego powodu konieczne jest poddawanie zbiorów danych cyfrowych przeznaczonych do wieczystego przechowywania operacji cechowania w wyniku której możliwa jest, nawet po wielu latach, weryfikacja zachowania integralności (wierności) przechowywanych danych cyfrowych. Problemem, który stanowi zadanie dla uczestników 77th ESGI, jest zbadanie możliwości wykorzystania zaawansowanych metod matematycznych, w tym zwłaszcza wykorzystujących techniki kryptograficzne, w procesach cechowania zasobów cyfrowych pod kątem zagwarantowania możliwości weryfikacji integralności długotrwale przechowywanych zasobów cyfrowych. Problem ten powinno się rozważyć biorąc pod uwagę rodzaje (klasy) przechowywanych zasobów (np. dobra kultury, dokumentacje procesów sądowych, dokumenty księgowe, itd.), objętości zasobów, intensywności dostępu do tych zasobów. Bardzo ważnym aspektem tego problemu jest określenie granic stosowania zaawansowanych metod matematycznych, w tym zwłaszcza opartych na technikach kryptograficznych, oraz możliwości tych metod w zakresie diagnozy zakresu ubytków długotrwale przechowywanych danych (np. na skutek ,,korozji'' nośników) oraz możliwości odtwarzania tych ubytków. Szczególną uwagę należy zwrócić na: Systemy i schematy kodowania umożliwiające detekcję i korektę błędów zapisu; Techniki kryptograficzne, a zwłaszcza: klucz publiczny i szyfrowanie asymetryczne oraz metody dzielenia sekretu i prowadzenia bezpiecznych obliczeń wielopodmiotowych.

The main objective of the project was to obtain advanced mathematical methods to guarantee the verification that a~required level of data integrity is maintained in long-term storage. The secondary objective was to provide methods for the evaluation of data loss and recovery. Additionally, we have provided the following initial constraints for the problem: a limitation of additional storage space, a minimal threshold for desired level of data integrity and a defined probability of a single-bit corruption. With regard to the main objective, the study group focused on the exploration methods based on hash values. It has been indicated that in the case of tight constraints, suggested by PWPW, it is not possible to provide any method based only on the hash values. This observation stems from the fact that the high probability of bit corruption leads to unacceptably large number of broken hashes, which in turn stands in contradiction with the limitation for additional storage space. However, having loosened the initial constraints to some extent, the study group has proposed two methods that use only the hash values. The first method, based on a~simple scheme of data subdivision in disjoint subsets, has been provided as a benchmark for other methods discussed in this report. The second method (``hypercube'' method), introduced as a type of the wider class of clever-subdivision methods, is built on the concept of rewriting data-stream into an

n

-dimensional hypercube and calculating hash values for some particular (overlapping) sections of the cube. We have obtained interesting results by combining hash value methods with error-correction techniques. The proposed framework, based on the BCH codes, appears to have promising properties, hence further research in this field is strongly recommended. As a part of the report we have also presented features of secret sharing methods for the benefit of novel distributed data-storage scenarios. We have provided an overview of some interesting aspects of secret sharing techniques and several examples of possible applications.