, Une divergence basée sur la complexité de Lempel-Ziv, p.89

, Une distance basée sur la complexité de Kolmogorov, p.89

, Une semi-distance basée sur les compresseurs

, Une semi-distance basée sur SALZA

, .4 Classification d'ouvrages littéraires français, p.102

, La transposition d'applications probabilistes au domaine algorithmique permettrait ainsi d'utiliser la propriété d'universalité de la complexité et donc de s'affranchir des contraintes de modèles sur les données, Il semble donc tout à fait logique et possible de transposer ce concept dans le domaine algorithmique grâce à la complexité et en particulier à SALZA

, Il est important de noter que la preuve de la normalisation est valable pour toutes les fonctions admissibles

, La chaîne ? est la chaîne vide donc aucun symbole n'est émis lors de sa décomposition : L ? = ?. Donc la somme est nulle

. Monotonie, Y. Soit, and . Xz, Alors forcément la décomposition de Y comptera au moins le même nombre de symbole que la décompositions de X

. Sous-modularité,

, Propriété II.3.1 (SALZA jointe)

Y. L'encodage-de-deux-chaînes-x, (. , and Y. , permet de calculer une complexité jointe notée S f (X, Y ) avec f une fonction admissible, si SALZA respecte les propriétés ci-après

A. Annexe, Démonstrations du chapitre II

, Symétrie : fausse, voir contre exemple présenté dans la section II.3.1, 3, vol.2

, Symétrie : fausse, voir contre exemple dans présenté dans la section II, vol.2

I. I. Propriété, 3.3 (Information dirigée basée sur l'entropie de Shannon)

, Borne supérieure : I(X ? Y ) ? I(X : Y ), l'égalité est vérifiée quand il n'y a pas de rétroaction entre, Toute information dirigée I doit respecter ces propriétés : 1. Positivité : I(X ? Y ) ? 0, vol.2

, p X) ? 0 par le théorème II.2.1. 2. Brone supérierue : pour cela nous utilisons l'information mutuelle algorithmique basée sur l'encodage simultané

, Donc nous avons bien l'égalité entre les deux informations

, ) |s . ADN markov4 aléa4 ADN 9, vol.9, pp.97-99

. Dans, nous présentons les preuves sur les différentes métriques présentées dans le chapitre III

. Propriété,

X. Soit and Y. La-métrique-d-:-a-*-×-a-*-?-r, + est une distance si et seulement si elle respecte les propriétés suivantes

, Nous présentons ici des contre-exemples simples permettant de vérifier que les différentes propriétés ne sont pas vérifiées

, Prenons l'exemple où X = Y deux chaînes aléatoires de taille n = 10000 sur un alphabet binaire ? = 2. On a alors L(X) = L(Y ) ? qu'une opération copier depuis Y pour expliquer X. En réalisant l'application numérique, La divergence de Ziv-Merhav n'est pas positive

, la chaîne des 256 premiers chiffre et Y = (0 1 2 3) 64 la chaîne où l'on répète '0 1 2 3' 64 fois. On a alors L(X) = 256 et L(Y ) = 5 ; L(X|Y ) = 1 + 252 = 253 et L(Y |X) = 64

, La divergence de Ziv-Merhav ne respecte pas l'égalité des indisernables. Pour cela il suffit de reprendre l'exemple de la non positivité

, La divergence de Ziv-Merhav ne respecte pas l'inégalité triangulaire. Le contre exemple de la NSD qui se trouve à la page suivante est aussi valable pour la divergence de Ziv-Merhav

C. Annexe, Démonstrations du chapitre III

, La NCD ne respecte que la propriété de positivité d'une distance

. La, Si nous rallongeons la chaîne X alors forcément la taille du fichier compressé sera plus grande. Cependant on ne pas compresser un fichier vide avec les compresseurs

N. La,

N. La and . Ne, respecte pas l'égalité des indisernables. Ceci est du faite que C(XX) = C(X)

S. Salza-estimateur-de-complexité, , vol.76, p.63

, T Fonction seuil. 58, 60, 64 t Pointeur de reproduction, vol.21, pp.30-33

. Vocabulaire-de-x-i,

. Quantité-significative, , p.143

. X-chaîne-de-caractères-dans-a-*-.-iii, , vol.4, pp.161-163

, X Ensemble des chaînes étudiées, vol.13, pp.130-132

A. *. Y-chaîne-de-caractères-dans, , vol.85, pp.161-163

A. *. Z-chaîne-de-caractères-dans and . Vii, , vol.51, p.98

, Normalized Compression Distance Distance basée sur la compression, vol.3, p.166

, Normalized Information Distance Distance basée sur la complexité de Kolmogorov. 3, 4, 89, vol.90, p.104

. Normalized-salza-distance-distance-basée-sur and . Salza, , vol.3, pp.161-163

, octet Symbole sur 8 bits (c'est-à-dire pouvant aller de 0 à 255), vol.37, p.41

, 150 production Une chaîne non nulle X est dite productible à partir de son préfixe X(1, j) si X(1, j) ? X? et j < l(X), pouvoir discriminant Permet d'évaluer le pouvoir discriminant d'une mesure d'information. vi, vol.81, p.30

, 52 quantité significative Quantité de la chaîne X bien expliquée par Y, processus de production Produit la chaîne X en m étapes de production. v, vol.7, p.143

, reproduction Une extension R = XQ de X est reproductible à partir de X si Q ? v(R?), vol.21, p.30

, rétroaction Si X apporte de l'information à Y et que Y apporte de l'information à X. 76, 128, 148 retard Retarde une chaîne d'un caractère, vol.76, p.148

, SALZA jointe concaténée SALZA jointe basée sur l'encodage concaténé, p.155

, SALZA jointe simultanée SALZA jointe basée sur l'encodage simultané. 71, 76 SALZA Nouvelle mesure d'information basée sur la décomposition de GZIP. iii-vii, 2-4, 47-50, vol.52, pp.169-171

, Notions algorithmiques SALZA jointe cardinale SALZA jointe basée sur l'encodage cardinal, p.68

, théorie algorithmique de l'information Quantifie le contenu moyen en information d'un ensemble de messages grâce à la complexité de Kolmogorov. iii, 2-4, 7-9, vol.15, p.139

M. Aboy, Interpretation of the Lempel-Ziv complexity measure in the context of biomedical signal analysis, IEEE Transactions on Biomedical Engineering, vol.53, issue.11, pp.2282-2288, 2006.

P. Amblard, J. J. Olivier, and . Michel, On directed information theory and Granger causality graphs, Journal of computational neuroscience, vol.30, pp.7-16, 2011.
URL : https://hal.archives-ouvertes.fr/hal-00535905

D. Benedetto, E. Caglioti, and V. Loreto, Language trees and zipping, Physical Review Letters, vol.88, p.48702, 2002.

H. Charles and . Bennett, Information distance, IEEE Transactions on information theory, vol.44, pp.1407-1423, 1998.

D. Pereira-coutinho, A. T. Mário, and . Figueiredo, Information theoretic text classification using the Ziv-Merhav method, Iberian Conference on Pattern Recognition and Image Analysis, pp.355-362, 2005.

M. Costa, L. Ary, C. Goldberger, and . Peng, Multiscale entropy analysis of biological signals, Physical review E, vol.71, p.21906, 2005.

J. Gregory and . Chaitin, On the length of programs for computing finite binary sequences, Journal of the ACM (JACM), vol.13, pp.547-569, 1966.

R. Cilibrasi, Complearn tool based on, 2016.

H. Cai, R. Sanjeev, S. Kulkarni, and . Verdú, Universal divergence estimation for finite-alphabet sources, IEEE Transactions on Information Theory, vol.52, issue.8, pp.3456-3475, 2006.
DOI : 10.1109/tit.2006.878182
URL : http://www.princeton.edu/~kulkarni/Papers/Submitted/s2004_ckv_transit.pdf

M. Manuel-cebrián-ramos, A. Alfonseca, and . Ortega, Common pitfalls using the normalized compression distance : What to watch out for in a compressor, Communications in information and systems, 2005.

M. Thomas, . Cover, A. Joy, and . Thomas, Elements of information theory, 2012.

R. Cilibrasi, M. B. Paul, and . Vitányi, Clustering by compression, IEEE Transactions on Information theory, vol.51, pp.1523-1545, 2005.

L. and P. Deutsch, DEFLATE Compressed Data Format Specification, version 1.3, 1991.
DOI : 10.17487/rfc1951

B. Robert and . Dial, Algorithm 360 : Shortest-path forest with topological ordering, Communications of the ACM, vol.12, pp.632-633, 1969.

M. Eichler, Graphical models in time series analysis, 2000.

. Y-rakhshani-fatmehsari and . Bahrami, Lempel-ziv complexity criteria for nonlinear analysis of gait in patients with parkinson's disease, Biomedical Engineering (ICBME), 2011 18th Iranian Conference of. IEEE, pp.137-141, 2011.

. Bibliographie,

P. Foster, S. Dixon, and A. Klapuri, Identifying cover songs using information-theoretic measures of similarity, IEEE/ACM Transactions on Audio, Speech and Language Processing, vol.23, pp.993-1005, 2015.

M. Feder, N. Merhav, and M. Gutman, Universal prediction of individual sequences, IEEE transactions on Information Theory, vol.38, pp.1258-1270, 1992.

W. J. Clive and . Granger, Investigating causal relations by econometric models and cross-spectral methods, Econometrica : Journal of the Econometric Society, pp.424-438, 1969.

W. Hesse, The use of time-variant EEG Granger causality for inspecting directed interdependencies of neural assemblies", In : Journal of neuroscience methods, vol.124, pp.27-44, 2003.

A. David and . Huffman, A method for the construction of minimum-redundancy codes, Proceedings of the IRE, vol.40, pp.1098-1101, 1952.

J. Antonio and . Ibáñez-molina, Multiscale Lempel-Ziv complexity for EEG measures, Clinical Neurophysiology, vol.126, pp.541-548, 2015.

E. Jones, T. Oliphant, and P. Peterson, SciPy : Open source scientific tools for Python, 2001.

D. Janzing and B. Scholkopf, Causal inference using the algorithmic Markov condition, IEEE Transactions on Information Theory, vol.56, pp.5168-5194, 2010.

M. Kalisch and P. Bühlmann, Estimating high-dimensional directed acyclic graphs with the PC-algorithm, Journal of Machine Learning Research, vol.8, pp.613-636, 2007.

N. Andrei and . Kolmogorov, Three approaches to the quantitative definition of information, Problems of Information Transmission, vol.1, pp.1-7, 1965.

A. Kolmogorov, Logical basis for information theory and probability theory, IEEE Transactions on Information Theory, vol.14, pp.662-664, 1968.

B. Lewis, L. Daniel, and . Berg, A Guide to Multithreaded Programming : Threads Primer, 1996.

M. Li, The similarity metric, IEEE transactions on Information Theory, vol.50, pp.3250-3264, 2004.

Y. Li, Abnormal EEG complexity in patients with schizophrenia and depression, Clinical Neurophysiology, vol.119, pp.1232-1241, 2008.

M. Li and P. Vitányi, An introduction to Kolmogorov complexity and its applications, Texts in Computer Science. T, vol.8, 2008.

A. Lempel and J. Ziv, On the complexity of finite sequences, IEEE Transactions on information theory, vol.22, pp.75-81, 1976.

A. Macedonas, Dictionary based color image retrieval, Journal of Visual Communication and Image Representation, vol.19, pp.464-470, 2008.

J. Massey, Causality, feedback and directed information, Proc. Int. Symp. Inf. Theory Applic.(ISITA-90). Citeseer, pp.303-305, 1990.

M. Morvan, Les Origines Linguistiques du Basque : L'Ouralo-Altaïque, vol.3, 1992.

, United Nations General Assembly Resolution 217 A (III) of 10, 1948.

I. Pavlov, 7z Format

J. Pearl and . Causality, , 2009.

G. Perec, La disparition. Editions Gallimard, 1969.

J. Christopher and . Quinn, Estimating the directed information to infer causal relationships in ensemble neural spike train recordings, Journal of computational neuroscience, vol.30, pp.17-44, 2011.

. James-rohlf, Algorithm 76. Hierarchical clustering using the minimum spanning tree, Comp. J, vol.16, pp.93-95, 1973.

J. Seward, The bzip2 home page, 1997.

C. E. Shannon, A mathematical theory of communication, Bell system technical journal, vol.27, pp.379-423, 1948.

B. Steudel, D. Janzing, and B. Schölkopf, Causal Markov condition for submodular information measures, 2010.

R. J. Solomonoff, A preliminary report on a general theory of inductive inference, 1960.

H. A. Peter, . Sneath, R. Robert, and . Sokal, Numerical taxonomy. The principles and practice of numerical classification, 1973.

M. Talebinejad, D. C. Adrian, A. Chan, and . Miri, A Lempel-Ziv complexity measure for muscle fatigue estimation, In : Journal of Electromyography and Kinesiology, vol.21, pp.236-241, 2011.

M. A. Veganzones, M. Datcu, and M. Grana, Dictionary based Hyperspectral Image Retrieval, In : ICPRAM (1), pp.426-432, 2012.

J. Ziv and A. Lempel, A universal algorithm for sequential data compression, IEEE Transactions on information theory, vol.23, pp.337-343, 1977.

J. Ziv and A. Lempel, Compression of individual sequences via variable-rate coding, IEEE transactions on Information Theory, vol.24, pp.530-536, 1978.

J. Ziv and N. Merhav, A measure of relative entropy between individual sequences with application to universal classification, IEEE transactions on information theory, vol.39, pp.1270-1279, 1993.

S. Zozor, P. Ravier, and O. Buttelli, On Lempel-Ziv complexity for multidimensional data analysis, Physica A : Statistical Mechanics and its Applications, vol.345, pp.285-302, 2005.
URL : https://hal.archives-ouvertes.fr/hal-00022617