Datenanalyse: Unterschied zwischen den Versionen
Aus TBZ_-_Wiki
(→Datenbanken: erweitert) |
(→Weiterbildung und Kursprogramme) |
||
| (6 dazwischenliegende Versionen von einem anderen Benutzer werden nicht angezeigt) | |||
| Zeile 5: | Zeile 5: | ||
Im System CAS, DAS, MAS: [https://weiterbildung.zhaw.ch/de/school-of-engineering/programm/cas-datenanalyse.html Angebot der ZHAW] | Im System CAS, DAS, MAS: [https://weiterbildung.zhaw.ch/de/school-of-engineering/programm/cas-datenanalyse.html Angebot der ZHAW] | ||
| − | [https://www.bento.de/future/data-scientist-was-macht-man-da-ausbildung-gehalt-berufe-erklaert-a-6e5e0cde-4b6f-4046-83c6-a4293d8fe313#refsponi Interview mit Jobprofil einer Data-Scientistin] | + | [https://www.satw.ch/ SATW] |
| + | |||
| + | [https://www.bento.de/future/data-scientist-was-macht-man-da-ausbildung-gehalt-berufe-erklaert-a-6e5e0cde-4b6f-4046-83c6-a4293d8fe313#refsponi Interview mit Jobprofil einer Data-Scientistin Spiegel/Bento] | ||
| + | |||
| + | Analyse von Fotos mittel KI: [https://imagetwin.ai/ Image Twin] | ||
== Programmiersprachen == | == Programmiersprachen == | ||
| Zeile 12: | Zeile 16: | ||
Und hier noch ein konkreter Vergleich: [http://www.kdnuggets.com/2015/05/r-vs-python-data-science.html kdnuggets] | Und hier noch ein konkreter Vergleich: [http://www.kdnuggets.com/2015/05/r-vs-python-data-science.html kdnuggets] | ||
| − | |||
=== Installation und Einstieg in Python === | === Installation und Einstieg in Python === | ||
| Zeile 30: | Zeile 33: | ||
* Data-Mining, die eigentliche Datenanalyse | * Data-Mining, die eigentliche Datenanalyse | ||
* Interpretation der Erkenntnisse | * Interpretation der Erkenntnisse | ||
| + | |||
| + | == data mining == | ||
| + | |||
| + | * [http://www.tylervigen.com/spurious-correlations Schräge Scheinkorrelationen] | ||
| + | |||
| + | * Ausreißer-Erkennung: Identifizierung von ungewöhnlichen Datensätzen: Ausreißern, Fehlern, Änderungen | ||
| + | * Clusteranalyse: Gruppierung von Objekten aufgrund von Ähnlichkeiten | ||
| + | * Klassifikation: nicht zugeordnete Elemente werden bestehenden Klassen zugeordnet | ||
| + | * Assoziationsanalyse: Identifizierung von Zusammenhängen und Abhängigkeiten in den Daten in Form von Regeln wie „Aus A und B folgt normalerweise C“ | ||
| + | * Regressionsanalyse: Identifizierung von Beziehungen zwischen (mehreren) abhängigen und unabhängigen Variablen | ||
| + | * Zusammenfassung: Reduktion des Datensatzes in eine kompaktere Beschreibung ohne wesentlichen Informationsverlust | ||
| + | |||
| + | [https://www.datenbanken-verstehen.de/business-intelligence/data-mining-grundlagen/ simpel erklärt] | ||
== Datenbanken == | == Datenbanken == | ||
| + | |||
| + | * [https://hostingdata.co.uk/nosql-database/ die NoSQL-Seite] - oder eine von vielen - zumindest eine gute Auflistung vieler Produkte. | ||
| + | * [https://db-engines.com/de/ranking db-engines] Ranking und viele Zusatzinfos | ||
| + | |||
| + | nicht mehr ganz aktuell, aber noch gut: | ||
* Vergleich von NoSQL und SQL von [https://docs.microsoft.com/en-us/azure/documentdb/documentdb-nosql-vs-sql Microsoft] | * Vergleich von NoSQL und SQL von [https://docs.microsoft.com/en-us/azure/documentdb/documentdb-nosql-vs-sql Microsoft] | ||
* [https://dbs.uni-leipzig.de/file/seminar_1112_tran_ausarbeitung.pdf Uni Leipzig] | * [https://dbs.uni-leipzig.de/file/seminar_1112_tran_ausarbeitung.pdf Uni Leipzig] | ||
| − | |||
| − | |||
== Michael Stonebreaker & Vertica == | == Michael Stonebreaker & Vertica == | ||
Aktuelle Version vom 25. Juni 2024, 11:11 Uhr
Inhaltsverzeichnis
Linkliste für den Bereich Datenanalyse
Planung und in Ausarbeitung als eigenes Modul. Die Planung umfasst 20 Lektionen. Die folgenden Kapitel entsprechen der geplanten Gliederung.
Weiterbildung und Kursprogramme
Im System CAS, DAS, MAS: Angebot der ZHAW
Interview mit Jobprofil einer Data-Scientistin Spiegel/Bento
Analyse von Fotos mittel KI: Image Twin
Programmiersprachen
Aktuell buhlen die beiden Programmiersprachen R und Python um die Anwender der Datenanalyse. Die Eingabe von "python versus R" in eine bekannte Suchmaschine ergibt ca. 6,6 Millionen Ergebnisse. Und Perl gibt es ja auch noch (neben ein paar unbekannteren Sachen wie zum Beispiel Tcl - tool command language von Sun)!
Und hier noch ein konkreter Vergleich: kdnuggets
Installation und Einstieg in Python
KDD - Knowledge Discovery in Databases
- Bereitstellung von Hintergrundwissen
- Definition Ziele der Wissensfindung
- Datenauswahl und Datenbereinigung
- Datenreduktion
- Auswahl eines Modells
- Data-Mining, die eigentliche Datenanalyse
- Interpretation der Erkenntnisse
data mining
- Ausreißer-Erkennung: Identifizierung von ungewöhnlichen Datensätzen: Ausreißern, Fehlern, Änderungen
- Clusteranalyse: Gruppierung von Objekten aufgrund von Ähnlichkeiten
- Klassifikation: nicht zugeordnete Elemente werden bestehenden Klassen zugeordnet
- Assoziationsanalyse: Identifizierung von Zusammenhängen und Abhängigkeiten in den Daten in Form von Regeln wie „Aus A und B folgt normalerweise C“
- Regressionsanalyse: Identifizierung von Beziehungen zwischen (mehreren) abhängigen und unabhängigen Variablen
- Zusammenfassung: Reduktion des Datensatzes in eine kompaktere Beschreibung ohne wesentlichen Informationsverlust
Datenbanken
- die NoSQL-Seite - oder eine von vielen - zumindest eine gute Auflistung vieler Produkte.
- db-engines Ranking und viele Zusatzinfos
nicht mehr ganz aktuell, aber noch gut:
- Vergleich von NoSQL und SQL von Microsoft
- Uni Leipzig
Michael Stonebreaker & Vertica
- wer ist Michael Stonebreaker?
- zwei Buchstaben (de auf en) geändert und es gibt mehr Informationen auf englisch.
- Video auf Youtube von Michael Stonebreaker Big Data is (at least) Four Different Problems
- Vertica
mögliche Kursstruktur
- Einstieg in Python
- Daten visualisieren
- lineare Algebra: Vektoren und Matrizen
- Statistik und Wahrscheinlichkeit (etwas Modul 100)
- Hypothesen und Schlussfolgerungen
- Gradientenmethode
- Daten sammeln und bearbeiten
- maschinelles Lernen
- Regression
- Entscheidungsbäume
- map reduce
...
