AI: Inleiding:
1) 1950: Turing test => gebruikte computers om de enigma code te kraken
Vooral theoretische concepten over wat de mogelijkheden zijn
Één van de mogelijkheden was menselijke intelligentie nabootsen
Intelligentie is moeilijk te definiëren dus bedacht Turing zijn test
A.d.h.v. antwoorden moet je kunnen zeggen of er een mens of computer
antwoordt
2) 1956: Perceptron: menselijk brein proberen na te maken met computers
Rosenblad heeft een perceptron gemaakt = komt overeen met 1 hersencel
Eerste keer dat iets niet volledig wordt geprogrammeerd
Via reinforced learning = feedback => machines kunnen leren
3) 1960: ELIZA: een chatbot puur gebaseerd op geprogrammeerde regels
4) 70’s AI winter: hoeveelheid funding voor AI ging enorm achteruit door een
daling van de hype
5) 80’s: Expert systems: systemen gekoppeld aan een databank met kennis om
expertise van een specialist na te bootsen via if then else
6) 90’s: Machine learning: enorme opleving van AI
a) Supervised learning: a.d.h.v.. veel voorbeelden proberen we voorspellingen
te gaan maken => we hebben data en labels nodig
Dit is wat Rosenblad probeerde te doen met zijn perceptron
b) Reinforcement learning
Voor beide hebben we algoritmes nodig = stap bij stap procedure voor het
vinden van een ‘goed’ model
We hebben een hele hoop voorbeelden nodig, elk voorbeeld wordt dan ook
beschreven door meetbare karakteristieken (meetbare factoren)
Hierna leren we een model dat optimaal consistent is via bvb een formule
Dit model met formule gaan we dan toepassen op de voorbeelden en dan
voorspellen
ML bvb: taks fraude, health index
In de praktijk gaan we dan de modellen stap voor stap verfijnen
Reinforcement learning:
Probleem bij supervised: veel data en correcte labels nodig
We hebben niet altijd genoeg data of juiste labels
Chatbot antwoordt en op basis van de respons of engagement van de gebruiker geeft
de chatbot zijn antwoord een score
Gewicht hangen aan goede en slechte uitkomsten
We kunnen bij reinforcement ook starten van random waarden, maar vaak
starten we met een paar voorbeelden om tijd te besparen
1997: Deep Blue verslaat Kasparov in schaken => kijkt naar wat de meest voordelige
positie is binnen 10 zetten
2011: Watson: AI die spel Jeopardy heeft gewonnen
,2016: AlphaGo: AI verslaat grootmeester in Go => via het scoren van bord posities, AI
gaat tegen zichzelf spelen om zo beter te worden
What changed in that time:
1) Meer rekenkracht: wet van Moore
2) Nieuw en betere hardware
GPU = graphic processing units
Initieel voor het renderen van grafische zaken in games, door zeer veel
berekeningen: 1 voor elke pixel => een GPU doet deze berekeningen
allemaal tegelijk
Ook gebruikt voor BTC mining en trainen van neurale netwerken
3) Grote hoeveelheden data
Bedrijven begonnen in te zien dat data enorm waardevol is
4) World wide web
Heropleving van neurale netwerken
Diepe neurale netwerken
Heel diepe neurale netwerken: zoals GPT 4
Neuraal netwerk is een zeer lange en ingewikkelde formule
Bvb: AlexNet in 2012
Enorm grote vooruitgang in performance met diep learning
2020: Gen AI: Gen AI is AI die zelf tekst, fotos, … kunnen genereren
Werken op voorspellen wat het volgende woord is op basis van enorm veel
data
Maar ook leren met menselijke feedback
Closed vs. Open source nog is bekijken
Hoofdstuk 2:
Machines become intelligent by
learning (ML)
Deep learning is a kind of ML
,Background:
Computer vision: Classical approach:
= supervised learning => engineer informative features + ML to discriminate
between those features
1) You have an initial dataset
2) You process raw data into numerical features that can be processed
3) You use ML to distinguish and filter through these features
4) You get an output such as a label
Ex: DPM: deformable part models (= computer vision in 2010 that dissects
images in parts and then finds patterns of features)
Learning based representations/ Representation learning:
1)You have a dataset
2)We push the dataset through a complex model ( deep neural network)
3)The model uses ML to describe the data
We do not need engineers to feature the data, the model does it by itself
Features were no longer engineered they were learned (= representation
learning)
Is also known as deep learning due to multiple layers
This was known as the AlexNet in 2012 by Krizhevsky
Designing a deep neural network:
To understand the complex constructions we need to understand the basics
A common composition:
The most basic block is a perceptron: a neuron
that gathers input and produces an output
, We can then add several layers of neurons, to
create a more complex architecture:
1) Highly optimizable, both for software (smart
matrix multiplication) and hardware(GPU,
TPU)
2) Enabling powerful compositions
Training/ learning:
We iteratively feed the data
to the model, and verify to
what extent the prediction
matches the target
Loss: is the function
that asses the quality
of the model at any
given time
DNN for visual data:
Characteristics of visual data:
1) Locality: neighboring pixels are highly correlated => always relationships
between neighboring data
2) Translation invariance: meaningful patterns can appear anywhere, it does not
matter where the tree is located or how big it is, it does not make it less or more
tree
The definition of the pattern is not dependent on the location of the pattern
3) Compositionality: learning feature hierarchies, we can combine layers to build
up to more complex labels/identifications
Feeding images to neural networks:
1) Digital image = a 2D pixel matrix
2) Our network expects a list of numbers not a table => we make the image flat
A potential issue in doing it like this: the content could be shifted, which
produces a different flat representation
1) 1950: Turing test => gebruikte computers om de enigma code te kraken
Vooral theoretische concepten over wat de mogelijkheden zijn
Één van de mogelijkheden was menselijke intelligentie nabootsen
Intelligentie is moeilijk te definiëren dus bedacht Turing zijn test
A.d.h.v. antwoorden moet je kunnen zeggen of er een mens of computer
antwoordt
2) 1956: Perceptron: menselijk brein proberen na te maken met computers
Rosenblad heeft een perceptron gemaakt = komt overeen met 1 hersencel
Eerste keer dat iets niet volledig wordt geprogrammeerd
Via reinforced learning = feedback => machines kunnen leren
3) 1960: ELIZA: een chatbot puur gebaseerd op geprogrammeerde regels
4) 70’s AI winter: hoeveelheid funding voor AI ging enorm achteruit door een
daling van de hype
5) 80’s: Expert systems: systemen gekoppeld aan een databank met kennis om
expertise van een specialist na te bootsen via if then else
6) 90’s: Machine learning: enorme opleving van AI
a) Supervised learning: a.d.h.v.. veel voorbeelden proberen we voorspellingen
te gaan maken => we hebben data en labels nodig
Dit is wat Rosenblad probeerde te doen met zijn perceptron
b) Reinforcement learning
Voor beide hebben we algoritmes nodig = stap bij stap procedure voor het
vinden van een ‘goed’ model
We hebben een hele hoop voorbeelden nodig, elk voorbeeld wordt dan ook
beschreven door meetbare karakteristieken (meetbare factoren)
Hierna leren we een model dat optimaal consistent is via bvb een formule
Dit model met formule gaan we dan toepassen op de voorbeelden en dan
voorspellen
ML bvb: taks fraude, health index
In de praktijk gaan we dan de modellen stap voor stap verfijnen
Reinforcement learning:
Probleem bij supervised: veel data en correcte labels nodig
We hebben niet altijd genoeg data of juiste labels
Chatbot antwoordt en op basis van de respons of engagement van de gebruiker geeft
de chatbot zijn antwoord een score
Gewicht hangen aan goede en slechte uitkomsten
We kunnen bij reinforcement ook starten van random waarden, maar vaak
starten we met een paar voorbeelden om tijd te besparen
1997: Deep Blue verslaat Kasparov in schaken => kijkt naar wat de meest voordelige
positie is binnen 10 zetten
2011: Watson: AI die spel Jeopardy heeft gewonnen
,2016: AlphaGo: AI verslaat grootmeester in Go => via het scoren van bord posities, AI
gaat tegen zichzelf spelen om zo beter te worden
What changed in that time:
1) Meer rekenkracht: wet van Moore
2) Nieuw en betere hardware
GPU = graphic processing units
Initieel voor het renderen van grafische zaken in games, door zeer veel
berekeningen: 1 voor elke pixel => een GPU doet deze berekeningen
allemaal tegelijk
Ook gebruikt voor BTC mining en trainen van neurale netwerken
3) Grote hoeveelheden data
Bedrijven begonnen in te zien dat data enorm waardevol is
4) World wide web
Heropleving van neurale netwerken
Diepe neurale netwerken
Heel diepe neurale netwerken: zoals GPT 4
Neuraal netwerk is een zeer lange en ingewikkelde formule
Bvb: AlexNet in 2012
Enorm grote vooruitgang in performance met diep learning
2020: Gen AI: Gen AI is AI die zelf tekst, fotos, … kunnen genereren
Werken op voorspellen wat het volgende woord is op basis van enorm veel
data
Maar ook leren met menselijke feedback
Closed vs. Open source nog is bekijken
Hoofdstuk 2:
Machines become intelligent by
learning (ML)
Deep learning is a kind of ML
,Background:
Computer vision: Classical approach:
= supervised learning => engineer informative features + ML to discriminate
between those features
1) You have an initial dataset
2) You process raw data into numerical features that can be processed
3) You use ML to distinguish and filter through these features
4) You get an output such as a label
Ex: DPM: deformable part models (= computer vision in 2010 that dissects
images in parts and then finds patterns of features)
Learning based representations/ Representation learning:
1)You have a dataset
2)We push the dataset through a complex model ( deep neural network)
3)The model uses ML to describe the data
We do not need engineers to feature the data, the model does it by itself
Features were no longer engineered they were learned (= representation
learning)
Is also known as deep learning due to multiple layers
This was known as the AlexNet in 2012 by Krizhevsky
Designing a deep neural network:
To understand the complex constructions we need to understand the basics
A common composition:
The most basic block is a perceptron: a neuron
that gathers input and produces an output
, We can then add several layers of neurons, to
create a more complex architecture:
1) Highly optimizable, both for software (smart
matrix multiplication) and hardware(GPU,
TPU)
2) Enabling powerful compositions
Training/ learning:
We iteratively feed the data
to the model, and verify to
what extent the prediction
matches the target
Loss: is the function
that asses the quality
of the model at any
given time
DNN for visual data:
Characteristics of visual data:
1) Locality: neighboring pixels are highly correlated => always relationships
between neighboring data
2) Translation invariance: meaningful patterns can appear anywhere, it does not
matter where the tree is located or how big it is, it does not make it less or more
tree
The definition of the pattern is not dependent on the location of the pattern
3) Compositionality: learning feature hierarchies, we can combine layers to build
up to more complex labels/identifications
Feeding images to neural networks:
1) Digital image = a 2D pixel matrix
2) Our network expects a list of numbers not a table => we make the image flat
A potential issue in doing it like this: the content could be shifted, which
produces a different flat representation
