(German-language version below)

The Firebird 3 Bootcamp is for admins and developers who have been actively working with Firebird for at least 2 years. The focus is on upgrading to Firebird 3 and optimization of your own database environment (also for Firebird 2.x). You can expect interesting talks covering all aspects of Firebird, IBExpert, Lazarus and Delphi development. The focus is on the practical application of the technologies and methods presented, which can also be implemented with other programming languages.

Benefit from the knowledge of the IBExpert database experts.

Overview of topics

Client development

• Debugging a Delphi/Lazarus database application with the integrated debugger
• Create appropriate events for additional protocols without the Debugger
• Server-side monitoring of database applications
• Establishing a 24/7 monitoring protocol on the server
• Network monitoring of database communication at TCP/IP packet level
• Performance comparison of different components: TxxTable, TxxDataset, TxxQuery etc.
• Identify and assess automatically component-generated SQLs
• Identify SQLs on the server based on source code additions in the Delphi/Lazarus source code
• Automatically supplement own profiling methods in the Delphi/Lazarus source code
• Autocommit or manual commit?
• Use Prepare or not?
• SQLs with or without parameters? Advantages and disadvantages!
• Integrate block commands

Server development

• Basic knowledge regarding the Firebird server functionalities and architecture
• Detect inadequate transaction handling and assess impact
• Locate long-running transactions in network operation, identify the cause
• Techniques to end long-running transactions on the server side
• Analyze trigger sequences and log the process
• Measure and evaluate speed benefits of stored procedures
• Create and debug stored procedures and triggers using IBExpert
• Global database analysis: lack of primary keys, detection of duplicates, false and missing indices
• Use calculated fields for maximum performance and manage display using permissions
• Use data types and table definitions properly
• Correct use of execute statement on external

Administrative tasks

• Visualize a database model using IBExpert
• Export a database model for version control in SVN or similar
• Use IBExpert to set up versioning of stored procedures and triggers
• Automate metadata comparison between the development database and the production database
• Automate an automatic data synchronization between multiple databases using scripts
• Data backup using Backup tools during normal operation
• Optimize running time of the data backup
• Shadow as an alternative high-speed backup method
• Basic knowledge of replication as a real-time backup
• Measure hardware speed and compare using IBExpert Benchmark
• Tips and Tricks to optimize hardware and software for a Firebird Server 

IBExpert Firebird Bootcamps: What our customers are saying

IBExpert Firebird 3 Bootcamp

Das Firebird 3 Bootcamp wendet sich an Admins und Programmierer, die mindestens 2 Jahre aktiv mit Firebird arbeiten. Dabei konzentrieren wir uns auf den Umstieg auf Firebird 3 und die Optimierung der eigenen Datenbank-Umgebung (auch für Firebird 2.x). Es erwarten Sie interessante Themen rund um die Entwicklung mit Firebird, IBExpert, Lazarus und Delphi. Der Fokus liegt dabei konsequent auf dem praktischen Einsatz der vorgestellten Technologien und Methoden, die auch mit anderen Programmiersprachen umgesetzt werden können.

Profitieren Sie vom Wissen der IBExpert Datenbank Experten.

Themen im Überblick

Client Entwicklung

• Debuggen einer Delphi/Lazarus Datenbankanwendung mit dem integrierten Debugger
• Erstellen geeigneter Events für zusätzliche Protokolle auch ohne Debugger
• Netzwerkmonitoring der Datenbankkommunikation auf TCP/IP Paketebene
• IBExpert Database Monitoring
• Trace API einsetzen und auswerten
• Performancevergleich verschiedener Komponenten: TxxTable, TxxDataset, TxxQuery etc.
• Automatisch von Komponenten erzeugte SQLs erkennen und bewerten
• SQLs auf dem Server anhand von Quelltextergänzungen im Delphi/Lazarus Quellcode identifizieren
• Eigene Profiling Methoden automatisiert im Delphi/Lazarus Quellcode ergänzen
• Autocommit oder manuelles Commit?
• Mit Prepare oder ohne Prepare?
• SQLs mit oder ohne Parameter? Vor- und Nachteile!
• Befehle in Blocks zusammenfassen
• Einfache Webanwendungen erstellen

Server Entwicklung und administrative Aufgaben für Entwickler

• Basiswissen zur Arbeitsweise und Architektur des Firebird Servers
• Mangelhaftes Transaktionshandling erkennen und Auswirkungen bewerten
• Zuordnung langlaufender Transaktionen im Netzwerkbetrieb, Identifikation des Verursachers
• Techniken, um langlaufende Transaktionen serverseitig zu beenden
• Trigger Sequenzen analysieren und Ablauf protokollieren
• Geschwindigkeitsvorteile von Stored Procedures messen und bewerten
• Stored Procedures und Trigger mit IBExpert erstellen und debuggen
• Globale Datenbankanalyse: fehlende Primärschlüssel, doppelte, falsche und fehlende Indizes erkennen
• Berechnete Felder performant einsetzen und Anzeige über Berechtigungen steuern
• Datentypen und Tabellendefinitionen richtig einsetzen
• Execute Statement on External richtig einsetzen
• Basiswissen Replikation als Echtzeitbackup
• Datenbankmodell mit IBExpert visualisieren
• Datenbankmodell für eine Versionskontrolle in SVN o.ä. exportieren
• IBExpert für Versionierung von Stored Procedures und Trigger einrichten
• Automatisierter Metadatenabgleich zwischen Entwicklungsdatenbank und Produktionsdatenbank
• Automatisierter Datenabgleich zwischen mehreren Datenbanken per Script automatisieren

Administrative Aufgaben

• Datensicherung über Backup Werkzeuge im laufenden Betrieb einsetzen
• Laufzeit der Datensicherung optimieren
• Shadow als alternative High Speed Sicherungsmethode
• Hardwaregeschwindigkeit messen und vergleichen mit IBExpert Benchmark
• Serverseitiges Monitoring von Datenbankanwendungen
• Einrichtung eines 24/7 Monitoring Protokolls im Server
• Reports, automatisierter Import und Export csv, pdf etc
• Tipps und Tricks für optimale Hardware und Software für einen Firebird Server
• Was bringt die neue Mehrprozessorfähigkeit in Firebird 3.0 wirklich?
• Einsatzmöglichkeiten für Packages und Internal Functions
• Was muss man bei einer Umstellung auf Firebird 3.0 beachten?
• Benchmark Vergleich Firebird 2.5/Firebird 3.0
• IBExpert Tipps und Tricks für die tägliche Arbeit
• Warum SQL Befehle selber schreiben, wenn diese im IBExpert Assistent schnell und zuverlässig erzeugt werden können
• Softwaremodelle Developer Studio, Company Year Edition und Day Edition
• Firebird.conf optimieren  

IBExpert Firebird Bootcamps: Was unsere Kunden sagen

(German-language version below)

Firebird Administrator intensive training with emphasis on speed, security and interfaces.

In our Firebird Power Workshop, we focus on the tasks that an administrator needs to perform to effectively run a Firebird server. The aim is to achieve the optimum speed of the hardware and software used, to guarantee maximum operational reliability, and to be optimally prepared for a breakdown by means of a suitable worst-case scenario. We will also concentrate on the independent implementation of simple requirements in the areas of import, export and reporting.

Overview of topics

1. Basics

After an introduction to the basic Firebird technology, the most important files and installation versions for Windows and Linux with Firebird versions 2.x and 3.x will be explained.

2. Hardware

• Using suitable tools, the Firebird performance with the hardware/software combination used is measured and compared with other systems
• Effects of Firebird versions and configurations for processors, memory, I/O load, and process priority
• Comparison of the different I/O subsystem techniques HDD, SSD, SATA, M.2, NVME, RAID, SAN, IOPS, Bandwidth, Reads, Writes, etc.
• Comparison of different CPU types, clock cycle, L1/L2/L3 cache, cores, Xeon E3/E5/E7
• Expedient use of memory, RAM disk, temporary memory, ECC, DDR, clock cycle
• Locate the bottleneck in your own server
• Supplementary hardware for performance optimization
• Recommendations for optimal hardware

3. Operating system

• What optimizations can I make in Windows and Linux operating systems?
• Comparison of a Firebird server running on a virtual machine or without virtualization
• Check relevant drivers and adjust configuration settings
• DLL version check and effects
• Effects and adjustments Antivirus, backup and image software
• Trojan-safe configuration
• Operating systems recommendations for Firebird and dependencies

4. Backup/Restore

• Data backup with gbak and other solutions
• The most important backup/restore parameters
• Partial backup of the database
• IBExpert tools for backup, restore, e-mail message in case of errors, database dump
• IBExpert tools for automating database comparisons, data and metadata using scripts
• Shadow copy as a turbo backup
• Suitable measures to prevent errors from the outset
• Concurrent incremental backup
• Basic replication knowledge

5. Troubleshooting

• Detect errors in the database
• Troubleshooting strategies and tools
• Correct errors using transaction counter limit
• Detect and correct incorrect metadata
• Recognize and correct faulty data
• Combine databases from different scripts
• Errors opening the database and gfix
• Errors after opening the database when accessing certain table data
• IBExpert repair tools, Database Inside, if nothing else helps
• IBExpert services and Hotline support for repairs

6. Interfaces

• Automatically generate reports with IBExpert Scripting and store them as PDF files or send them by e-mail
• Set up data interfaces for ODBC
• Data export to ODBC, CSV, Excel, HTML, etc. using IBExpert Scripting
• Data import from ODBC, CSV, Excel, HTML, etc. using IBExpert Scripting
• Read or write access to SMTP, POP3 and IMAP e-mail
• Automate data synchronization with script directly to MSSQL, Oracle, MySQL, etc.
• Convert data tables from or to other platforms
• Direct connection using additional tools to PayPal, Sharepoint, SAP, Salesforce, Magento, Dropbox, Google Calendar, Google Contacts, JSON, REST, XML etc.

7. Users and groups

• Create, change and delete users with password
• Create, change and delete roles
• Differences users, roles and permissions in Firebird 2.x and Firebird 3.x
• Transfering the user database when updating Firebird

8. Database performance

• System tables and tools to detect long-running SQL queries
• Identify and eliminate the impact of long-running transactions
• Trace API and MON$ tables
• Detect and create missing indices
• Comprehending and using Expression Indices
• Understanding and updating index statistics
• Optimize index structures and avoid duplicates

9. Monitoring and Audit

• Log database changes with IBExpert log tools
• Log slow SQLs around the clock
• What's it doing now? External tools at operating system level for file system and process logging

10. Tips and tricks

IBExpert und Firebird Power Workshop

Firebird Administrator intensiv-Training mit Schwerpunkt auf Geschwindigkeit, Sicherheit und Schnittstellen.

In unserem Firebird Power Workshop konzentrieren wir uns auf die Aufgaben, die ein Administrator für den effektiven Betrieb eines Firebird-Servers erfüllen muss. Ziel ist es, die optimale Geschwindigkeit der eingesetzten Hardware und Software zu erreichen, eine maximale Betriebssicherheit zu gewährleisten, sowie durch ein geeignetes Worst-Case-Szenario für einen Ausfall optimal vorbereitet zu sein. Auch auf die selbstständige Umsetzung einfacher Anforderungen im Bereich Import, Export und Reporting werden wir uns konzentrieren.

Inhalt

1. Grundlagen

Nach einer Einführung über die Basistechnologie werden die wichtigsten Dateien und Installationsversionen für Windows und Linux mit den Firebird Versionen 2.x und 3.x vermittelt.

2. Hardware

• Durch geeignete Werkzeuge wird die Firebird Geschwindigkeit der eingesetzten Hardware/Software-Kombination gemessen und mit anderen Systemen verglichen
• Auswirkungen der Firebird Versionen und Einstellungen für Prozessoren, Arbeitsspeicher, I/O-Last und Prozesspriorität
• Vergleich der verschiedenen I/O-Subsystem-Techniken HDD, SSD, SATA, M.2, NVME, RAID, SAN, IOPS, Bandbreite, Reads, Writes, etc.
• Vergleich der verschiedenen CPU-Typen, Takt, L1/L2/L3 Cache, Cores, Xeon E3/E5/E7
• Sinnvoller Einsatz des Arbeitsspeichers, RAM Disk, Temporärspeicher, ECC, DDR, Takt
• Den Flaschenhals im eigenen Server lokalisieren
• Ergänzende Hardware für Performance-Optimierung
• Empfehlungen optimaler Hardware

3. Betriebssystem

• Welche Optimierungen kann ich im Betriebssystem Windows bzw. Linux vornehmen
• Vergleich eines Firebird Servers beim Betrieb auf einer virtuellen Maschine oder ohne Virtualisierung
• Relevante Treiber prüfen und Einstellungen anpassen
• DLL Versionsprüfung und Auswirkungen
• Auswirkungen und Anpassungen Antiviren-, Backup- und Image-Software
• Trojaner-sichere Konfiguration
• Empfehlungen Betriebssysteme für Firebird und Abhängigkeiten

4. Backup/Restore

• Datensicherung mit gbak und anderen Lösungen
• Die wichtigsten Backup/Restore Parameter
• partielle Sicherung der Datenbank
• IBExpert Werkzeuge für Backup, Restore, E-Mail Nachricht bei Fehlern, Datenbank Dump
• IBExpert Werkzeuge für Datenbankvergleiche Daten und Metadaten über Scripte automatisieren
• Shadowcopy als Turbobackup
• Geeignete Maßnahmen, um Fehler von vornherein zu vermeiden
• Mitlaufende inkrementelle Sicherung
• Basiswissen Replikation

5. Fehler beheben

• Fehler in der Datenbank erkennen
• Strategien und Tools zur Fehlerbehebung
• Fehler durch Transaktionszählergrenze beheben
• Fehlerhafte Metadaten erkennen und beheben
• Fehlerhafte Daten erkennen und beheben
• Datenbanken aus verschiedenen Scripten zusammensetzen
• Fehler beim Öffnen der Datenbank und gfix
• Fehler nach dem Öffnen der Datenbank bei Zugriff auf bestimmte Tabellendaten
• IBExpert Reparaturwerkzeuge, Database Inside, wenn nichts anderes hilft
• IBExpert Dienstleistungen und Hotline Support für Reparaturen

6. Schnittstellen

• Mit IBExpert Scripting automatisiert Berichte erzeugen und als PDF ablegen oder per E-Mail versenden
• Datenschnittstellen für ODBC einrichten
• Datenexport nach ODBC, CSV, Excel, HTML, etc. über IBExpert Scripting
• Datenimport von ODBC, CSV, Excel, HTML, etc. über IBExpert Scripting
• Lese- bzw. Schreibzugriff auf SMTP, POP3 und IMAP E-Mail
• Datenabgleich mit Script direkt automatisieren an MSSQL, Oracle, MySQL, etc.
• Datentabellen von oder in andere Plattformen konvertieren
• Direkte Anbindung über Zusatztools auf PayPal, Sharepoint, SAP, Salesforce, Magento, Dropbox, Google Kalender, Google Kontakte, JSON, REST, XML etc.

7. Benutzer und Gruppen

• Anlegen, ändern und löschen von Benutzern mit Kennwort
• Anlegen, ändern und löschen von Roles
• Unterschiede Benutzer, Roles und Rechte in Firebird 2.x und Firebird 3.x
• Übernahme der Benutzerdatenbank beim Firebird Update

8. Datenbank Performance

• Systemtabellen und Werkzeuge, um langlaufende SQL Abfragen zu erkennen
• Auswirkungen langlaufender Transaktionen erkennen und beheben
• Trace API und MON$ Tabellen
• Fehlende Indizes erkennen und erstellen
• Expression Indizes verstehen und benutzen
• Indexstatistik verstehen und aktualisieren
• Indexstrukturen optimieren und Dubletten vermeiden

9. Monitoring und Audit

• Datenbankänderungen protokollieren mit IBExpert Log Werkzeugen
• langsame SQLs rund um die Uhr protokollieren
• Was macht er denn jetzt schon wieder? Externe Werkzeuge auf Betriebssystemebene für Filesystem und Prozessprotokollierung

10. Tipps und Tricks

This error appears if you are still using the old deprecated ibexpert.stg to store all your IBExpert settings. It indicates that IBExpert.stg is corrupted, cannot be repaired and user database should be used instead.

To solve this issue configure the IBExpert User Database.

If you have not specified a location yourself: by default, the user database file can always be found in the folder: \HK-Software\IBExpert\ibexpert.udb. This area is user-dependent and even if several users work on one machine, each user has their own file.

If you are still using the old ibexpert.stg (default path: \Documents and Settings\<user>\Application Data\HK-Software\IBExpert\IBExpert.stg) then copy this.

(German-language version below)

A user-defined function (UDF) is utilized to perform tasks that Firebird can't. It is an external database function written entirely in another language, such as C++ or Pascal, to perform data manipulation tasks that not directly supported by Firebird/InterBase.

As a lot of Firebird-based software developers know, these functions help you to extend the SQL language as required. But on the downside, the binary implementation requires a compiler on the platform where you want to use the Firebird server. A UDF library available for Win64 can neither be used on Win32 nor on Linux.

Up to Firebird 2.5 the UDF was an extremely powerful implementation, but unfortunately also a critical point of failure. If any of your binary code was not as stable as it should be, especially in multi-user environments, it could crash the Firebird server completely. All connected users would be disconnected, and even though the database file itself should not contain a binary error after this happened, any user application had to be restarted. This might not have been such a big problem with the Firebird Classic version, but today, using a binary UDF is no longer recommended.

This was the reason for the Firebird Project to introduce the new and more stable UDR implementation. A UDR appears to be similar to a UDF, but it is loaded in a considerably more stable way on the server process, and an error in the implementation does not typically crash the server.

Since Firebird 3, it is recommended to use a UDR rather than a UDF and, starting with Firebird 4, the use of UDFs is deactivated by default in the firebird.conf file.

A further implementation for the functional extension of Firebird was also introduced with Firebird 3: stored functions. Similar to the UDR/UDF functions, a stored function can be implemented in the same way as it can be when using a stored procedure, but the concept of functions provides only one result based on the specified input params.

As you might know, there are widely-used UDF implementations, which are all too often completely outdated, such as the FreeAdhocUDF library, which has not been changed or improved during the last 12 years. Libraries like rFunc or FreeAdhocUDF often use very high know-how standards but, based on Firebird’s built-in functions such as substring, the parameter structure is not one-to-one compatible. If you want to use your existing Firebird 2.x-based software in a new non-UDF-based Firebird version 3 or 4, you will need a replacement.

For this reason we have developed a complete new set of functions called IBExpertFunctionLibrary.

IBExpertFunctionLibrary Enterprise Maintenance Subscription

Your company licenses the source code of the library as it is, but it is only permitted to use this with databases created by your company for internal or customer use.

This includes access to all new versions of the source code and up to 5 new functional implementations for 12 months.

These functional implementations are limited to the language features already possible in the Firebird language. External software required for the implementation, such as DLLs/SO or other libraries, are not covered by this, but on request, this can also be implemented.

Pricing

    IBExpertFunctionLibrary Enterprise Maintenance Subscription: EUR 1,020.00 

The current version 1.0 already basically covers almost all of the functions currently available in FreeAdhocUDF and rFunc. Some functions cannot be implemented or it no longer make any sense to implement them, but these will be available as empty non-functional prototypes, so that a call will not result in an error. 

IBExpertFunctionLibrary

Wie viele Firebird Softwareentwickler wissen, helfen Ihnen diese Funktionen dabei, die SQL-Sprache nach Bedarf zu erweitern. Der Nachteil ist jedoch, dass die binäre Implementierung einen Compiler auf der Plattform erfordert, auf der Sie den Firebird Server verwenden. Eine UDF-Bibliothek, die für Win64 verfügbar ist, kann weder unter Win32 noch unter Linux verwendet werden.

Bis zu Firebird 2.5 war die UDF eine extrem leistungsfähige Implementierung, aber leider auch ein kritischer Fehlerpunkt. Wenn einer Ihrer Binärcodes nicht so stabil war, wie er sein sollte, insbesondere in Mehrbenutzerumgebungen, konnte er den Firebird Server komplett zum Absturz bringen. Alle Client-Verbindungen wurden getrennt, und obwohl die Datenbankdatei selbst keinen Binärfehler enthalten sollte, musste jeder Client neu verbunden werden. Dies mag in der Firebird Classic Version kein so großes Problem gewesen sein, aber heute wird die Verwendung einer binären UDF nicht mehr empfohlen.

Dies war der Grund für das Firebird Projekt, die neue und stabilere UDR-Implementierung einzuführen. Eine UDR scheint einer UDF ähnlich zu sein, aber sie wird auf eine wesentlich stabilere Art und Weise in den Serverprozess geladen, und ein Fehler in der Implementierung führt normalerweise nicht zum Absturz des Servers.

Seit Firebird 3 wird empfohlen, eine UDR statt einer UDF zu verwenden und ab Firebird 4 ist die Verwendung von UDFs in der Datei firebird.conf standardmäßig deaktiviert.

Eine weitere Implementierung für die funktionale Erweiterung von Firebird wurde ebenfalls mit Firebird 3 eingeführt: Stored Functions. Ähnlich wie die UDR/UDF-Funktionen kann eine Stored Function auf die gleiche Weise wie eine Stored Procedure implementiert werden, aber das Konzept der Funktionen liefert nur ein Ergebnis basierend auf den angegebenen Eingabeparametern.

Wie Sie vielleicht wissen, gibt es weit verbreitete UDF-Implementierungen, die allzu oft völlig veraltet sind, wie z. B. die FreeAdhocUDF-Bibliothek, die in den letzten 12 Jahren weder geändert noch verbessert wurde. Bibliotheken wie rFunc oder FreeAdhocUDF verwenden oft sehr hohe Know-How-Standards, aber, basierend auf Firebirds eingebauten Funktionen wie z.B. substring, ist die Parameterstruktur nicht eins-zu-eins kompatibel. Wenn Sie Ihre bestehende Firebird 2.x-basierte Software in einer neuen, nicht UDF-basierten Firebird Version 3 oder 4 verwenden möchten, benötigen Sie einen Ersatz.

Aus diesem Grund haben wir einen komplett neuen Satz von Funktionen mit dem Namen IBExpertFunctionLibrary entwickelt.

IBExpertFunctionLibrary Enterprise Maintenance Subscription

Ihr Unternehmen lizenziert den Quellcode der Bibliothek, wie er ist, aber es ist nur erlaubt, diesen mit Datenbanken zu verwenden, die von Ihrem Unternehmen für den internen oder Kundengebrauch erstellt wurden.

Dies beinhaltet den Zugriff auf alle neuen Versionen des Quellcodes und bis zu 5 neue Funktionsimplementierungen für 12 Monate.

Diese funktionalen Implementierungen sind auf die Sprachfeatures beschränkt, die bereits in der Firebird-Sprache möglich sind. Externe Software, die für die Implementierung benötigt wird, wie z.B. DLLs/SO oder andere Bibliotheken, sind davon nicht abgedeckt, können aber auf Anfrage ebenfalls implementiert werden.

Preisgestaltung

IBExpertFunctionLibrary Enterprise Maintenance Subscription: EUR 1020,00

Die aktuelle Version 1.0 deckt im Grunde bereits fast alle Funktionen ab, die derzeit in FreeAdhocUDF und rFunc verfügbar sind. Einige Funktionen können nicht implementiert werden oder es macht keinen Sinn mehr, sie zu implementieren, aber diese werden als leere nicht-funktionale Prototypen verfügbar sein, so dass ein Aufruf nicht zu einem Fehler führt. 

If you have not specified and registered your IBExpert user database, you will receive the following error message, the first time you start IBExpert: 

Please refer to IBExpert User Database.

This error message has nothing to do with IBExpert itself, but with the client configuration.

Change the default value in the IBExpert database registration to the file fbclient.dll in the Firebird 3 subdirectory, then this message should no longer be displayed, as a suitable firebird.msg is also located there (see here under item 15 https://www.ibexpert.net/ibe/index.php?n=Doc.RegisterDatabase#ClientLib.

However, the second message is based on the user name/password combination, which does not correspond to the setting in your database server. One question: Which Firebird server version are you using?

If you require further assistance, we can support you with our IBExpert & Firebird Hotline