Sobald die Staatsanwaltschaft von Tatsachen erfährt, die den Verdacht nahe legen, dass es sich um eine Straftat handelt, dann leitet sie ein Ermittlungsverfahren ein. Die Grundlage für diese Kenntnisnahme bilden in der Regel Anzeigen bei der Polizei oder direkt bei der Staatsanwaltschaft. Die Staatsanwaltschaft kann jedoch auch selbst, aufgrund von Meldungen aus den Medien oder bei eigenen Verdachtsmomenten, die Ermittlungen einleiten.
Die Polizei, die nach Straftaten in der Regel als erstes vor Ort erscheint, ist ebenso berechtigt, ein Ermittlungsverfahren einzuleiten, sie sichert auch Beweise und besichtigt den Tatort. Gerade die Beweissicherung ist eine Ermittlungshandlung, die nicht aufgeschoben werden kann. Auch wenn Gefahr im Verzug ist und Fluchtgefahr besteht, arbeiten Polizei und Staatsanwaltschaft Hand in Hand. Zu den Ermittlungen und insbesondere zur Beweissicherung gehören, neben Spuren und Gegenständen, auch Zeugenvernehmungen, die Vernehmung der Opfer und wenn bekannt, der Täter. Wenn kein Tatverdächtiger ausgemacht werden kann, dann richten sich die Ermittlungen „gegen Unbekannt“.
Entweder werden die Ermittlungen von der Staatsanwaltschaft selbst durchgeführt oder in Zusammenarbeit mit den Polizeibehörden. Es gibt jedoch einen wichtigen Unterschied, was die Vernehmung von Beschuldigten, Zeugen und Sachverständigen betrifft. Erteilt die Staatsanwaltschaft eine Vorladung, so sind die genannten Personen verpflichtet, zu erscheinen und ihre Aussage zu tätigen, im Gegensatz zu einer Aufforderung der Polizeibehörde. Der ermittelnde Staatsanwalt kann eine Reihe von Zwangsmaßnahmen anordnen, die für das Ermittlungsverfahren von Bedeutung sind, so z.B. Haus- und Personendurchsuchungen oder Überwachungen. Da zahlreiche Maßnahmen in die Persönlichkeitsrechte eingreifen können, ist eine richterliche Entscheidung in vielen Fällen notwendig. Die Befugnis, eine Untersuchungshaft anzuordnen, hat allein ein Richter.
Nach der Beweisaufnahme finden sich, je nach Sachlage, unterschiedliche Möglichkeiten, um das Ermittlungsverfahren der Staatsanwaltschaft abzuschließen. Dazu zählen die Erhebung der öffentlichen Anklage oder die Einstellung des Verfahrens.