Занятие НИС_1
Геоданные
Геоданные и журналистика
Географические проекции
и системы координат
Типы и форматы геоданных
Географические проекции
и системы координат
Типы и форматы геоданных
Геоданные & Журналистика
Главное различие между обычной дата-журналистикой и дата-журналистикой, основанной на геоданных, состоит в том, что во втором случае обязательно есть карты.
На картах мы показываем результаты анализа данных с геопривязкой. Мы устанавливаем связи между местами на карте и относящимися к ним числовыми значениями, а затем отображаем происходящие процессы и явления на карте с помощью инструментов визуализации.
Журналисты, работающие с геоданными, используют как картографию, так и геоинформационные системы (ГИС).
На картах мы показываем результаты анализа данных с геопривязкой. Мы устанавливаем связи между местами на карте и относящимися к ним числовыми значениями, а затем отображаем происходящие процессы и явления на карте с помощью инструментов визуализации.
Журналисты, работающие с геоданными, используют как картографию, так и геоинформационные системы (ГИС).
- Картография — это визуальное представление пространственных данных.Инструменты: DataWrapper, Flourish.
- ГИС — инструменты для анализа пространственных связей между элементами на карте. Инструмент: QGis.
Если вы просто загружаете данные, которые вы нашли онлайн, в программу и скачиваете готовую картинку без каких-либо манипуляций с самими данными, это картография.
Если же вы что-либо подсчитываете, объединяете и разделяете данные либо по аттрибутам, либо по локации, а также создаёте новые данные из существующих — это уже ГИС.
Вдохновляющие статьи:
- Why reporters and newsrooms should use geodata — Gustavo Faleiros, International Journalists' Network
- Geographic information systems: a use case for journalists — Jacques Marcoux, DataJournalism.com
- How Maps Help the Media See What Others Can’t — Robby Deming, ESRI Blog
Секрет 1
Урбанистика — самая плодородная почва
для дата-сторителлинга, потому что в этой сфере:
- много данных;
- много денег, которые тратятся на поддержание дата-инфраструктуры;
- много разноплановых специалистов.
Интересные проекты
- How we find our way — Outside — подробный красивый проект по истории картографии со ссылками на другие статьи
- The Most Detailed Map of Cancer-Causing Industrial Air Pollution in the U.S. — ProPublica.
- Mapping Historical New York: A Digital Atlas
- The Toll of Eight Days of Conflict in Gaza and Israel — The New York Times
- MTA Ridership Changes due to Covid-19 — TWO-N Inc.
- Since When Have Trees Existed Only for Rich Americans? — The New York Times
- Native Land Map — Gaia GPS — Карта показывает, как территории называют коренные американцы, а не где проходят границы штатов и страны
- Hoodmaps — ментальные карты крупных городов мира
- Naivemaps — ментальные «наивные» карты России, при анализе используются визуальные переменные Бертена
Секрет 2
Датафикация критикуется за чрезмерное слежение за людьми, однако она позволяет вскрыть и решить проблемы.
Секрет 3
В урбанистике легче всего рассказывать вовлекающие истории. Почему?
Самая выгодная стратегия сторителлинга — поместить в центр повествования человека,
а человек живёт в городе.
Системы координат
Где можно найти координаты какого-то места? Идите в Google Maps — клик правой кнопкой мыши — и вы увидите "Y, X" в первом ряду
Система координат может быть географической или проекцией.
Географические координаты измеряются в градусах:
Сейчас нулевым меридианом Земли считается опорный меридиан (IERS Reference Meridian), высчитанный на основе Гринвичского меридиана.
- Longitude = long = X = λ = долгота // меридианы
- Latitude = lat = Y = φ = широта // параллели
Система координат может быть географической или проекцией.
Географические координаты измеряются в градусах:
- | широта | =< 90°,
- | долгота | =< 180°,
- точка отсчёта — нулевой меридиан (долгота = 0°) и экватор (широта = 0°).
- X (долгота) ≈ 411 170,
- Y (широта) ≈ 6 180 137,
- точка отсчёта — край часового пояса (longitude = 0) и экватор (latitude= 0).
Сейчас нулевым меридианом Земли считается опорный меридиан (IERS Reference Meridian), высчитанный на основе Гринвичского меридиана.
«По умолчанию» в мире используется проекция World Geodetic System (WGS–84, всемирная система геодезических параметров Земли 1984 года). Обычно данные, которые вы находите в интернете, представлены в этой системе координат. Но в ходе истории было множество других систем, созданных исходя из разных предпосылок и методологий.
Так, в некоторых странах и вовсе есть своя собственная система координат — часто по соображениям безопасности. Например, в Китае используются GCJ-02 и BD-09 — они основаны на WGS-84, но особый алгоритм смещает координаты на несколько километров относительно реального положения точки, согласно WGS-84. Официально перевод координат из BD-09 и GCJ-02 в WGS-84 нелегален, но вы можете найти подобные алгоритмы в интернете.
Узнайте больше о китайской системе координат:
- GCJ-02(gcj 02) Explained. A Short Guide To The Chinese Coordinate System — AbstractKitchen
- Restrictions on geographic data in China — Википедия
Проекции
Проекции нужны, чтобы перевести 3D геокоординаты, представленные в градусах, на 2D поверхность, где всё измеряется в метрах.
Самая часто используемая проецкия — это комбинация WGS-84 и Универсальной поперечной проекции Меркатора (Universal Transverse Mercator). Это проецированная система координат, также известная как UTM zones.
Не стоит путать UTM (зоны проекций) и UTC (часовые пояса). Часовые пояса не на 100 % географически точны — они варьируются в зависимости от политических и экономических связей регионов.
Например, Международная линия перемены даты (International Date Line) — граница между одним календарным днём и другим, лишь в общих чертах напоминает 180° меридиан — особенно различие видно в регионах между Россией и США. Линия проходит так, чтобы русские территории были в одном часовом поясе с другими российскими регионами. То же правило справедливо и для США.
Самая часто используемая проецкия — это комбинация WGS-84 и Универсальной поперечной проекции Меркатора (Universal Transverse Mercator). Это проецированная система координат, также известная как UTM zones.
Не стоит путать UTM (зоны проекций) и UTC (часовые пояса). Часовые пояса не на 100 % географически точны — они варьируются в зависимости от политических и экономических связей регионов.
Например, Международная линия перемены даты (International Date Line) — граница между одним календарным днём и другим, лишь в общих чертах напоминает 180° меридиан — особенно различие видно в регионах между Россией и США. Линия проходит так, чтобы русские территории были в одном часовом поясе с другими российскими регионами. То же правило справедливо и для США.
UTM-зона Москвы — 37N — 37-й пояс от Международной линии перемены даты в Северном полушарии. Вот почему, если мы считаем дистанцию в метрах на территории Москвы, мы используем проекцию WGS-84 UTM zone 37N.
Также часто можно увидеть аббревиатуру EPSG. Это означает European Petroleum Survey Group, Европейская группа нефтепоисковых исследований. Организация хранит базу данных с геодезическими параметрами, стандартизированными кодами и информацией о системах координат. Уникальный идентификатор московской проекции WGS-84 37N в системе EPSG — это 32637.
Узнать больше:
- 5 tools for mastering map projections — Aleks Buczkowski, Geoawesomeness
- Coordinate Systems Worldwide — EPSG (European Petroleum Survey Group)
- Map Projections — University Consortium for Geographic Information Science
- Is WGS84 a Coordinate system or projection system? — StackExchange
- Animation showing how different map projection distort the globe — u/thequickbluefish, r/MapPorn, reddit
- A brief look at map projections — Views of the World
- UTM зоны
-
- Часовые пояса, опорный меридиан и линия перемены даты
ВЕРТИМ СТРАНЫ
- Выберите рандомную страну с помощью этого сайта.
- Откройте сайт The True Size Of.
- Очистите карту с помощью кнопки Clear Map.
- Вам нужно будет отправить сообщение в наш в чат в Телеграме с подписью страны, её UTM-зоной и тремя скринами. Для начала напишите, какая страна вам попалась.
- Введите свою страну на карте и заскриньте её в изначальном размере. Добавьте скрин в ваше сообщение.
- Перетащите эту страну на уровень Гренландии. Заскриньте и добавьте в сообщение.
- Перетащите страну на уровень Индонезии. Заскриньте и добавьте в сообщение.
- Найдите столицу вашей страны. Затем наберите в поисковике: «WGS84 столица_на_английском UTM zone». Например, WGS84 Moscow UTM zone. Постарайтесь найти в выдаче результат с доменом epsg.io. В конце номера зоны должна быть либо буква N, либо буква S. Добавьте номер UTM-зоны в сообщение.
- Отправьте сообщение.
Всего: название страны, UTM-зона и три скрина.
Дискуссия
Как визуализировать потоки беженцев так, чтобы это не смотрелось угрожающе и не вызывало ассоцииации с атакой войск и угрозой местному населению?
- Стрелки.
- Полосы и точки.
- Круги.
- Арки и столбики.
- L'art pour l'art.
Игра «Найди Крым на карте»
Типы данных
Геоданные — это комбинация изображений и обычных данных. Ввиду этого геоданные подразделяются:
- по графическим свойствам на
- векторные данные — визуальная репрезентация математических взаимосвязей;
- растровые данные — каждый пиксель отображает что-то сам по себе.
- количественные дискретные данные — например, население или число чего угодно в конкретной локации — размер + вектор;
- количественные дискретные данные, нормированные по площади — например, плотность населения по городам — цвет + вектор;
- количественные непрерывные данные — например, распространение вредных выбросов градиентом по территории или ландшафт — цвет или текстура + растр;
- качественные данные — например, территория леса или национальность жителей — цвет или текстура + вектор или растр.
В рамках данного курса мы будем работать только с векторными геоданными. Векторные данные подразделяются на:
- точки (points, dots);
- линии (несколько соединённых точек (2+), lines);
- полигоны (заполненные территории с линиями-границами, polygons).
Узнайте больше:
- Vector vs Raster: What’s the Difference Between GIS Spatial Data Types? — GISGeography
- Types of GIS Data Explored: Vector and Raster — GISLounge
- Introduction to Raster Data — Data Carpentry
- Raster Data — QGIS Documentation
- Vector Data — QGIS Documentation
- Working with vector data — QGIS User Guide
- Working with raster data — QGIS User Guide
Секрет 4
Иногда лучше не мудрить.
Что на вашем месте сделал бы
уставший и ленивый человек?
Задача: из всех улиц отсортировать и убрать дворы.
«Умный» человек: решит с нуля продумывать методологию, задаваясь философским вопросом, что есть двор и как его определить.
Уставший и ленивый человек: вглядится в датасет, увидит у некоторых улиц характеристику «Внутриквартальный проезд», сопоставит с картой и поймёт, что именно так и кодируются дворы. Удалит все дворы за пару кликов.
Стилизация в DataWrapper
<span style="color:#нужный_цвет;font-weight:bold;"font-family: Нужный Шрифт""> Всем привет! </span>
Форматы данных
1. csv и xlsx — уже знакомые вам форматы.
2. geojson — json с геокоординатами.
3. geopackage, gpkg — практически то же самое, что и геоджейсон: файл с геоданными.
4. kml — можно скачать данные в таком формате с Google My Maps (например, путь трассы М4-Дон) или Конструктора карт Яндекса.
5. wkt — часто встречается на порталах открытых данных: крупными буквами тип векторных данных (POINT, LINESTRING, POLYGON), а в скобках — координаты;
6. shapefile — архив векторных геоданных, состоящий из нескольких файлов; вам нужны все из них, но в QGis нужно загружать только .shp файл.
2. geojson — json с геокоординатами.
3. geopackage, gpkg — практически то же самое, что и геоджейсон: файл с геоданными.
4. kml — можно скачать данные в таком формате с Google My Maps (например, путь трассы М4-Дон) или Конструктора карт Яндекса.
5. wkt — часто встречается на порталах открытых данных: крупными буквами тип векторных данных (POINT, LINESTRING, POLYGON), а в скобках — координаты;
6. shapefile — архив векторных геоданных, состоящий из нескольких файлов; вам нужны все из них, но в QGis нужно загружать только .shp файл.
7. gpx — маршрут с тремя параметрами:
- waypoints — точки маршрута, где нужно сворачивать налево или направо,
- routes — запланированный путь,
- tracks — фактически пройденный путь с временными отметками; пример использования: Strava (+ Strava Heatmap VPN), Komoot.
Если нужно найти какие-то геоданные, просто загуглите:
- нужная_информация geodata
- нужная_информация geojson
- нужная_информация shapefile
Так выглядит shapefile
Как сделать интерактивную карту с точками (Locator Map) в DataWrapper
Как добавить линии в Locator Map в DataWrapper
Как загрузить данные в QGIS,
настроить проекцию и подложку
и посчитать число точек по полигонам
настроить проекцию и подложку
и посчитать число точек по полигонам
Как загрузить данные Strava в QGIS
Домашнее задание
Дедлайн 2 февраля, понедельник, 18:00
Критерии оценивания
Критерии оценивания
Это вновь индивидуальное домашнее задание. ТУТОРИАЛ ВЫШЕ ↑ (Как сделать интерактивную карту с точками (Locator Map) в DataWrapper).
Представьте, что вы хотите рассказать и показать другу/ подруге ваш самый любимый город на свете и любимые места там.
В Datawrapper создайте интерактивную карту с этими местами.
Подробные требования:
Также можно создать карту не о себе, а о вашей любимой звезде, например, любимые музеи Х в городе Y.
Создайте текстовый документ с названием в формате Фамилия_Карта и вставьте туда ссылку на вашу карту (ссылку, не эмбеддинговый код).
Обратите внимание, что для карты нужны координаты в градусах, то есть идём в гугл карты и копируем координаты, кликая правой кнопкой мыши по карте, а потом создаём соответствующий датасет.
Туториалы, как оформлять csv для загрузки в locator map:
Представьте, что вы хотите рассказать и показать другу/ подруге ваш самый любимый город на свете и любимые места там.
В Datawrapper создайте интерактивную карту с этими местами.
Подробные требования:
- Locator Map
- Заголовок
- Подзаголовок с названием города
- Карта с минимум пятью точками
- Точки должны быть подписаны
- У точек должны быть тематически подходящие иконки
- В тултипах (попапах) должно быть описание, почему вам дорого это место ИЛИ почему его стоит посетить
- Отображение карты должно включать в себя все точки
- Линейка масштаба
- Credits (ваше имя, город или страна, год создания визуализации)
Также можно создать карту не о себе, а о вашей любимой звезде, например, любимые музеи Х в городе Y.
Создайте текстовый документ с названием в формате Фамилия_Карта и вставьте туда ссылку на вашу карту (ссылку, не эмбеддинговый код).
Обратите внимание, что для карты нужны координаты в градусах, то есть идём в гугл карты и копируем координаты, кликая правой кнопкой мыши по карте, а потом создаём соответствующий датасет.
Туториалы, как оформлять csv для загрузки в locator map:
