Upload dữ liệu GIS
Trong tutorial này, bạn sẽ học cách upload và quản lý dữ liệu GIS trong Geocloud - từ các file cơ bản đến các dataset phức tạp.
Tại sao Upload dữ liệu GIS?
Upload dữ liệu là bước đầu tiên để bắt đầu làm việc với Geocloud. Sau khi có dữ liệu, bạn có thể:
- 🗺️ Tạo bản đồ tương tác từ dữ liệu của mình
- 📊 Phân tích không gian với các công cụ tích hợp
- 🤝 Chia sẻ với đội nhóm và stakeholders
- 📱 Truy cập trên mobile thông qua Geocollect
- 🔄 Đồng bộ real-time với các hệ thống khác
Các định dạng được hỗ trợ
Vector Data (Dữ liệu vector)
Shapefile (.shp)
- File chính:
.shp,.shx,.dbf - Tùy chọn:
.prj,.cpg,.sbn,.sbx - Quan trọng: Nén zip tất cả file liên quan
GeoJSON (.geojson)
- Định dạng JSON cho dữ liệu địa lý
- Phù hợp cho ứng dụng web
- Hỗ trợ mã hóa UTF-8
KML/KMZ (.kml, .kmz)
- Định dạng Google Earth
- Bao gồm thông tin styling
- KMZ là KML đã nén
GPX (.gpx)
- GPS Exchange Format
- Phù hợp cho tracks và waypoints
- Từ các thiết bị GPS di động
CSV có tọa độ
- File CSV có cột lat/lon
- Header row bắt buộc
- Hỗ trợ WKT geometry
Geocloud hỗ trợ nhiều định dạng file GIS phổ biến
Raster Data (Dữ liệu raster)
GeoTIFF (.tif, .tiff)
- Định dạng tiêu chuẩn cho GIS
- Bao gồm hệ tọa độ
- Hỗ trợ multi-band imagery
PNG/JPG có worldfile
- PNG/JPG + file
.pgw/.jgw - Khuyến nghị có file projection
.prj - Phù hợp cho bản đồ scan
MBTiles (.mbtiles)
- Định dạng tile-based
- Phù hợp cho base maps
- Tối ưu cho web viewing
Kết nối Database
PostGIS
- PostgreSQL với spatial extension
- Hỗ trợ kết nối trực tiếp
- Đồng bộ dữ liệu real-time
GeoPackage (.gpkg)
- Định dạng SQLite-based
- Hỗ trợ cả vector và raster
- Tương thích đa nền tảng
Quy trình upload dữ liệu
Bước 1: Chuẩn bị dữ liệu
Kiểm tra dữ liệu:
- Hệ tọa độ (CRS) đúng
- Cấu trúc file đầy đủ
- Không thiếu file
- Kích thước file hợp lý
Tối ưu hóa:
- Nén các file lớn
- Đơn giản hóa geometry phức tạp
- Loại bỏ các trường không cần thiết
- Kiểm tra tính toàn vẹn dữ liệu
Bước 2: Upload lên Geocloud
Giao diện upload dữ liệu với drag & drop và các tùy chọn import
Vào Project Data tab:
- Mở project cần upload dữ liệu
- Click tab "Data"
- Click "Upload" hoặc "+"
Chọn phương thức upload:
- Drag & Drop: Kéo file vào vùng upload
- Browse: Click browse để chọn file
- URL Import: Nhập URL dữ liệu online
- Database: Kết nối trực tiếp database
Bước 3: Cấu hình import
Phát hiện tự động:
- Tự động phát hiện hệ tọa độ
- Preview cấu trúc dữ liệu
- Kiểm tra encoding (khuyến nghị UTF-8)
- Xác thực geometry
Tùy chọn nâng cao:
- Override hệ tọa độ
- Đặt character encoding
- Chọn phương thức import
- Cấu hình field mapping
Giao diện cấu hình import cho phép preview và điều chỉnh cài đặt
Bước 4: Xử lý và kiểm tra
Tùy chọn xử lý:
- Reproject: Chuyển đổi tọa độ
- Simplify: Giảm độ phức tạp geometry
- Clip: Cắt theo boundary project
- Validate: Sửa lỗi geometry
Kiểm tra chất lượng:
- Xem trước trên bản đồ
- Kiểm tra bảng thuộc tính
- Xác minh số lượng feature
- Test độ chính xác tọa độ
Quản lý dữ liệu sau upload
Doanh nghiệp dữ liệu
Doanh nghiệp dữ liệu với folders và metadata giúp quản lý hiệu quả
Cấu trúc thư mục:
- Tạo thư mục logic
- Nhóm các dataset liên quan
- Sử dụng tên nhất quán
- Thêm mô tả
Quản lý Metadata:
- Thêm tiêu đề và mô tả
- Đặt tags và từ khóa
- Định nghĩa nguồn dữ liệu
- Ghi lại tần suất cập nhật
Xử lý dữ liệu
Chuyển đổi tọa độ:
- Reproject về CRS của project
- Xử lý nhiều hệ tọa độ
- Kiểm tra độ chính xác chuyển đổi
- Cập nhật metadata
Làm sạch dữ liệu:
- Loại bỏ các feature trùng lặp
- Sửa lỗi geometry
- Chuẩn hóa giá trị thuộc tính
- Xử lý dữ liệu thiếu
Chuyển đổi định dạng:
- Chuyển đổi giữa các định dạng
- Export cho sử dụng bên ngoài
- Tối ưu cho xem trên web
- Tạo phiên bản mobile
Tính năng Upload nâng cao
Batch Upload
Nhiều file cùng lúc:
- Chọn nhiều file một lần
- Tự động doanh nghiệp
- Tùy chọn xử lý hàng loạt
- Theo dõi tiến trình
Upload thư mục:
- Upload toàn bộ thư mục
- Giữ nguyên cấu trúc thư mục
- Xử lý các thư mục con
- Cấu hình hàng loạt
Import định kỳ
Cập nhật tự động:
- Kết nối với nguồn dữ liệu
- Lên lịch cập nhật định kỳ
- Theo dõi thay đổi
- Xử lý xung đột cập nhật
Tích hợp API:
- REST API endpoints
- Thông báo webhook
- Pipeline dữ liệu tùy chỉnh
- Đồng bộ real-time
Xử lý dữ liệu lớn
Streaming Upload:
- Xử lý file > 1GB
- Tiếp tục upload bị gián đoạn
- Theo dõi tiến trình
- Khôi phục lỗi
Xử lý Tiled:
- Chia nhỏ dataset lớn
- Xử lý song song
- Tối ưu bộ nhớ
- Giám sát hiệu suất
Xử lý lỗi thường gặp
Lỗi định dạng file
Vấn đề Shapefile:
- Thiếu file bắt buộc (.shx, .dbf)
- Loại geometry không được hỗ trợ
- Lỗi mã hóa ký tự
- Thiếu hệ tọa độ
Giải pháp:
- Đảm bảo có đủ các thành phần shapefile
- S ử dụng mã hóa UTF-8
- Thêm file .prj cho tọa độ
- Kiểm tra trong desktop GIS trước
Hệ thống cung cấp thông báo lỗi chi tiết để giúp xử lý vấn đề
Lỗi hệ tọa độ
Vấn đề thường gặp:
- Thiếu thông tin projection
- Sai EPSG code
- Lỗi chuyển đổi datum
- Không khớp đơn vị
Giải pháp:
- Xác minh hệ tọa độ nguồn
- Sử dụng EPSG code phù hợp
- Kiểm tra tham số datum
- Test với tọa độ đã biết
Vấn đề chất lượng dữ liệu
Lỗi Geometry:
- Polygon tự cắt
- Topology không hợp lệ
- Hỗn hợp các loại geometry
- Geometry rỗng
Giải pháp:
- Sử dụng công cụ kiểm tra geometry
- Làm sạch dữ liệu trong desktop GIS
- Tách riêng các loại geometry
- Loại bỏ feature không hợp lệ
Vấn đề hiệu suất
Vấn đề file lớn:
- Upload timeout
- Lỗi bộ nhớ
- Chậm trễ xử lý
- Browser crash
Giải pháp:
- Nén file trước khi upload
- Chia nhỏ dataset lớn
- Sử dụng streaming upload
- Tối ưu cài đặt browser
Thực hành tốt nhất
Chuẩn bị dữ liệu
Trước khi Upload:
- Kiểm tra trong desktop GIS
- Tối ưu kích thước file
- Ghi chép nguồn dữ liệu
- Test độ chính xác tọa độ
Quy ước đặt tên:
- Sử dụng tên có ý nghĩa
- Bao gồm date stamps
- Tránh ký tự đặc biệt
- Sử dụng pattern nhất quán
Chiến lược Upload
Lên kế hoạch Upload:
- Bắt đầu với dataset nhỏ
- Test hệ tọa độ
- Xác minh chất lượng dữ liệu
- Ghi chép các vấn đề
Doanh nghiệp ngay khi làm:
- Tạo thư mục ngay lập tức
- Thêm metadata kịp thời
- Tag phù hợp
- Đặt quyền đúng
Đảm bảo chất lượng
Kiểm tra sau Upload:
- Xác minh số lượng feature
- Kiểm tra độ chính xác tọa độ
- Test tùy chọn styling
- Xác thực dữ liệu thuộc tính
Tài liệu hóa:
- Ghi lại nguồn dữ liệu
- Ghi chú các chuyển đổi
- Ghi chép vấn đề chất lượng
- Giữ log cập nhật
Tích hợp với Geocollect Mobile
Geocloud tích hợp mạnh mẽ với Geocollect Mobile app:
Thu thập dữ liệu thực địa
- Sync dữ liệu từ mobile app
- Offline data collection
- Photo và multimedia
- GPS tracking chính xác
Workflow thu thập dữ liệu
- Tạo form trong Geocloud COLLECT project
- Deploy form xuống mobile app
- Thu thập dữ liệu trên thực địa
- Sync về Geocloud khi có internet
- Xử lý và phân tích dữ liệu
Workflow tích hợp mạnh mẽ giữa Geocloud Web và Geocollect Mobile
Tiếp theo
Trong tutorial tiếp theo: Giao diện bản đồ cơ bản