大数据技术原理与应用 - (4). 分布式数据库 HBase

【第二篇】 - 大数据存储与管理, 《大数据技术原理与应用, 林子雨》

本篇介绍大数据存储与管理相关技术的概念与原理,包括

HBase 是针对 Google BigTable 的开源实现,是一个高可靠、高性能、面向列、可伸缩的分布式数据块,主要用来存储非结构化和半结构化的松散数据。

本章介绍 HBase 与关系型数据库的区别、访问接口、数据模型、实现原理和运行机制。


大数据技术原理与应用 - (3). 分布式文件系统 HDFS

【第二篇】 - 大数据存储与管理, 《大数据技术原理与应用, 林子雨》

本篇介绍大数据存储与管理相关技术的概念与原理,包括

Hadoop 分布式文件系统 (Hadoop Distributed File System, HDFS) 是真的 Google File System (GFS) 的开源实现,它是 Hadoop 两大核心组件之一,提供了在廉价服务器集群中进行大规模分布式存储的能力。

本章介绍分布式文件系统的基本概念、结构和设计需求,然后介绍 HDFS 的相关概念、体系结构、存储原理和读写过程。


大数据技术原理与应用 - (2). 大数据处理框架 Hadoop

【第一篇】 - 大数据基础, 《大数据技术原理与应用, 林子雨》

本篇介绍大数据 (Big Data) 的基本概念、影响、应用领域等,还介绍了大数据处理框架 Hadoop。

第二章介绍了 Hadoop 特性、应用现状,还介绍了 Hadoop 生态系统及其各个组件。


大数据技术原理与应用 - (1). 大数据概述

【第一篇】 - 大数据基础, 《大数据技术原理与应用, 林子雨》

本篇介绍大数据 (Big Data) 的基本概念、影响、应用领域等,还介绍了大数据处理框架 Hadoop。

第一张章介绍了大数据的基本概念、影响、应用领域、关键技术等等内容。


活用 Bulma 美化 Icarus 文章

Icarus 相信大家都很熟悉,但是有时候我们希望在文章中用特别的样式注明一些内容,markdown 语法就不够用了,所以 Icarus 有哪些高级玩法呢?下面就让 iMaeGoo 带大家一起了解吧。(误

按钮






点击展开代码 >folded
1
2
3
4
5
6
<div class="buttons">
<button class="button is-info">Info</button>
<button class="button is-success">Success</button>
<button class="button is-warning">Warning</button>
<button class="button is-danger">Danger</button>
</div>

Human Pose Estimation Literature Review

【导读】:本综述将会以时间顺序总结一些基于 Deep Learning 的人体姿态估计 (Human Pose Estimation) 有代表意义的论文。这些文章最早从 Google 提出的 DeepPose 开始,代表了 Pose Estimation 领域的发展。

2D Human Pose Estimation

What is Human Pose Estimation?

  • Human Pose Estimation 主要是在图像或视频中检测估计人体的一些关键点(例如,关节,五官等)的问题。它也可以被定义成在所有关节姿势的空间中搜索特定姿势的问题。
  • 2D Pose Estimation - 从图像中估计2D姿态(关键点)坐标,即 2D pose (x,y) coordinates。
  • 3D Pose Estimation - 估计出关键点的3D坐标,即Estimate a 3D pose (x,y,z) coordinates a RGB image.

2D (keypoints input) to 3D pose estimation example

  • 3D mesh (shap) estimation - 从图像中估计object的shape,例如数据集DensePose

DensePose Results: 3D shape estimation


DenseNet — Dense卷积网络(图像分类)

【导读】本文对Dense卷积网络的发展进行了综述。这是2017年的CVPR最佳论文奖,并拥有2000多篇论文引用。它由康威尔大学、清华大学和facebook AI共同合作完成。

作者 | Sik-Ho Tsang (原文:Review: DenseNet — Dense Convolutional Network (Image Classification))
编译 | Xiaowen


DeepMedic - multi-sacle 3D CNN with CRF for brain lesion segmentation

论文阅读笔记,如果我有什么理解错误的地方,欢迎大家指正。
论文:Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation

摘要:作者提出一种双路径,11层深的3D卷积神经网络用于brain lesion segmentation任务,主要解决了医学图像处理上的三个方面的问题。一是作者设计了一种dense training scheme的方案,采用全卷积神经网络,一次把相邻像素的image segments传入网络输出dense prediction (dense-inference),从而节省了计算代价。作者使用更深的网络使模型判别能力更强。作者使用一种dual pathway architecture,即同时训练两个网络,使模型同时对高/低分辨率图像进行处理。最后作者采用全连接条件随机场(Fully connected Conditional Random Field)对网络output进行后处理(post-processing)改善图像类之间的边缘信息。

1. Dense Training

在传统patch-wise的分类中,输入patch的尺寸和cnn最后一层神经元的感受野大小相同,这样网络得到一个single prediction对应输入patch的中心像素的值。而用全卷积实现的神经网络,因为其输入的patch的尺寸可以大于最后一层神经元的感受野,因此模型可以同时输出多个prediction,即dense-inference,而每一个prediction对应cnn’s receptive field的在输入patch上的每一步stride。


Fig.2. Our baseline CNN consists of four layers with $5^3$ kernels for feature extraction, leading to a receptive field of size $17^3$. The classification layer is implemented as convolutional with $1^3$ kernels, which enables efficient dense-inference. When the network segments an input it predicts multiple voxels simultaneously, one for each shift of its receptive field over the input. Number of FMs and their size depicted as (Number × Size).


Keras 笔记

To take notes about the essential Keras elements to build basic neural networks. The explainations of each section haven’t finished yet.

1. Single Layer Neural Network (Linear Regression)

单层神经网络相当于(非)线性回归模型,第一个例子是构建一个最简单一元线性回归模型。

  1. 创建数据
    单层神经网络模型需要数据进行训练,因此我们使用 numpy 创建一些人造数据,且我们的 $y$ 为 $y = ax+b$ 。
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    import numpy as np
    import tensorflow as tf
    from tensorflow.keras import layers
    import matplotlib.pyplot as plt
    plt.style.use('seaborn')

    # create data
    X = np.linspace(-1, 1, 200)
    np.random.shuffle(X) #randomize the data
    Y = 2*X + 10 + np.random.normal(0, 0.05, (200,))

    # plot data
    plt.scatter(X, Y)
    plt.show()

统计学习 - Statistical Learning

统计学习方法笔记总结。haven’t finished yet

1. k近邻法(k-Nearest Neighbors)


直观理解:
  • 分类:在数据中找到与某个点(目标)最近的k个点,把该点(目标)的类分为k个点中多数的类。
  • 回归:在数据中找到与某个点(目标)最近的k个点,k个点的均值为目标点的预测值。

  • 优点:

    • $k$ 近邻法是个非参数学习算法,它没有任何参数( $k$ 是超参数,而不是需要学习的参数)。
    • 近邻模型具有非常高的容量,这使得它在训练样本数量较大时能获得较高的精度。
  • 缺点:

    1. 计算成本很高。因为需要构建一个 $N \times N$ 的距离矩阵,其计算量为 $O(N^2)$,其中 $N$ 为训练样本的数量。
    2. 当数据集是几十亿个样本时,计算量是不可接受的。
    3. 在训练集较小时,泛化能力很差,非常容易陷入过拟合。
    4. 无法判断特征的重要性。

1.1 k近邻模型

  • 模型由三个基本要素——距离度量k值的选择分类决策规则决定。

Your browser is out-of-date!

Update your browser to view this website correctly.&npsb;Update my browser now

×