token.h File Reference

This graph shows which files directly or indirectly include this file:

Go to the source code of this file.

Macros
#define	GRN_TOKEN_GET   GRN_TOKENIZE_GET
#define	GRN_TOKEN_ADD   GRN_TOKENIZE_ADD
#define	GRN_TOKEN_DEL   GRN_TOKENIZE_DELETE
#define	GRN_TOKEN_CONTINUE   (0)
#define	GRN_TOKEN_LAST   (0x01L << 0)
#define	GRN_TOKEN_OVERLAP   (0x01L << 1)
#define	GRN_TOKEN_UNMATURED   (0x01L << 2)
#define	GRN_TOKEN_REACH_END   (0x01L << 3)
#define	GRN_TOKEN_SKIP   (0x01L << 4)
#define	GRN_TOKEN_SKIP_WITH_POSITION   (0x01L << 5)
#define	GRN_TOKEN_FORCE_PREFIX   (0x01L << 6)
#define	GRN_TOKEN_KEEP_ORIGINAL   (0x01L << 7)

Typedefs
typedef grn_tokenize_mode	grn_token_mode
typedef uint32_t	grn_token_status
typedef struct _grn_token	grn_token

Enumerations
enum	grn_tokenize_mode { GRN_TOKENIZE_GET = 0 , GRN_TOKENIZE_ADD , GRN_TOKENIZE_DELETE , GRN_TOKENIZE_ONLY }

Functions
GRN_API grn_obj *	grn_token_get_data (grn_ctx *ctx, grn_token *token)
GRN_API const char *	grn_token_get_data_raw (grn_ctx *ctx, grn_token *token, size_t *length)
GRN_API grn_rc	grn_token_set_data (grn_ctx *ctx, grn_token *token, const char *str_ptr, int str_length)
GRN_API grn_id	grn_token_get_domain (grn_ctx *ctx, grn_token *token)
GRN_API grn_rc	grn_token_set_domain (grn_ctx *ctx, grn_token *token, grn_id domain)
GRN_API grn_token_status	grn_token_get_status (grn_ctx *ctx, grn_token *token)
GRN_API grn_rc	grn_token_set_status (grn_ctx *ctx, grn_token *token, grn_token_status status)
GRN_API grn_rc	grn_token_add_status (grn_ctx *ctx, grn_token *token, grn_token_status status)
GRN_API grn_rc	grn_token_remove_status (grn_ctx *ctx, grn_token *token, grn_token_status status)
GRN_API uint64_t	grn_token_get_source_offset (grn_ctx *ctx, grn_token *token)
GRN_API grn_rc	grn_token_set_source_offset (grn_ctx *ctx, grn_token *token, uint64_t offset)
GRN_API uint32_t	grn_token_get_source_length (grn_ctx *ctx, grn_token *token)
GRN_API grn_rc	grn_token_set_source_length (grn_ctx *ctx, grn_token *token, uint32_t length)
GRN_API uint32_t	grn_token_get_source_first_character_length (grn_ctx *ctx, grn_token *token)
GRN_API grn_rc	grn_token_set_source_first_character_length (grn_ctx *ctx, grn_token *token, uint32_t length)
GRN_API bool	grn_token_have_overlap (grn_ctx *ctx, grn_token *token)
GRN_API grn_rc	grn_token_set_overlap (grn_ctx *ctx, grn_token *token, bool have_overlap)
GRN_API grn_obj *	grn_token_get_metadata (grn_ctx *ctx, grn_token *token)
GRN_API bool	grn_token_get_force_prefix_search (grn_ctx *ctx, grn_token *token)
GRN_API grn_rc	grn_token_set_force_prefix_search (grn_ctx *ctx, grn_token *token, bool force)
GRN_API uint32_t	grn_token_get_position (grn_ctx *ctx, grn_token *token)
GRN_API grn_rc	grn_token_set_position (grn_ctx *ctx, grn_token *token, uint32_t position)
GRN_API float	grn_token_get_weight (grn_ctx *ctx, grn_token *token)
GRN_API grn_rc	grn_token_set_weight (grn_ctx *ctx, grn_token *token, float weight)

Macro Definition Documentation

GRN_TOKEN_ADD

#define GRN_TOKEN_ADD   GRN_TOKENIZE_ADD

GRN_TOKEN_CONTINUE

#define GRN_TOKEN_CONTINUE   (0)

GRN_TOKEN_DEL

#define GRN_TOKEN_DEL   GRN_TOKENIZE_DELETE

GRN_TOKEN_FORCE_PREFIX

#define GRN_TOKEN_FORCE_PREFIX   (0x01L << 6)

GRN_TOKEN_GET

#define GRN_TOKEN_GET   GRN_TOKENIZE_GET

GRN_TOKEN_KEEP_ORIGINAL

#define GRN_TOKEN_KEEP_ORIGINAL   (0x01L << 7)

GRN_TOKEN_LAST

#define GRN_TOKEN_LAST   (0x01L << 0)

GRN_TOKEN_OVERLAP

#define GRN_TOKEN_OVERLAP   (0x01L << 1)

GRN_TOKEN_REACH_END

#define GRN_TOKEN_REACH_END   (0x01L << 3)

GRN_TOKEN_SKIP

#define GRN_TOKEN_SKIP   (0x01L << 4)

GRN_TOKEN_SKIP_WITH_POSITION

#define GRN_TOKEN_SKIP_WITH_POSITION   (0x01L << 5)

GRN_TOKEN_UNMATURED

#define GRN_TOKEN_UNMATURED   (0x01L << 2)

Typedef Documentation

grn_token

typedef struct _grn_token grn_token

grn_token_mode

typedef grn_tokenize_mode grn_token_mode

grn_token_status

typedef uint32_t grn_token_status

Enumeration Type Documentation

grn_tokenize_mode

enum grn_tokenize_mode

Enumerator
GRN_TOKENIZE_GET
GRN_TOKENIZE_ADD
GRN_TOKENIZE_DELETE
GRN_TOKENIZE_ONLY

Function Documentation

grn_token_add_status()

GRN_API grn_rc grn_token_add_status	(	grn_ctx *	ctx,
		grn_token *	token,
		grn_token_status	status
	)

grn_token_get_data()

GRN_API grn_obj * grn_token_get_data	(	grn_ctx *	ctx,
		grn_token *	token
	)

grn_token_get_data_raw()

GRN_API const char * grn_token_get_data_raw	(	grn_ctx *	ctx,
		grn_token *	token,
		size_t *	length
	)

grn_token_get_domain()

GRN_API grn_id grn_token_get_domain	(	grn_ctx *	ctx,
		grn_token *	token
	)

grn_token_get_force_prefix_search()

GRN_API bool grn_token_get_force_prefix_search	(	grn_ctx *	ctx,
		grn_token *	token
	)

grn_token_get_metadata()

GRN_API grn_obj * grn_token_get_metadata	(	grn_ctx *	ctx,
		grn_token *	token
	)

grn_token_get_position()

GRN_API uint32_t grn_token_get_position	(	grn_ctx *	ctx,
		grn_token *	token
	)

grn_token_get_source_first_character_length()

GRN_API uint32_t grn_token_get_source_first_character_length	(	grn_ctx *	ctx,
		grn_token *	token
	)

grn_token_get_source_length()

GRN_API uint32_t grn_token_get_source_length	(	grn_ctx *	ctx,
		grn_token *	token
	)

grn_token_get_source_offset()

GRN_API uint64_t grn_token_get_source_offset	(	grn_ctx *	ctx,
		grn_token *	token
	)

grn_token_get_status()

GRN_API grn_token_status grn_token_get_status	(	grn_ctx *	ctx,
		grn_token *	token
	)

grn_token_get_weight()

GRN_API float grn_token_get_weight	(	grn_ctx *	ctx,
		grn_token *	token
	)

grn_token_have_overlap()

GRN_API bool grn_token_have_overlap	(	grn_ctx *	ctx,
		grn_token *	token
	)

grn_token_remove_status()

GRN_API grn_rc grn_token_remove_status	(	grn_ctx *	ctx,
		grn_token *	token,
		grn_token_status	status
	)

grn_token_set_data()

GRN_API grn_rc grn_token_set_data	(	grn_ctx *	ctx,
		grn_token *	token,
		const char *	str_ptr,
		int	str_length
	)

grn_token_set_domain()

GRN_API grn_rc grn_token_set_domain	(	grn_ctx *	ctx,
		grn_token *	token,
		grn_id	domain
	)

grn_token_set_force_prefix_search()

GRN_API grn_rc grn_token_set_force_prefix_search	(	grn_ctx *	ctx,
		grn_token *	token,
		bool	force
	)

grn_token_set_overlap()

GRN_API grn_rc grn_token_set_overlap	(	grn_ctx *	ctx,
		grn_token *	token,
		bool	have_overlap
	)

grn_token_set_position()

GRN_API grn_rc grn_token_set_position	(	grn_ctx *	ctx,
		grn_token *	token,
		uint32_t	position
	)

grn_token_set_source_first_character_length()

GRN_API grn_rc grn_token_set_source_first_character_length	(	grn_ctx *	ctx,
		grn_token *	token,
		uint32_t	length
	)

grn_token_set_source_length()

GRN_API grn_rc grn_token_set_source_length	(	grn_ctx *	ctx,
		grn_token *	token,
		uint32_t	length
	)

grn_token_set_source_offset()

GRN_API grn_rc grn_token_set_source_offset	(	grn_ctx *	ctx,
		grn_token *	token,
		uint64_t	offset
	)

grn_token_set_status()

GRN_API grn_rc grn_token_set_status	(	grn_ctx *	ctx,
		grn_token *	token,
		grn_token_status	status
	)

grn_token_set_weight()

GRN_API grn_rc grn_token_set_weight	(	grn_ctx *	ctx,
		grn_token *	token,
		float	weight
	)